Blog
De weg naar de vernieuwing is geplaveid met rubrics
Mariëtte de Haan en Jaap Bos
Claudia, senior docent sociale wetenschappen, spreekt op een seminar over het gebruik van rubrics. Ze zegt: ‘Ik vul dat ding in, kijk wat er uit komt, en dan is het bijvoorbeeld een acht. Ik denk, nee, dat klopt niet. Dat is te hoog. Dit werkstuk is niet zo excellent. Ik vul ‘em opnieuw in, net zo lang tot ‘ie op een zeven en half uitkomt. Dat is namelijk wat ik gedachten toen ik het stuk had gelezen. Zo doe ik dat.’ De zaal begint te lachen – het is een lach van herkenning. Claudia is een verzonnen persoon, maar het voorbeeld niet.
Rubrics – we moeten het er toch even over hebben. Ze vloeien voort uit de onderwijskundige kwaliteitsinstrumenten die onderdeel zijn geworden van het proces van ‘docentprofessionalisering’ aan de universiteiten.
De bedoeling van de rubric is meer openheid geven over het proces van boordelen, meer inzicht in dat proces zelf, tegengaan van willekeur, uniforme standaarden creëren. Voordeel: studenten weten waarop ze afgerekend worden, docenten krijgen een objectief beoordelingsinstrument, en opleidingen kunnen die beoordelingen verantwoorden. Prachtig – maar toch lijkt Claudia er niet bij gebaat, en haar studenten waarschijnlijk ook niet. Waarom niet?
Neem Bloom’s taxonomie van kennisverwerkingsdimensies – onthouden, begrijpen, toepassen, analyseren, evalueren, creëren. Wat blijkt? Vooral de eerste drie dimensies zijn meetbaar. Analyseren, evalueren en creëren zijn veel minder makkelijk te standaardiseren, maardat is wel de kern van de rubric.
Verder is het niet mogelijk om hogere orde kennisprocessen en de variatie daarbinnen van te voren vast te leggen. Zou dat wel kunnen, dan zou je de belangrijkste intellectuele processen hebben teruggebracht tot een beperkt aantal bekende strategieën. Maar de aard van die processen is dat ze daaraan nu juist ontsnappen. Het opnemen van een categorie ‘creativiteit’ in de rubric is tautologisch op zijn best, een lege dooddoener.
Dit alles is nog tot daaraan toe. Een Claudia, gepokt en gemazzeld in het onderwijsproces, weet immers wel hoe ze daar ‘creatief’ mee om moet gaan. Maar het is erger gesteld, menen wij. We hebben met de rubric een Frankstein gecreëerd die zich tegen ons begint te keren. Twee onbedoelde consequenties van het gebruik van de rubric.
Om te beginnen zien we dat de student met de rubric in haar hand zich tot ons wendt en verlangt te weten wat ze moet opschrijven op haar tentamen om een acht te krijgen. Als het gaat om die ‘lagere orde’ kennisdimensies van Bloom is het antwoord betrekkelijk eenduidig, maar als je wilt dat een student een eigen analyse geeft van een bepaald vraagstuk, wat moet je dan zeggen? De rubric nodigt dus uit tot extrinsiek gemotiveerd leren, geënt op een hoge mate van voorspelbaarheid en ‘consumentisme’(de student produceert wat de rubric vraagt) en staat daarmee haaks op het creatieve en intellectuele proces.
Bovendien zien wij dat het gebruik van de rubric in het beoordelingsproces onevenredig veel tijd kost. Al die verschillende categorieën moeten namelijk allemaal worden ingevuld en verantwoord – de tijd die het kost om een ‘gerubricte beoordeling’ te produceren hadden wij liever in echte feedback gestoken.
Laten we de weg naar de vernieuwing plaveien met meer echte feed-back, minder verantwoording en meer eigen verantwoordlijkheid!
20 augustus 2017 Reacties
U moet ingelogd zijn om te reageren, gebruik het formulier aan de linkerkant om in te loggen met uw solis gegevens.
3
Interessant punt! En herkenbaar!
Hear hear!
Goed idee: echte feedback in plaats van ‘rubrics’. Rubrics zijn geen plaveisel (zie titel) maar obstakels op weg naar vernieuwing (en eigenlijk gaat het ook niet om vernieuwing maar om verbetering). Wat is de logische volgende stap? Geen rubrics gebruiken! Wie dat probeert krijgt met de autoriteiten te maken: ‘o, dus jij wilt geen transparantie in je beoordelingen’. Of, minstens zo vilein: ‘ik weet ook wel dat rubrics een verplicht nummer zijn, maar je wilt toch niet onze accreditatie in gevaar brengen?’ Die Frankenstein is door het management gecreëerd, maar wij houden hem zelf mede in stand. Wie heeft het lef om ‘nee’ te zeggen en een alternatief voor te stellen?
Je suis Claudia!
Ik kan me helemaal vinden in de kritiek op de rubric en merk in de praktijk dat het inderdaad je eigen ervaren oordeel (lees: intuitie) als docent niet kan vervangen. Maar het eerste argument kan deels worden ontkracht als er niet wordt vermeld WAT studenten moeten opschrijven, maar HOE ze dat moeten doen (bijv: logische samenhang, adequaat taalgebruik, originaliteit, creativiteit etc.). Dit uiteraard ter beoordeling van de docent …
Zo mee eens! En als we dan ook nog kunnen opschuiven naar formatief in plaats van summatief toetsen en (formatief) geven van feedback, dan leveren we wellicht in de toekomst echt betere jonge collega’s af!
Even een tegengeluidje:
Ik houd van rubrics, dat wil zeggen, van goede rubrics. Wat mij namelijk verbaast bij discussies over rubrics is dat ze vaak allemaal op één hoop worden gegooid. Er zijn zoveel verschillende rubrics, ontworpen vanuit allerlei ontwerpprincipes (zie bv Prins, de Keijn, & Van Tartwijk, 2015). Goede rubrics ontwerpen is niet gemakkelijk, dat besef ik ook.
Goede rubrics zorgen onder andere voor (1) transparantie voor studenten van beoordelingscriteria en vooral beoordelingsstandaarden, (2) ze verlagen testangst bij studenten, (3) ze promoten zelfbeoordelingen en zelfregulatie door studenten (zie oa Jonsson & Svingby, 2007; Panadero & Jonsson, 2013).
Van belang is te beseffen dat alleen het verstrekken van de rubrics aan studenten niet voldoende is voor die positieve effecten. Ze moeten er mee aan de slag, er mee oefenen, bijvoorbeeld via peer assessment. Hoe je een beoordelingsinstrument inbouwt in je cursus is dus essentieel.
Interessant om te lezen dat het invullen van een rubric door sommigen wordt gezien als iets anders dan ‘echte feedback’. Een rubric en echte feedback sluiten elkaar namelijk niet uit, sterker, ze kunnen elkaar heel goed aanvullen. Vul de rubric in en geef aanvullend een toelichting en suggesties. Daar kan de student vervolgens zijn/haar volgende stap maken. Gebruik van rubrics is voor mij dus geen tijdsbesparing maar een instrument om studenten te laten weten hoe goed ze op weg zijn.
Kortom, ik heb liever een beoordeling gebaseerd op een rubric waar op een systematische manier naar de kwaliteit van een prestatie of een product wordt gekeken en waaruit studenten kunnen opmaken waar ze op worden beoordeeld en waar ze staan dan een beoordeling zonder rubric die soms/vaak idiosyncratisch, vol bias en intransparant is.
Er valt zoveel te zeggen over het gebruik, het ontwerp, de meerwaarde van rubrics. Het bovenstaande stuk van Mariette en Jaap doen rubrics echt tekort
Eigenlijk zegt Frans Prins dat het maken van rubrics en het gebruiken er van je kan helpen om goede feedback te geven. Daar ben ik het wel enigszins mee eens. Echter we hebben in het academisch onderwijs ook secundaire leerdoelen. Een daar van is om de studenten zelfstandig te leren werken en denken. De onzekerheid van studenten over wat ze nu precies moeten weten voor het tentamen of wat ze moeten doen voor een essay of project geeft eigenlijk aan dat ze niet zelfstandig kunnen leren. Ze hebben steeds hulp nodig om ze te bevestigen dat ze op de goede weg zijn. Ik denk dat je ook feedback kan geven die ze beter leert om op zichzelf te vertrouwen en hun eigen rubric te maken van een cursus op basis van wat ze tijdens college en practicum zien. Ze kunnen daar ook vragen stellen en actief op zoek gaan naar de essentie van een vak. Van zo’n actieve houding leren ze pas echt. Naar mijn idee kauwen we alles veel te veel voor ze voor.
Zelf gebruik ik rubrics niet expliciet, maar geef ik studenten wel houvast als ze het nodig hebben en er naar vragen. En als de evaluatie commissie er vragen over heeft ben ik graag bereid om uit te leggen waarom ik de dingen doe zoals ik ze doe. Als je dingen goed doordacht doet hoef je volgens mij ook helemaal niet zo bang te zijn voor de evaluatie!
Frans Prins slaat in één opzicht de spijker op de kop: het gebruik van rubrics levert geen tijdsbesparing op bij het beoordeling van werkstukken. Het serieus invullen kost namelijk tijd, en daarna moet je, zo schrijft hij, ook nog aanvullend een toelichting en suggesties geven. En vervolgens studenten leren hoe ze er zelf mee aan de slag kunnen door peerfeedback te geven.
Zo leid je studenten sluipenderwijs op tot onderwijskundige: rubrics als doel en niet als middel. Beschouw je ze daarentegen als middel, dan mag je ook vragen: zijn er andere, en misschien wel betere middelen? Ik denk het wel. Geef de student op maat commentaar. Doe dat niet via kruisjes in een tabel, maar via goed gemikte kanttekeningen waardoor de student direct ziet dat je het stuk serieus gelezen hebt. Het meest effectief breng je dit over in een persoonlijk gesprek met de student. Dat kost tijd, maar dan heb je ook wat. Zie verder R. Abma (2017) Het verdrongen curriculum. Over onderwijs in de sociale wetenschappen.
Ik word nu toch wel heel benieuwd naar de rubric van “Claudia”. Wellicht willen de auteurs een voorbeeld delen?
In het stuk staat: “Bovendien zien wij dat het gebruik van de rubric in het beoordelingsproces onevenredig veel tijd kost. Al die verschillende categorieën moeten namelijk allemaal worden ingevuld en verantwoord – de tijd die het kost om een ‘gerubricte beoordeling’ te produceren hadden wij liever in echte feedback gestoken.” Ik weet niet wat met categorieen wordt bedoeld. (1) Zijn dat de beoordelingsniveaus? Die hoef je niet in te vullen, die hoef je alleen aan te kruisen en dat kan snel. En daarna onderbouwen waarom je dat kruisje hebt gezet, natuurlijk. Lijkt me alleen maar transparant naar de student toe. Of (2) betekenen categorieen beoordelingsdimensies? In dat geval lijkt het me alleen maar goed als een thesis op verschillende dimensies wordt beoordeeld, dat voorkomt eenzijdigheid. Ik weet dus niet waar hier op gedoeld wordt, alleen dat ‘iets’ tijd kost.
En goede rubrics maken is een kunst: niet te gedetailleerde omschrijvingen maar beoordeling op essentie. Dan kan het wellicht zelfs tijd besparen. Rubrics zijn natuurlijk ook niet het wondermiddel waar ze wel eens voor worden versleten. Het gaat om een betrouwbare, eerlijke, evenwichtige en goed onderbouwde beoordeling. Als je die zonder rubrics kunt geven, mij best.