De uitslag van ‘De Grote Evaluatie van de cursusevaluaties’

Bijna 100 docenten vulden de evaluatie van de cursusevaluaties in. Sommigen deden niet flauw en evalueerden meteen óók de evaluatie van de cursusevaluaties: ‘Sarcasme in een vragenlijst is methodologisch echt een heel slecht idee!’, ‘Schitterend initiatief’, maar ook ‘Deze enquête had wel een beetje leading questions’. Eén iemand schreef: ‘Ik vind het een gemiste kans dat deze vragenlijst niet serieuzer is ingestoken.’

Niet iedereen was dus te spreken over de knipoog waarmee we de enquête hadden opgesteld. En na het lezen van de antwoorden op de open vragen begrepen we dat ook wel. De evaluaties zijn voor veel docenten een grote bron van frustratie. Daar hebben ze heel veel zinvols over te zeggen en dat willen ze graag kwijt – liever dan er een beetje de draak mee steken.

Daarom hebben we de vele uitgebreide reacties op de open vragen ook serieus uitgewerkt. Eén van de terugkerende punten was dat open vragen vele malen informatiever zijn dan de Likertschaal-vragen. Daar kunnen wij ons helemaal in vinden. Hierbij een uitwerking van de 99 reacties op de vraag ‘Wat wil je verder nog kwijt over cursusevaluaties?’

1.        Cursusevaluaties, wat is daar mis mee?

Een aantal kritiekpunten werden door veel verschillende invullers genoemd. Statistisch klopt het niet, het is een klanttevredenheidsonderzoek, het komt ná de cursus en het is geen open gesprek, anonimiteit kent veel beperkingen, leidinggevenden weten niet altijd hoe de evaluaties te gebruiken, studenten weten niet hoe je onderwijskwaliteit evalueert en ze zijn grof in de mond bovendien. En betekent een goede evaluatiescore eigenlijk dat er goed onderwijs is gegeven?

Sommige docenten zijn er gewoon helemaal klaar mee: ‘weg ermee’ vinden zij.

 ‘Gezien de enorme hoeveelheid wetenschappelijk bewijs voor hoe schadelijk en weinig zinvol dit soort kwantitatieve vragenlijsten zijn – is het bijzonder dat er nog altijd institutioneel vertrouwen is hierin en dat het zelfs bij B&O gesprekken of bevordering gebruikt kan worden. Omdat er geen beter instrument is??’

‘Onderzoek toont overtuigend aan dat de huidige praktijk aan alle kanten rammelt. Toch durft niemand voor te stellen er dan maar mee te stoppen en iets anders te verzinnen. In plaats daarvan gaan we stug door op de verkeerde weg.’

1.1      Statistisch klopt het niet

De doelgroep is te klein en ook niet representatief. Te weinig studenten reageren en dat zijn bovendien vaak alleen de zeer gefrustreerde studenten. Ook studenten die (bijna) altijd afwezig zijn geweest kunnen invullen. Een ander probleem: de evaluaties meten de korte termijn. Wat studenten er op lange termijn van hebben opgestoken blijft onduidelijk.

‘Studenten die heel tevreden zijn, komen dit vaak mondeling zeggen en je persoonlijk bedanken. Dat is motiverend. Maar helaas word je daar niet op afgerekend…’

‘Ze worden vaak door weinig studenten ingevuld (en dan ook nog vaak over degenen die wat te mopperen hebben).’

‘Sinds evaluaties vrijwillig digitaal worden ingevuld, doet nog maar zo’n 15 tot 20% van de deelnemers dat. De ervaring leert, dat onder degenen die de moeite nemen, studenten die iets te klagen hebben onevenredig goed vertegenwoordigd zijn. Alle deelnemers verplichten om de evaluatie in te vullen, zal ongetwijfeld tot betere (en eerlijkere) rapportcijfers leiden.’

‘Vaak komen de zeer tevreden en de zeer ontevreden studenten aan het woord. Je krijgt nooit een totaalbeeld.’

‘Ik probeer veel nieuwe dingen in mijn cursus en het docententeam denkt dat we heel goede dingen leren aan onze studenten. De cursus krijgt steevast een rapportcijfer lager dan een 7, waardoor ik mij ‘naar boven’ moet verantwoorden (een 7 is nl goed, een <7 is een alarmbel dat het geen goede cursus is en wat ga ik er aan doen om het rapportcijfer wél op een 7 uit te laten komen?) Wat zo gek is, dat alle aparte studieonderdelen best goed worden beoordeeld, maar nee, het gaat uiteindelijk om het rapportcijfer. Ik moet me daar zelfs voor verantwoorden bij de onderwijsdirecteur. Maar… dan hoor ik in de wandelgangen dat studenten die langer bezig zijn met hun curriculum me aanspreken of tegen collega’s zeggen dat ze achteraf gezien nog nooit zo’n goede cursus hebben gehad. Of tijdens hun stage komen studenten naar me toe of ik nog eens de vragenlijst wil delen waar ik het toen over had. Of – ook zo gek- het aantal studenten in mijn cursus neemt maar toe in de loop der jaren en studenten smeken me om mee te kunnen doen als de inschrijvingstermijn voorbij is. Maar het is een MOEILIJKE cursus, dus voor het gros van de studenten is het dan een stomme cursus, dus een rapportcijfer <7. F R U S T E R E N D’

1.2      Klanttevredenheidsonderzoek

Cursusevaluaties zijn meer een klanttevredenheidsonderzoek dan dat er onderwijskwaliteit mee wordt gemeten.

‘Dit wakkert consumentengedrag aan ipv verantwoordelijkheid nemen voor eigen onderwijs’

‘Deze vragenlijsten bevorderen bij studenten en docenten een rol klant-handelswaar in het onderwijs.’

‘- Grote misvatting: dit zijn geen evaluaties, maar tevredenheidsonderzoeken. Die hebben natuurlijk bestaansrecht, maar zeggen weinig tot niets over de kwaliteit van onderwijs (zie een hele berg recent onderzoek).’

1.3      Mosterd na de maaltijd en weinig open gesprek

Het is altijd mosterd na de maaltijd. Evalueren tijdens de cursus is zinvoller.

‘The systems of evaluations (especially with quantitative scales) just DOES NOT WORK because it does not create a stimulating and open conversation about didactics, rather it works to punish or praise.’

‘Een vrijbrief voor anoniem klagen door mensen die kennelijk niet tijdens de cursus al de moeite willen nemen om op een constructieve manier over de cursus te praten’

1.4      Anoniem invullen is beperkend

Je kunt niet reageren en veel docenten vragen zich tóch af: zijn het de studenten met een onvoldoende die zo gefrustreerd zijn?

‘Ook ontbreekt nu de mogelijkheid voor docenten om zich tegen (onterechte) kritiek te weren of uitleg te geven over keuzes die gemaakt zijn.’

‘Ze zouden niet anoniem mogen zijn. Docenten zijn tenslotte ook niet anoniem. Ook zou ik willen zien welk eindcijfer degene die hem invullen hebben gehaald.’

1.5      Leidinggevenden en opleidingscommissie weten niet altijd hoe ermee om te gaan

‘We weten uit onderzoek waar de biases zitten bij dit soort lijsten (onderwaardering jonge vrouwen etc), dit zou meegenomen moeten worden door leidinggevenden.’

‘Studenten schrijven zelden iets op wat de docent niet allang wist. Doen ze aanbevelingen, dan gaat het vaak om zaken die van hogerhand zijn afgeschaft. Zo geven studenten aan mijn opleiding vaak aan dat ze meer niet-westerse geschiedenis in het curriculum willen. Maar dat is niet toegestaan. Docenten hebben geen zeggenschap meer over hun BA-onderwijs.’

‘Studenten die de stof/ bedoeling van opdrachten niet hebben begrepen, branden die onderdelen van het onderwijs genadeloos af, met terminologie die voor de onderwijscommissies en onze leidinggevenden reden geven tot zorg over het door ons gegeven onderwijs, terwijl wat er staat niet aansluit bij wat er werkelijk is gezegd/ gedaan. Ofwel: bepaald commentaar is niet waar. Maar we moeten er wel verantwoording over geven.’

1.6      Wat beoordelen de studenten eigenlijk?

Studenten beoordelen hoe moeilijk of leuk ze de cursus vonden, hoe goed deze georganiseerd was, of dingen hapklaar werden aangeleverd, of dat ze er zelf hard voor moesten werken. Er is weinig zelfreflectie en studenten evalueren meteen ook de stem, de kleding of het accent van de docent.

‘onoplettendheid van de student wordt vaak vertaald in onduidelijke informatie door de docent’

‘studenten kunnen geneigd zijn andere aspecten van ontevredenheid (over de stad, de bibliotheek, ict, werkplekken)  mee te laten wegen in antwoorden die daar niet over gaan.’

‘Evaluaties meten studentencomfort en lokken daarom uit dat wij onderwijs steeds meer aanbieden in hapklare brokken. Studenten worden daarom steeds minder zelfstandig en het onderwijs wordt steeds minder academisch.’

‘…bovendien hebben studenten de neiging om te kijken wat mis is en daar de beoordeling op af te stemmen. soms schrijven ze  dat ook ‘ik kon niets negatiefs vinden’. in feite is dat ook de houding die je bij veel andere evaluaties hebt, zoals de bezorging van een pakje van Ikea of de klantenservice.  zo kun  je dat ook bij onderwijs doen, maar dat levert nog geen beoordeling op. leer de studenten  een volwaardige beoordeling te geven, zoals wij ook bij hen doen’

‘Door anonimiteit (die ik overigens goed vind) voelen studenten zich vrij om grof, niet constructief en weinig zelf reflecterend te evalueren. Er worden opmerkingen gemaakt die met het onderwijs en de weloverwogen keuzes daarbinnen, weinig te maken hebben (over kleding, stem, of houding van de docent, over Engels-taligheid van de boeken, over politieke kleur (?) van de colleges, etc.)’

1.7      Studenten zijn ongenuanceerd en grof in de mond – dit is demotiverend voor docenten

‘Studenten gebruiken evaluaties helaas in toenemende mate als social media, waarin je lekker je frustratie van je af kan schrijven. Het onderwijsmanagement onderneemt geen of onvoldoende actie om dit fenomeen te keren. Ik heb gevallen gezien waarin dit de carrière van goede docenten breekt.’

‘Studenten gebruiken de evaluatie ook wel eens om frustratie af te reageren, dat zorgt voor gedemotiveerde docenten en zit onderwijsvernieuwing in de weg.’

1.8      Goede evaluatiescore = goed onderwijs?

‘Er staat geen standaardvraag in over de eigen inzet/studiehouding van de student. Onderwijs is een samenwerking tussen student en docent, dat komt totaal niet terug in de cursusevaluatie.’

‘Er wordt een vraag gesteld die betrekking heeft op “goed onderwijs”. Maar wat wordt hieronder verstaan? Effectief onderwijs of efficient onderwijs?’

‘De algemene aanname lijkt te zijn: ‘goede studenten evaluaties = goed onderwijs’. Dit is een zeer beperkte opvatting over leren.’

2.        Wat gaat er wél goed?

Toch is niet álles mis aan de evaluaties. Dit is wat docenten wél goed vinden gaan:

• De grote lijnen zijn vaak wel waardevol
• Evaluaties zijn waardevol als ze goed gebruikt worden: aandacht besteden aan de verbeterpunten, niet blindstaren op de evaluaties.
• Soms pijnlijke dingen, maar daar zit vaak een kern van waarheid in
• Nuttig om tekorten in een CURSUS te signaleren (niet om docenten te beoordelen)
• Goed dat je zelf vragen toe kan voegen
• Open vragen zijn heel waardevol

‘Ik gebruik mijn cursusevaluaties als een agenda voor de cursus van volgend jaar: ik formuleer sterke punten en verbeterpunten op basis van eigen inzichten en opmerkingen van de studenten.’

3.        Tips en adviezen van docenten

Algemeen beeld: evalueren is waardevoller als het open en interactief is. Open vragen voegen meer toe, studenten halen de scherpe randjes van elkaars oordeel af als je ze in groepjes laat evalueren, je haalt meer uit een open gesprek dan uit een anonieme evaluatie met gesloten vragen en cijfers. Tijdens de cursus over onderwijskwaliteit praten, is zinvoller dan achteraf.

Iemand stelt voor: ‘Studenten krijgen pas hun eindcijfer zodra ze de evaluatie hebben ingevuld’ dan heb je meteen het lage invulpercentage én de gefrustreerde reacties aangepakt ?

Suggesties die respondenten aandroegen

• Vraag studenten om feedback te geven, voeg zelf open vragen toe aan de evaluatie, of ga het gesprek met studenten aan. Het levert veel waardevolle verbeterpunten en lieve complimenten op.
• Voeg een vraag toe aan de evaluatie: hoeveel hebben studenten geleerd in de cursus?
• Het cijfer mag eraf!!
• Zet meer in op peer reviews en intervisie “Daar zou ik meer aan hebben dan studentenevaluaties want de meeste studenten zijn onbewust onbekwaam op het gebied van vakinhoud en didactiek (in elk geval onbekwamer dan ik). Docenten peer review / ‘friendly fire’ zou bovendien kunnen helpen om vakken beter op elkaar aan te sluiten qua inhoud en niveau.”
• Laat studenten in groepjes tot een oordeel komen, dat haalt de ruis eruit. Of plan panelgesprekken in, met studenten die aangeven dat zij graag de cursus evalueren.
• Stel deelname aan de evaluatie verplicht of probeer op andere wijze de response rate te verhogen.
• Neem alleen evaluaties serieus die door een minimum percentage studenten zijn ingevuld (bijv. 75%)
• Niet meer anoniem evalueren. Richt wel een klachtencommissie in voor studenten die over een docent willen klagen
• Zet ook andere middelen in om de kwaliteit van het onderwijs te prijzen, te bewaken en te verbeteren. De enquete alleen is te beperkt.
• Maak de evaluaties niet meer openbaar, ook niet in de OC. Studenten gaan soms echt los op een docent
• Schrap de helft van de vragen. De meest waardevolle dingen worden toch wel in de open vragen benoemd.
• Verschuif de evaluatie naar 1 week voor het einde van het blok, als mensen hun cijfer nog niet hebben.
• Vervang de schaal van 1-5 voor 1-4 of 1-6, zodat gemakzuchtige studenten niet het middelste vakje aankruisen.
• Tel de zeer afwijkende scores niet mee.
• leer de studenten om een volwaardige beoordeling te geven, zoals wij dat ook bij hen doen

4.        Cynische opmerkingen, kanttekeningen en andere uitsmijters

‘Mogen docenten ook een keer een evaluatie geven over een groep na afloop van de cursus?’

‘De schaal van 1-5 die door SW wordt gebruikt is ongelukkig gezien studenten zijn gewent aan een 1-10 schaal.’

‘Het valt mij op dat gemiddelde in caracal wordt afgekort met “gemm”. Ik vraag mij af waar die tweede “m” vandaan komt’

‘Cursusevaluaties hebben waarschijnlijk tot inzichten geleid wie wel en niet onderwijs kunnen/dienen te geven. Fijnmaziger informatie is er m.i. niet uit te extraheren. Conclusies kan men er beter niet aan verbinden omdat dit leidt tot afname van docent affiniteit met het vak en de werkgever.’

‘Wat ik mis is hoe mijn cijfers voor toetsen en verslagen zich verhouden tot becijfering door andere docenten. Ik krijg stellig de indruk dat 1) veel docenten vaak een 8 geven (lekker makkelijk geen zeurende student en niet op het matje bij de examen commissie voor uitleg), en 2) mijn cijfers lager liggen dan die van docenten in vergelijkbare posities , 3) sommige docenten over de hele breedte van becijfering significant hoger scoren dan andere docenten. Misschien niet op zijn plaats hier maar het ontbreken van terugkoppeling op becijfering is echt een gemiste kans, zeker voor een universiteit met lijfspreuk over gerechtigheid.’

‘Het is een perverse manier om met onderwijs en wetenschap om te gaan. Studenten en docenten worden gedwongen in een markt tevredenheid toets en dit op zijn beurt maakt het onderwijs steeds armoedig.  Dit soort evaluaties maken deel uit van een algehele aftakeling van het hoge onderwijs die docenten steeds minder tijd en ruimte geven om hun taken en hun onderwijs vorm en inhoud te geven. In een klimaat van steeds hoge werkdruk, steeds precaire arbeidsomstandigheden, ondermijnen deze ‘populariteit’ evaluaties de collegialiteit in de departementen.’

‘we hebben ons nu jarenlang blind lopen staren op een nep-instrument, laten we al dat geld en die tijd beter inzetten. Er zijn immers prima instrumenten om onderwijskwaliteit te meten zonder dit malle circus.’

‘Blijf zelf nadenken en het gesprek over je onderwijs afdwingen.’

‘Ik word niet afgestraft als ik iets nieuws probeer en ik vind het resultaat van de evaluatie geen rapportcijfer. Vragen die hier over gaan heb ik dus niet ingevuld.’

‘- meteen afschaffen, en in ieder geval niet gebruiken voor wat voor beoordeling van docenten dan ook’

5.        Tot slot…

Zoals in het onderwijs ook vaak gedaan wordt, kunnen ook wij het niet laten een aantal conclusies uit deze niet-valide evaluatie te trekken:

Het gemiddelde rapportcijfer dat voor evaluaties gegeven wordt is een 4,9 (op een schaal van 10). Waarbij de faculteit Geowetenschappen zich achter de oren moet krabben met een 4,1. En Betawetenschappen een fantastiche 5,8 scoort (of zou je als docent met zo’n score op het matje worden geroepen?).

Van de 99 respondenten:

• Vindt 51% de informatie uit de evaluaties van toegevoegde waarde om hun onderwijs te verbeteren
• Krijgt 55% geen goed beeld van hun kwaliteiten als docent
• Wordt 70% niet enthousiaster over het geven van onderwijs
• Vindt 79% de informatie uit de evaluatie niet betrouwbaar
• Durft 49% geen nieuwe dingen uit te proberen, omdat ze bang zijn te worden afgestraft in de evaluatie
• Vindt 70% het een slecht idee dat in het beoordelingsgesprek hun cijfer wordt vergeleken met dat van collega’s
• Vindt 73% het geen fijn idee dat hun wetenschappelijke carrière afhangt van studenttevredenheid

En nu? Praat mee!

TAUU heeft besloten het onderwerp Cursusevaluaties serieus op te pakken. Lees Wat we gaan doen met de cursusevaluaties en laat ons weten wat jij vindt dat er moet gebeuren. Reageer op TAUU of mail ons op m.s.gelens@uu.nl of s.grotenhuis@uu.nl.

Mathil Gelens