Marije Goudriaan

Kunnen en moeten we studievertraging voorspellen?

Hoe zet je op een verantwoorde manier een dashboard voor studieadviseurs in dat gebruikt maakt van voorspelmodellen, zodat de studieadviseurs studenten die dreigen uit te vallen of het risico lopen om studievertraging op te lopen vroegtijdig kunnen helpen? Je zou kunnen denken dat dat een uitstekende vraag is. Zeker nu, omdat de Nederlandse overheid een boete wil invoeren voor studenten die er langer dan nominaal over doen om hun bachelor- of masterstudie af te ronden.

Onlangs is ons artikel over dit onderwerp gepubliceerd in het tijdschrift Computers and Education: Artificial Intelligence. In dit artikel richten we ons op hoe het dashboard is ontwikkeld en welke stappen en overwegingen een rol hebben gespeeld bij het verantwoord inzetten van een tool die gebruik maakt van kunstmatige intelligentie (AI) in een onderwijsomgeving.

Inleiding

Een belangrijke taak van studieadviseurs aan de Universiteit Utrecht (UU) is het begeleiden van studenten die dreigen uit te vallen of een risico lopen op studievertraging. Studievertraging kan negatieve gevolgen hebben, zoals het krijgen van een financiële boete (als onze regering haar zin krijgt).

De studieadviseurs aan de UU hebben een groot aantal studenten onder hun hoede en ervaren een hoge werkdruk. AI-systemen die studievertraging kunnen voorspellen, hebben de potentie om studieadviseurs te helpen bij het verminderen van de werkdruk. Bovendien kunnen dit soort systemen het makkelijker maken om in een vroeger stadium contact op te nemen met studenten die vertraging dreigen op te lopen.

Team learning analytics (LA) heeft met twee faculteiten samengewerkt om te onderzoeken of we studievertraging kunnen voorspellen om zo studieadviseurs zinvol inzicht te geven in het studievoortgang van studenten. Voor deze pilot hebben we gebruik gemaakt van ons LA stappenplan om een verantwoorde verwerking van studentgegevens te waarborgen. Onderdeel van dat proces is het in kaart brengen van de visies van alle betrokken stakeholders en het uitvoeren van een privacyscan om het risiconiveau van het project te bepalen.

Voor- en nadelen van voorspelmodellen

Dit project, waarbij persoonsgegevens worden verwerkt, was aanleiding voor een grondige verkenning van de perspectieven van alle stakeholders, waaronder studenten, studieadviseurs en privacy officers. Team LA hield interviews en focusgroepen met deze stakeholders. De zorgen van de stakeholders konden worden gegroepeerd in zorgen over gegevensbeheer, algoritmen en implicaties voor het onderwijs.

De stakeholders waren het eens over de risico’s van het gebruik van persoonsgegevens en de noodzaak van de naleving van de GDPR, waarbij de nadruk lag op geautoriseerde toegang tot de gegevens en voorspellingen en het recht van studenten om af te zien van de voorspellingen.

De bezorgdheid over het algoritme betrof mogelijke bias van het algoritme en de behoefte aan menselijk toezicht (human in the loop). Daarom werden voorbereidende sessies met de studieadviseurs gehouden om de voorspellingen en het gebruik van het dashboard te verduidelijken.

Pedagogisch gezien liepen de perspectieven uiteen; terwijl studieadviseurs het dashboard als een ondersteunend hulpmiddel zagen, maakten studenten zich zorgen over het effect op de relatie tussen student en studieadviseurs. Bovendien maakten de studenten zich zorgen over het gelabeld worden als  “at risk” en wat de gevolgen daarvan zouden kunnen zijn. Alle stakeholders waren het erover eens dat de communicatie naar de studenten zorgvuldig en ondersteunend moest zijn, en dat er een evaluatieplan moest komen om het project periodiek te monitoren en zo nodig aan te passen.

Op basis van de privacy scan werd er een Data Protection Impact Assessment (DPIA) uitgevoerd. De conclusie van de privacy officers was dat de potentiële voordelen voor studenten zwaarder wogen dan de privacy zorgen, mits de voorgestelde mitigerende maatregelen zouden worden geïmplementeerd. Het project werd goedgekeurd en kon worden geïmplementeerd. 

Resultaten van de pilot

Het voorspelmodel werd omgezet in een dashboard voor studieadviseurs en gedurende negen maanden gebruikt in de praktijk. Aan het einde van deze periode hebben we de pilot geëvalueerd met de studieadviseurs. We hebben waardevolle lessen geleerd uit dit project, met name over de factoren die een rol spelen bij het succesvol implementeren van LA projecten in het algemeen.

Wat het ontwerp van het dashboard betreft: de studieadviseurs vonden het dashboard aanvankelijk overweldigend en stelden verbeteringen voor, zoals aanpasbare ontwerpfuncties.

Wat betreft de data die de input vormden voor de voorspellingen, maakten we gebruik van studieresultaten, maar niet van data op cursusniveau bijvoorbeeld. De studieadviseurs gaven aan dat het baseren van de voorspellingen op een bredere dataset zou helpen om de bruikbaarheid te verbeteren. Maar zelfs met deze eerste dataset ondervonden sommige studieadviseurs problemen bij het interpreteren van de voorspellingen, vooral wanneer de voorspellingen in tegenspraak waren met bestaande informatie over studenten (bijvoorbeeld een student die op schema lag, maar waarvan toch werd voorspeld dat hij risico liep op vertraging op basis van andere of een combinatie van verschillende factoren).

Verder varieerde hun mening over voorspelmodellen; sommigen waren sceptisch, terwijl anderen openstonden voor verrassingen. Sommige studieadviseurs gaven aan dat ze door het dashboard nieuwe inzichten hadden gekregen over studenten en hun mogelijke behoefte aan ondersteuning.

Tot slot speelden ook institutionele factoren een rol, zoals een hoge ervaren werkdruk waardoor er onvoldoende tijd was om met het dashboard te leren werken en het dashboard goed te testen.

Conclusie

De pilot leidde tot waardevolle inzichten in de mogelijkheden van data-geïnformeerd werken in het onderwijs. Op basis van de uitkomsten van deze pilot denken wij dat het onderzoeken van LA als onderdeel van de toolkit voor studentondersteuning een waardevolle weg vooruit is. Het identificeren van studievertraging en de factoren die dit veroorzaken zou niet alleen studieadviseurs kunnen informeren, maar bijvoorbeeld ook opleidingsdirecteuren. Zij zouden op basis van dit soort informatie het curriculum kunnen aanpassen indien nodig. Op instellingsniveau zou onze aanbeveling zijn om verder te investeren in dit soort innovatie en in de benodigde faciliteiten, waaronder datageletterdheid voor alle medewerkers en studenten. Ook investeren in het verder ontwikkelen van de nauwkeurigheid van voorspelmodellen is belangrijk voor de toekomst.

We hopen dat deze blog inzicht geeft in hoe LA-projecten aan onze universiteit worden geïnitieerd en hoe we samenwerken met verschillende belanghebbenden om een verantwoorde verwerking van studentgegevens te garanderen.

Wil je meer lezen?

• We hebben onlangs een wetenschappelijk artikel over dit project gepubliceerd, zie hier.
• Zie de projectpagina voor een samenvatting van het project op de UU-website.   

Marije Goudriaan