Marije Goudriaan

Nieuwe learning analytics projecten bij de UU

Terwijl veel collega’s op vakantie waren in juli en augustus heeft team learning analytics (LA) hard doorgewerkt. Want, in het komende academiejaar zullen er drie LA projecten starten binnen de Universiteit Utrecht (UU). Daar moesten de nodige voorbereidingen voor getroffen worden. Denk bijvoorbeeld aan het ontwerpen van de LA applicaties. Maar we moesten er ook voor zorgen dat de privacy van de betrokkenen niet geschonden zou worden, niet onbelangrijk!

Voor een compleet overzicht van de stappen die we nemen voordat een LA project kan starten, verwijzen we naar onze LA roadmap. Inmiddels zijn we er bijna klaar voor en willen we jullie graag laten welke LA projecten er gaan starten.

Het docentendashboard.

Het doel van dit project is om (in bijna real-time) cursusmateriaal aan te passen aan wat de studenten op dat moment nodig hebben. Hiervoor is een dashboard ontwikkeld dat de voortgang van studenten en hoe ze het aangeboden cursusmateriaal gebruiken visualiseert. Deze informatie komt uit het learning management system (LMS) Blackboard. Denk hierbij aan of studenten hebben ingelogd op Blackboard en wanneer ze het aangeboden cursusmateriaal hebben gebruikt.

Eerder onderzoek heeft aangetoond dat de mate waarin studenten actief zijn in een LMS, gerelateerd is aan of studenten een cursus goed afronden (Lust et al., 2013; Jovanovic et al., 2017). Studenten die weinig actief zijn in de LMS in de eerste paar weken van een cursus lopen een hoger risico om de cursus niet te halen (Pardo et al., 2018; Van Leeuwen et al., 2019). Eerdere pilots met LA (Van Leeuwen, 2019) hebben laten zien dat analyse op groepsniveau alleen onvoldoende informatie oplevert om goed op te kunnen handelen. Daarom willen we in dit project de analyses op groepsniveau uitbreiden met analyses op individueel niveau.

In het komend academiejaar zullen twee docenten binnen een cursus van de faculteit Beta in de opleiding Farmaceutische wetenschappen het dashboard testen. Meer informatie is te vinden op de LA project pagina.

Course evaluation dashboard (DACE)

In 2021 is de keuze gemaakt om Caracal als universiteit breed evaluatiesysteem te gaan gebruiken. Hiervoor was een technische herontwikkeling van het systeem noodzakelijk. Hieraan voorafgaand is er binnen de faculteiten geïnventariseerd welke behoeften rondom evalueren nodig waren.  Uit de gesprekken met diverse stakeholders bleek dat naast de uitkomsten van Caracal, ook behoefte was aan proces- en beleidsinformatie, informatie over (student)ervaringen, verbetermogelijkheden en onderwijskwaliteit. Daarnaast zijn ook genoemd: panelgesprekken, kengetallen, toetsanalyses, briefwisselingen met de opleidingscommissie, reflectie door de docent en ongevraagde feedback. Door meerdere bronnen in samenhang te bekijken wordt krijgt men een rijker en completer beeld van het onderwijs.

Het voorstel in het adviesrapport was dan ook om een platform af te nemen of te ontwikkelen dat dienstdoet als dashboard en waarin verschillende informatiebronnen samengebracht zijn. Aan dit platform kunnen stapsgewijs steeds meer bronnen gekoppeld worden, waardoor het volledige kwaliteitszorgdossier van een onderwijseenheid (zoals een cursus, of opleiding) bij elkaar bewaard wordt. Zo kan de informatie over dat betreffende onderwijs in samenhang worden bekeken.

In dit project wordt een eerste pilot gestart met zo’n platform: het Dashboard for Course Evaluation (DACE) met de volgende kernfunctionaliteiten: 1) visualisaties van Caracal evaluaties, 2) visualisaties van studentenactiviteit in het learning managementsysteem (LMS), 3) historisch verloop, en 4) een koppeling naar aantekeningen en andere documenten.

In het komend academiejaar zullen de cursuscoördinatoren van een cursus in de faculteit sociale wetenschappen, opleiding onderwijswetenschappen, het dashboard uitproberen. Voor meer informatie, verwijzen we naar de LA project pagina.

Het F-ACT dashboard

Het F-ACT dashboard is speciaal ontwikkeld om in te spelen op individuele verschillen in academische schrijfvaardigheden en ondersteuningsbehoeften tussen studenten. Er zijn verschillende voorbeelden van competentiedashboards voor studenten beschikbaar in de literatuur die het nut van dergelijke dashboards aantonen (Villamane et al, 2018; Nussbaumer et al, 2015;Grann & Bushway, 2014). Zo zijn er bijvoorbeeld aanwijzingen dat studenten die een competentiedashboard gebruiken, competenties op een hoger niveau laten zien en vaker in hun studieprogramma afronden (Grann & Bushway, 2014).

Het doel van het F-ACT dashboard is het ondersteunen van de ontwikkeling van academische schrijfcompetenties van studenten, en studenten eigenaarschap geven van feedbackpraktijken en hoe ze studeren. Het F-ACT dashboard is beschikbaar over meerdere vakken, zodat de competentieontwikkeling over een langere periode gevolgd kan worden.  Het dashboard verzamelt alle ontvangen beoordelingen en feedback overzichtelijk op één plek en laat zien op welke competenties en gerelateerde vaardigheden een student hoog en laag scoort. Zo weten studenten wat ze goed doen en waar ze meer aandacht aan moeten besteden. Daarnaast geeft het F-ACT dashboard per vaardigheid een aantal suggesties voor bronnen (zoals websites, video’s en artikelen) die de studenten kunnen raadplegen. Het dashboard is dus specifiek ontwikkelt voor studenten, in tegenstelling tot het docentendashboard en DACE.

In het vorige academische jaar (2023 – 2024) hebben we een pilot gedraaid waarin we het F-ACT dashboard technisch hebben gerealiseerd. Verder hebben we input gekregen van studenten en docenten over de bruikbaarheid van het F-ACT dashboard. Deze feedback is gebruikt om een nieuwe versie van het F-ACT dashboard te maken. Deze nieuwe versie wordt in dit academische jaar (2024 – 2025) geïntroduceerd. 

Het project loopt in de premaster en bachelor programma’s van de opleiding pedagogische wetenschappen (faculteit sociale wetenschappen). Meer informatie is te vinden op de LA projectpagina van het F-ACT dashboard.

Interesse in learning analytics?

Mochten jullie nu inspiratie hebben gekregen voor jullie eigen LA project, neem dan gerust contact met ons op via learninganalytics@uu.nl

Marije Goudriaan