Femke Kirschner

Gepersonaliseerd onderwijs voor studenten met misconcepties

…English version below…

Femke Kirschner (Onderwijsadvies & Training) & Fred Wiegant (Biologie)

Het onder de knie krijgen van de meer en minder ingewikkelde concepten van een specifieke discipline is een leeractiviteit waar alle studenten tijdens hun studie mee te maken krijgen. Zo ook de eerstejaars studenten van de bachelor opleiding biologie. Echter hier werd door docenten in sommige gevallen een gebrek aan begrip van belangrijke concepten of het bevatten van misvattingen ervaren. Een belangrijke observatie want dit zou kunnen leiden tot een belemmering van het leren en begrijpen van vakspecifieke kennis. Of nog erger, het kan het begrip dat nodig is voor het begrijpen van zogenaamde overgangsbegrippen hinderen terwijl deze zo belangrijk zijn voor het werken en denken als een competente professional (zie Utrecht Young Academy – presentation Onderwijsparade 2018). Belangrijk dus om zicht te krijgen op de mogelijke misconcepten van eerstejaars studenten van de bachelor opleiding biologie. Dat dacht dr. Fred Wiegant in 2016 ook in de context van het interfacultaire USO project “Differentiatie door Blended Learning and Learning Analystics” (Van Reijen & Jeuring) en initieerde een project waarin het gepersonaliseerd diagnosticeren en remedieren van misconcepten centraal stond.

Gedurende de eerste twee jaar van dit project werd geïnventariseerd hoe je bij grote groepen studenten inzicht kan krijgen in mogelijke misvattingen en/of kennislacunes op individueel studentniveau. Inzicht voor zowel de docent in de misconcepties die bij een (kleine) groep studenten zou bestaan, als voor de individuele student die inzicht krijgt in zijn eigen kennis (lacunes). De oplossing hiervoor werd gevonden in het combineren van A) bestaande gepubliceerde conceptinventarissen die misvattingen in de biologie kunnen diagnosticeren, met B) een visualisatie tool die docent en student een gedetailleerd inzicht en overzicht geeft in de uitkomsten van deze inventarisaties (zie ook een eerder blog hierover: Misconcepties effectief aangepakt bij biologie). Conceptinventarissen zijn gevalideerde meerkeuzevragen die een gedetailleerd inzicht verschaffen in hoe goed studenten verschillende aspecten van cruciale concepten beheersen en of ze specifieke misvattingen hebben (Champagne-Queloz et al. 2017; Furrow and Hsu 2019). De visualisatietool genaamd LearnLytics werd onder andere voor deze toepassing in hetzelfde USO-project ontwikkeld. De tool maakt het mogelijk om de ingevulde conceptinventarissen, op te halen, samen te voegen, weer te geven en te analyseren. Het ‘enige’ dat een docent nog hoeft te doen is de vragen in de conceptinventarissen te koppelen aan de concepten en misconcepten die centraal staan, waarna het Learnlytics-platform de sterke en zwakke punten van een student(groep) op een betekenisvolle manier kan beoordelen en weergeven. Dit weergeven kan in individuele of geaggregeerde vorm (zie ook een eerdere blog hierover: First experiences with a UU-developed learning analytics platform). De kracht van deze oplossing ligt voor Biologie docenten in de mogelijkheid om snel te kunnen bepalen welke studenten met misconcepten worstelen (diagnosticeren), om deze groep vervolgens extra informatie en kennis aan te bieden om de misconcepten te verhelpen (remediëren). Voor studenten ligt de kracht in het vroege stadium waarop ze inzicht krijgen in hun kennis hiaten en hoe deze zich verhoudt tot de rest van de studentengroep/cohort (figuur 1). Ze krijgen hiermee in een vroeg stadium de mogelijkheid om deze formatieve feedback in hun voordeel te gebruiken en remediëring activiteiten te ontplooien. Het gevolg is gepersonaliseerd onderwijs voor studenten met misconcepties.

Remediering kan op veel manieren. Er kan door een docent extra aandacht aan bepaalde concepten worden besteed in (werk)colleges, er kan extra informatie worden aangeboden die zowel de concepten als misvattingen behandelt, er kunnen extra opdrachten worden verstrekt waarmee studenten zelf aan de slag moeten (refutational text; Tippett, 2010), of er kunnen bijeenkomsten worden georganiseerd waarbij docenten en studenten met elkaar in gesprek gaan. Waarvoor gekozen wordt hangt af van de hoeveelheid tijd die besteed kan worden en de hardnekkigheid waarmee misvattingen blijven bestaan. In het huidige facultaire USO project “Towards personalised education; from diagnosing concept knowledge towards remediation of misconceptions” is gekozen om remediering te organiseren met behulp van specifieke factsheets over (mis)concepten, kennisclips, extra uitleg, opdrachten en korte oefenvragen. Hiermee krijgen studenten een eerste mogelijkheid om met hun misvattingen aan de slag te gaan. Deze informatie is geïntegreerd in het LearnLytics platform aangeboden, gebruik is facultatief en alle studenten, dus ook die zonder misvattingen, kunnen er gebruik van maken.

Het klinkt allemaal heel mooi, maar hoe werkt het in de praktijk? Afgelopen collegejaar is de koppeling van de conceptinventarissen aan het LearnLytics platform ingezet tijdens een eerstejaars cursus, welke vervolgens is geëvalueerd middels een focusgroep. De eerstejaars cursus was een keuzevak voor BMW studenten (n=29). In totaal hebben de studenten over een periode van 3 weken een 6-tal conceptinventarissen (formatieve multiple choice toetsen) ingevuld. Alle studenten hadden de mogelijkheid om deze multiplechoicevragen in Remindo (d.i., een digitale toetsomgeving) te maken. Dit konden ze thuis doen middels een toegestuurde inlogcode en ze hadden er 24 uur de tijd voor. In sommige gevallen was de toets gelinkt aan een hoorcollege en konden studenten kiezen deze voor of na het hoorcollege te maken. Het maken van de formatieve toetsen was vrijwillig. Na het maken van de toets kregen de studenten geen gespecificeerde feedback over of vragen goed/fout beantwoord waren. Hoewel Remindo de mogelijkheid biedt om meer gespecificeerde feedback te geven is er expliciet voor gekozen deze informatie een dag later in LearnLytics aan te bieden. De belangrijkste componenten van de LearnLytics omgeving waren:

1. Een visualisatie van de mate van mogelijke misvattingen over getoetste concepten, in een zogenaamd spinnenweb structuur (zie figuur 1). Elke spaak van het spinnenweb staat voor een concept dat in de vragenlijst aan bod is gekomen en waarover misvattingen zouden kunnen bestaan. Is het spinnenweb volledig gevuld (blauw) dan is de conceptkennis volledig en zijn er waarschijnlijk geen misvattingen. Blijven er delen oningevuld dan kunnen er over deze onderwerpen wellicht misvattingen bestaan. In de figuur zijn de misvattingen in rood weergeven. Je kan in de visualisatie je eigen score maar ook die van de rest van de klas en een benchmark zien. Dit maakt het mogelijk om jezelf met anderen te vergelijken.
2. Correctieve feedback (d.i., goed/fout) op de multiplechoice vragen, als ook een indicatie van de concepten die met de vragen getoetst werden. Dit werd in een overzicht aangeboden van concepten en misconcepten waar je het hoogst en het laagst op scoort.
3. Remediërend materiaal in de vorm van hyperlinks naar factsheets over (mis)concepten, kennisclips, extra uitleg, opdrachten en korte oefenvragen

Figuur 1: Overzicht (print-screen) van informatie op de openingspagina. Welke concepten de hoogste en laagste scores hadden in de groep (midden) en een spinnenweb van gemiddelde scores op de hoofdconcepten plus de gemiddelde score van de groep op de verschillende misconcepten (rechts)

In een focusgroep (1 week na de eerste summatieve toets in week 5 van de cursus) is met een groep van 9 studenten besproken hoe ze het maken van formatieve toetsen (concept-inventarissen), het bestuderen van het Learnlytics-platform, en het bestuderen van het remediërend materiaal hadden ervaren. Belangrijke bevindingen uit de focusgroep zijn de volgende:

• Wat betreft de conceptinventarissen vonden studenten die enige moeite hadden met deconcepten die aangeboden werden gedurende de cursus, het fijn om een extra mogelijkheid te hebben om hun kennis te toetsen (zelf-diagnose). Echter, omdat directe correctieve feedback in Remindo ontbrak en pas een dag later in het Learnlytics-platform werd aangeboden werd het zelf-diagnosticeren (inzicht krijgen in kennis hiaten) en de stap die zou moeten volgen namelijk zelf-remediering (weten welke kennis je moet bijspijkeren) bemoeilijkt.
• Studenten hebben het LearnLytics-platform wisselend bezocht en gebruikt (tussen 1-9 keer). De meeste hebben de omgeving vlak voor het tentamen bezocht en gekeken naar de correctieve feedback op de multiplechoicevragen uit de conceptinventarissen en de bijbehorende concepten. Studenten vinden dat dit hen meer inzicht heeft gegeven in hun misconcepten (zelf-diagnose), hiervan hebben geleerd (zelf-remediering) omdat het goede aandachtspunten voor het leren van het tentamen gaf. Het spinnenweb gaf de mogelijkheid om zowel even vluchtig te kijken naar de resultaten van de conceptinventarisaties, als in meer detail naar de gegevens die achter de visualisatie lagen. Dit laatste werd over het algemeen alleen voor het tentamen gedaan.
• Degene die die het remediërende materiaal kon vinden heeft het ook gebruikt. Deze zijn in meer en mindere mate bestudeerd en als nuttig ervaren. Degene die meer tijd hebben gestoken in het bestuderen vonden het materiaal nuttiger.

De focusgroep maakt duidelijk dat de studenten het gepersonaliseerde onderwijs dat op deze manier wordt aangeboden waarderen en het gebruiken, maar ook dat er nog ruimte is voor verbetering. Zo zijn studenten het er unaniem over eens dat het veranderen van het moment waarop ze correctieve feedback krijgen naar gelijk na het maken van de multiplechoicevragen van hun conceptinventarissen het zelf-diagnosticerende en remediërende effect zou verhogen. Op dit moment ligt het moment waarop studenten de formatieve toets maken en het moment waarop ze hun antwoorden in detail bekijken ver uit elkaar. Soms zitten er dagen tussen, maar soms weken. Hierdoor zeggen studenten dat veel mogelijkheden tot leren verloren gaan: ze raken hun overdenkingen en twijfels die ze hebben wanneer ze de toets maken kwijt, ze missen kansen om concrete vragen aangaande de toets tijdens het hoorcollege te stellen, en lang blijft onduidelijk welke kennis ze eigenlijk echt nog niet goed beheersen. Ook studenten die na een dag naar de LearnLytics omgeving gaan, geven aan dat dit eigenlijk te laat is omdat je dan niet meer in ‘de context’ zit, of moeite moet doen om daar weer in te komen. Het gebruik van twee systemen, Remindo en LearnLytics, maakt de realisatie van dit verbeterpunt echter moeilijk. In het LearnLytics-platform zelf kan volgens de studenten beter meer dan alleen correctieve feedback worden gegeven. Je krijgt een goed/fout en een koppeling aan een misconcept maar vervolgens moet je zelf op zoek naar het juiste antwoord en de koppeling met het misconcept. Studenten blijven zitten met vragen als: Waarom is het antwoord op mijn vraag fout en waarom is het gekoppeld aan een specifiek misconcept? Daarnaast zou het remediërende materiaal op een meer prominente plek aangeboden moeten worden zodat het makkelijk vindbaar is.

Belangrijk om te vermelden is dat de activiteiten die in het kader van gepersonaliseerd onderwijs voor studenten met misconcepten zijn ontplooit er (nog) niet toe hebben geleid dat het gemiddelde cijfer van de studenten is verbeterd ten opzichte van voorgaande cursussen. Dit roept de vraag op of de studenten met mogelijke misconcepten eigenlijk wel voldoende zijn geïdentificeerd en bereikt. Om hier meer zicht op te krijgen zou het vaker ingezet moeten worden en in meer detail onderzocht moeten worden waarbij rekening wordt gehouden met bovenstaande aanbevelingen.

Voor meer informatie over dit project kan je contact opnemen met Fred Wiegant (F.A.C.Wiegant@uu.nl) (Biologie) of met Sergey Sosnovsky (s.a.sosnovsky@uu.nl) (Informatica).

Lees de informatie over de projectaanvraag en de eindrapportage in de Educational Database.

Referenties:

Champagne-Queloz A, Klymkowsky MW, Stern E, Hafen E, Kohler K. Diagnostic of student’s misconceptions using the Biological Concepts Instrument (BCI): A Method for conducting an Educational Needs Assessment. PLoS ONE 2017; 12(5): e0176906.

Furrow RE and Hsu JL. Concept inventories as a resource for teaching evolution. Evolution: Education and Outreach 2019; 12:2

Tippett CD. (2010). Refutation text in science education: A review of two decades of research. International Journal of Science and Mathematics Education, 2010; 8(6): 951-970.

——————English version—————-

Personalised education for students with misconceptions

Mastering the basic and the more advanced concepts of a specific discipline is a learning activity which all students will face in their educational career; first year students of the Biology Bachelor’s programme are no exception to this. However, lecturers noted that a few students had a lack of understanding of core concepts or had misconceptions about those core concepts. An important observation, as this could lead to an impediment in learning programme-specific knowledge. Worse still, it could result in not understanding the so-called ‘threshold concepts’ even though these are so essential to functioning as a competent professional (see Utrecht Young Academy – presentation Onderwijsparade 2018). As such, it is important to get a comprehensive view of the potential misconceptions of first year students in the Biology Bachelor’s programme. Dr. Fred Wiegant was of the same opinion in 2016 in the context of the interfaculty USO-project “Differentiation through Blended Learning and Learning Analytics” (Van Reijen & Jeuring, “Differentiatie door Blended Learning and Learning Analytics”) and initiated a project which focussed on the diagnosing and remediation of misconceptions on a personal level.

The first two years of this project focussed on identifying ways of gaining insight into the potential misconceptions and/or knowledge gaps for large groups of students on an individual student level. Insight for the lecturer into the misconceptions that exist in (small) groups of students, but also for the student who gains insight into their own knowledge (gaps). The solution was found in combining A) existing published concept inventories, with B) a visualisation tool which provides the lecturer and the student with a detailed insight into, and overview of the results of these inventories.  Concept inventories are validated multiple choice questions which provide a detailed insight into how well students have mastered the different aspects of crucial concepts and if they have specific misconceptions (Champagne-Queloz et al. 2017; Furrow and Hsu 2019). The visualisation tool LearnLytics was developed for, among other things, this application in this USO-project. The tool enables the user to collect, collate, display, and analyse the completed concept inventories. The only thing a teacher has to do is link the questions in the concept inventory to the concepts and misconceptions, after which the LearnLytics-platform can display the strong, and weak points in a student (group)’s knowledge in a meaningful way. This visualisation can be on an individual, or in aggregated format (see also an earlier blog: First experiences with a UU-developed learning analytics platform).  For Biology lecturers, the strength of this solution is found in the ability to quickly determine which students struggle with misconceptions (diagnosis), to subsequently be able to provide this group with extra information and knowledge to remediate these misconceptions (remediation). For students, the strength lies in the early phase in which they can get insight into their knowledge gaps and how this compares to the rest of the student group/cohort (see figure 1). With this, they are provided with an opportunity to use this formative feedback in their advantage and use remedial activities. This results in personalised education for students with misconceptions.

Remediation can happen in many different forms. A lecturer can put extra focus on specific concepts in lectures/tutorials, extra information can be provided covering both the concepts and the misconceptions, extra assignments can be provided to students (refutational text; Tippet, 2010), or meetings can be held in which lecturer and student can discuss the issues. Which option is chosen depends on the amount of available time and the persistence of the misconceptions. In the current faculty USO-project “Towards personalised education; from diagnosing concept knowledge towards remediation of misconceptions” the choice has been made to organise remediation with the use of specific factsheets on the concepts and misconceptions, knowledge clips, extra explanation, assignments, and short practice questions. This provides students with their first opportunity to remediate their misconceptions. This information is provided in an integrated format in the LearnLytics-platform, use is faculty wide, and all students, including those who do not have any misconceptions, are able to use the platform.

While all of this sounds very nice, how does this work in practice? Last year, the combination of concept inventories and the LearnLytics-platform has been employed in a first year’s course, which was subsequently evaluated by means of a focus group. The first year’s course was an optional course for BMW students (Biomedical Sciences, Dutch taught) (n=29). In total, students have filled in 6 concept inventories (formative multiple-choice tests) over the span of three weeks. All students had the opportunity to answer these questions in Remindo (a digital testing environment).  This could be done at home by means of a login code sent to them and they had 24 hours to fill it in. In some cases, the test was linked to a lecture and students could indicate if they wanted to fill in the test before, or after the lecture. Filling in the formative tests was voluntary. After filling in a test the students did not receive specific feedback on whether questions were answered (in)correct. Even though Remindo has the option of providing more specific feedback, the choice was made to provide this a day later in LearnLytics. The most important components in the LearnLytics-environment were:

1. A visualisation of the level of potential misconceptions on the tested concepts in a spiderweb graph (see figure 1). Each spoke of the spiderweb represents a concept found in the concept inventory and on which students may have misconceptions. If the spiderweb is fully coloured (blue), then the knowledge of the concepts is complete and there are likely no misconceptions. If parts remain uncoloured, there may be misconceptions about the concept. In the figure, misconceptions are filled in with red. It is possible to see your own score, but also the group score and a benchmark score, thus enabling comparison with peers.
2. Corrective feedback (i.e., correct/incorrect) for the multiple-choice questions, as well as an indication which of the concepts were tested with the questions. This was provided in a summary of the concepts and misconceptions on which you scored highest and lowest.
3. Remediating material in de form of hyperlinks to factsheets on concepts and misconceptions, knowledge clips, extra explanation, assignments and short practice questions.

Figure 1: Summary (print-screen) of information on the landing page. Which concepts scored highest and lowest in the group (centre) and a spiderweb graph of average scores on the core concepts plus the average score of the group on the different misconceptions (right)

A focus group of 9 students (1 week after the first summative test in week 5 of the course), discussed the experience of the students with the formative tests (concept inventories), the studying of the LearnLytics-platform, and the studying of the remedial material. Important findings from this group are as follows:

• Concerning the concept inventories, students who had some trouble with the course indicated that they liked the extra opportunity to test their knowledge (self-diagnosis). However, because direct corrective feedback was not provided in Remindo but a day later on the LearnLytics-platform, self-diagnosis (gaining insight in knowledge gaps) and the subsequent step of self-remediation (knowing which knowledge you need to spend more time on) was hindered.
• Students visited and used the LearnLytics-platform with varying frequency (between 1 and 9 times). Most visited the environment just before the exam and viewed the corrective feedback on the multiple-choice questions and their corresponding concepts. Students indicate that this provides them more insight into their misconceptions (self-diagnosis), and that they have learned something by doing so (self-remediation) because it provided them with good focus points for studying for the exam. The spiderweb graph provided both an opportunity for a quick glance at the results as well as a more detailed insight into the data behind the visualisations. The latter tended to only be done just before the exam.
• Those who could find the remedial material also used it. These have been used in varying degrees and, equally, found useful to varying degrees. Those that invested more time into the material also found it more useful.

The focus group indicates that students value and use personalised education provided in this manner. There is however still room for improvement. For instance, students unanimously agreed that the moment of providing the corrective feedback should be changed to immediately after making the multiple-choice questions of the concept inventories; this would increase the self-diagnosing and self-remediating effect. Currently, the moment of testing and the moment of being able to view the answers in detail are relatively far apart; sometimes this is days apart, but it can also be weeks apart. As such, students indicate, that many learning opportunities are lost: they lose track of the thoughts and doubts they had while making the test, they miss opportunities to ask concrete questions on the test during lectures, and there is a long period of uncertainty as to which knowledge they don’t fully grasp.  Students who visit LearnLytics after a day also indicate that this is too late, and that they are no longer ‘in the context’, or it is very hard to get back into it. Using two systems, Remindo and LearnLytics, hinders the realisation of this point for improvement. According to students, it is better to provide more than just the corrective feedback in the LearnLytics-platform. A student is only provided with a correct/incorrect and a link to the misconception, as such, the student must look for the correct answer and its connection to the misconception on their own. Students are left with questions such as: Why is my answer to the question wrong, and why is this linked to a specific misconception? It would also help if the remedial material was presented in a more prominent and easier to find location.

It is important to note that the activities used in lieu of personalised education for students with misconceptions have not (yet) resulted in an improved average mark as compared to previous courses. This raises the question whether the students with misconceptions have been adequately identified and reached. To gain more insight into this further research and more uses of this system are needed, while keeping the recommendations above in mind.

For more information on this project please contact Fred Wiegant (F.A.C.Wiegant@uu.nl) (Biology) or Sergey Sosnovsky (s.a.sosnovsky@uu.nl) (Informatics).

References:

Champagne-Queloz A, Klymkowsky MW, Stern E, Hafen E, Kohler K. Diagnostic of student’s misconceptions using the Biological Concepts Instrument (BCI): A Method for conducting an Educational Needs Assessment. PLoS ONE 2017; 12(5): e0176906.

Furrow RE and Hsu JL. Concept inventories as a resource for teaching evolution. Evolution: Education and Outreach 2019; 12:2

Tippett CD. (2010). Refutation text in science education: A review of two decades of research. International Journal of Science and Mathematics Education, 2010; 8(6): 951-970.

Femke Kirschner