Filter
ChatGPT Learning analytics blueprint: in 6 stappen aan de slag met onderwijsdata
Learning analytics lijkt op het eerste gezicht een droomoplossing voor allerlei uitdagingen in het onderwijs. Door educatieve data slim te combineren en te analyseren krijgen lerenden inzicht in hun eigen leerproces, kunnen docenten optimaal gepersonaliseerd onderwijs aanbieden en krijgen bestuurders realtime inzicht in de rendementen van hun opleidingsinstituut. Het realiseren van de gedroomde learning analytics-toepassing is echter niet eenvoudig. De combinatie van technologische uitdagingen, didactische en ethische issues en de vraag hoe dit op succesvolle, duurzame wijze in de dagelijkse onderwijspraktijk geïmplementeerd kan worden, vereist een multidisciplinaire aanpak. Wij ontwikkelden daarom een model waarmee op systematische wijze nagedacht kan worden over de verschillende elementen in de ontwikkeling van learning analytics-toepassingen.
Uit de kinderschoenen
De ontwikkelingen in data-analyse gaan razendsnel. Door de enorme hoeveelheid query’s op Google slim te analyseren weten we tegenwoordig wat we gaan stemmen en hoe griepepidemieën zich ontwikkelen. Het menselijk genoom analyseren we tegenwoordig in een week in plaats van in tien jaar. Toen de digitaliseringstrend ook het onderwijs begon te veroveren, vormden de data die gegenereerd werden in digitale leeromgevingen vanzelfsprekend een interessante mogelijkheid om het leerproces met slimme data-analyses te ondersteunen.
Met name in de Verenigde Staten en later ook in Europa ontstonden vanuit die gedachte diverse learning analytics -rojecten. Op basis van eenvoudige registraties, zoals de hoeveelheid tijd die een lerende doorbrengt in een digitale leeromgeving (zie bijvoorbeeld het SNAPP-project) kunnen behoorlijk accurate voorspellingen gedaan worden over het studiesucces. Het Amerikaanse Desire2Learn probeert een stap verder te gaan door ook te kijken naar studenten die niet zozeer gevaar lopen, maar die door gebrek aan motivatie onderpresteren.
Op dit moment ontstaat vanuit de ervaring met deze (relatief) kleinschalige projecten de behoefte aan een grootschaliger aanpak, waarbij steeds meer data worden gecombineerd in krachtigere tools voor lerenden en hun docenten, maar ook voor bijvoorbeeld bestuurders, beleidsmakers en producenten van leermiddelen. Een interessant, maar complex idee, dat vele vragen oproept over onder meer privacy, regelgeving, data-interpretatie en standaardisering. Het ontwikkelen van een dergelijke krachtige learning analytics-toepassing vraagt dan ook om een bezinning alvorens te beginnen.
Blueprint-model
Om goed beslagen ten ijs te komen bij het ontwikkelen van een learning analytics-toepassing hebben wij een model ontwikkeld (zie afbeelding) dat de verschillende datagerelateerde elementen van learning analytics in kaart brengt. Dit model maakt het mogelijk om op systematische wijze over de ontwikkeling van een nieuwe toepassing na te denken. Het beschrijft het proces van learning analytics in zes stappen, die we hieronder in meer detail zullen bespreken: dataverzameling, data-opslag en -beheer, data-operationalisatie, data-analyse, data-interpretatie en -gebruik en tot slot data-output.
Stap 0: de kernvraag
Voordat de onderstaande datagerelateerde stappen doorlopen worden, moet er stilgestaan worden bij de “waarom?”-vraag. Waarom is het nodig om iets te veranderen in de onderwijscontext? Welke problemen moet het oplossen? Pas daarna komt de vertaalslag naar hoe de benodigde verandering bereikt kan worden en met welke toepassing. Als deze uitgangspunten helder zijn, kan overgegaan worden naar stap 1.
Stap 1: dataverzameling
De learning analytics tool wordt gevoed door data. Maar om wat voor data gaat het dan? Op dit moment gaat het meestal om gegevens uit de digitale leeromgeving en het Leerlingvolgsysteem, zoals de bestede tijd en activiteit van de lerende en de behaalde cijfers. Sociale media en games kunnen eveneens ontzettend veel data opleveren. Maar ook uit de fysieke omgeving kan data verzameld worden, bijvoorbeeld met sensoren, RFID en videocamera’s, of eenvoudigweg door handmatige invoer door bijvoorbeeld de docent, een ouder of de lerende zelf.
Ook kan er onderscheid gemaakt worden tussen formele en informele leerprocessen en ‘harde’ data (zoals tijdsbesteding per opdracht) en ‘zachte’ data (zoals de wijze waarop leerlingen met elkaar of met docenten communiceren). De keuze voor de te verzamelen data en het analyseniveau van de data is zeer bepalend voor de effectiviteit van de tool.
Stap 2: data-opslag en -beheer
Al deze data worden – veelal nog op verschillende plekken – opgeslagen en beheerd om het vervolgens te kunnen verwerken. Omdat het hier gaat om persoonsgebonden data, is het van belang dit zorgvuldig te doen. Daarnaast spelen hier zeer belangrijke vragen met betrekking tot privacy en data-eigenaarschap. Van wie zijn de data die (via verschillende bronnen) verzameld worden? Hoe kunnen we de privacy van de lerenden garanderen? Hoe waarborgen we veiligheid? Dat zijn de vragen om bij stil te staan bij deze stap.
Een van de grote vragen hierbij is in hoeverre data door andere partijen gebruikt mag worden maar ook de mate waarin de data geaggregeerd en geanonimiseerd wordt. Dat wil niet zeggen dat het nodig is om data altijd op een en dezelfde manier te bewaren, in te zetten en te delen. Een flexibele benadering van het beheer van data voor verschillende doeleinden, volgens het principe van ‘privacy by design’ waarbij de privacy bewaakt kan worden zonder dat dit direct ten koste gaan van functionaliteiten, zou hierin verder onderzocht moeten worden.
Stap 3: data-operationalisatie
De operationalisatie is van groot belang om verschillende typen data (mogelijk van verschillende bronnen en in verschillende formats aangeleverd) te kunnen analyseren. Bijvoorbeeld door data om te zetten naar een uniform format en door het toevoegen van metadata (data over data, bijvoorbeeld de datum waarop iets verzameld is). Hier speelt ook (open) standaardisatie en interoperabiliteit tussen verschillende systemen een rol. Als learning analytics breder geïmplementeerd zal worden in het onderwijs, is het op termijn van belang dat verschillende learning analytics-toepassingen compatibel zijn.
Stap 4: data-analyse
De analyse zelf kan een combinatie van verschillende technieken zijn zoals bijvoorbeeld tekstmining, sentimentmining, statistische analyse en patroonherkenning. De wijze waarop de analysemethode – of combinatie van methoden – vorm krijgt is van groot belang, omdat de output van de analyse belangrijke en mogelijk sturende input kan zijn voor de keuzes van onder meer lerenden, docenten en bestuurders. In de ontwikkeling van de analysemethode(n) is een multidisciplinaire aanpak van groot belang. Technologische expertise moet gekoppeld worden aan (onder meer) didactici en (cognitieve) psychologen.
Stap 5: data-interpretatie & -gebruik
De interpretatie van de data kan leiden tot bijvoorbeeld een interventie van een docent of de keuze voor bepaalde leermiddelen door een leerling. Maar dit soort interpretaties kunnen mogelijk ook al geautomatiseerd plaatsvinden. Los van de vraag in hoeverre dit gewenst is en los van de technologische beperkingen, zou een learning analytics tool een bepaalde mate van autonomie kunnen bezitten, bijvoorbeeld in de vorm van een ‘intelligent agent’ die het leerproces ondersteunt. Tussen de stappen van operationalisatie, analyse en interpretatie kan ook een onderlinge feedback-loop zitten waardoor het systeem met behulp van artificiële intelligentie zelflerend is.
De aannames, keuzes en algoritmen die de basis van de operationalisatie en interpretatie vormen, zijn sterk bepalend voor de uiteindelijke vorm die een systeem van Learning Analytics krijgt.
Stap 6: data-output
De output kan voor verschillende type gebruikers – zoals een lerende of een docent – verschillende vormen krijgen die aansluiten bij de specifieke behoeften. Hierbij kan gedacht worden aan een eenvoudige visualisatie, of een dashboard waarin de gebruiker kan opzoeken hoe een lerende ervoor staat. De output kan door de gebruiker zelf geïnterpreteerd en gebruikt worden om een keuze te maken. Een stap verder is een learning analytics systeem dat de omgeving van de gebruiker beïnvloedt, en er bijvoorbeeld voor zorgt dat de lerende een bepaald leermiddel voorgeschoteld krijgt, of met een groep vergelijkbare lerenden een taak toebedeeld krijgt.
Multidisciplinaire aanpak
Hierboven zijn in zes stappen een aantal belangrijke elementen besproken waar men bij het ontwikkelen van een learning analytics tool rekening mee moet houden. Dit betekent eveneens dat het belangrijk is om te bepalen in hoeverre men de kennis en technologie in huis heeft (of wil ontwikkelen) om al deze stappen zelf uit te voeren, of waar het nodig of gewenst is om samen te werken met andere partijen.
De invulling van dit model is, zoals al meerdere malen opgemerkt, geen monodisciplinaire activiteit, maar een proces waarin verschillende expertises –zoals IT’ers, ‘data-scientists’, didactici, cognitieve psychologen, et cetera – samen moeten werken.
Implementatie en stakeholders
In dit artikel bespraken we ons blueprint-model voor de ontwikkeling van learning analytics-toepassingen. Een belangrijke succesfactor voor de ontwikkelde oplossingen, die hierin minder expliciet is opgenomen, is het nut voor en de acceptatie en adoptie door stakeholders zoals lerenden en docenten, maar ook leermiddelenproducenten en beleidsmakers. De belangen van stakeholders lopen echter nogal eens uiteen. In onze volgende blogpost zullen we dieper ingaan op de belofte van learning analytics voor de diverse belanghebbenden en de punten waarop hun belangen conflicteren.
Over de auteurs
