De afgelopen weken hebben we bij Edumundo aandacht besteed aan het thema Learning analytics (LA): het op basis van studiedata verbeteren van het onderwijs. Dat het thema de belangstelling van het hbowerkveld heeft, blijkt wel uit de populariteit van het whitepaper en de tientallen inschrijvingen voor het webinar. Met dit artikel sluiten we het topic learning analytics af en gaan we in op de meest voorkomende vragen en reacties.
Uit de reacties blijkt namelijk dat veel opleidingen nadenken over de inzet van learning analytics, maar dat de meeste nog aan het zoeken zijn naar een juiste toepassing. Dat is begrijpelijk. Learning analytics kan op verschillende manieren worden ingezet en het valt niet altijd mee om de juiste keuzes te maken.
In het whitepaper hebben we een aantal voorbeelden van toepassingen van learning analytics gegeven waarbij onderscheid wordt gemaakt in doelgroep (zoals docent, management, student) en type vraag. Het is dus belangrijk dat betrokkenen bij een LA-project met elkaar afstemmen welk doel ze precies voor ogen hebben. Toen ik zelf een aantal jaar geleden een directeur hoorde zeggen dat zijn faculteit ‘aan de slag ging met learning analytics’, waren mijn verwachtingen heel anders dan hoe dat in werkelijkheid gebeurde. Als docent die veel online- en blended leren inzet, verwachtte ik toepassingen op moduleniveau. In werkelijkheid ging een collega die goed thuis is in statistiek managementrapportages opleveren op basis van data uit het studentenvolgsysteem. Dat kan natuurlijk een zeer nuttige invulling zijn, maar het is wel heel belangrijk om bij de start van een project dezelfde verwachtingen en focus te hebben.
Dat veel opleidingen bij het analyseren van studiedata nog in het beginstadium verkeren, bleek ook uit de resultaten van de poll die we tijdens het webinar hielden. Daarin gaf 75% van de deelnemers aan vooral nog bezig te zijn met een zuivere analyse van de data en nog niet echt toe te komen aan het vinden van verbanden en oorzaken van bepaalde bevindingen. Uiteindelijk is learning analytics er natuurlijk op gericht om te voorspellen hoe leerprocessen (op cohort- of studentniveau) zich ontwikkelen en daar positieve invloed op uit te oefenen. In de termen van het data analytics ascendancy model van Gartner (zie bijvoorbeeld IThappens, 2019): van analytical via diagnostic naar predictive en zelfs prescriptive.
Voor de laatste fase kan geavanceerde technologie worden ingezet op het gebied van machine learning, maar ook met eenvoudigere tools kunnen mooie inzichten worden verkregen.
De vragen die tijdens het webinar werden gesteld waren vooral praktisch van aard en gingen over de aanpak, de kosten en de benodigde kennis en tools. In het algemeen kan worden gesteld dat een project op het gebied van learning analytics niet duur hoeft te zijn en niet direct gericht hoeft te zijn op het gebruik van geavanceerde technologie. De analyse en diagnose van één cohort of klas kan al veel nuttige inzichten opleveren zoals de grafiek uit het whitepaper illustreert: de bestede tijd in een Edubook afzetten tegen de scores op de toets levert de docent inzicht in de afstemming tussen Edubook en toets en kan voor de studenten een verklaring zijn voor hun resultaten.
Concluderend kunnen we stellen dat de inzet van learning analytics ons als docenten en ontwikkelaars veel nieuwe kennis kan verschaffen over de onderwijsorganisatie en leerprocessen, maar dat er nog veel stappen te zetten zijn. Door projecten op te starten betreden we nieuw terrein waar ons mogelijk nog veel verrassingen te wachten staan. Het is niet uitgesloten dat de resultaten tegenintuïtief zullen aanvoelen en we onze aannames moeten bijstellen. Dat zijn natuurlijk mooie stappen, want wat is er mooier dan leren?
Data analytics is mogelijk dankzij de beschikbaarheid van online data. Dat betekent echter niet dat het onderwijs volledig gedigitaliseerd moet worden om learning analytics toe te passen. Op de eerste plaats heeft iedere opleiding een studentenvolgsysteem. Naast de cijfers, bevat dit systeem ook kenmerken van de studenten zoals vooropleiding, postcode en leeftijd. Door hier, geanonimiseerd, analyses op toe te passen kunnen verrassende inzichten ontstaan, zeker als deze data wordt gecombineerd met data uit andere bronnen (zoals het voorbeeld in het webinar waarbij data over behaalde modules werden gecombineerd met data van een leerplatform en de toetsresultaten).
Een belangrijk aspect hierbij is de zuiverheid van de data. In mijn eigen omgeving ken ik het verhaal van een opleiding die worstelde met hoge uitvalcijfers in de propedeuse. Uiteindelijk bleek dat studenten die binnen dezelfde opleiding van locatie wisselden omdat ze een bepaalde specialisatie kozen, administratief werden verwerkt als uitschrijver op de oorspronkelijke locatie. Dat telde sterk negatief door in de statistieken.
Voor wat betreft data binnen een module kunnen online quizjes veel inzichten opleveren. Zowel het Learning management systeem (LMS) als de tools die we gebruiken voor quizjes in de klas bieden de mogelijkheid om de resultaten te downloaden in Excel- of .csv-formaat voor verdere analyse. Daarnaast is het mogelijk om in het LMS alle activiteiten te tracken, zoals het aantal clicks en de tijd die studenten aan een item besteden. De data die dat oplevert kan meestal ook in bruikbaar formaat worden gedownload.
Om te beginnen is geen geavanceerde technologie nodig. Wie handig is met Excel, kan al heel mooie analyses toepassen en visualisaties creëren. Wie een stapje verder wil gaan, kan voor de statistiek natuurlijk SPSS inzetten en voor visualisaties de gratis tool Power BI. Beiden kunnen data vanuit Excel feilloos verwerken.
Wie aan de slag wil met toepassingen op het gebied van data mining/machine learning kan gebruikmaken van tools als Rapidminer. De meest geavanceerde toepassingen worden ontwikkeld in talen als ‘R’ en Python. Voor dat laatste is het meestal verstandiger om een specialist op het gebied van data science in te schakelen.
Onze twee belangrijkste adviezen zijn: denk goed na welke vraag je wilt beantwoorden en begin klein. Dat laatste betekent tevens dat de inzet van learning analytics niet duur hoeft te zijn. Het visualiseren van de uitval in de propedeuse over de jaren heen of het afzetten van de toetsscores tegen de activiteit op het leerplatform kosten niet veel tijd en bieden al veel inzicht voor verschillende doelgroepen. Verder is het aan te raden om binnen en buiten de hogeschool te informeren wat anderen al doen zodat samen kan worden opgetrokken en het wiel niet steeds opnieuw hoeft te worden uitgevonden.
Wilt u meer weten?
Bron:
IThappens (2019). Levels of data analytics. Opgevraagd op 14 juni 2019 van: www.ithappens.nu/levels-of-data-analytics/