Geintegreerde toetsen: betrouwbaarheid en validiteit

In een tijd waarin beroepen en functies razendsnel veranderen is het dan ook onvermijdelijk dat opleidingen zich aanpassen wat betreft vorm en inhoud.

Afgestudeerden worden steeds meer afgerekend op competent handelen. Er wordt van hen verwacht dat zij de opgedane kennis en vaardigheden gecombineerd kunnen toepassen in de praktijk. Ondertussen wordt in het hoger onderwijs echter nog veelvoudig gebruikgemaakt van toetsvormen die losse kenniselementen of geïsoleerde vaardigheden meten. Dit sluit onvoldoende aan op de behoefte vanuit de huidige beroepspraktijk.

Om competente young professionals af te leveren, moeten opleidingen onderwijs ontwikkelen waarin kennis en verschillende vaardigheden geïntegreerd aan de orde komen en worden getoetst. Een groot aantal opleidingen kiest er dan ook voor om een grotere plaats in te ruimen voor projectonderwijs, aan de slag te gaan met competentiegericht onderwijs of zelfs de omslag te maken naar een themagestuurde aanpak. Een dergelijke omslag stelt de opleidingen voor verschillende uitdagingen, waaronder die van toetsing: hoe wordt de validiteit en betrouwbaarheid bij geïntegreerd toetsen gewaarborgd?

Competentiegericht onderwijs gaat ervan uit dat het leren geen passief proces is en dat er geen kant-en-klare oplossingen worden ‘aangeleerd’. Het is de bedoeling dat de student actief aan de slag gaat en zijn of haar (voor)kennis, vaardigheden en houding gecombineerd inzet. Doordat deze vorm van onderwijs gericht is op het ontwikkelen van competenties, die ontleend zijn uit de beroepspraktijk, zouden starters minder problemen ervaren op de arbeidsmarkt (Wesselink, Biemans & Mulder, 2006).

Bij thematisch onderwijs worden afzonderlijke vakken geïntegreerd. Bij geïntegreerd toetsen worden studenten beoordeeld op het geheel van een prestatie. Afzonderlijke vakken worden geïntegreerd tot één onderwijseenheid, waardoor er getoetst kan worden of studenten de samenhang tussen verschillende onderdelen herkennen of kunnen aanbrengen op de aspecten kennis, vaardigheden en houding.

De achterliggende gedachte daarbij is dat afgestudeerden in de beroepspraktijk zelden geïsoleerde problemen tegenkomen die met uitsluitend kennis van één vak of over één onderwerp kunnen worden opgelost. Thematisch onderwijs probeert daarom verschillende vakken en onderwerpen te bundelen tot één thema. Op die wijze leren studenten kennis van verschillende vakken toe te passen op dat thema (Van Berkel, 1999).

Een belangrijk aandachtspunt is namelijk dat bij geïntegreerde vakken ook geïntegreerde toetsvormen horen. Een goed voorbeeld hiervan is een casustoets, waarin studenten met een realistische casus een project uitvoeren. Behalve het toetsen van kennis en vaardigheden zijn casustoetsen ook geschikt om hogere beheersingsniveaus te toetsen, zoals analyse, evaluatie en creatie. Een nadeel van een realistische casus is dat deze niet altijd volledig tegemoetkomt aan alle geformuleerde leerdoelen (niet iedere praktijksituatie is hetzelfde). Daarentegen biedt het voordelen door de transfer die studenten moeten maken. Door het geleerde te ‘vertalen’ naar de betreffende casus en juist in te zetten, tonen studenten aan de materie voldoende te beheersen, vergelijkbaar met de situatie bij een stage. Uiteraard zijn vooropgestelde beoordelingscriteria hierbij belangrijk, waarbij opleidingen niet moeten schromen een meer holistische aanpak te hanteren. Door in te zetten op ‘hogere’ leerdoelen uit de taxonomie van Bloom en holistische criteria, kunnen betrouwbare toetsen worden gerealiseerd (Bloom e.a., 1956).

Door de beoordelingscriteria te delen met studenten en met hen te bespreken, wordt de transparantie van de toets verhoogd. Op deze manier weten studenten wat er van hen verwacht wordt.

Validiteit en betrouwbaarheid vergen bij geïntegreerd toetsen extra aandacht. Met validiteit wordt bedoeld of de toets daadwerkelijk de leerdoelen toetst en of elk leerdoel voldoende gerepresenteerd is in de toets. Onder de betrouwbaarheid wordt verstaan of een toets consistent meet. Als een toets betrouwbaar is, betekent dit dat studenten bij een gelijkwaardige toets dezelfde score zouden halen.

Om de validiteit van geïntegreerde toetsen te waarborgen is het, net als bij afzonderlijke toetsen, raadzaam om in eerste instantie de leerdoelen centraal te stellen. Bij het formuleren van leerdoelen is het hanteren van SMART-criteria belangrijk. Daarvoor kan worden geput uit de geformuleerde behoefte uit de beroepspraktijk. Door de beroepspraktijk vooraan in het toetsproces te plaatsen wordt de keten van constrictive alignment van Biggs (1996) als het ware verlengd. In de theorie van constrictive alignment staat de relatie tussen de toetsen en leeractiviteiten van studenten centraal. Hierin wordt betoogd dat wanneer er in het onderwijs hoge deeldoelen nagestreefd worden (diepteleren), er ook doelstellingen op hoog niveau moeten worden nagestreefd, dat de leeractiviteiten daarop afgestemd moeten zijn en dat de toetsing dan ook op dit hoge niveau gericht moet zijn (Van den Bos, 2016). Oftewel: leerdoelen bepalen toetsing, toetsing bepaalt onderwijsvorm. Hierbij wordt aanbevolen om binnen het docententeam af te stemmen hoe en wat er gemeten wordt, dit maakt tevens duidelijk wat er nadrukkelijk niet gemeten wordt. Vaak vallen docenten terug in de wens om vooral kennis te toetsen, maar bij geïntegreerde toetsing kan juist worden ingezet op een ‘hoger’ niveau in de taxonomie van Bloom (1956). Als door toetsing kan worden vastgesteld dat een student kennis kan combineren en geïntegreerd kan toepassen, dan beheerst hij of zij een hoger beheersingsniveau dan ‘herinneren en begrijpen’ en hoeven de feiten niet meer getoetst te worden.

Uiteraard is het belangrijk dat het toetsprogramma bestaat uit een mix van valide en betrouwbare toetsen. Verder dienen de toetsen representatief te zijn voor de toekomstige beroepsmogelijkheden. Een geïntegreerd toetsprogramma dat, in lijn met de leerdoelen,  gericht is op de toepassing van een aantal vaardigheden komt hieraan tegemoet. Uiteindelijk zal dit leiden tot afstudeerders die goed voorbereid zijn om te functioneren op de snel veranderende arbeidsmarkt.

Literatuur:

• Biggs, J.H. (1996). Enhancing teaching through constructive alignment. Higher Education, 32, 347-364.
• Bloom, B. S., Engelhart, M. D., Furst, E. J.,Hill, W. H. &  Krathwohl, D. R. (1956). Taxonomy of educational objectives: The classification of educational goals. Handbook I: Cognitive domain. New York: David McKay Company.
• van Berkel, H. (1999). Zicht op toetsen (eerste editie). Assen: Uitgeverij Koninklijke Van Gorcum.
• Wesselink, R., Biemans, H. J. A., & Mulder, M. (2006). Handboek Effectief Opleiden (eerste editie). Amsterdam: Reed Business.