Het herwinnen van validiteit van de beoordeling in het tijdperk van online leren

Quiz 1 (grafiek 1 hieronder) leverde een gecomprimeerde distributie op. De scores bij beide instellingen waren dicht op het maximum gefocust. Dichtheidsplots toonden minimale spreiding. De meeste studenten behaalden bijna perfecte resultaten.

Dat patroon kwam bij beide instellingen voor. Wanneer een grote groep studenten allemaal bovenaan scoort, wordt het moeilijk om daadwerkelijke verschillen in beheersing te bepalen. De test verliest resolutie en validiteit. Het belangrijkste punt: de verdeling was niet normaal. Het toonde een sterk plafondeffect, waarbij de meeste leerlingen de maximale of bijna maximale score behaalden.

Toen proctoring met Proctorio werd geïntroduceerd in Quiz 2 (Grafiek 2), veranderde de verdeling direct. De scores verspreidden zich over de volledige beoordelingsschaal en de variantie keerde terug. De dichtheidscurve leek op een normale verdeling in plaats van op een piek op het maximum. Met andere woorden, het plafondeffect verdween.

Statistisch gezien toonden gekoppelde t-tests die Quiz 1 en Quiz 2 vergeleken p-waarden van minder dan 0,001 bij beide instellingen. Dat betekent dat de verandering zeer onwaarschijnlijk willekeurig was, en dat de twee scoreverdelingen significant verschilden van elkaar, waardoor het plafondeffect werd weggenomen. De cijfers zijn niet ingestort. Ze toonden normale en verwachte verdelingen.

Om te bepalen of dit tijdelijk was, werd Quiz 2 vergeleken met Quiz 3 (beide gesurcoteerd).

Zoals je hieronder kunt zien (grafiek 3), was er geen statistisch significant verschil. Een p-waarde groter dan 0,05 geeft aan dat er geen statistisch significant verschil is tussen de twee verdelingen. Met andere woorden, het eerder waargenomen plafondeffect werd succesvol verwijderd, wat resulteerde in normaal verdeelde scores waarbij de online asynchrone quiz vergelijkbaar presteerde als de fysiek, gecontroleerde quiz.

De grootste verandering vond plaats toen toezicht werd ingevoerd. Daarna bleven de prestatiepatronen consistent.

Dit patroon suggereert dat de verwachtingen snel veranderden. Toen monitoring werd ingevoerd, veranderde de beoordelingsomgeving. Studenten pasten zich aan. Het systeem werd opnieuw gekalibreerd.

Dr. Basil beschreef het duidelijk toen "het doel niet was om studenten te vangen. Het was om ervoor te zorgen dat cijfers daadwerkelijk werk weerspiegelen."

Proctoring dient in deze context als een manier om te leren in een online omgeving, niet als straf.

De belangrijkste vergelijking is misschien modaliteit.

Eén cursus werd zowel fysiek als online gegeven (Grafiek 4). Dezelfde instructeur. Zelfde materialen. Zelfde beoordelingsnormen.

Dit bevestigt dat proctoring-technologie effectief de integriteit van de beoordeling herstelt, omdat het de scoreverdeling van een fysiek begeleid klaslokaal nabootst en het kunstmatige plafondeffect dat wordt gezien in ongecontroleerde online omgevingen elimineert.