Wiederherstellung der Validität der Bewertung im Zeitalter des Online-Lernens

Quiz 1 (Grafik 1 unten) erzeugte eine komprimierte Verteilung. Die Bewertungen beider Institutionen konzentrierten sich eng auf dem Maximalwert. Dichtediagramme zeigten eine minimale Streuung. Die meisten Schüler erzielten nahezu perfekte Ergebnisse.

Dieses Muster zeigte sich an beiden Institutionen. Wenn eine große Gruppe von Schülern alle an der Spitze abschneidet, wird es schwierig, tatsächliche Unterschiede in der Meisterschaft zu erkennen. Der Test verliert an Auflösung und Validität. Der entscheidende Punkt: Die Verteilung war nicht normal. Es zeigte einen starken Deckeffekt, wobei die meisten Schüler die maximale oder nahezu maximale Punktzahl erreichten.

Als das Proctoring mit Proctorio in Quiz 2 (Grafik 2) eingeführt wurde, änderte sich die Verteilung sofort. Die Ergebnisse verteilten sich über die gesamte Bewertungsskala, und die Varianz kehrte zurück. Die Dichtekurve ähnelte eher einer Normalverteilung als einem Spitzensprung am Maximum. Mit anderen Worten: Der Deckeneffekt verschwand.

Statistisch zeigten gepaarte T-Tests, die Quiz 1 und Quiz 2 vergleichten, p-Werte unter 0,001 an beiden Institutionen. Das bedeutet, dass die Änderung höchstwahrscheinlich nicht zufällig war und dass die beiden Score-Verteilungen sich signifikant voneinander unterschieden, wodurch der Deckeneffekt entfernt wurde. Die Noten stürzten nicht ein. Sie zeigten normale und erwartete Verteilungen.

Um festzustellen, ob dies vorübergehend war, wurde Quiz 2 mit Quiz 3 verglichen (beide überwacht).

Wie Sie unten sehen können (Diagramm 3), gab es keinen statistisch signifikanten Unterschied. Ein p-Wert größer als 0,05 zeigt an, dass es keinen statistisch signifikanten Unterschied zwischen den beiden Verteilungen gibt. Mit anderen Worten: Der zuvor beobachtete Deckeneffekt wurde erfolgreich entfernt, was zu normal verteilten Ergebnissen führte, bei denen das asynchrone Online-Quiz ähnlich abschnitt wie das Präsenz-Quiz mit Aufsicht.

Die größte Veränderung trat auf, als das Proktorieren eingeführt wurde. Danach blieben die Leistungsmuster konstant.

Dieses Muster deutet darauf hin, dass sich die Erwartungen schnell geändert haben. Mit der Einführung der Überwachung änderte sich das Bewertungsumfeld. Die Schüler passten sich an. Das System kalibrierte sich neu.

Dr. Basil beschrieb es deutlich, als "das Ziel nicht war, Studenten zu erwischen. Es diente dazu, sicherzustellen, dass Noten die tatsächliche Arbeit widerspiegeln."

Die Proctoring dient in diesem Zusammenhang als Mittel zum Lernen in einer Online-Umgebung und nicht als Strafe.

Der wichtigste Vergleich könnte die Modalität sein.

Ein Kurs wurde gleichzeitig sowohl persönlich als auch online unterrichtet (Diagramm 4). Derselbe Lehrer. Gleiche Materialien. Gleiche Bewertungsstandards.

Dies bestätigt, dass die Proctoring-Technologie die Integrität der Bewertung effektiv wiederherstellt, da sie die Punktverteilung eines physisch überwachten Klassenzimmers repliziert und den künstlichen Deckeneffekt in unbeaufsichtigten Online-Umgebungen eliminiert.