Retrouver la validité de l’évaluation à l’ère de l’apprentissage en ligne

Le Quiz 1 (Graphique 1 ci-dessous) a produit une distribution compressée. Les scores dans les deux établissements étaient regroupés de manière serrée à la valeur maximale. Les graphiques de densité ont montré une dispersion minimale. La plupart des élèves obtenaient des résultats quasi parfaits.

Ce schéma s’est manifesté dans les deux institutions. Quand un grand groupe d’élèves obtient tous les meilleurs résultats, il devient difficile de déterminer les différences réelles de maîtrise. Le test perd en résolution et en validité. Le point clé : la répartition n’était pas normale. Elle a montré un fort effet plafond, la plupart des élèves obtenant le score maximum ou proche du maximum.

Lorsque la surveillance a été introduite en utilisant Proctorio dans le Quiz 2 (Graphique 2), la répartition a changé immédiatement. Les scores s’étalaient sur toute l’échelle de notation, et la variance était revenue. La courbe de densité ressemblait à une distribution normale plutôt qu’à un pic au maximum. En d’autres termes, l’effet plafond a disparu.

Statistiquement, les tests t par paires comparant le Quiz 1 et le Quiz 2 ont montré des valeurs p inférieures à 0,001 dans les deux établissements. Cela signifie que le changement était très peu susceptible d’être aléatoire, et que les deux distributions de scores étaient significativement différentes, supprimant l’effet plafond. Les notes ne se sont pas effondrées. Ils ont montré des distributions normales et attendues.

Pour déterminer si cela était temporaire, le Quiz 2 a été comparé au Quiz 3 (tous deux surveillés).

Comme vous pouvez le voir ci-dessous (Graphique 3), il n’y avait pas de différence statistiquement significative. Une valeur p supérieure à 0,05 indique qu’il n’y a pas de différence statistiquement significative entre les deux distributions. En d’autres termes, l’effet plafond observé précédemment a été supprimé avec succès, ce qui a donné des scores normalement distribués où le quiz asynchrone en ligne a performé de manière similaire à celui surveillé en présentiel.

Le plus grand changement a eu lieu lors de l’introduction de la surveillance. Après cela, les schémas de performance sont restés constants.

Ce schéma suggère que les attentes ont rapidement changé. Lorsque la surveillance a été introduite, l’environnement d’évaluation a évolué. Les étudiants se sont adaptés. Le système a été recalibré.

Le Dr Basil l’a décrit clairement lorsque « l’objectif n’était pas d’attraper les étudiants. C’était pour s’assurer que les notes reflètent le travail réel. »

La surveillance, dans ce contexte, sert à apprendre en ligne, pas à punir.

La comparaison la plus importante pourrait être la modalité.

Un cours était dispensé en présentiel et en ligne en même temps (Graphique 4). Même instructeur. Mêmes matériaux. Mêmes critères de notation.

Cela confirme que la technologie de surveillance restaure efficacement l’intégrité de l’évaluation, car elle reproduit la répartition des scores d’une classe sous supervision physique et élimine l’effet de plafond artificiel observé dans les environnements en ligne non surveillés.