Recuperando la validez de la evaluación en la era del aprendizaje en línea

El Quiz 1 (Gráfico 1 a continuación) produjo una distribución comprimida. Las puntuaciones en ambas instituciones se agrupaban muy estrechamente en el valor máximo. Los gráficos de densidad mostraron una dispersión mínima. La mayoría de los estudiantes obtenían resultados casi perfectos.

Ese patrón apareció en ambas instituciones. Cuando un gran grupo de estudiantes obtiene todas las mejores calificaciones, se vuelve difícil determinar diferencias reales en el dominio. La prueba pierde resolución y validez. El punto clave: la distribución no era normal. Mostró un fuerte efecto techo, con la mayoría de los estudiantes alcanzando la puntuación máxima o cercana a la máxima.

Cuando se introdujo la supervisión usando Proctorio en el Quiz 2 (Gráfico 2), la distribución cambió inmediatamente. Las puntuaciones se distribuyeron a lo largo de toda la escala de calificación y se devolvió la varianza. La curva de densidad se asemejaba a una distribución normal más que a un pico en el máximo. En otras palabras, el efecto de techo desapareció.

Estadísticamente, las pruebas t emparejadas que comparan el Quiz 1 y el Quiz 2 mostraron valores p inferiores a 0,001 en ambas instituciones. Eso significa que el cambio era muy poco probable que fuera aleatorio, y que las dos distribuciones de puntuación eran significativamente diferentes entre sí, eliminando el efecto techo. Las notas no se desplomaron. Mostraron distribuciones normales y esperadas.

Para determinar si esto era temporal, se comparó el Quiz 2 con el Quiz 3 (ambos supervisados).

Como puedes ver a continuación (Gráfico 3), no hubo ninguna diferencia estadísticamente significativa. Un valor p mayor que 0,05 indica que no hay diferencia estadísticamente significativa entre ambas distribuciones. En otras palabras, el efecto techo observado anteriormente fue eliminado con éxito, resultando en puntuaciones normalmente distribuidas donde el cuestionario asíncrono en línea tuvo un rendimiento similar al cuestionario presencial supervisado.

El mayor cambio ocurrió cuando se introdujo la supervisión. Después de eso, los patrones de rendimiento se mantuvieron constantes.

Este patrón sugiere que las expectativas cambiaron rápidamente. Cuando se introdujo la monitorización, el entorno de evaluación cambió. Los estudiantes se adaptaron. El sistema se recalibró.

El Dr. Basil lo describió claramente cuando "el objetivo no era atrapar a los estudiantes. Era para asegurar que las notas reflejaran el trabajo real."

La vigilancia, en este contexto, sirve como medio de aprendizaje en un entorno online, no como castigo.

La comparación más importante puede ser la modalidad.

Un curso se impartió presencialmente y online al mismo tiempo (Cuadro 4). El mismo instructor. Mismos materiales. Mismos estándares de calificación.

Esto confirma que la tecnología de supervisión restaura eficazmente la integridad de la evaluación, ya que replica la distribución de puntuaciones de un aula supervisada físicamente y elimina el efecto de techo artificial que se observa en entornos online no supervisados.