Qué pueden aprender las organizaciones de evaluación del nuevo informe de gobernanza de la IA de ATP

Como todos sabemos, la inteligencia artificial está transformando la evaluación.

Actualmente, la IA se utiliza para crear contenido de pruebas, puntuar respuestas, verificar identidad, monitorizar las sesiones de examen y proteger la integridad del examen. A medida que estas tecnologías se vuelven más comunes, las organizaciones de evaluación se enfrentan a un desafío importante: ¿cómo abrazan la innovación manteniendo la equidad, la seguridad, la transparencia y la confianza?

Para ayudar a las organizaciones a superar estos desafíos, la Association of Test Publishers (ATP) lanzó recientemente Alineación de la Política de IA para aplicaciones de evaluación con el Marco de Gestión de Riesgos de IA del NIST. Desarrollado por el Subcomité Global de Cumplimiento de IA y Privacidad de ATP, el informe ofrece orientación práctica para las organizaciones que buscan adoptar la IA de forma responsable.

Entre los colaboradores estuvo Melissa DeWees, Directora de Ética y Cumplimiento en IA en Proctorio, quien trabajó junto a expertos de organizaciones como ETS, PSI, Learnosity y MHS para ayudar a desarrollar recomendaciones para un uso responsable de la IA en toda la industria de evaluación.

La publicación está disponible gratuitamente para los miembros de ATP y para su compra por no miembros a través de la biblioteca de recursos de ATP.

Aunque el informe abarca una amplia variedad de temas, destacan cinco lecciones clave.

1. La confianza debe estar incorporada

El mensaje más importante del informe es que la confianza no puede ser una ocurrencia secundaria. Las organizaciones deben pensar en la equidad, la transparencia, la rendición de cuentas y la supervisión humana desde el principio. Los sistemas de IA deben diseñarse y gestionarse de manera que los interesados puedan entender y confiar.

Para las organizaciones de evaluación, la confianza lo es todo. Estudiantes, candidatos, educadores, empleadores y organismos de acreditación necesitan tener confianza en que los resultados son justos, seguros y fiables.

Cómo apoya esto Proctorio: La confianza comienza con la transparencia. Proctorio se compromete a ser claro sobre dónde y cómo se utiliza la IA en sus soluciones, el papel que desempeña la IA en los procesos de toma de decisiones y las salvaguardas existentes para apoyar la equidad, la responsabilidad y la supervisión humana. A través de su compromiso con la transparencia y la rendición de cuentas, incluyendo su Centro de Fideicomiso, Proctorio ayuda a las instituciones a generar confianza en los resultados de las evaluaciones.

2. La gobernanza de la IA es un proceso continuo

La gobernanza de la IA no es un proyecto puntual. Los sistemas de IA evolucionan. Las amenazas evolucionan. Las regulaciones evolucionan.

El informe anima a las organizaciones a revisar continuamente los riesgos, monitorizar el rendimiento y mejorar los controles a lo largo del tiempo. El objetivo no es simplemente desplegar la IA, sino asegurarse de que siga siendo fiable a medida que cambian la tecnología y las expectativas.

Cómo apoya esto Proctorio: Proctorio trata la gobernanza de la IA como una disciplina continua, no como un hito de cumplimiento puntual. Como una de las primeras empresas en la industria de la evaluación en lograr Certificación ISO/IEC 42001 para su Sistema de Gestión de IA, Proctorio revisa regularmente los sistemas, evalúa riesgos emergentes y actualiza las prácticas de gobernanza para ayudar a garantizar que la IA siga siendo fiable a medida que evolucionan la tecnología y las expectativas. Información adicional está disponible a través de Proctorio's Auditorías y cumplimiento recursos.

3. La supervisión humana sigue siendo importante

A pesar de los avances en la IA, los humanos siguen siendo esenciales. La IA puede identificar patrones, señalar actividades inusuales y automatizar tareas rutinarias. Sin embargo, las decisiones importantes deben seguir implicando el juicio humano, especialmente en entornos de alto riesgo como la educación, la certificación, la obtención de licencias y la contratación.

El informe subraya la importancia de los procesos de revisión, las vías de escalada y los mecanismos de apelación que garanticen la rendición de cuentas y la equidad.

Cómo apoya esto Proctorio: Los sistemas de IA de Proctorio están diseñados para apoyar el juicio humano, no para reemplazarlo. Aunque la IA puede ayudar a identificar patrones, sacar información a la luz y mejorar la eficiencia, las instituciones mantienen el control sobre las políticas, los procesos de revisión y las decisiones finales. Este enfoque ayuda a preservar la responsabilidad, la transparencia y la equidad en entornos de evaluación de alto riesgo. Descubre más sobre Proctorio's Verificación de identidad soluciones y Supervisión en directo capacidades.

4. La integridad de la evaluación enfrenta nuevas amenazas de la era de la IA

El informe pone de manifiesto un panorama de amenazas que cambia rápidamente. Los deepfakes, los ataques de suplantación, las respuestas generadas por IA, las herramientas de asistencia automatizada y los sistemas de IA agente están creando nuevos retos para las organizaciones de pruebas.

Como resultado, el enfoque está pasando de simplemente prevenir malas conductas a verificar la autenticidad. Las organizaciones necesitan cada vez más confianza en que la persona adecuada completó la evaluación, que el trabajo es genuinamente suyo y que los resultados reflejan con precisión conocimientos y capacidades.

Cómo apoya esto Proctorio: A través de revisiones continuas de gobernanza, evaluaciones de riesgos y seguimiento de tecnologías emergentes, Proctorio trabaja para adaptar su enfoque a medida que evolucionan las amenazas. Este compromiso con la mejora continua ayuda a las instituciones a navegar en un entorno de evaluación cambiante, manteniendo la confianza en los resultados de la evaluación. Las organizaciones pueden aprender más sobre el enfoque de Proctorio hacia la IA ética en Construyendo confianza: Los cimientos de la IA responsable y su enfoque más amplio para evaluar la autenticidad.

5. Una buena IA comienza con buenos datos

Una gobernanza sólida de la IA comienza con una gobernanza sólida de datos. Las organizaciones necesitan políticas claras sobre cómo se recopilan, almacenan, protegen y utilizan los datos. Esto es especialmente importante al trabajar con información personal y datos sensibles de evaluación.

Unas prácticas sólidas de datos ayudan a reducir riesgos, proteger la privacidad, mejorar la transparencia y aumentar la confianza en los resultados impulsados por la IA. Sin datos de calidad y una supervisión adecuada, incluso los sistemas de IA más avanzados pueden producir resultados poco fiables.

Cómo apoya esto Proctorio: Una gobernanza de datos sólida es fundamental para una IA fiable. La arquitectura de Proctorio refleja este principio por diseño. Los datos de evaluación se cifran mediante un enfoque de conocimiento cero, la información personal se protege mediante prácticas centradas en la privacidad y los modelos de IA se entrenan únicamente con conjuntos de datos de origen ético, nunca con contenido de exámenes de clientes. Estas salvaguardas ayudan a garantizar que, a medida que la IA se integra más en la evaluación, las prácticas de datos subyacentes sigan siendo seguras, transparentes y fiables. Descubre más sobre Proctorio's Privacidad y seguridad de los datos Prácticas y el Centro de Fideicomiso.

Mirando hacia adelante

El informe de ATP refuerza un cambio más amplio que se está produciendo en toda la industria de la evaluación. El éxito no se definirá únicamente por adoptar la IA, sino por adoptarla de forma responsable. Las organizaciones que prioricen la transparencia, la rendición de cuentas, la supervisión humana y una gobernanza sólida estarán en las mejores posiciones para generar confianza y confianza en un futuro habilitado por IA.

También resalta la importancia de la colaboración. El informe reunió a expertos de todo el ecosistema de evaluación, incluida Melissa DeWees de Proctorio, para ayudar a establecer una orientación práctica para las organizaciones que navegan por las oportunidades y riesgos de la IA.

La inteligencia artificial seguirá transformando la evaluación. Las organizaciones que tengan éxito no serán simplemente aquellas que adopten la IA más rápido. Serán las organizaciones que puedan demostrar que sus sistemas de IA son fiables, responsables y dignos de la confianza que se les deposita.

Para saber más sobre el enfoque de Proctorio hacia la IA responsable, visita el Centro de Fideicomiso, lee Construyendo confianza: Los cimientos de la IA responsable, o revisar la empresa Anuncio de la certificación ISO/IEC 42001.