Aclarando las cosas: Fairface

Es fundamental probar y auditar regularmente las funciones de IA al elegir un producto impulsado por IA como Proctorio. Mientras que la mayoría de los productos de IA no lo hacen :text=through%20these%20systems.-,By%20opting%2Din%20to%20an%20audit%2C%20many%20businesses%20believe%20they%E2%80%99re%20getting%20early%20insight%20into%20tools%20that%20will%20eventually%20be%20required%20by%20regulators.,-In%202016%2C%20Obama%E2%80%99s title="" target="_blank" rel="noopener noreferrer nofollow">Este tipo de pruebas y quienes sí lo hacen, a menudo no cuentan con un tercero para realizar las pruebas; es importante saber que Proctorio no solo toma en serio la IA, sino que también ha estado involucrado en IA externa Auditorías desde 2019. Ponemos estos informes a disposición de socios actuales y potenciales junto con todas nuestras auditorías (SOC, ISO, E2EE, etc.) en nuestro Centro de Confianza Pública. Como :text=face%2Ddetection%20models%20found%20no%20measurable%20bias. title="" target="_blank" rel="noopener noreferrer nofollow">publicado en 2021 por NPR, Proctorio sigue manteniendo que sus auditores "no han encontrado ningún sesgo medible" en nuestro Modelos de detección facial.

Aunque es completamente aceptable cuestionar estas afirmaciones y hacer tu propio análisis, lamentablemente hemos seguido viendo investigaciones desacreditadas de vez en cuando. A pesar de su enfoque inexacto y defectuoso para evaluar nuestros modelos en busca de sesgos, sigue siendo referenciado.

En el centro de estos informes defectuosos e inexactos hay un conjunto de datos llamado FairFace. Aunque este conjunto de datos se ha utilizado para comparar otros algoritmos de detección facial y comprobar posibles sesgos, no puede usarse para probar Proctorio porque el conjunto de datos FairFace no es apropiado para el algoritmo ni para su aplicación prevista. Consulta la imagen de abajo para ver una muestra del conjunto de datos FairFace.

El conjunto de datos FairFace contiene imágenes compuestas, fotos de fotos con fondos reemplazados, niños, imágenes de dibujos animados, fotos con gráficos, personas ocultando intencionadamente sus rostros y vistas laterales parciales de rostros, todo lo cual no simula la experiencia remota de un examinado en vivo. Ninguna de ellas fue tomada por webcam.

Por ejemplo, los niños y los dibujos animados no hacen pruebas, por lo que incluir esas imágenes como parte del conjunto de datos es poco realista y poco representativo.

A pesar de ser descrito por Satheesan y su :text=and%20friend%20Erik-,Johnson,-%2C%20I%20did%20not title="" target="_blank" rel="noopener noreferrer nofollow">coautor y amigo :text=%E2%80%9Cunderstands%20that%20some%20of%20his%20comments%20about%20Proctorio%20were%20imprecise%20and%20presented%20without%20context.%E2%80%9D title="" target="_blank" rel="noopener noreferrer nofollow">Johnson como "Una entrada de blog con defectos que dependía de un Conjunto de datos no representado" los periodistas siguen haciendo referencia irracional a la obra hasta hoy.

Nota: Esta entrada del blog fue actualizada para mayor claridad el 17 de octubre de 2023.