Remettre les vérités à l’heure : Fairface

Il est essentiel de tester et d’auditer régulièrement les fonctionnalités de l’IA lors du choix d’un produit propulsé par l’IA comme Proctorio. Alors que la plupart des produits d’IA ne réalisent pas :text=through%20these%20systems.-,By%20opting%2Din%20to%20an%20audit%2C%20many%20businesses%20believe%20they%E2%80%99re%20getting%20early%20insight%20into%20tools%20that%20will%20eventually%20be%20required%20by%20regulators.,-In%202016%2C%20Obama%E2%80%99s title="" target="_blank" rel="noopener noreferrer nofollow">Ce type de test et ceux qui le font souvent ne font pas appel à un tiers pour réaliser les tests, il est important de savoir que Proctorio ne prend pas seulement l’IA au sérieux mais s’est engagé dans l’IA externe Audits depuis 2019. Nous mettons ces rapports à disposition des partenaires actuels et potentiels, ainsi que de tous nos audits (SOC, ISO, E2EE, etc.) dans notre Centre de confiance publique. En tant que :text=face%2Ddetection%20models%20found%20no%20measurable%20bias. title="" target="_blank" rel="noopener noreferrer nofollow">publié en 2021 par NPR, Proctorio continue de soutenir que ses auditeurs n’ont « trouvé aucun biais mesurable » dans notre Modèles de détection faciale.

Bien qu’il soit tout à fait acceptable de remettre en question ces affirmations et de faire votre propre analyse, nous avons malheureusement continué à voir des recherches discréditées apparaître de temps à autre. Malgré son approche inexacte et défaillante pour tester nos modèles pour détecter les biais, elle continue d’être référencée.

Au cœur de ces rapports erronés et inexacts se trouve un jeu de données appelé FairFace. Bien que ce jeu de données ait été utilisé pour évaluer d’autres algorithmes de détection faciale et vérifier leur biais potentiel, il ne peut pas être utilisé pour tester Proctorio car l’ensemble de données FairFace n’est pas approprié pour l’algorithme et son application prévue. Voir l’image ci-dessous pour un échantillon du jeu de données FairFace.

Le jeu de données FairFace contient des images composites, des photos de photos, avec des arrière-plans remplacés, des enfants, des images de dessins animés, des photos avec des graphiques, des personnes cachant intentionnellement leur visage, et des vues latérales partielles de visages, qui ne simulent pas l’expérience d’examen à distance d’un candidat en direct. Aucune n’a été prise via une webcam.

Par exemple, les enfants et les dessins animés ne passent pas de tests, donc inclure ces images dans le jeu de données est irréaliste et non représentatif.

Bien qu’il soit décrit par Satheesan et leur :text=and%20friend%20Erik-,Johnson,-%2C%20I%20did%20not title="" target="_blank" rel="noopener noreferrer nofollow">co-auteur et ami :text=%E2%80%9Cunderstands%20that%20some%20of%20his%20comments%20about%20Proctorio%20were%20imprecise%20and%20presented%20without%20context.%E2%80%9D title="" target="_blank" rel="noopener noreferrer nofollow">Johnson comme «Un article de blog imparfait qui reposait sur un Ensemble de données non représenté" Les journalistes continuent de faire référence irrationnelle à ce travail à ce jour.

Note : Cet article de blog a été mis à jour pour plus de clarté le 17 octobre 2023.