Die Fakten richtigstellen: Fairface

Es ist entscheidend, KI-Funktionen regelmäßig zu testen und zu prüfen, wenn man sich für ein KI-gestütztes Produkt wie Proctorio entscheidet. Während die meisten KI-Produkte dies nicht durchführen :text=through%20these%20systems.-,By%20opting%2Din%20to%20an%20audit%2C%20many%20businesses%20believe%20they%E2%80%99re%20getting%20early%20insight%20into%20tools%20that%20will%20eventually%20be%20required%20by%20regulators.,-In%202016%2C%20Obama%E2%80%99s title="" target="_blank" rel="noopener noreferrer nofollow">diese Art der Tests und diejenigen, die es tun, haben oft keinen Drittanbieter, der die Tests durchführt; es ist wichtig zu wissen, dass Proctorio KI nicht nur ernst nimmt, sondern auch mit externer KI beschäftigt ist Prüfungen seit 2019. Wir stellen diese Berichte aktuellen und potenziellen Partnern zusammen mit allen unseren Audits (SOC, ISO, E2EE usw.) in unseren Public Trust Center. Als :text=face%2Ddetection%20models%20found%20no%20measurable%20bias. title="" target="_blank" rel="noopener noreferrer nofollow">veröffentlicht im Jahr 2021 von NPR behauptet Proctorio weiterhin, dass seine Prüfer "keine messbare Verzerrung" in unserem Gesichtserkennungsmodelle.

Obwohl es völlig akzeptabel ist, diese Behauptungen zu hinterfragen und eigene Analysen durchzuführen, tauchen leider immer wieder diskreditierte Forschungen auf. Trotz ihres ungenauen und fehlerhaften Ansatzes zur Überprüfung unserer Modelle auf Verzerrung wird sie weiterhin erwähnt.

Im Zentrum dieser fehlerhaften und ungenauen Berichte steht ein Datensatz namens FairFace. Obwohl dieser Datensatz verwendet wurde, um andere Gesichtserkennungsalgorithmen zu benchmarken und auf potenzielle Verzerrungen zu prüfen, kann er nicht zum Testen von Proctorio verwendet werden, weil der FairFace-Datensatz ist für den Algorithmus und seine vorgesehene Anwendung nicht geeignet. Siehe das untenstehende Bild für eine Probe aus dem FairFace-Datensatz.

Der FairFace-Datensatz enthält zusammengesetzte Bilder, Fotos von Fotos mit ersetztem Hintergrund, Kinder, Cartoon-Bilder, Fotos mit Grafiken, Menschen, die absichtlich ihre Gesichter verbergen, und teilweise Seitenansichten von Gesichtern, die alle nicht die Live-Prüfungserfahrung eines Testteilnehmers simulieren. Keines davon wurde über eine Webcam aufgenommen.

Zum Beispiel machen Kinder und Cartoons keine Tests, daher ist es unrealistisch und nicht repräsentativ, diese Bilder als Teil des Datensatzes aufzunehmen.

Obwohl sie von Satheesan beschrieben wurden und ihre :text=and%20friend%20Erik-,Johnson,-%2C%20I%20did%20not title="" target="_blank" rel="noopener noreferrer nofollow">Mitautor und Freund :text=%E2%80%9Cunderstands%20that%20some%20of%20his%20comments%20about%20Proctorio%20were%20imprecise%20and%20presented%20without%20context.%E2%80%9D title="" target="_blank" rel="noopener noreferrer nofollow">Johnson als "Ein fehlerhafter Blogbeitrag die auf einer Unrepräsentierter DatensatzJournalisten beziehen sich bis heute weiterhin irrational auf die Arbeit.

Hinweis: Dieser Blogbeitrag wurde am 17. Oktober 2023 zur besseren Verständlichkeit aktualisiert.