De feiten rechtzetten: Fairface

Het is cruciaal om AI-functies regelmatig te testen en te auditen bij het kiezen van een AI-gedreven product zoals Proctorio. Hoewel de meeste AI-producten niet functioneren :text=through%20these%20systems.-,By%20opting%2Din%20to%20an%20audit%2C%20many%20businesses%20believe%20they%E2%80%99re%20getting%20early%20insight%20into%20tools%20that%20will%20eventually%20be%20required%20by%20regulators.,-In%202016%2C%20Obama%E2%80%99s title="" target="_blank" rel="noopener noreferrer nofollow">Dit type testen en degenen die dat wel doen, laten vaak geen derde partij de tests uitvoeren, het is belangrijk te weten dat Proctorio AI niet alleen serieus neemt, maar ook externe AI heeft toegepast Audits sinds 2019. We stellen deze rapporten beschikbaar voor huidige en potentiële partners, samen met al onze audits (SOC, ISO, E2EE, enz.) in onze Openbaar Vertrouwenscentrum. Als :text=face%2Ddetection%20models%20found%20no%20measurable%20bias. title="" target="_blank" rel="noopener noreferrer nofollow">Gepubliceerd in 2021 door NPR, blijft Proctorio volhouden dat haar auditors "geen meetbare vooringenomenheid" in onze Gezichtsdetectiemodellen.

Hoewel het volkomen acceptabel is om deze beweringen in twijfel te trekken en je eigen analyse uit te voeren, zien we helaas van tijd tot tijd steeds weerlegd onderzoek opduiken. Ondanks de onnauwkeurige en gebrekkige aanpak om onze modellen op vooringenomenheid te testen, wordt er nog steeds naar verwezen.

In het hart van deze gebrekkige en onnauwkeurige rapporten ligt een dataset genaamd FairFace. Hoewel deze dataset is gebruikt om andere gezichtsherkenningsalgoritmen te benchmarken en te controleren op mogelijke bias, kan het niet worden gebruikt om Proctorio te testen omdat de FairFace-dataset is niet geschikt voor het algoritme en de beoogde toepassing. Zie de afbeelding hieronder voor een voorbeeld uit de FairFace-dataset.

De FairFace-dataset bevat samengestelde afbeeldingen, foto's van foto's met vervangen achtergronden, kinderen, cartoonafbeeldingen, foto's met afbeeldingen, mensen die hun gezicht bewust verbergen, en gedeeltelijke zijbeelden van gezichten, die allemaal niet de live examenervaring van een testkandidaat op afstand simuleren. Geen van hen is via een webcam opgenomen.

Kinderen en tekenfilms maken bijvoorbeeld geen toetsen, dus het opnemen van die afbeeldingen in de dataset is onrealistisch en niet representatief.

Ondanks dat ze door Satheesan worden beschreven en hun :text=and%20friend%20Erik-,Johnson,-%2C%20I%20did%20not title="" target="_blank" rel="noopener noreferrer nofollow">Coauteur en vriend :text=%E2%80%9Cunderstands%20that%20some%20of%20his%20comments%20about%20Proctorio%20were%20imprecise%20and%20presented%20without%20context.%E2%80%9D title="" target="_blank" rel="noopener noreferrer nofollow">Johnson als "Een gebrekkige blogpost die berustte op een Niet-vertegenwoordigde dataset" Journalisten blijven tot op de dag van vandaag irrationeel naar het werk verwijzen.

Opmerking: Deze blogpost is op 17 oktober 2023 bijgewerkt voor duidelijkheid.