L’IA responsable concerne la gouvernance, pas seulement la technologie

La plupart des entreprises de logiciels intègrent désormais l’IA dans leurs produits. En conséquence, la conversation évolue. Au lieu de demander « Ce produit utilise-t-il l’IA ? », les clients se demandent de plus en plus « Comment cette IA est-elle gérée ? »

C’est une distinction importante.

Construire l’IA est un défi. La gouverner de manière responsable dans le temps en est un autre.

À Proctorio, nous pensons que la gouvernance deviendra l’une des façons déterminantes par lesquelles les organisations évalueront les fournisseurs d’IA. C’est pourquoi nous avons engagé dans ISO/IEC 42001, la première norme internationale mondiale pour les systèmes de gestion de l’IA.

La partie difficile n’est pas de construire une IA

Développer une capacité d’IA n’est que la première étape. Le vrai travail commence après son déploiement.

Les modèles d’IA évoluent. De nouveaux risques apparaissent. Les réglementations changent. Les attentes des clients continuent de s’écrire.

L’IA responsable nécessite un système de gestion continu qui définit la responsabilité, surveille la performance, évalue les risques et améliore continuellement l’utilisation de l’IA dans l’organisation.

C’est exactement ce que l’ISO/IEC 42001 a été créée pour répondre.

À quoi ressemble la gouvernance de l’IA chez Proctorio

Pour nous, l’IA responsable n’est pas une déclaration, c’est un processus opérationnel.

Dans le cadre de notre certification ISO/IEC 42001, nous avons mis en place plus que 25 politiques de gouvernance de l’IA documentées qui guident la manière dont l’IA est développée, survue et maintenue.

Ces politiques sont soutenues par des pratiques en cours, notamment :

• Des évaluations régulières de l’équité et des biais pour aider à garantir que nos systèmes d’IA traitent les utilisateurs de manière cohérente.
• Des revues régulières de la direction concernant les risques liés à l’IA, les activités de gouvernance et les opportunités d’amélioration.
• Évaluer les pratiques de gouvernance de l’IA des fournisseurs tiers sur lesquels nous dépendons, car une IA responsable dépasse nos propres produits.

Ce ne sont pas des exercices annuels. Ils font partie d’un processus de gestion continu car l’IA elle-même évolue constamment.

Pourquoi cela est important

Les organisations évaluant l’IA ne devraient pas seulement comparer les fonctionnalités. Elles devraient aussi comprendre comment ces fonctionnalités sont régies.

Un modèle d’IA n’est qu’une partie de l’équation. Les politiques, la supervision, la gestion des risques et la responsabilité qui le sous-tendent déterminent si on peut lui faire confiance au fil du temps.

C’est ce que des normes indépendantes comme ISO/IEC 42001 aident à valider.

Des questions que toute organisation devrait poser

Que vous évaluiez des logiciels d’évaluation, des plateformes RH, des applications financières, des systèmes de santé ou des outils de productivité, demandez à vos fournisseurs des informations sur la gouvernance de l’IA, et pas seulement sur les capacités de l’IA.

Voici quelques bonnes questions :

• Avez-vous un système de gestion IA formel ?
• A-t-il été audité de manière indépendante ?
• Comment évaluez-vous l’équité et le biais ?
• Qui est responsable de la supervision de l’IA ?
• À quelle fréquence revoisez-vous et mettez-vous à jour vos pratiques de gouvernance de l’IA ?
• Comment évaluez-vous la gouvernance de l’IA de vos propres fournisseurs ?

Ces questions sont importantes car la gouvernance de l’IA n’est pas statique.

C’est une cible mobile.

La technologie progresse rapidement. Les réglementations continuent d’évoluer. De nouveaux risques apparaissent. Les organisations doivent s’attendre à ce que leurs fournisseurs évoluent avec elles.

Chez Proctorio, nous croyons qu’une IA responsable nécessite une supervision continue, des processus mesurables et une validation indépendante, pas seulement de bonnes intentions.

Aujourd’hui, les clients demandent aux fournisseurs s’ils sont ISO 27001 certifiés pour comprendre comment ils gèrent la sécurité. Nous pensons que la gouvernance de l’IA va dans la même direction.

Bientôt, les organisations ne se contenteront plus de demander si un produit utilise l’IA.

Ils demanderont à quel point cette IA est gouvernée.