Pourquoi la plupart des stratégies de gouvernance de l’IA sont déjà en difficulté
Risque de conformité: Les organisations pensent souvent que la documentation légale suffit, sans reconnaître les risques réels de conformité liés à l’IA.
Paysage réglementaire: La gouvernance de l’IA s’exerce au sein de lois fragmentées, nécessitant une connaissance des normes juridiques existantes et des responsabilités associées.
Détection des biais: Le biais de l’IA provient de données historiques et impacte les pratiques de recrutement, souvent sans intention ni conscience.
Responsabilité des fournisseurs: Se fier uniquement aux certifications de conformité des fournisseurs peut occulter des risques organisationnels importants liés aux outils d’IA.
Nécessité de la gouvernance: Une gouvernance efficace de l’IA requiert une supervision des dirigeants et une responsabilité clairement définie pour assurer la conformité et réduire les risques.
La paperasse peut donner l'impression que la conformité est assurée. Le service juridique donne son accord, les contrats sont classés avec une clause d'indemnisation qui promet une protection. Mais ces étapes créent souvent l’illusion de la sécurité plutôt que sa réalité.
Récemment, j'ai assisté à une conférence comprenant plusieurs sessions consacrées au paysage juridique autour de l’IA en milieu professionnel. Des praticiens, avocats spécialisés en droit du travail et experts en conformité ont passé la majeure partie de deux jours à déconstruire les hypothèses sur lesquelles les organisations ont fondé leurs stratégies de gouvernance de l’IA. L'image qui en est ressortie n’était pas celle d’un danger en suspens. L’exposition au risque est déjà présente.
Le paysage réglementaire
Le gouvernement fédéral n’a pas adopté de législation complète sur l’IA. C’est ce fait que certains dirigeants s’arrêtent, et c’est précisément la raison pour laquelle beaucoup sous-estiment leur risque. Le paysage réel est un patchwork de lois d’État, d’ordonnances locales et de législation fédérale existante qui n’exige pas de nouvelle réglementation spécifique à l’IA pour s’appliquer.
Keep Reading—and Keep Leading Smarter
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Vous entendez tout ce discours ‘nous n’allons pas réguler cela’ de la part de l’administration actuelle. Ne vous laissez pas piéger par cela. Ils vendent une certitude qui n’existe pas.
Kelly, comme tous les autres avocats intervenant à la conférence, a été plutôt direct sur le coût de cette mauvaise interprétation pour les organisations. Les priorités stratégiques 2024–2028 de l’EEOC, qui incluent l’initiative de réinventer l’équité dans l’embauche (Hiring Initiative to Reimagine Equity), mettent spécifiquement l’accent sur les systèmes apparemment neutres, c’est-à-dire des outils qui ne discriminent pas explicitement mais génèrent des résultats discriminatoires.
La législation fédérale le couvre déjà. Il en va de même pour l’AI Act de l’UE, qui s’applique à toute organisation ayant des opérations ou activités d’emploi en Europe.
La désormais célèbre affaire Workday, un recours collectif alléguant que le logiciel RH de l’entreprise discriminait les candidats selon leur âge et leur origine ethnique, a clairement démontré que l’exposition juridique n’attend pas l’intervention du Congrès.
Le problème de découvrabilité
L’une des discussions les plus saisissantes de la conférence portait sur la documentation. Plus précisément : que se passe-t-il lorsque vos décisions liées à l’IA se retrouvent dans le cadre d’une procédure de découverte judiciaire.
Les instructions données à l’IA peuvent faire l’objet d’une assignation. La logique interne, les critères de décision, les configurations de modèle utilisées dans le recrutement, la gestion des performances ou les processus de rémunération peuvent être demandées comme preuves. Les organisations incapables de fournir des dossiers détaillés de décisions liées à l’IA datant de quatre ans s’exposent à des risques importants, tant en justice que lors d’un contrôle réglementaire.
Ce n’est pas théorique. À mesure que les agents IA prennent des rôles plus autonomes dans les opérations RH, la question de la responsabilité devient plus aiguë. Lorsqu’un système agentique prend ou influence une décision importante en matière d’emploi et qu’une erreur survient, la loi fait reposer la responsabilité entièrement sur l’employeur, et non sur le fournisseur.
La responsabilité stricte liée aux agents place l’organisation en position d’assumer les conséquences de résultats produits par des outils qu’elle ne maîtrise pas entièrement.
Les exigences de conservation des documents évoluent en conséquence. Une gouvernance qui n’intégrait pas la découvrabilité devra être reconstruite sous pression.
Là où le biais s’introduit réellement
La plupart des organisations considèrent le biais dans l’IA comme un problème de fournisseur. Elles achètent un outil IA, demandent s’il a été audité, reçoivent une réponse plus ou moins affirmative et poursuivent leur déploiement. La communauté juridique et celle de la conformité commencent à souligner le caractère très incomplet de cette approche.
Le biais s’immisce dans les systèmes IA via les données historiques, les définitions du succès, les filtres de présélection et les variables de substitution. Lorsqu’un système IA est entraîné sur des années de données montrant qui a été recruté, promu et comment les performances ont été évaluées, il apprend les préférences de l’organisation. Ces préférences contiennent souvent des discriminations intégrées que personne n’a pensées intentionnellement, mais que le modèle encode puis propage à grande échelle.
Le biais est amplifié, a observé Kelly, transformant des décisions isolées en tendances institutionnelles.
La norme juridique appliquée à l’impact différencié ne requiert pas d’intention. Un plaignant a seulement à démontrer une disparité statistique dont le seuil est déjà défini. La règle des quatre cinquièmes, aussi appelée règle des 80 %, indique que si le taux de sélection d’un groupe protégé est inférieur à 80 % de celui du groupe ayant le taux le plus élevé, cela constitue une preuve d’impact différencié.
Un outil IA passant au crible des milliers de CV chaque mois peut facilement franchir ce seuil sans que personne dans l’entreprise n’ait eu l’intention que cela se produise.
Une étude de l’Université de Washington citée lors d’une session illustrait l’ampleur du problème. Lorsque les noms de candidats noirs masculins ont été comparés à ceux de candidats blancs masculins dans des systèmes de sélection de CV par IA, les systèmes ont préféré les noms noirs zéro fois sur cent.
Le principe du traitement différencié, qui couvre la discrimination intentionnelle, apporte ses propres complications spécifiques à l’IA. Les entrées directes utilisant des caractéristiques protégées comme points de données explicites constituent un cas évident. Mais les motifs cachés sont plus difficiles à détecter et à combattre, comme le fait de sélectionner un fournisseur précisément parce que son outil écarte souvent les candidats plus âgés, tout en reformulant cela en interne comme une préférence pour une « culture dynamique ».
Cette formulation n’annule pas l’intention du point de vue légal.
Pourquoi la surveillance orientée vers les fournisseurs échoue
Le modèle de gouvernance par défaut dans la plupart des organisations passe par la relation avec le fournisseur. L’idée est que si l’outil du fournisseur est certifié ou fourni avec une documentation d’audit, l’organisation a rempli ses obligations.
Cette hypothèse ne tient pas face à la loi ou à la réalité opérationnelle.
« Au final, la responsabilité incombe à l’organisation, » a déclaré Kelly. « Tous les risques sont supportés par le même groupe. Vous pouvez collaborer avec les équipes conformité, risques, ou juridique pour minimiser les risques dans leurs domaines, mais le seul moyen d’y parvenir est que les personnes de votre organisation comprennent ce que vous utilisez et pourquoi vous l’utilisez. Si j’ai manqué le fait que votre équipe de recrutement utilise une technologie que nous n’évaluons pas pour le risque, notre travail est quelque peu inutile. »
Chris Lippert, directeur chez Schellman, a souligné le paysage des certifications fournisseurs comme faisant partie du problème. De nombreux outils d’IA actuellement utilisés dans la fonction RH n’ont pas été certifiés de manière indépendante.
Greenhouse, l’une des plateformes de suivi des candidatures les plus adoptées, n’a obtenu sa certification ISO/IEC 42001 qu’en février de cette année. Cela implique que les organisations ont adopté des fonctionnalités dopées à l’IA bien avant que les outils ne soient validés, et beaucoup fonctionnent encore avec des versions non vérifiées.
Ce n’est pas parce qu’une application possède de l’IA qu’il faut l’utiliser. Et si elle ajoute des fonctionnalités IA, c’est le moment de signaler et d’alerter. Est-ce que vos politiques d’entreprise sont mises à jour avant que la technologie soit déployée ? Non. Vous vous exposez avant que cela ne puisse être pris en compte dans la politique.
Lippert recommande de s’appuyer sur les analyses d’impact sur la vie privée que les organisations ont probablement déjà réalisées. L’évaluation des risques liés à l’IA n’a pas besoin d’être créée de toutes pièces. Les mêmes parties prenantes, les mêmes cadres analytiques et une grande partie de l’infrastructure documentaire existent déjà dans la plupart des programmes de conformité.
Considérer la gouvernance de l’IA comme le prolongement de ce travail, plutôt que comme une initiative distincte, la rend plus facile à exécuter et plus pérenne.
L’écart de gouvernance au sommet
Les exigences opérationnelles en matière de gouvernance ne sont pas compliquées à énumérer.
- Points de contrôle en supervision humaine
- Rythme des validations
- Responsabilité des fournisseurs
- Suivi des résultats
- Documentation
- Gestion des versions
Tous ces points sont bien compris. Ce qui est moins clair dans de nombreuses organisations, c’est la question de savoir qui en est responsable, et si quelqu’un, doté de réels pouvoirs, assure effectivement la surveillance.
Le consensus général sur tous les cadres de gestion des risques liés à l’IA, c’est que cela doit être soutenu depuis le sommet. Il faut que cela soit pris en charge par les dirigeants.
Le propos de Howard met en évidence une logique d’échec plus large. Les structures de gouvernance construites au niveau de l’équipe ou d’une fonction précise, sans mandat exécutif et sans responsabilité claire, ont tendance à être appliquées de manière incohérente et sont difficiles à faire respecter.
Lorsqu’une unité métier adopte un nouvel outil d’IA sans passer par un processus de validation établi, le problème ne se révèle que lorsqu’il y a une plainte, une poursuite ou une enquête réglementaire.
La dérive des modèles accentue ce phénomène. Les outils d’IA évoluent avec le temps, parfois suite à des mises à jour du fournisseur, parfois en raison de changements dans les données traitées. Un outil ayant passé un audit de biais lors du déploiement peut ne plus le réussir dix-huit mois plus tard.
« Plus les modèles dérivent, plus vous héritez de risques », a déclaré Howard. « Il faut donner à vos collaborateurs le pouvoir de s’exprimer lorsque quelque chose semble anormal. »
Tester selon vos propres conditions
L’absence de cadre fédéral obligatoire signifie que les organisations sont en grande partie laissées à elles-mêmes pour concevoir leurs propres protocoles de tests. Le conseil de Kelly à ce sujet était direct.
« Vous êtes livrés à vous-mêmes », a-t-il dit. « C’est la réalité. »
Concrètement, cela signifie que les organisations doivent effectuer elles-mêmes des tests de biais, de façon continue, tout en se protégeant légalement. Mener ces tests sous le sceau du secret professionnel avec un avocat permet de mettre au jour d’éventuels problèmes sans nécessairement créer de preuves accessibles à des tiers.
C’est un investissement qui présente un retour clair, notamment pour toute organisation utilisant l’IA dans le recrutement, où l’exposition juridique est la plus forte et où les exigences de documentation sont les plus contraignantes.
Les organisations les plus avancées ont cessé de supposer que le fournisseur a fait ce travail et ont commencé à traiter la gouvernance de l’IA comme une discipline opérationnelle, avec un vrai portage, de vrais tests, et une véritable responsabilité.