Pourquoi la plupart des stratégies de gouvernance de l’IA sont déjà en difficulté
Risque de conformité: Les organisations pensent souvent que la documentation légale suffit, sans percevoir les véritables risques de conformité liés à l’IA.
Environnement réglementaire: La gouvernance de l’IA évolue dans un cadre légal fragmenté, nécessitant une connaissance des normes et responsabilités juridiques existantes.
Détection des biais: Les biais dans l’IA proviennent des données historiques, influençant les pratiques de recrutement souvent sans intention ni conscience.
Responsabilité des fournisseurs: S’appuyer uniquement sur les certifications de conformité des fournisseurs peut masquer des risques organisationnels majeurs associés aux outils d’IA.
Nécessité de la gouvernance: Une gouvernance efficace de l’IA exige une supervision dirigeante et des responsabilités clairement définies pour assurer la conformité et limiter les risques.
La paperasse peut donner l'impression que la conformité est assurée. Le service juridique donne son aval, les contrats sont archivés avec une clause d'indemnisation qui promet une protection. Mais ces étapes créent souvent une illusion de sécurité plutôt que la réalité.
Récemment, j'ai assisté à une conférence comprenant plusieurs sessions consacrées au paysage juridique entourant l'IA au travail. Praticiens, avocats spécialisés en droit du travail et experts en conformité ont passé la majeure partie de deux jours à démonter les suppositions sur lesquelles les organisations ont bâti leurs stratégies de gouvernance de l'IA. Le tableau qui en ressortait n'était pas celui d'un danger imminent. L'exposition est déjà là.
Le paysage réglementaire
Le gouvernement fédéral n'a pas adopté de législation complète sur l'IA. C’est sur ce fait que certains dirigeants s'arrêtent, et c'est précisément la raison pour laquelle beaucoup sous-estiment leur risque. Le paysage réel est composé d'un patchwork de lois d'État, d'ordonnances locales et de lois fédérales existantes qui n’exigent pas de nouvelle réglementation spécifique à l’IA pour s’appliquer.
Keep Reading—and Keep Leading Smarter
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Vous entendez tout ce discours ‘nous n’allons pas réglementer cela’ de la part de l’administration actuelle. Ne vous laissez pas berner par cela. Ils vendent une certitude là où il n’y en a pas.
Kelly et tous les autres avocats présents à la conférence ont été assez directs sur le coût de cette mauvaise lecture pour les organisations. Les priorités stratégiques 2024–2028 de l'EEOC, qui incluent l’initiative pour repenser l’équité à l’embauche, mettent l'accent sur les systèmes apparemment neutres, c’est-à-dire des outils qui ne discriminent pas explicitement, mais qui produisent des résultats discriminatoires.
La législation fédérale couvre déjà ce point. Il en va de même pour l’AI Act de l’UE, qui s’applique à toute organisation ayant des opérations ou des activités d’emploi en Europe.
La désormais fameuse affaire Workday, un recours collectif alléguant que le logiciel RH de l’entreprise discriminait les candidats sur la base de l’âge et de la race, a clairement démontré que l’exposition juridique n’attend pas le Congrès.
Le problème de la découvrabilité
L’une des conversations les plus saisissantes lors de la conférence portait sur la documentation. Plus précisément, sur ce qui se passe lorsque vos décisions d’IA se retrouvent en phase de découverte.
Les prompts d’IA peuvent être assignés à comparaître. La logique interne, les entrées de décision, les configurations de modèles utilisées dans les processus de recrutement, la gestion de la performance ou de rémunération peuvent être exigées comme preuves. Les organisations incapables de produire des archives détaillées des décisions d’IA sur quatre ans encourent un risque important, tant dans le cadre de litiges qu’en cas d’examen réglementaire.
Ce n’est pas théorique. À mesure que les agents IA jouent des rôles de plus en plus autonomes dans les opérations RH, la question de responsabilité devient plus aiguë. Lorsqu’un système agentique prend ou influence une décision importante d'emploi et qu’un problème survient, la loi place la responsabilité entièrement sur l’employeur, et non sur le fournisseur.
La responsabilité stricte pour les agents met l’organisation dans la position d’assumer les résultats produits par des outils qu’elle ne comprend pas forcément entièrement.
Les exigences de conservation des documents évoluent en conséquence. Une gouvernance qui n’a pas été conçue avec la découvrabilité en tête devra être reconstruite sous pression.
Comment le biais s'introduit réellement
La plupart des organisations considèrent le biais lié à l’IA comme un problème de fournisseur. Elles achètent un outil d’IA, demandent s’il a été audité, reçoivent une réponse positive quelconque et avancent. La communauté juridique et conformité commence à souligner à quel point ce raisonnement est incomplet.
Le biais s’introduit dans les systèmes d’IA via des données historiques, des définitions du succès, des filtres de présélection et des variables de substitution. Lorsqu’un système d’IA est entraîné sur des années de dossiers concernant qui a été embauché, qui a été promu et quelles évaluations de performance ont été attribuées, il apprend les préférences de l’organisation. Ces préférences véhiculent souvent des discriminations intégrées que personne n’a intentionnellement programmées, mais que le modèle code puis amplifie.
« Le biais est amplifié, » remarque Kelly, « transformant des décisions isolées en schémas institutionnels généralisés. »
La norme juridique sur l’impact différencié ne requiert aucune intention. Un plaignant doit démontrer un écart statistique, et le seuil est déjà défini. La règle des quatre cinquièmes, aussi appelée règle des 80%, établit que si le taux de sélection d’un groupe protégé est inférieur à 80% du taux du groupe ayant le taux le plus élevé, cela constitue une preuve d’impact différencié.
Un outil d’IA qui analyse des milliers de CV chaque mois peut franchir ce seuil sans qu’aucune personne dans l’entreprise ne l’ait voulu.
Une étude de l'Université de Washington citée lors d'une session a illustré l'ampleur du problème. Lorsque les noms de candidats noirs masculins ont été comparés à ceux de candidats blancs masculins au sein des systèmes de présélection automatisés, ces systèmes ont préféré les noms noirs dans zéro pour cent des cas.
Le principe de traitement différencié, qui couvre la discrimination intentionnelle, apporte ses propres complications spécifiques à l'IA. Les saisies directes utilisant des caractéristiques protégées comme points de données explicites constituent le cas évident. Mais les motivations cachées sont plus difficiles à détecter et à contrer, comme le fait de choisir un fournisseur précisément parce que son outil de présélection a tendance à écarter les candidats plus âgés, tout en présentant ce choix en interne comme une préférence pour une « culture dynamique ».
Cette présentation ne neutralise pas l'intention du point de vue juridique.
Pourquoi la surveillance orientée fournisseur échoue
Le modèle de gouvernance par défaut dans la plupart des organisations passe par la relation fournisseur. On suppose que si l'outil d'un fournisseur réussit une certification ou est livré avec une documentation d'audit, l'organisation a rempli ses obligations.
Cette hypothèse ne résiste ni à la loi ni à la réalité opérationnelle.
« Au final, la responsabilité incombera à l'organisation, » a déclaré Kelly. « Tous les risques proviendront du même panier. Vous pouvez collaborer avec des personnes de la conformité, du risque, du juridique, tous travaillant à minimiser le risque dans leurs juridictions respectives, mais la seule façon d'y parvenir est que les membres de votre organisation comprennent ce que vous utilisez et à quelles fins. Si j'ai manqué le fait que votre équipe de recrutement utilise une technologie que nous ne testons pas pour les risques, notre travail devient quelque peu inutile. »
Chris Lippert, directeur chez Schellman, a cité le paysage des certifications fournisseurs comme une partie du problème. Beaucoup d'outils d'IA dans les fonctions RH n'ont pas été certifiés de façon indépendante.
Greenhouse, l'une des plateformes de suivi des candidatures les plus largement adoptées, n'a reçu sa certification ISO/IEC 42001 qu'en février de cette année. L'implication pour le secteur est que les organisations ont adopté des fonctionnalités enrichies par l'IA bien avant que ces outils ne soient validés, et beaucoup utilisent encore des versions non vérifiées.
Le simple fait qu’une application utilise de l’IA ne signifie pas qu’elle doit être utilisée. Et si elle ajoute une fonctionnalité IA, c’est le moment d’éveiller l’attention, d’agir. Est-ce que les politiques de votre entreprise sont mises à jour avant le déploiement de la technologie ? Non. Vous vous exposez à des risques avant même qu’ils ne puissent être intégrés dans une politique.
Lippert a recommandé de s'appuyer sur les analyses d'impact sur la vie privée que les organisations ont probablement déjà réalisées. L'évaluation des risques liés à l'IA n'a pas besoin d'être créée de toutes pièces. Les mêmes parties prenantes, les mêmes cadres d'analyse et une grande partie de la documentation existent déjà dans la plupart des programmes de conformité.
Considérer la gouvernance de l'IA comme un prolongement de ce travail plutôt que comme une initiative à part entière la rend plus réalisable et plus pérenne.
Le fossé de la gouvernance au sommet
Les exigences de gouvernance opérationnelle ne sont pas compliquées à énumérer.
- Points de contrôle de supervision humaine
- Périodicité de validation
- Responsabilité du fournisseur
- Suivi des résultats
- Documentation
- Gestion des versions
Tous ces points sont bien compris. Ce qui est moins clair dans de nombreuses organisations, c'est qui en a la responsabilité, et si quelqu'un ayant l'autorité organisationnelle surveille activement.
Le consensus général concernant tous les cadres de gestion des risques liés à l’IA est que cela doit être soutenu par la direction. Il faut que la direction s’empare du sujet.
Le point soulevé par Howard touche à une défaillance plus large. Les structures de gouvernance construites au niveau de l'équipe ou d'une fonction, sans mandat exécutif ni responsabilité claire, ont tendance à être appliquées de manière incohérente et sont difficiles à faire respecter.
Lorsqu'une unité opérationnelle adopte un nouvel outil d'IA sans passer par un processus d'examen établi, la faille créée ne s'expose qu'en cas de plainte, de poursuite judiciaire ou d'enquête réglementaire.
Le dérèglement des modèles aggrave ce phénomène. Les outils d'IA évoluent avec le temps : parfois du fait de mises à jour des fournisseurs, parfois du fait de changements dans les données traitées. Un outil qui a passé un audit de biais lors de son déploiement peut très bien ne plus le réussir dix-huit mois plus tard.
« Au fur et à mesure que les modèles dérivent, le risque que vous encourez augmente », a déclaré Howard. « Il faut donner à vos équipes les moyens de s'exprimer dès qu'une anomalie apparaît. »
Tester selon vos propres critères
L'absence de cadre fédéral obligatoire signifie que les organisations doivent, en grande partie, concevoir elles-mêmes leurs protocoles de test. Le conseil de Kelly sur ce sujet était sans détour.
« Vous êtes livrés à vous-mêmes », a-t-il déclaré. « C'est la réalité. »
En pratique, cela signifie que les organisations doivent effectuer leurs propres tests de biais, de façon continue, et sous protection juridique. Réaliser ces tests en bénéficiant du secret professionnel avocat-client permet de faire émerger les problèmes sans automatiquement créer de preuves exploitables à leur encontre.
C'est un investissement à retour évident, notamment pour toute organisation utilisant l'IA dans les recrutements, où l'exposition juridique est la plus forte et les exigences de documentation, les plus prescriptives.
Les organisations en avance sur ce sujet ont cessé de supposer que le fournisseur avait fait le travail, et ont commencé à considérer la gouvernance de l'IA comme une discipline opérationnelle : avec une réelle appropriation, des tests solides et une responsabilité effective.
