Qui a le droit de contester le modèle ?
Risques de la délégation: La délégation de l’IA fondée sur des objectifs réduit fortement la sincérité, en laissant les systèmes déterminer les méthodes derrière des objectifs commerciaux apparemment acceptables.
Déficit de responsabilité: Les politiques de gouvernance de l’IA désignent des dirigeants responsables, mais les registres d’annulation révèlent si l’autorité décisionnelle existe réellement dans la pratique.
Preuves d’annulation: Consigner les désaccords humains avec les recommandations de l’IA révèle une autorité inutilisée, des systèmes faibles et une résistance organisationnelle à la remise en question.
Érosion du discernement: Accepter de manière répétée les recommandations des machines peut éroder les compétences décisionnelles des responsables avant que les organisations ne reconnaissent la faiblesse qui en résulte.
Conception pratique: Une supervision humaine efficace exige une classification réversible des décisions, des modes de délégation explicites, des registres de désaccords et une protection sociale pour les annulations.
Des chercheurs dirigés par l'Institut Max-Planck pour le développement humain ont mené une version d'une expérience que les spécialistes des sciences du comportement utilisent depuis des décennies. Les participants regardaient le lancer d'un dé à l'écran et en indiquaient le résultat. Les nombres les plus élevés rapportaient davantage, à raison d'un centime par point, pendant dix manches.
Lorsqu'ils répondaient pour eux-mêmes, 95 % disaient la vérité.
Les chercheurs ont ensuite demandé à d'autres participants de confier la réponse à une machine, en ne faisant varier que la manière dont l'instruction était formulée. Ceux qui devaient rédiger des règles explicites, en précisant quoi déclarer pour chacun des six résultats possibles, demandaient à la machine de donner le nombre honnête environ 75 % du temps.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Ceux qui l'entraînaient en sélectionnant un jeu de données d'exemple demandaient une réponse honnête environ la moitié du temps. Ceux qui fixaient un objectif, en déplaçant un curseur de « maximiser la précision » vers « maximiser les profits » et en laissant le système choisir la méthode, demandaient une réponse honnête dans 12 % des cas lors de la première étude et dans 16 % des cas lors d'un suivi où la délégation était facultative.
Entre 84 et 88 % des personnes de cette dernière condition demandaient à la machine de tricher à leur place, sans qu'aucune d'entre elles ait eu besoin de le dire.
L'argent n'avait pas changé. Les lancers de dés non plus, puisque tous les participants voyaient la même séquence fixe de dix lancers. Ce qui avait changé, c'était l'espace d'interprétation entre l'instruction et l'action.
Les chercheurs s'attendaient à ce que la rédaction de règles reste stable, partant du principe qu'expliciter une tricherie avait le même poids moral que la commettre. Ce ne fut pas le cas. L'honnêteté a également diminué d'environ vingt points dans cette condition. Toutes les formes de délégation l'ont dégradée, et l'interface déterminait dans quelle mesure.
Il s'agissait d'une expérience en ligne menée sur Prolific, avec un paiement maximal de soixante cents. La tâche du lancer de dé a fait l'objet d'une longue validation, en prédisant des comportements réels, notamment la fraude aux transports et les pratiques commerciales trompeuses. La comparaison des interfaces n'a été testée que dans ce protocole, bien qu'une étude complémentaire utilisant une tâche de fraude fiscale, dans laquelle une déclaration inexacte réduisait un don à la Croix-Rouge, ait reproduit l'autre résultat central de l'étude concernant la manière dont les agents machines traitent les instructions qui leur sont données.
Cette distinction est importante au regard de ce que la plupart des entreprises construisent actuellement. Rédiger une invite s'apparente davantage à rédiger des règles, et les demandes malhonnêtes formulées en langage naturel représentaient environ 25 % selon les déclarations des participants eux-mêmes, et 40 % lorsque des évaluateurs indépendants jugeaient les instructions.
La hausse apparaît avec les interfaces où une personne fixe un objectif et laisse le système déterminer la méthode. Un responsable qui demande à un agent de maximiser le flux d'opportunités qualifiées ou de réduire le délai de recrutement a défini un résultat et laissé au système tout le jugement opérationnel sur la manière d'y parvenir. Mais où se trouve le critère que quelqu'un devrait être en mesure de défendre ?
La structure de responsabilité qui chapeaute généralement ce dispositif semble correcte sur le papier. Un nom y figure. Ce nom, toutefois, a moins de poids qu'on pourrait le penser.
Désigner un responsable était la partie facile
En 2025 et jusqu'à cette année, les organisations ont fait ce qui s'imposait. Elles ont créé des comités de supervision de l'IA, rédigé des politiques d'utilisation acceptable et inscrit un dirigeant nommément désigné dans l'organigramme à côté des mots « gouvernance de l'IA ».
L'enquête de Deloitte sur les Tendances mondiales du capital humain 2026, menée avec Oxford Economics auprès de plus de 9 000 dirigeants d'entreprise et des ressources humaines dans 89 pays, a révélé que 64 % des répondants considéraient l'IA et la prise de décision comme très importantes pour leur réussite actuelle. Seulement 5 % estiment être à l'avant-garde dans ce domaine.
L'écart entre la préoccupation et la compétence ne s'explique pas par un manque de politiques. La plupart des organisations en ont une. Ce qui leur manque, c'est la preuve que l'autorité qu'elles ont définie par écrit est effectivement exercée.
Demandez à un DRH qui est responsable de la décision d'embauche influencée par l'IA et vous obtiendrez une réponse. Demandez combien de fois au cours des six derniers mois un recruteur a officiellement passé outre l'outil de présélection, et ce qui lui est arrivé ensuite, et la salle devient silencieuse.
Cette deuxième question mérite d'être posée parce que sa réponse peut être vérifiée ou réfutée. La responsabilité est une affirmation. Un passage outre est un événement.
La trace s'arrête au résultat
Kaan Esendemir, architecte d'entreprise ayant conçu des flux de travail assistés par l'IA à grande échelle, observe le plus souvent ce schéma dans les systèmes qui recommandent plutôt qu'ils ne décident. Des assistants virtuels, des accélérateurs de flux de travail, des outils qui font émerger une option et laissent la décision à une personne.
L'endroit où se situe la limite entre les deux fait l'objet d'une négociation. Les responsables métier et produit décident où l'IA s'arrête et où la personne commence, explique-t-il, avec la participation des équipes d'ingénierie, car elles comprennent ce que le système peut réellement faire et là où il échoue. Cette partie fonctionne généralement.
Ce qui se passe ensuite est l'endroit où la trace s'amenuise.
Lorsqu’une personne outrepasse le système, le résultat final est généralement enregistré, mais le désaccord lui-même n’est pas toujours suivi comme un point de données à part entière.
La distinction paraît minime, mais elle détermine ce qu'une organisation peut apprendre. Un résultat vous indique ce qui a été décidé. Un désaccord vous indique qu'une personne a examiné une recommandation, l'a jugée erronée et a agi à son encontre. Les entreprises conservent la moins utile des deux informations.
Une dérogation n'est pas une simple exception. C'est un retour d'information qui peut contribuer à améliorer le système et à rendre les recommandations futures plus pertinentes.
Un journal des dérogations est un outil de diagnostic peu coûteux que tout directeur des opérations peut utiliser ce trimestre. Choisissez trois flux de travail dans lesquels l'IA influence une décision importante. Comptez les cas documentés, au cours des six derniers mois, où un être humain est allé à l'encontre de la recommandation. Puis examinez ce qui s'est passé ensuite dans chaque cas.
Si le compte est nul, l'une de deux choses est très probablement vraie. Soit le système a si bien fonctionné qu'aucun être humain n'a trouvé de raison de le contredire en six mois, ce qu'aucun fournisseur ne prétend à propos de son propre produit. Soit l'autorité de contester existe sur le papier et nulle part ailleurs.
Le nombre n'a pas besoin d'être nul pour vous apprendre quelque chose. L'Espagne utilise un système appelé Viogén qui évalue le risque de violences répétées dans les affaires de violences domestiques, et un audit externe a révélé que les policiers suivaient sa recommandation 95 % du temps.
Le Contrôleur européen de la protection des données, citant l'audit dans une note technique en septembre dernier, admet que cette concordance peut refléter une confiance justifiée dans l'outil. Il soulève également la question de savoir quelle part de jugement indépendant subsiste dans le processus.
Un accord à 95 % entre une personne et un modèle signifie soit que le modèle est très performant, soit que la personne a cessé de parvenir à ses propres conclusions. Vu de l'extérieur du journal, ces deux situations sont identiques. De l'intérieur, sur six mois, elles ne le sont pas.
La capacité à outrepasser le système se dégrade avant même d'être mesurée
Amy Centers, psychologue organisationnelle et fondatrice de SmartWorks Labs, décrit le problème de second ordre. L'autorité de déroger aux recommandations ne reste pas simplement inutilisée. Ce qui la sous-tend s'érode.
C’est un peu comme la façon dont le GPS a érodé notre sens de l’orientation. Au fil du temps, je pense que le fait d’externaliser notre jugement va commencer à éroder la boussole interne et l’intuition des dirigeants, et cela comporte un véritable danger, car les organisations pourraient alors devenir techniquement efficaces, mais moralement creuses.
Sa formulation plus incisive : "Plus nous externalisons les décisions difficiles, plus nous risquons de former des dirigeants incapables de diriger sans y être invités."
Le mécanisme fonctionne selon un calendrier plus long que la plupart des examens de gouvernance. Un responsable qui s'en est remis au modèle pour quatre-vingt-dix-huit recommandations consécutives n'est pas resté inactif. Il a été efficace. Il a également passé des mois sans exercer la capacité même que l'autorité de dérogation suppose qu'il possède encore.
Cela n'apparaît pas lors d'une revue trimestrielle. Cela apparaît la première fois que le modèle se trompe avec assurance sur un sujet important et que la personne officiellement chargée de le détecter lit le résultat, le trouve plausible et passe à autre chose.
Centers situe clairement le point de défaillance au niveau du responsable, et elle insiste fortement sur ce point.
Je commencerais par la responsabilité des responsables. La plupart des dysfonctionnements se propagent à partir des responsables. Ils sont trop souvent laissés sans soutien et insuffisamment formés. Ils ne sont pas tenus responsables de leur manière de diriger. Si vous ne corrigez pas cette couche charnière, toutes les autres réformes — l'engagement, les compétences, l'adoption de l'IA — s'effondrent.
Elle qualifie le rôle du responsable de charnière entre la stratégie et l'expérience humaine. Dans un flux de travail augmenté par l'IA, c'est également la seule couche en mesure de détecter une mauvaise décision avant qu'elle ne se généralise, composée de personnes promues pour leur fiabilité opérationnelle et auxquelles on n'a jamais dit que la validation des résultats produits par les machines faisait désormais partie de leur travail.
L’automatisation laisse aux humains les cas les plus difficiles
Victoria Pelletier, qui a auparavant dirigé des fonctions liées aux ressources humaines et à la transformation chez Accenture et IBM, entre autres, souligne ce que l’automatisation fait au travail qui reste.
Ce sont ces compétences humaines essentielles : l’innovation, la résolution de problèmes et des qualités comme l’empathie. Quand vous demandez ce qui reste derrière, pensez à un centre de contact. C’est le premier endroit où une forme d’automatisation est apparue. Lorsque vous finissez par parler à un agent humain, c’est une exception. La situation n’a pas suivi les règles de la politique ou du code que l’agent d’IA pouvait appliquer. Il faut donc quelqu’un capable d’analyser la situation.
Comme elle le souligne, les centres de contact ont mené cette expérience des années avant les autres. Automatisez le suivi des règles, et chaque appel qui arrive jusqu’à une personne est, par construction, un appel que les règles n’ont pas su traiter. Le travail qui reste est plus difficile que celui qui a été supprimé.
Selon Pelletier, les définitions de poste suivent rarement cette évolution. Le volume diminue, la difficulté augmente, tandis que la description du poste, la formation et les critères de performance décrivent toujours le travail tel qu’il existait auparavant. Elle souligne que le travail résiduel « exige un niveau de maîtrise très différent pour certaines des compétences que nous attendons déjà aujourd’hui ».
Elle identifie également une raison structurelle pour laquelle les droits de décision ne sont pas redéfinis. Les fonctions de conception organisationnelle et d’architecture des postes ont été réduites au cours de la dernière décennie, considérées comme des frais généraux, en partant du principe raisonnable que les rôles n’auraient pas besoin d’être réévalués fréquemment.
Ce sont précisément ces personnes qui pourraient aujourd’hui redéfinir les droits de décision. Pelletier appelle ce qui se produit en leur absence la « fabrication de postes Frankenstein ».
Deux critiques de l’intervention humaine
Deux objections au maintien d’un humain dans la boucle circulent actuellement, et elles vont dans des directions opposées.
Selon la version de Jurgen Appelo, les points de contrôle humains obligatoires transforment les personnes en goulots d’étranglement. Chaque interaction commence et se termine avec une personne, les systèmes ne communiquent jamais entre eux et l’activité avance au rythme de la personne la plus lente. Il appelle cela le piège de l’humain dans la boucle.
C’est ce qu’Esendemir veut dire lorsqu’il m’explique que le fait de ne pas enregistrer les dérogations est « essentiellement une décision de conception ».
La version du Contrôleur européen de la protection des données est presque l’inverse. Dans la note technique précédemment mentionnée sur la supervision humaine de la prise de décision automatisée, le CEPD met en garde contre l’idée qu’un humain dans la boucle assure nécessairement une supervision, et soutient que les organisations doivent concevoir explicitement l’autorité, les interfaces et les voies d’escalade afin qu’une personne puisse réellement intervenir.
Les deux points de vue sont justes et décrivent des défaillances différentes. Chez Appelo, l’humain est un obstacle. Chez le CEPD, l’humain est présent mais impuissant. Une organisation peut résoudre le premier problème en supprimant les points de contrôle, tout en aggravant le second par la même occasion.
La note décrit concrètement ce que signifie l’impuissance. Entre 2014 et 2019, le service public de l’emploi polonais a utilisé un algorithme qui classait les demandeurs d’emploi en trois catégories, la catégorie déterminant le soutien reçu par chaque personne. Les conseillers étaient officiellement désignés comme responsables de la supervision humaine et avaient le pouvoir de contester la classification.
Ils en avaient l’autorité, mais ne pouvaient pas l’exercer. Leur charge de travail était trop élevée et leur formation insuffisante. Personne ne leur avait indiqué dans quels cas une dérogation était justifiée ni comment en motiver une. Le système affichait ses résultats dans un format qui rendait difficile l’évaluation de l’adéquation d’une classification à la personne assise en face du conseiller.
Puis vient l’élément qui n’a rien à voir avec la conception du système. Certains responsables locaux décourageaient ouvertement les dérogations et certains les interdisaient, car une dérogation attirait l’attention de leur hiérarchie.
Les conseillers n’étaient pas insuffisamment formés au sens où un budget de formation aurait suffi à résoudre le problème. Ils interprétaient correctement une incitation. Contester le modèle créait une trace à laquelle un responsable devrait répondre, tandis que le suivre ne créait rien du tout. Face à ces deux options et à une charge de travail complète, le choix rationnel consiste à valider ce qu’indique l’écran.
L’EDPS énonce clairement la condition. Les opérateurs ne peuvent exercer une véritable autorité sur un système que s’ils ne craignent pas les conséquences que leur propre organisation pourrait leur faire subir pour l’avoir utilisé.
Il s’agit d’une déclaration sur la gestion, et non sur la conception des interfaces, et c’est pourquoi l’autorité de passer outre tend à rester décorative. L’octroi formel est la partie facile. Ce qui détermine si quelqu’un l’exercera, c’est ce qui arrive à la personne qui le fait.
La formulation de Deloitte sur ce qui remplace l’ancien modèle est la plus précise qui soit disponible. Les outils traditionnels de répartition des droits décisionnels, comme RACI, présupposent une autorité statique. Avec l’IA, les droits doivent être dynamiques, avec des privilèges de passer outre, des voies d’escalade et des règles de consensus intégrés au système afin que les humains et les agents coordonnent qui décide, quand et sur quelle base.
La Pologne disposait de la plupart de ces éléments sur le papier. Ce qui lui manquait, c’était un responsable prêt à approuver le fait que quelqu’un les utilise.
Construire les conditions, pas l’organigramme
Quatre mesures, dans l’ordre où elles doivent être prises.
Classer les décisions selon leur réversibilité avant de les attribuer à qui que ce soit. La distinction d’Amazon entre les portes à sens unique et les portes à double sens en est la version de référence. Les décisions irréversibles font l’objet d’un examen approfondi et suivent des circuits plus lents. Les décisions réversibles avancent. Dans l’ère de l’IA, l’application consiste à faire correspondre l’autonomie de l’agent à la difficulté de revenir sur une décision, plutôt qu’à son apparente routine.
Nommer le mode de délégation, pas seulement le délégataire. La conclusion de Max Planck l’illustre. La délégation fondée sur des règles, sur des exemples et sur des objectifs a produit des demandes sensiblement différentes de la part de personnes par ailleurs comparables. Tout processus dans lequel quelqu’un confie un résultat à un système et le laisse déterminer les critères relève de la catégorie présentant le plus haut degré d’ambiguïté, car c’est précisément ce qu’il est.
Consigner le désaccord, pas seulement le résultat. La lacune relevée par Esendemir est celle qu’il faut combler. Lorsqu’une personne va à l’encontre d’une recommandation, notez qu’elle l’a fait, ce qu’elle a observé et ce qui s’est passé ensuite. Le résultat à lui seul ne vous apprend rien sur le fait que quelqu’un exerce encore son jugement.
Réexaminer la limite selon un calendrier établi. La question de savoir où l’IA décide et où une personne décide n’est pas une question à laquelle on répond une seule fois. Fixez-lui une date.
Les chercheurs de Max Planck ont conclu par une recommandation destinée à la personne qui délègue plutôt qu’à la machine qui reçoit la délégation. Il faut éviter les interfaces de délégation qui permettent de prétendre facilement ignorer la manière dont la machine interprétera vos instructions.
C’est un principe de conception, qui s’applique aussi bien à un cadran sur un écran qu’à un modèle opérationnel complet. Chaque niveau d’abstraction entre une personne et une conséquence rend cette conséquence plus facile à accepter.
Dans six mois, de nombreuses organisations disposeront d’une documentation. Des politiques, des chartes de comité, des responsables désignés, des formations achevées.
Quelques-unes auront un registre comportant des entrées.
