Qui a le droit de contester le modèle ?
Risques de délégation: La délégation d’objectifs à l’IA réduit fortement l’honnêteté, en laissant les systèmes déterminer les méthodes derrière des objectifs apparemment acceptables.
Fossé de responsabilité: Les politiques de gouvernance de l’IA désignent des responsables, mais seuls les exemples d’annulation révèlent l’existence réelle d’une autorité décisionnelle.
Preuve d’annulation: Consigner les désaccords humains avec les recommandations de l’IA révèle une autorité inutilisée, des systèmes faibles et une résistance organisationnelle à la remise en question.
Déclin du jugement: Accepter systématiquement les recommandations d’une machine peut éroder les compétences décisionnelles des responsables avant que l’organisation prenne conscience de cette faiblesse.
Conception pratique: Une supervision humaine efficace nécessite une classification réversible des décisions, des modes de délégation explicites, des journaux de désaccords et une protection sociale pour ceux qui annulent.
Des chercheurs dirigés par l'Institut Max Planck pour le développement humain ont mené une version d'une expérience utilisée depuis des décennies par les spécialistes des sciences comportementales. Les participants regardaient un dé rouler à l'écran et déclaraient le résultat. Plus le nombre était élevé, plus le gain était important, un centime par point, sur dix tours.
Lorsqu'ils déclaraient eux-mêmes, 95% ont dit la vérité.
Puis, les chercheurs ont fait en sorte que d'autres participants délèguent la déclaration à une machine, ne variant que la façon dont l'instruction était donnée. Ceux qui devaient écrire des règles explicites, spécifiant ce qu'il fallait déclarer pour chacun des six résultats possibles, demandaient à la machine de donner le vrai chiffre environ 75% du temps.
Continuez à lire—et continuez à diriger plus intelligemment
Créez un compte gratuit pour terminer cet article et rejoindre une communauté de leaders tournés vers l'avenir exploitant outils, guides pratiques et perspectives pour prospérer à l'ère de l'IA.
Have an account? Log In
Ceux qui l’entraînaient en choisissant un ensemble de données exemple demandaient l’honnêteté environ la moitié du temps. Ceux qui fixaient un objectif, en faisant glisser un curseur de "maximiser l'exactitude" vers "maximiser le profit" et en laissant le choix de la méthode au système, réclamaient le chiffre honnête 12% du temps lors de la première étude, et 16% lors d'une réplique où la délégation était facultative.
Entre 84% et 88% des personnes dans cette dernière condition demandaient à la machine de tricher pour elles, sans que personne n'ait besoin de le formuler explicitement.
L'argent n'a pas changé. Les lancers de dé non plus, puisque chaque participant voyait la même séquence fixe de dix. Ce qui changeait, c’était la marge d'interprétation entre l'instruction et l’action.
Les chercheurs s’attendaient à ce que la rédaction de règles reste stable, selon la théorie que le fait d’énoncer une tricherie porte le même poids moral que de la commettre. Ce ne fut pas le cas. Le taux d’honnêteté a aussi chuté d’environ vingt points à cet endroit. Chaque modalité de délégation la dégradait, l’interface déterminant dans quelle mesure.
Cette expérience en ligne a été réalisée sur Prolific, avec un gain maximal de soixante centimes. La tâche du lancer de dé s’appuie sur de longues validations, prédisant des comportements réels comme la fraude dans les transports ou des pratiques commerciales trompeuses. La comparaison entre interfaces n’a été testée que dans ce protocole, bien qu'une étude associée utilisant une tâche d'évasion fiscale — la fausse déclaration réduisant un don à la Croix-Rouge — ait reproduit l'autre constat central sur la manière dont les agents automatisés traitent les instructions reçues.
La nuance est importante pour la majorité des entreprises en développement aujourd’hui. Rédiger un prompt s'apparente à écrire des règles, et les demandes malhonnêtes formulées en langage naturel étaient citées par les participants dans environ 25% des cas, et 40% selon des évaluateurs indépendants.
L’écart apparaît avec les interfaces où une personne fixe un objectif et laisse le système définir la méthode. Un manager qui demande à un agent d’augmenter le nombre de dossiers qualifiés ou de réduire le temps de recrutement a défini un résultat sans cadrer comment y parvenir. Mais où est le critère qu’il devrait défendre ?
La structure de responsabilisation qui surplombe ce dispositif paraît généralement solide sur le papier. Un nom y figure. Cependant, ce nom endosse moins que ce que l’on pourrait croire.
Désigner un responsable était la partie facile
En 2025 et au début de cette année, les organisations ont fait ce qui semblait évident. Elles ont créé des comités de supervision de l'IA, rédigé des politiques d’utilisation acceptable et inscrit un dirigeant avec son nom sur l’organigramme à côté des mots "gouvernance de l’IA".
L’enquête 2026 Global Human Capital Trends de Deloitte, menée avec Oxford Economics auprès de plus de 9 000 dirigeants et responsables RH dans 89 pays, a révélé que 64% considèrent que l’IA et la prise de décision sont très importants pour leur succès actuel. Ils ne sont pourtant que 5% à s’estimer leaders sur ce sujet.
L’écart entre préoccupation et compétence ne s’explique pas par le manque de politiques. La plupart des structures en ont. Ce qui leur fait défaut, c’est la preuve que l’autorité inscrite sur le papier est réellement exercée.
Demandez à un DRH qui possède la décision d’embauche influencée par l’IA, il saura répondre. Mais interrogez-le sur le nombre de fois où, ces six derniers mois, un recruteur a formellement annulé un choix issu de l’outil de présélection, et ce qu’il est advenu de ce recruteur, et vous verrez la salle se figer.
La deuxième question mérite d’être posée car sa réponse est vérifiable. Déclarer une propriété est une affirmation. Effectuer une dérogation est un fait.
La traçabilité s’arrête au résultat
Kaan Esendemir, architecte d’entreprise qui a construit des workflows assistés par l’IA dans une entreprise mondiale du Fortune 50, observe ce schéma le plus souvent dans les systèmes qui recommandent plus qu’ils ne décident. Assistants virtuels, accélérateurs de tâches, outils qui proposent une option et laissent la décision à l’humain.
La frontière entre les deux se négocie. Les responsables métiers et produit décident où l’IA s’arrête et où commence l’humain, dit-il, avec des ingénieurs car eux seuls savent ce que le système peut réellement faire et où il échoue. Cette étape se passe généralement bien.
La suite, c’est là que la traçabilité s’évanouit.
Lorsque quelqu’un outrepasse le système, le résultat final est généralement enregistré, mais le désaccord lui-même n’est pas toujours suivi comme une donnée propre.
La distinction paraît minime, mais elle détermine ce qu'une organisation peut apprendre. Un résultat vous dit ce qui a été décidé. Un désaccord vous indique qu'une personne a examiné une recommandation, l'a jugée erronée et a agi à l'encontre de celle-ci. Les entreprises conservent le moins utile des deux.
Un dépassement n'est pas juste une exception. C'est un retour d'information qui peut aider à améliorer le système et à rendre les recommandations futures meilleures.
Un journal des dépassements est un diagnostic économique que tout COO peut mettre en place dès ce trimestre. Sélectionnez trois processus où l'IA intervient dans une décision importante. Comptez les cas documentés au cours des six derniers mois où une personne a contredit la recommandation. Puis lisez ce qui s'est passé pour chacun.
Si le décompte est nul, il y a fort à parier que l'une des deux choses suivantes est vraie. Le système s'est si bien comporté qu'aucun humain n'a eu de raison de s'y opposer en six mois, ce qu'aucun fournisseur ne prétend à propos de son propre produit. Ou bien l'autorité de s'opposer existe uniquement sur le papier et nulle part ailleurs.
Le nombre n'a pas besoin d'être nul pour vous renseigner. L'Espagne utilise un système appelé Viogén qui évalue le risque de récidive de violence dans les cas de violences domestiques, et un audit externe a conclu que les policiers ont suivi sa recommandation dans 95 % des cas.
Le Contrôleur européen de la protection des données, citant l'audit dans une note technique en septembre dernier, concède que cette concordance peut refléter une confiance justifiée dans l'outil. Il soulève également la question de savoir combien de discernement individuel subsiste dans le processus.
Un accord à 95 % entre une personne et un modèle est soit la marque d'un très bon modèle, soit celle d'une personne qui a cessé de tirer ses propres conclusions. Depuis l'extérieur du journal, ces deux situations semblent identiques. De l'intérieur, sur six mois, ce n'est pas le cas.
La capacité à outrepasser s'effrite avant même d'être mesurée
Amy Centers, psychologue organisationnelle et fondatrice de SmartWorks Labs, décrit le problème de second ordre. L'autorité d'outrepasser n'est pas simplement inutilisée. Son fondement s'érode.
C’est un peu comme la manière dont le GPS a érodé notre sens de l’orientation. Avec le temps, externaliser le jugement va, je pense, commencer à affaiblir la boussole interne et l’intuition d’un leader, et il y a là un vrai danger, car les organisations pourraient alors devenir techniquement efficaces mais moralement vides.
Sa version la plus directe : « Plus nous externalisons les décisions difficiles, plus nous risquons de créer des leaders incapables de décider sans sollicitation. »
Ce mécanisme agit à une échelle temporelle plus longue que la plupart des contrôles de gouvernance. Un manager qui a suivi le modèle lors de quatre-vingt-dix-huit recommandations consécutives n'est pas resté inactif. Il a été efficace. Mais il a aussi passé des mois sans pratiquer ce que l'autorité de dépassement part du principe qu'il peut encore faire.
Cela n'apparaît pas lors d'une revue trimestrielle. Cela apparaît la première fois que le modèle se trompe ouvertement sur une décision majeure, et que la personne pourtant responsable de le détecter lit le résultat, le trouve plausible, puis passe son chemin.
Centers situe le point de défaillance au niveau du manager, et elle l'affirme avec insistance.
Je commencerais par la responsabilité managériale. La plupart des dysfonctionnements proviennent des managers. Ils sont trop souvent isolés, sous-formés. On n'exige pas d'eux des comptes sur la façon dont ils dirigent. Si vous ne réparez pas ce maillon charnière, toutes les autres réformes comme l’engagement, le développement des compétences, ou l’adoption de l’IA, tout s’effondre.
Elle décrit la fonction de manager comme la charnière entre la stratégie et l'expérience humaine. Dans un processus enrichi par l'IA, c'est aussi l'unique strate en mesure de détecter une mauvaise décision avant qu'elle se propage, occupée par des personnes promues pour leur fiabilité opérationnelle et à qui l'on n'a jamais dit que valider les résultats produits par la machine fait désormais partie du travail.
L'automatisation laisse aux humains les cas les plus difficiles
Victoria Pelletier, qui a précédemment dirigé des fonctions de gestion et de transformation des ressources humaines chez Accenture et IBM entre autres, pointe du doigt ce que l'automatisation fait au travail qui reste.
Ce sont ces compétences humaines puissantes, l’innovation, la résolution de problèmes, et des choses comme l’empathie. Quand on se demande ce qui reste ? Pensez à un centre de contact. C’est le premier endroit où l’automatisation a eu lieu. Quand vous parlez enfin à un agent humain, c’est une exception. Cela n’a pas suivi les règles de la politique ou du code que l’agent IA pouvait suivre. Il faut donc quelqu’un capable de résoudre ce genre de situation.
À cet égard, les centres de contact ont réalisé cette expérimentation des années avant tout le monde. Automatisez ce qui suit les règles, et chaque appel aboutissant à un humain est, par nature, celui que les règles n'ont pas pu traiter. Le travail qui reste à l'humain est plus difficile que celui que l'automate a pris en charge.
Le propos de Pelletier est que la définition des rôles ne suit généralement pas cette évolution. Le volume baisse, la difficulté augmente, et la fiche de poste, les formations ainsi que les critères d'évaluation continuent de décrire le poste tel qu'il existait auparavant. Elle note que le travail résiduel « requiert un niveau de compétence très différent de ce qu'on attend aujourd'hui ».
Elle identifie également une raison structurelle pour laquelle les droits de décision ne sont pas reconstruits. Les fonctions de conception organisationnelle et d’architecture des postes ont été réduites au cours de la dernière décennie, considérées comme des frais généraux, partant du principe raisonnable que les rôles n’auraient pas besoin d'être réévalués fréquemment.
Ce sont pourtant ces personnes qui reconstruiraient aujourd’hui les droits de décision. Pelletier appelle ce qui se passe en leur absence le « patchwork des métiers ».
Deux critiques du « humain dans la boucle »
Deux objections au maintien d’un humain dans la boucle circulent actuellement, et elles pointent dans des directions opposées.
La version de Jurgen Appelo considère que les contrôles humains obligatoires transforment les personnes en goulets d’étranglement. Chaque interaction commence et se termine par une personne, les systèmes ne communiquent jamais entre eux, et tout fonctionne au rythme du plus lent. Il appelle cela le piège du « humans-in-the-loop ».
La version du Contrôleur européen de la protection des données (EDPS) est presque l’inverse. Dans le rapport technique déjà mentionné sur la supervision humaine de la prise de décision automatisée, l’EDPS met en garde contre l’idée qu’un humain dans la boucle garantit la supervision, et soutient que les organisations doivent concevoir explicitement l’autorité, les interfaces et les voies d’escalade afin qu’une personne puisse réellement intervenir.
Les deux points de vue sont justes, car ils décrivent deux échecs différents. Chez Appelo, l’humain fait obstacle. Chez l’EDPS, l’humain est présent mais impuissant. Une organisation peut corriger le premier problème en supprimant des étapes de validation, mais aggraver le second au passage.
Le rapport décrit concrètement l’impuissance en pratique. Entre 2014 et 2019, le service public de l’emploi polonais a utilisé un algorithme qui classait les demandeurs d’emploi en trois catégories ; la catégorie déterminait le soutien apporté à chaque personne. Les conseillers étaient officiellement désignés comme supervision humaine, ayant l’autorité pour passer outre la classification.
Ils avaient cette autorité, mais ne pouvaient pas l’utiliser. Les charges de travail étaient trop lourdes et la formation insuffisante. Personne ne leur avait expliqué quand il fallait passer outre, ni comment le justifier. Le système affichait les résultats d’une façon qui rendait difficile l’évaluation de la pertinence du classement pour la personne assise en face.
Vient ensuite l’aspect sans lien avec la conception du système : certains managers locaux décourageaient, voire interdisaient les dérogations, car cela attirait l’attention des niveaux hiérarchiques supérieurs.
Les conseillers n’étaient donc pas « sous-formés » au sens où un budget de formation aurait résolu le problème. Ils lisaient correctement un système d’incitation. Passer outre le modèle créait un rapport auquel un manager devrait répondre, tandis qu’un suivi à la lettre ne soulevait aucun signal. Devant ces deux options et une charge importante, le plus rationnel était donc de valider ce que le système affichait.
L’EDPS est très explicite : les opérateurs ne peuvent exercer une réelle autorité sur un système que s’ils ne craignent pas de conséquences de la part de leur propre organisation lorsqu’ils l’utilisent.
C’est une question de gestion, non de design d’interface, et c’est pourquoi l’autorité de dérogation tend à être décorative. L’octroi officiel est la partie facile. Ce qui détermine l’utilisation réelle, c’est ce qui arrive à la personne qui en fait usage.
Le langage de Deloitte sur ce qui remplace l’ancien modèle est le plus précis. Les outils hérités concernant les droits décisionnels comme RACI supposent une autorité statique. Avec l’IA, les droits doivent être dynamiques, avec des privilèges de dérogation, des mécanismes d’escalade et des règles de consensus intégrés au système pour que humains et agents coordonnent qui décide, quand et sur quelle base.
La Pologne avait tout cela sur le papier. Ce qu'il lui manquait, c'était un manager prêt à autoriser quelqu'un à l'utiliser.
Créer les conditions, pas seulement l’organigramme
Quatre étapes, dans l’ordre où elles doivent survenir.
Classifiez les décisions selon leur réversibilité avant de les attribuer à qui que ce soit. La distinction d’Amazon entre "portes à sens unique" et "portes à double sens" est la référence. Les décisions irréversibles nécessitent un examen approfondi et des processus plus lents. Les décisions réversibles avancent vite. L’application à l’ère de l’IA consiste à accorder l’autonomie de l’agent en fonction de la difficulté à revenir sur une décision, plutôt qu’en fonction de son apparence routinière.
Nommez le mode de délégation, pas seulement le délégataire. C’est ce qu’illustre la découverte du Max Planck. La délégation basée sur des règles, des exemples ou des objectifs produit des demandes mesurablement différentes d’individus pourtant comparables. Tout flux de travail dans lequel quelqu’un indique un objectif à un système et le laisse déterminer les critères relève de la catégorie de la plus grande ambiguïté, car c’est ce qu’il est.
Consignez le désaccord, pas seulement le résultat. C’est l’écart pointé par Esendemir qu’il faut combler. Lorsqu’une personne agit à l’encontre d’une recommandation, enregistrez qu’elle l’a fait, ce qu’elle a observé et ce qui s’est passé ensuite. Le résultat seul ne dit rien sur le fait que quelqu’un porte encore un jugement.
Revisitez la limite selon un calendrier précis. La frontière entre ce que décide l’IA et ce que décide l’humain n’est pas une question que l’on tranche une fois pour toutes. Fixez une date de réexamen.
Les chercheurs du Max Planck concluent par une recommandation adressée à la personne déléguant la tâche, et non à la machine qui la reçoit. Il faut éviter les interfaces de délégation qui facilitent le fait de prétendre ignorer la manière dont la machine interprétera vos instructions.
C’est un principe de conception, qui s’applique aussi bien à un bouton sur un écran qu’à tout un modèle opérationnel. Chaque couche d’abstraction entre une personne et une conséquence rend la conséquence plus facile à accepter.
D’ici six mois, de nombreuses organisations disposeront de documentation. Politiques, chartes de comité, responsables désignés, attestations de formation.
Seules quelques-unes tiendront un registre comportant de réelles entrées.
