Peut-on mesurer le jugement ?
Cécité aux indicateurs: Les métriques d’utilisation indiquent l’adoption de l’IA, mais ne révèlent pas si les employés progressent, régressent ou abandonnent leur jugement.
Auto-évaluation: Les employés estiment souvent mal l’impact de l’IA sur leur performance, rendant les enquêtes et bénéfices auto-déclarés peu fiables.
Signaux de jugement: Le jugement induit par l’IA devient mesurable par des schémas d’acceptation, modification, rejet, des erreurs introduites volontairement, et des évaluations de réponses plausibles concurrentes.
Risque chez les juniors: L’IA peut empêcher les employés juniors de s’exercer sur les bases du métier, ralentissant le développement des compétences et masquant les faiblesses jusqu’aux décisions critiques.
D’abord, concevoir: Les organisations devraient mesurer les capacités humaines avant de redéfinir le travail ; sinon, l’automatisation risque d’ancrer durablement un déclin invisible des compétences.
Votre tableau de bord IA vous indique combien de personnes utilisent les outils. Il ne peut pas vous dire ce que les outils leur font.
C’était un thème récurrent dans de nombreuses sessions auxquelles j’ai assisté la semaine dernière à AI4 à Las Vegas.
Les organisations ont passé deux ans à construire des rapports autour des sièges activés, des utilisateurs actifs hebdomadaires, des requêtes soumises, des heures de travail économisées rapportées. Ces chiffres répondaient à une question posée par la direction en 2023 : est-ce que quelqu’un allait réellement utiliser l’outil ? L’adoption était le risque, donc mesurer l’adoption était logique.
Continuez à lire—et continuez à diriger plus intelligemment
Créez un compte gratuit pour terminer cet article et rejoindre une communauté de leaders tournés vers l'avenir exploitant outils, guides pratiques et perspectives pour prospérer à l'ère de l'IA.
Have an account? Log In
Cette question n’a plus besoin de réponse. Mais l’instrument construit pour y répondre est resté en place, et il est désormais dirigé vers un problème qu’il n’est pas réellement conçu pour détecter.
Une des sessions auxquelles j’ai assisté s’intitulait « Au-delà de l’adoption : développer le discernement de l’IA dans le flux de travail ». L’intervention de Sharahn McClung était la plus limpide que j’aie entendue à ce sujet. Les entreprises mesurent la rapidité. Elles mesurent l’utilisation. Puis, elles supposent une amélioration. Les deux premiers éléments sont comptabilisés. Le troisième est déduit.
Des recherches publiées par BCG en juin suggèrent que cette déduction est assez souvent fausse pour être préoccupante. Dans une étude menée auprès de 70 cadres dirigeants et membres de la haute direction, la moitié ont déclaré constater déjà une érosion des compétences dans leur propre organisation, et plus de 60 % s’attendent à ce que cela devienne une menace majeure dans trois à cinq ans. Seul un sur dix disposait d’une stratégie organisationnelle ou d’initiatives ciblées en cours. Un tiers n’en avait même pas discuté.
Si vous écoutez notre podcast, vous m’avez sans doute déjà entendu évoquer la nécessité pour les leaders d’être un peu plus philosophiques en ces temps. Mais ici, la question devient plus pragmatique que philosophique. Si vous vouliez savoir si l’IA rend vos collaborateurs meilleurs ou pires, où chercheriez-vous ?
Commencez par écarter la réponse évidente
L’instinct est de leur demander.
Il y a une raison de se méfier de cet instinct, et elle provient d’une étude menée auprès de personnes qui auraient dû être les mieux placées pour répondre.
En juillet 2025, METR a mené un essai aléatoire avec 16 développeurs open-source expérimentés travaillant sur 246 problèmes réels dans des bases de code qu’ils connaissaient intimement. Avant de commencer, les développeurs ont estimé que les outils IA les rendraient environ 24 % plus rapides. Ils étaient en réalité 19 % plus lents. Ensuite, après avoir traversé toute l’expérience, ils estimaient encore avoir été environ 20 % plus rapides.
Deux éléments de ce résultat méritent d’être retenus.
METR considère désormais la découverte comme historique, et un suivi en février 2026 a constaté quelques signes d’accélération avec des modèles plus récents. Le chiffre précis du ralentissement ne décrit peut-être pas les outils que vos équipes utilisent aujourd’hui.
Ce qui subsiste reste la seconde découverte, plus utile de toute façon. Ces personnes étaient des praticiens experts, en terrain connu, et l’issue était directement observable pour eux, mais l’écart entre leur perception et leur performance mesurée approchait 40 points. Rien, dans l’amélioration des modèles, ne rend les gens meilleurs pour évaluer leur propre performance.
Toute approche de mesure qui repose sur l’auto-évaluation hérite de ce problème. Les enquêtes d’engagement qui demandent si l’IA aide donneront des réponses. Les réponses seront sincères. Mais elles seront à peu près aussi fiables que les estimations de ces développeurs.
Deux courbes, un même profil
Imaginez deux équipes avec une trajectoire d’utilisation identique. Toutes deux progressent régulièrement, toutes deux montrent une adoption saine sur chaque indicateur que vous collectez actuellement.
L’une des équipes a appris quand le modèle mérite d’être suivi, et quand il doit être contredit. Leur compétence augmente de plus en plus. L’autre accepte les résultats sans réserve depuis des mois. Leur compétence s’érode lentement sous une ligne qui grimpe.
Il n’existe aucune version d’un indice d’utilisation qui puisse différencier ces équipes.
Un working paper de Wharton publié en janvier a mesuré le véritable écart entre elles. Steven Shaw et Gideon Nave ont mené trois expériences préenregistrées auprès d’environ 1 400 participants sur plus de 9 000 essais, en randomisant si un assistant IA fournissait des réponses justes ou erronées via des invites cachées.
Par rapport à une base de référence sans accès à l’IA, la précision a augmenté de 25 points lorsque l’IA avait raison. Lorsqu’elle se trompait, la précision chutait de 15 points en dessous de la référence sans IA.
Vous avez bien lu, en dessous des personnes qui n’avaient jamais eu l’outil. Pour les tâches où le modèle était peu fiable, y avoir accès rendait les participants moins performants que sans rien du tout.
La confiance a augmenté dans les deux cas, même après les erreurs.
Shaw et Nave qualifient ce comportement d’“abandon cognitif” : adopter les résultats de l’IA avec une vérification minimale, tout en contournant à la fois l’intuition et la réflexion. Ils présentent la cognition artificielle comme un troisième système opérant en dehors du cerveau, pouvant aussi bien compléter le raisonnement humain que le remplacer.
Il s'agissait d'une étude en laboratoire basée sur des problèmes de raisonnement, et non une observation d’employés en situation réelle, et cette distinction est importante à garder en tête. Ce que cette étude établit, c’est le mécanisme et son ampleur dans des conditions contrôlées.
Les dirigeants du BCG décrivent le même schéma observé à l’intérieur des organisations réelles. Près de 90 % ont identifié le fait que des équipes acceptent les résultats de l’IA sans les mettre à l’épreuve comme un symptôme de déclin des compétences. Plus de la moitié ont évoqué l’érosion de la prise de responsabilité qui l’accompagne. L’un d’eux a été cash : quand le résultat n’est pas positif, la responsabilité est attribuée à l’IA.
Ce que le jugement recouvre
Le jugement semble être quelque chose qui résiste à la mesure. L’intervention de McClung a été utile car elle a refusé ce postulat et a décortiqué la notion en actes observables.
Faire confiance à une bonne réponse et passer à autre chose. Remettre sans cesse en cause une réponse correcte devient une forme de gaspillage. Une équipe qui vérifie tout deux fois n’exerce pas son jugement, elle n’en développe aucun. L’acceptation efficace doit figurer dans la liste des comportements à encourager.
Corriger avec raison une réponse fausse mais confiante. La plus difficile à opérer. Le résultat paraît cohérent, le modèle ne montre aucune hésitation, et détecter l’erreur suppose de posséder suffisamment de connaissances indépendantes pour repérer l’incohérence. C’est cet acte qui échoue en premier, et rien dans les métriques d’usage ne peut le détecter.
Savoir quand il ne faut pas recourir à l’outil. Pour McClung, cet aspect a été le moment le plus humain de la session. Elle a expliqué qu’il lui arrivait de commencer à rédiger une demande, puis de réaliser en cours d’écriture que toute la réflexion avait déjà été faite au fil de la rédaction, ne laissant alors aucun intérêt à la réponse potentielle.
Je ne sais pas pour vous, mais j’ai personnellement peur de la page blanche. Je la regarde et je ne sais pas par où commencer. Et parfois, je constate qu’au moment où je termine d’écrire la demande, j’ai déjà fait tout mon processus et toute ma réflexion dans la formulation, et je n’ai en fait plus besoin de l’outil.
Chacun de ces exemples correspond à une décision prise avant toute production de résultat. Aucun ne s’améliore simplement parce que l’utilisation augmente. Ce sont des acquis que l’organisation doit développer, et les considérer comme des sous-produits de l’adoption revient à aboutir à la situation décrite par les sondés du BCG.
Cela explique aussi pourquoi le jugement et la prise de décision ont reçu, dans leur étude, la note de risque de déqualification la plus élevée de toutes les compétences, juste à côté de la compréhension et la formulation des problèmes, que ces mêmes dirigeants considéraient comme la compétence la plus déterminante pour la performance des organisations sur le long terme.
Trois façons d’observer le jugement
Classées selon à quelle vitesse vous pouvez les mettre en œuvre.
Accepter, modifier, rejeter.
Chaque session IA produit une trace de ce qui a été demandé, de la réponse obtenue, et de ce que la personne en a fait ensuite. Accepter une bonne réponse ou accepter une mauvaise génèrent des données d’usage identiques et représentent des actes de jugement opposés. La modification prouve que quelqu’un a lu, réfléchi et agi avant la livraison du résultat.
À l’échelle d’une équipe, cumulées sur des mois, ces proportions cessent d’être anecdotiques pour devenir une tendance mesurable.
L’obstacle, c’est l’accès. La plupart des fonctions RH ne peuvent pas accéder à ces données pour l’instant, et l’obtenir suppose de discuter avec la DSI et les responsables de la plate-forme IA, plutôt que de lancer un projet la semaine prochaine. Les organisations qui avanceront les premières seront celles où les équipes RH et plate-forme avaient déjà engagé le dialogue.
L’erreur volontairement introduite
Prenez une tâche réelle. Introduisez sciemment une faille dans la sortie du modèle, choisie à l’avance : un chiffre erroné, une étape omise, une assertion erronée. La personne le repère-t-elle avant de faire avancer le document ?
L’avantage sur tout autre test, c’est que la méthode s’applique à des livrables réels et qu’elle s’auto-corrige à chaque fois. Puisque l’erreur a été décidée à l’avance, il n’y a pas d’ambiguïté de correction et vous pouvez comparer deux mois successifs sans biais.
La vigilance s’impose toutefois. Mal menée, la démarche ressemble à un piège et détruit instantanément la confiance. Ce procédé fonctionne lorsque les équipes savent qu’il existe, en comprennent la raison, et constatent que les résultats servent le développement – et non la sanction.
Évaluation du jugement
Deux réponses, toutes deux fluides, toutes deux plausibles, l’une subtilement erronée. La personne peut-elle identifier laquelle et expliquer pourquoi ?
Cela se rapproche le plus de ce que requiert un travail d’expert, et c’est la méthode la plus coûteuse à mettre en œuvre, car la création de la grille de correction demande qu’un véritable spécialiste du domaine élabore des alternatives plausibles mais erronées. Soyez honnête avec vous-même quant à ce coût avant de vous y engager.
Les versions déjà en cours
Certaines organisations ont avancé sans attendre un instrument de mesure parfait.
À la CNIL, l’autorité française de protection des données, les managers sont responsables d’évaluer si les employés peuvent contester les résultats de l’IA, et non simplement les utiliser. L’esprit critique est ainsi devenu un aspect visible et évalué de leur performance.
C’est celle-là que j’adopterais en premier. Elle ne nécessite aucun nouvel outil et déplace la question dans le système d’évaluation des performances, qui est déjà géré par les RH. Elle résout également un problème identifié ailleurs dans les recherches du BCG, à savoir que les taux de certification augmentent alors que la capacité réelle ne suit pas forcément.
Shell a reconstruit les parcours d’apprentissage de ses nouveaux employés afin que chacun structure le problème de façon autonome, teste ses hypothèses et produise une analyse de base avant que l’IA n’intervienne. Les premiers retours indiquent une amélioration de la qualité des questions posées et une plus grande clarté dans les raisonnements menant aux décisions.
Certaines entreprises organisent des exercices de défaillance de l’IA, introduisant délibérément des hallucinations et des pièges dans les formations afin que la remise en question des résultats devienne un réflexe et non une simple consigne. Une banque indienne organise une session structurée de travail sans IA chaque premier vendredi du mois pour toutes ses fonctions.
Mais rien de tout cela ne relève d’une mesure à proprement parler. Ce sont des pratiques dont la mesure permettrait de déterminer leur nécessité.
Le problème arrive tard
Cinquante-trois pour cent des dirigeants interrogés par le BCG ont observé un ralentissement du développement de leurs jeunes talents.
Traditionnellement, c’est dans les tâches analytiques de base que le jugement professionnel se construit : la recherche, les premiers brouillons, le débogage, la décomposition d’un problème pour découvrir ce qui ne fonctionne pas. Personne n’apprécie ces répétitions, mais tout le monde en a besoin.
C’est ce travail que les organisations confient en priorité à l’IA. Et les personnes qui s’y formaient sont maintenant censées performer sans cela, parfois à un niveau que l’un des sondés du BCG décrit comme équivalent à celui d’un salarié ayant cinq à dix ans d’expérience.
Cela pose une difficulté supplémentaire de mesure. Tout ce qui précède permet de détecter une baisse de niveau par rapport à une référence antérieure. Chez les salariés expérimentés, cela fonctionne car cette référence existe et peut être observée.
Pour quelqu’un embauché l’an dernier, il n’y a pas de point de référence. La compétence ne s’est jamais formée, et son absence ressemble à une performance normale de début de carrière jusqu’au jour où cette personne doit agir sans assistance. Vous ne mesurez donc pas une érosion, mais l’apparition manquée d’une compétence – ce que les instruments actuels ne savent pas détecter.
Ce qui signifie que c’est chez les juniors que le coût est le plus élevé et que le problème apparaît le plus tardivement.
Pourquoi l’ordre des étapes compte
La refonte des processus de travail est, pour de nombreuses organisations avec lesquelles j’échange, l’initiative des deux prochains trimestres. Listes de tâches, pilotes d’agents, organigrammes dessinés autour de ce que retiennent les humains et ce que prennent en charge les machines.
Ces choix se figent avec le temps. Ils définissent les compétences valorisées et celles que vos équipes continueront d’exercer pendant des années, et celles qui disparaîtront durablement.
Prendre ces décisions sur la base d’une baisse non mesurée, c’est inscrire ce déclin dans la structure même de l’organisation. Vous décidez de ce que les humains doivent continuer à faire sans avoir de vision honnête de ce qu’ils savent encore accomplir, ou de là où ils ont déjà perdu en compétence.
Je ne pense pas que l’outil de mesure doive être parfait avant de commencer. Le test semé d’erreurs peut être mis en place en moins d’un mois dans la plupart des fonctions. L’approche de la CNIL nécessite une discussion avec les managers et une ligne à ajouter dans le formulaire d’évaluation.
Ce que je voudrais avant de valider une refonte, c’est une réponse à une question et la preuve qui la sous-tend.
Si demain vous coupiez l’IA dans toutes vos équipes, vos collaborateurs seraient-ils meilleurs qu’avant son arrivée, ou moins performants ?
