Peut-on mesurer le jugement ?
Cécité métrologique: Les mesures d'utilisation montrent l'adoption de l'IA, mais ne permettent pas de savoir si les employés s'améliorent, régressent ou abandonnent leur jugement.
Auto-évaluation: Les employés évaluent souvent mal l'impact de l'IA sur leurs performances, rendant les enquêtes et les bénéfices auto-reportés peu fiables.
Signaux de jugement: Le jugement lié à l'IA devient mesurable à travers les schémas d'acceptation, de modification, de rejet, les erreurs intentionnelles et l'évaluation de réponses concurrentes plausibles.
Risque pour les juniors: L'IA peut empêcher les employés juniors de s'exercer sur les tâches fondamentales, retardant le développement des capacités et masquant les faiblesses jusqu'à des décisions critiques.
Concevoir d'abord: Les organisations devraient mesurer les capacités humaines avant de redéfinir le travail, sous peine que l'automatisation n'ancre de façon permanente un déclin de compétences non détecté.
Votre tableau de bord IA vous indique combien de personnes utilisent les outils. Il ne peut pas vous dire ce que ces outils leur font.
C’était un thème récurrent dans de nombreuses sessions auxquelles j’ai assisté la semaine dernière à AI4 à Las Vegas.
Les organisations ont passé deux ans à créer des rapports sur les licences activées, les utilisateurs actifs hebdomadaires, les requêtes soumises, les heures déclarées comme économisées. Ces chiffres répondaient à une question que la direction s’est posée en 2023, à savoir si quelqu’un utiliserait réellement l’outil. L’adoption était le risque, donc la mesurer était logique.
Continuez à lire—et continuez à diriger plus intelligemment
Créez un compte gratuit pour terminer cet article et rejoindre une communauté de leaders tournés vers l'avenir exploitant outils, guides pratiques et perspectives pour prospérer à l'ère de l'IA.
Have an account? Log In
Cette question n’a plus besoin d’être posée. Mais l’outil conçu pour y répondre est resté en place, et il pointe aujourd’hui vers un problème qu’il n’est pas réellement destiné à détecter.
Une des sessions auxquelles j’ai assisté s’intitulait « Au-delà de l’adoption : développer le jugement IA dans le flux du travail ». Sharahn McClung a expliqué cela de la manière la plus claire que j’aie entendue. Les entreprises mesurent la vitesse. Elles mesurent l’utilisation. Puis, elles supposent une amélioration. Les deux premiers éléments sont comptés. Le troisième est inféré.
Une étude publiée par BCG en juin suggère que cette déduction est suffisamment souvent erronée pour que cela compte. Dans une étude menée auprès de 70 dirigeants du comité exécutif et cadres supérieurs, la moitié ont déclaré observer une érosion des compétences au sein de leur propre organisation, et plus de 60% s’attendent à ce que cela devienne une menace sérieuse d’ici trois à cinq ans. Seul un sur dix disposait d’une stratégie ou d’initiatives ciblées à l’échelle de l’organisation. Un tiers n’en avait jamais discuté du tout.
Si vous écoutez notre podcast, vous m’avez probablement déjà entendu parler du besoin pour les dirigeants d’être un peu plus philosophiques en ce moment. Mais ici, la question devient plus pratique que philosophique. Si vous vouliez savoir si l’IA rend vos collaborateurs meilleurs ou moins bons, où regarderiez-vous ?
Commencez par écarter la réponse évidente
L’instinct est de leur demander.
Il y a une raison de se méfier de cet instinct, et elle provient d’une étude menée auprès de personnes supposément les mieux placées pour répondre.
En juillet 2025, METR a mené un essai randomisé impliquant 16 développeurs open source expérimentés, travaillant sur 246 problèmes réels dans des bases de code qu’ils connaissaient parfaitement. Avant de commencer, les développeurs ont prédit que les outils d’IA les rendraient environ 24% plus rapides. Ils étaient en réalité 19% plus lents. Après coup, après avoir vécu toute l’expérience, ils estimaient toujours avoir été environ 20% plus rapides.
Deux éléments de ce résultat méritent d’être retenus.
METR qualifie aujourd’hui la découverte d’historique, et un suivi en février 2026 a trouvé quelques signes d’accélération sur les modèles plus récents. Le chiffre exact du ralentissement ne décrit peut-être pas les outils utilisés par vos équipes aujourd’hui.
Ce qui demeure, c’est le second constat, de toute façon le plus utile. Il s’agissait d’experts sur un terrain familier, capables d’observer directement le résultat, et l’écart entre leur perception et leur performance mesurée frôlait les 40 points. Rien dans l’amélioration des modèles ne rend les gens meilleurs pour évaluer leur propre performance.
Toute approche de mesure fondée sur l’auto-évaluation hérite de ce problème. Les enquêtes sur l’engagement demandant si l’IA aide donneront des réponses. Les réponses seront sincères. Elles seront aussi fiables que les estimations de ces développeurs.
Deux courbes, même forme
Imaginez deux équipes avec des trajectoires d’utilisation identiques. Toutes deux progressent régulièrement, toutes deux montrent une adoption satisfaisante selon tous les indicateurs que vous collectez actuellement.
L’une des équipes a appris quand il vaut la peine de faire confiance au modèle et quand il faut le remettre en question. Leur compétence s’accroît. L’autre accepte les résultats comme des faits depuis des mois. Leur compétence s’érode sous une courbe qui continue pourtant de grimper.
Il n’existe aucune version d’un indicateur d’utilisation qui différencie ces équipes.
Un working paper de Wharton de janvier a mesuré l’écart réel entre elles. Steven Shaw et Gideon Nave ont mené trois expériences pré-enregistrées avec environ 1 400 participants sur plus de 9 000 essais, en randomisant le fait qu’un assistant IA fournisse des réponses exactes ou erronées via des requêtes cachées.
Par rapport à une base de référence de participants sans accès à l’IA, la précision augmentait de 25 points de pourcentage lorsque l’IA avait raison. Lorsqu’elle se trompait, la précision diminuait de 15 points en dessous du groupe sans IA.
Vous avez bien lu, en dessous des personnes qui n’avaient jamais eu l’outil. Pour les tâches sur lesquelles le modèle était peu fiable, y accéder rendait les participants moins performants que de ne pas l’avoir du tout.
La confiance, elle, augmentait dans les deux cas, y compris après les erreurs.
Shaw et Nave qualifient ce comportement de « renoncement cognitif », c’est-à-dire adopter les réponses de l’IA sans véritable examen, en court-circuitant à la fois l’intuition et la réflexion. Ils présentent la cognition artificielle comme un troisième système qui agit en dehors du cerveau, capable d’assister ou de remplacer le raisonnement humain.
Il s'agissait d'une étude en laboratoire utilisant des problèmes de raisonnement, et non d'employés en train d'effectuer leur travail, et cette distinction mérite d'être soulignée. Ce que cela démontre, c'est le mécanisme et son ampleur dans des conditions contrôlées.
Les dirigeants de BCG décrivent le même schéma depuis l'intérieur de vraies organisations. Près de 90 % ont identifié l'acceptation du résultat de l’IA par les équipes sans le mettre à l’épreuve comme un symptôme de déclin des compétences. Plus de la moitié ont déclaré que le sentiment de responsabilité s'érodait parallèlement. L'un d'eux l’a dit franchement : lorsque le résultat n’est pas positif, la responsabilité est reportée sur l’IA.
En quoi consiste le jugement
Le jugement semble être le genre de chose qui résiste à toute mesure. L’intervention de McClung a été utile parce qu’elle a refusé ce principe et a décomposé le terme en actes observables.
Faire confiance à une bonne réponse et passer à autre chose. Re-vérifier un résultat correct est une forme de gaspillage. Une équipe qui vérifie chaque chose deux fois n’exerce pas de jugement, elle échoue à en développer. L’acceptation efficace doit faire partie des éléments recherchés.
Refuser une réponse fausse mais présentée avec assurance. Le point difficile. Le résultat est bien tourné, le modèle affiche de la confiance, et détecter l’erreur nécessite suffisamment de connaissances indépendantes pour s’apercevoir que quelque chose cloche. C’est l’acte qui échoue en premier et que rien dans une métrique d’utilisation ne peut révéler.
Savoir quand il ne faut pas utiliser l’outil du tout. La version de McClung à ce sujet a été le moment le plus humain de la session. Elle a expliqué que parfois, en rédigeant une invite, elle réalisait en cours de route que toute la réflexion avait déjà eu lieu lors de la rédaction, laissant ainsi inutile la réponse obtenue.
Je ne sais pas pour vous, mais j’ai personnellement la peur de la page blanche. Je la regarde et je ne sais pas par où commencer. Et parfois, je me rends compte qu’au moment où j’écris l’invite, j’ai déjà fait tout mon processus et toute ma réflexion dans l’invite, et je n’ai en fait pas besoin de l’outil.
Chacune de ces situations est une décision prise par une personne avant qu’un résultat ne soit livré. Aucune ne s’améliore simplement parce que l’utilisation augmente. Ce sont des éléments à bâtir dans l’organisation, et les considérer comme de simples sous-produits de l’adoption vous conduit précisément à la situation décrite par les répondants de BCG.
Cela explique aussi pourquoi le jugement et la prise de décision ont reçu le score de risque de déqualification le plus élevé de toutes les compétences de l’étude, aux côtés de la compréhension et de la formulation des problèmes, compétences que ces mêmes dirigeants ont désignées comme les plus cruciales pour la performance organisationnelle à long terme.
Trois façons d’observer le jugement
Classé selon la rapidité à laquelle vous pourriez commencer.
Accepter, modifier, rejeter.
Chaque session avec une IA génère un enregistrement de la question posée, de la réponse reçue et de ce que la personne en a fait par la suite. Accepter une bonne réponse et accepter une mauvaise produisent des données d’utilisation identiques mais représentent des actes de jugement opposés. La modification prouve qu’une personne a lu le résultat et y a réfléchi avant livraison.
Sur plusieurs mois et à l’échelle d’une équipe, ce ratio cesse d’être anecdotique et devient un indicateur de tendance valable.
L’obstacle, c’est l’accès. La plupart des fonctions RH ne peuvent actuellement pas voir ces données, et y parvenir nécessite une discussion avec les équipes IT et responsables de la plateforme IA, ce qui n’est pas réalisable d’ici la semaine prochaine. Les organisations qui y parviendront en premier seront celles où l’équipe RH et l’équipe plateforme dialoguaient déjà.
L’erreur intentionnelle
Choisissez une tâche réelle. Introduisez une erreur connue dans la réponse du modèle, choisie à l’avance : un chiffre erroné, une étape oubliée, une affirmation infondée. La personne l’identifie-t-elle avant que cela ne progresse ?
L’avantage par rapport à un test est que cela s’appuie sur de vraies livraisons et l’évaluation est identique à chaque fois. Comme l’erreur est sélectionnée à l’avance, il n’y a pas d’ambiguïté d’évaluation et la comparaison d’un mois à l’autre est simplifiée.
La sensibilité de cette approche est réelle cependant. Mal réalisée, elle ressemble à un piège et détruit immédiatement la confiance. Elle n’est efficace que si les équipes savent que la pratique existe, comprennent pourquoi, et constatent que les résultats sont utilisés à des fins de développement et non pour punir.
Jugement évaluatif
Deux réponses, toutes deux fluides, toutes deux plausibles, l'une subtilement erronée. La personne peut-elle identifier laquelle, et expliquer pourquoi ?
C'est ce qui se rapproche le plus du travail d'expert et c'est aussi le plus coûteux à mettre en place, car élaborer la grille de correction exige l'intervention d'une véritable expertise métier pour construire des alternatives plausibles mais imparfaites. Soyez honnête avec vous-même sur ce coût avant de vous engager.
Les versions déjà déployées
Certaines organisations ont avancé sans attendre un instrument de mesure parfait.
À la CNIL, l'autorité française de protection des données, les managers sont responsables de l'évaluation de la capacité des employés à contester les résultats de l'IA, et pas seulement de les exploiter. L'engagement critique est ainsi devenu un critère visible et évalué de la performance.
C'est la mesure que j'adopterais en premier. Elle ne nécessite aucun nouvel outil et place la question dans le système d'évaluation de la performance, que les RH gèrent déjà. Elle répond également à un problème soulevé autrement dans les recherches du BCG, selon lequel les taux de certification augmentent alors que la compétence réelle n'évolue pas forcément.
Shell a repensé les parcours d'apprentissage de ses nouveaux employés afin que les débutants formulent eux-mêmes le problème, testent les hypothèses et proposent une analyse de base avant que l'IA ne soit utilisée. Les premiers retours font état de meilleures questions et d'une argumentation plus claire derrière les décisions.
Certaines entreprises organisent des exercices d'échec de l'IA, introduisant délibérément des hallucinations et des situations imprévues dans la formation pour que la remise en question des résultats de l'IA devienne un réflexe plutôt qu'une consigne. Une banque indienne organise une session de travail structurée et sans IA le premier vendredi de chaque mois, dans toutes ses fonctions.
Aucune de ces pratiques n'est réellement une mesure. Ce sont des exercices qui permettent de savoir, si vous les mesurez, ce dont vous avez besoin.
Le problème apparaît tard
Cinquante-trois pour cent des dirigeants interrogés par le BCG ont identifié un ralentissement du développement des jeunes talents.
Traditionnellement, c'est lors des travaux analytiques de base que le jugement se construit : la recherche, les premiers jets, le débogage, la lente décomposition d'un problème et la découverte des erreurs d'analyse. Personne n'apprécie vraiment ces répétitions, mais tout le monde en a besoin.
C'est justement ce travail que les organisations confient en priorité à l'IA. Et ceux qui apprenaient grâce à lui sont désormais censés performer sans, parfois au niveau que, selon un répondant du BCG, seul un employé ayant cinq à dix ans d'expérience atteignait auparavant.
Il y a ici une subtilité de mesure. Tout ce qui précède détecte une dégradation par rapport à un point de référence. Pour les personnes expérimentées, cela fonctionne, car ce référentiel existe déjà et l'on peut suivre son évolution.
Pour quelqu’un embauché l’année dernière, il n’y a pas de référentiel. La compétence ne s’est jamais développée, et son absence ressemble en tout point à la performance normale d’un débutant jusqu’au moment où l’on attend de lui qu’il agisse sans soutien. Il ne s’agit pas de mesurer une érosion, mais d’évaluer ce qui n’est jamais apparu, et aucun des dispositifs actuels ne permet cela.
Ce qui fait que c’est chez les juniors que l’impact est le plus coûteux, mais qu’il se voit aussi le plus tard.
Pourquoi l’ordre a son importance
La refonte de l’organisation du travail est l’initiative phare des deux prochains trimestres dans de nombreuses structures avec lesquelles j’échange. Inventaires des tâches, expérimentations avec les agents IA, schémas d’organisation redéfinis selon ce que les machines traitent et ce qui reste dévolu aux humains.
Ces décisions se figent dans la durée. Elles déterminent quelles compétences sont valorisées, lesquelles vos collaborateurs pratiqueront pendant des années, et celles qui disparaîtront irrémédiablement.
Prendre ces décisions alors qu’une perte de compétence n’a pas été mesurée, c’est inscrire la dégradation dans la structure même. On déciderait alors de ce que les humains doivent encore faire sans avoir une vision honnête de ce qu’ils sont capables de faire, ni de là où les compétences se sont atrophiées.
Je ne pense pas que l’outil de mesure doive être parfait avant de commencer. Le test d’erreur volontaire pourrait être mis en place en moins d’un mois pour la plupart des fonctions. L’approche de la CNIL suppose une discussion avec les managers et une ligne à ajouter dans un modèle d’évaluation.
Avant de valider une refonte, ce que je voudrais, c’est une réponse à une question, et les preuves qui la sous-tendent.
Si vous coupiez l’IA dans votre équipe demain, vos collaborateurs seraient-ils meilleurs qu’avant son introduction, ou moins performants ?
