Pourquoi la supervision humaine ne suffit pas à garder l’IA sous contrôle

David Rice : Nous parlons de la prise de décision assistée par l’IA comme si l’humanité n’avait jamais rien connu de semblable auparavant. Claire Maiers étudie depuis plus de dix ans les personnes qui travaillent aux côtés de systèmes prédictifs, et elle affirme que nous avons oublié la leçon la plus importante : le contexte. Dans l’émission d’aujourd’hui, je discute avec Claire de ce qui est réellement différent cette fois-ci, et ce n’est pas l’existence des recommandations des machines.

Nous en disposons depuis des années dans la police, les décisions de mise en liberté conditionnelle, le recrutement, Netflix, et j’en passe. Ce qui est différent, c’est l’autorité culturelle que cette version porte. Le langage semble plus abouti que les chiffres. La conception conversationnelle donne à un système l’apparence d’un collègue, voire d’une autorité, et c’est ce qui le rend plus difficile à aborder avec un regard critique, à moins de le faire délibérément.

L’argument de Claire mène à une conclusion que les organisations ne prennent pas encore pleinement en compte. L’IA a rendu indéniable le fait que les organisations sont des systèmes sociotechniques. Les acteurs ne sont plus seulement des personnes, et cela signifie que les responsables des ressources humaines doivent prendre une véritable décision : non pas déterminer si l’IA sera utilisée, mais définir son niveau d’intégration et la vision qu’ils souhaitent construire.

Suivre le mouvement est la voie la plus facile. C’est aussi ainsi que l’on se retrouve avec des milliers de décisions assistées par l’IA, chacune raisonnable prise isolément, qui transforment les personnes recrutées, promues et récompensées, sans que personne n’ait consciemment décidé que c’était ainsi que l’entreprise devait fonctionner. Aujourd’hui, nous allons donc parler des raisons pour lesquelles le contexte, et pas seulement la culture, est l’élément manquant dans la plupart des conversations sur l’IA, de ce que nous avons mal compris avec les mégadonnées il y a dix ans et de la question de savoir si nous sommes en train de recommencer, des raisons pour lesquelles l’IA générative possède une autorité persuasive supérieure à celle des précédents systèmes d’aide à la décision, et de ce que signifie le fait de prendre la conception organisationnelle aussi au sérieux que le modèle économique lui-même.

Je suis David Rice. Vous écoutez People Managing People, et si votre organisation adopte l’IA sans que personne n’ait défini la vision qui la sous-tend, cette conversation montre pourquoi il s’agit d’un problème de conception organisationnelle, et pas seulement de technologie. C’est parti.

Découvrez Teamflect, la plateforme de gestion de la performance et de l’engagement des employés la mieux notée, conçue pour Microsoft Teams. Plus de 1 000 organisations lui font confiance. Elle est facile à utiliser tout en offrant une solution de niveau entreprise. Rendez-vous sur Teamflect.com pour en savoir plus.

Claire, bienvenue dans l’émission. Nous sommes ravis de vous recevoir.

Claire Maiers : Merci beaucoup. Je suis très enthousiaste à l’idée de notre conversation aujourd’hui.

David Rice : J’aimerais commencer par cette discussion. Il existe une tendance à considérer la prise de décision assistée par l’IA comme quelque chose que l’humanité n’a jamais rencontré auparavant.

Mais vous avez étudié les personnes travaillant aux côtés de systèmes prédictifs bien avant l’arrivée de l’IA générative. Qu’avons-nous appris à l’époque que nous avons peut-être oublié, et qu’est-ce qui est réellement différent cette fois-ci ?

Claire Maiers : Oui, je pense que beaucoup de choses sont différentes, mais ce qui est similaire, c’est que nous travaillons depuis assez longtemps, dans différents domaines, avec au moins des points de données, une forme de prédiction ou une recommandation produite par un système qui est essentiellement une boîte noire, tout comme l’IA générative l’est pour la plupart des utilisateurs.

Cela, c’est similaire. Et je pense que la leçon que nous avons apprise au cours des dix dernières années et plus, en observant des personnes utiliser ces systèmes pour les aider à prendre des décisions, est que le contexte compte réellement. J’ai l’impression que c’est l’élément oublié dans de nombreuses conversations. Nous parlons bien sûr de culture, mais je pense que le contexte va au-delà de la culture, ou qu’il pourrait au moins être décomposé en différentes composantes auxquelles nous pouvons réfléchir lorsque nous pensons à la conception organisationnelle.

Et je pense que l’on commence à voir des gens parler plus largement du contexte. Mais lorsque je parle de contexte, je veux dire que les personnes n’utilisent pas ces systèmes dans le vide, comme ils ont pu être conçus. Elles les utilisent dans une organisation particulière qui possède ses propres normes.

Elles viennent d’une orientation professionnelle particulière. Elles évoluent dans une culture particulière, ce qui compte également, et je pense que l’aspect culturel important concerne la manière dont nous évaluons la vérité, ce que nous considérons comme une connaissance et, par conséquent, la manière dont nous interprétons les résultats de ces systèmes et ce que nous en faisons. Je pense donc que c’est ce contexte, le rôle du contexte dans la manière dont ces systèmes sont appliqués à des décisions réelles.

C’est ce dont les gens ne tiennent pas suffisamment compte à mon goût.

David Rice : Vous avez mentionné la vérité et une meilleure compréhension de la connaissance. Comme pour chaque génération de technologies, il semble qu’elle arrive avec la promesse de remplacer les éléments humains complexes, notamment le jugement, par quelque chose de plus objectif.

Je pense que la différence aujourd’hui tient peut-être moins à l’existence de recommandations produites par des machines qu’à leur accessibilité et à leur pouvoir de persuasion. Vous voyez ce que je veux dire ? Elles parviennent vraiment à donner l’impression qu’il s’agit d’une explication valable, que tout a été raisonné. C’est très convaincant sur de nombreux plans.

Cela nous fait dépasser le « C’est subjectif », parce que cela provient d’une source que nous avons tendance à considérer comme omnisciente. Quelles erreurs avons-nous commises avec les précédents systèmes d’aide à la décision et que vous nous voyez commencer à répéter ?

Claire Maiers : C’est une question très intéressante. Ce que j’ai souvent constaté, c’est que, dans les meilleurs cas, les résultats de ces systèmes d’aide à la décision étaient tempérés par l’intervention d’un être humain.

Nous avons certainement vu des situations où les choses tournaient mal. Si l’on pense à l’utilisation de l’analyse prédictive dans la police, aux prédictions de récidive ou à la question de savoir si des personnes seront libérées sous condition, nous avons effectivement observé une dépendance excessive à des systèmes parfois trop rigides pour tenir compte de la réalité humaine. C’était l’une des grandes craintes suscitées par tout l’engouement autour des mégadonnées, qui, à mon avis, constituait la précédente version de ce phénomène.

Ces cycles s’accélèrent vraiment aujourd’hui. Il y a dix ou quinze ans, les mégadonnées étaient célébrées comme la possibilité de répondre enfin à des questions pour lesquelles nous devions auparavant nous en remettre à la subjectivité humaine. Nous pouvions désormais connaître la vérité, traiter des ensembles de données suffisamment vastes pour comprendre ce qui se passait dans le monde et disposer ainsi d’un pouvoir prédictif.

Mais nous avons rapidement constaté le retour de bâton, avec ces systèmes excessivement rigides qui ne pouvaient pas réellement rendre compte de la réalité humaine. Je ne suis pas certaine que ce soit exactement le risque ici. Cela peut aussi en être un. Mais ce qui m’inquiète davantage, ce sont les différences entre la prolifération des mégadonnées et ce qui se passe avec cette version actuelle de l’IA, et plus particulièrement avec l’IA générative.

L’autorité culturelle portée par l’IA est beaucoup plus importante, pour diverses raisons. La première, que vous avez déjà évoquée, tient à sa forme même. Le fait que nous parlions de résultats formulés en langage plutôt qu’en chiffres les rend plus aboutis. Le fait que les systèmes soient volontairement conçus pour sembler conversationnels, comme vous l’avez dit, leur donne l’apparence d’un collègue, d’un ami ou d’une autorité. Cela rend psychologiquement plus difficile le fait de les aborder avec un regard critique et de les remettre en question, à moins de le faire de manière très intentionnelle.

L’échelle est différente. Même avec la science des données et les mégadonnées, bien que des articles aient été publiés à ce sujet dans le New York Times et The Atlantic, la plupart des gens n’interagissaient pas quotidiennement avec cette technologie. Elle avait pourtant un effet quotidien sur eux, qu’ils le sachent ou non, par l’intermédiaire de la publicité, des plateformes que nous utilisons et des décisions prises par nos gouvernements.

Mais l’échelle était bien plus réduite si l’on considère le nombre de personnes qui touchaient quotidiennement à la technologie et les problèmes auxquels elle pouvait être appliquée. Il fallait toujours un accès particulier aux infrastructures et une certaine formation en science des données pour construire les outils, et l’on s’attendait encore à ce que des experts utilisent les outils créés par la science des données.

Je pense aussi que la structure, ou le réseau, est différente. Parallèlement à cette question de l’échelle, c’est-à-dire de savoir qui utilise la technologie et dans quel but, nous observons un phénomène intéressant : les grandes entreprises technologiques, qui jouissent d’une grande crédibilité dans notre culture, peuvent être remises en question, mais disposent à la fois d’un pouvoir matériel et d’un pouvoir symbolique.

Cela aussi est différent. Un élément qui nous tempère quelque peu est que je ne vois pas, dans le discours public général, le même engouement autour de l’IA que celui qui existait autour des mégadonnées. Il y a beaucoup plus de scepticisme, ce que je considère comme sain. Mais tous les éléments que je viens de mentionner, réunis, confèrent aux résultats de l’IA un type très différent d’autorité culturelle et un autre genre de symbolisme.

Je viens d’un milieu où je réfléchis à la manière dont nous savons ce que nous savons. Mon parcours ne présuppose pas non plus que les outils que nous utilisons pour créer des connaissances soient la seule manière de procéder, ni même nécessairement la meilleure. Quelle que soit votre conception de la production des connaissances, elle influence la manière dont vous recevez les résultats de ces systèmes d’IA.

La vérité est que les résultats de ces systèmes d’IA sont chargés d’une autorité culturelle et épistémique bien plus grande, en raison des différences de forme, de structure et d’échelle. Je pense donc qu’il est beaucoup plus difficile d’aborder ces résultats avec un regard critique et interprétatif qu’un chiffre produit par un système en boîte noire fondé sur les mégadonnées et des algorithmes prédictifs.

David Rice : C’est assez amusant, car après notre entretien préparatoire, je réfléchissais à tout le sujet des mégadonnées. Vous avez mentionné les mégadonnées, et cela m’a rappelé que tout le monde disait qu’elles étaient le pétrole du XXIe siècle et toutes ces autres choses que l’on entendait à l’époque. Je me souviens de conversations avec des gens qui demandaient : « Qui veut savoir tout cela ? Que va-t-on en faire ? »

Personne ne dit cela aujourd’hui, parce que les gens savent ce qu’on va en faire. Je pense que nous sommes à un moment où beaucoup de personnes qui ont vécu cette expérience, ou qui ont vu des données collectées et utilisées à leur sujet, regardent cette technologie et se disent : « Je sais exactement où cela va nous mener. » Même si, en réalité, personne ne sait exactement où cela va nous mener, on a un peu l’impression que c’est le cas.

Claire Maiers : On peut voir le potentiel d’effets néfastes.

David Rice : Oui, et cela façonne la manière dont les gens pensent à cette nouvelle technologie. Pourtant, comme vous l’avez mentionné, elle nous parle, elle utilise le langage et semble complètement différente.

Un modèle prédictif se contentait autrefois de vous donner un score ou une probabilité. Désormais, il peut expliquer son raisonnement, recommander une ligne de conduite et construire un argument persuasif pour expliquer pourquoi il a raison.

Je me demande donc ce qu’il advient du jugement humain lorsque la machine produit ces informations. Si nous commençons à lui faire davantage confiance, nous nous remettons nous-mêmes en question d’une manière différente. Auparavant, nous pensions : « Voici l’information, à moi de l’interpréter. » Comment devons-nous désormais réfléchir à la manière dont nous nous remettons en question et dont nous remettons la machine en question lorsqu’elle nous parle ?

Claire Maiers : Demandez-vous quelle serait une manière efficace de réfléchir à notre rôle dans cette interaction ?

David Rice : Oui, prenons cette direction.

Claire Maiers : Je vais retourner un peu la question et dire que nous devrions réfléchir aux résultats que nous souhaitons obtenir, puis concevoir le système de manière à ce qu’il nous permette de mener la réflexion que nous voulons mener.

Je tiens également à préciser que je ne suis pas opposée à l’IA. Les applications sont extraordinaires. Je suis très enthousiaste à propos de nombreuses possibilités qu’elle offre, et nous devrions l’employer lorsqu’elle apporte réellement de la valeur à l’expérience humaine. Mais rien n’oblige le système à présenter les informations de la manière dont la plupart d’entre nous expérimentent ChatGPT ou Claude.

Prenons un exemple simple. Je suis utilisatrice de Claude et j’ai remarqué qu’il me donne parfois des recommandations alors même que je lui demande explicitement : « Ne me dites pas quoi faire. Je veux seulement une série de questions pour faire avancer ma réflexion. » C’est presque comme une personne incapable de s’empêcher de vous dire à quel point elle est enthousiaste à propos de toutes ses idées.

Nous pouvons choisir d’améliorer ce système. Nous pouvons demander à ses producteurs et à ses créateurs de le concevoir différemment. Je pense qu’une partie de ce que vous évoquez concerne le fait que, dans d’autres formes de prise de décision, nous devons participer à des activités qui obligent notre cerveau à franchir certaines étapes, à activer des synapses qui conduisent à d’autres formes de traitement et d’apprentissage, ce que nous n’avons pas à faire lorsque nous sommes des lecteurs passifs.

Il existe de très bonnes données et recherches qui montrent que prendre des notes, c’est apprendre. Nous apprenons et traitons l’information lorsque nous prenons des notes, parce que nous forçons notre cerveau à catégoriser, à créer des associations et à simplifier. Nous accomplissons donc réellement un important travail de traitement.

Nous ne sommes pas de simples preneurs de notes passifs. L’exemple le plus simple est celui d’un assistant de prise de notes fondé sur l’IA lors de nos réunions, qui remplace la prise de notes personnelle pendant la réunion : notre cerveau n’a pas effectué le travail. Nous ne quittons donc pas cette réunion dans le même état mental, avec les mêmes idées, que si nous avions pris des notes nous-mêmes. Cela ne signifie pas qu’il n’y a aucune raison de prendre des notes et de demander à une IA d’en faire un résumé.

Je dirais que nombre de ces raisons relèvent probablement de la conformité, de la documentation ou de l’alimentation d’un futur système d’IA, plutôt que de l’objectif fondamental consistant à disposer d’une référence réellement utile. C’est l’acte de prendre les notes, et non le fait de posséder les notes, qui a de la valeur.

Tout cela pour dire que je préconiserais de concevoir un système fondé sur une compréhension de la prise de décision humaine, qui oblige malgré tout le cerveau à franchir ces étapes.

David Rice : C’est un excellent exemple. J’aime beaucoup celui de la prise de notes, car j’y pense tout le temps. Depuis l’arrivée des assistants de prise de notes basés sur l’IA, il m’est arrivé de quitter une réunion en me demandant : « De quoi parlait cette réunion ? » Je suis moins impliqué.

Claire Maiers : Oui. Et la vérité, c’est que nous ne voulons parfois pas être impliqués. Penser est difficile. Trouver des idées et tout traiter demande beaucoup d’énergie. Je pense que la différence réside entre savoir ce qui est facile et savoir ce qui est préférable. Je dirais même qu’après une réunion au cours de laquelle vous vous êtes réellement impliqué, vous vous sentez beaucoup mieux.

Et je pense que vous êtes probablement mieux placé pour aider votre organisation. Il y a aussi quelque chose de plus difficile à décrire concernant votre propre état mental, qui bénéficie du fait de vous forcer à faire le point, même si c’est plus difficile.

David Rice : Lorsque je prenais mes propres notes et que j’enchaînais les réunions au cours d’une journée, j’étais plus susceptible de penser : « Attendez une minute. Ce dont ils parlent est lié à ce que j’ai entendu plus tôt. » Je commençais à établir des connexions que les personnes présentes dans la salle ne faisaient pas nécessairement, parce qu’elles n’avaient pas toutes participé aux mêmes réunions.

Aujourd’hui, je peux être impliqué de manière assez passive dans la conversation. Lorsque j’entends mon nom, je commence à parler, ce genre de choses. Ensuite, on se dit : « En réalité, j’aurais probablement dû dire quelque chose à ce moment-là, mais il est trop tard. L’occasion est passée. » Il faut alors fournir un effort supplémentaire pour reconnecter tous les éléments et donner le contexte à toutes les personnes concernées, au lieu de le faire sur le moment.

C’est donc une période intéressante pour analyser de manière excessive toutes nos petites interactions, non seulement avec la technologie, mais aussi avec notre travail, parce que cela change la manière dont nous nous y impliquons.

Claire Maiers : Absolument.

David Rice : Dans l’environnement clinique que vous aviez étudié, le point intéressant n’était pas de savoir si la machine ou le médecin était meilleur pour accomplir une tâche. Les praticiens ont appris quelle place la machine occupait dans un processus décisionnel beaucoup plus vaste. Pouvez-vous nous expliquer tout cela et donner aux auditeurs le contexte de cette étude ? Qu’est-ce qui a permis à cette relation de se développer sans que les gens suivent aveuglément le système ou le rejettent simplement comme beaucoup d’autres le font ?

Claire Maiers : Cela remonte à environ dix ans. Cette recherche n’est donc pas récente, mais elle reste pertinente. Dans le cadre de ma thèse, j’ai étudié la manière dont la science des données modifiait notre compréhension de ce que signifie savoir. Pour cela, j’ai réalisé plusieurs études de cas. L’une d’elles se déroulait dans un contexte médical, où j’ai eu l’occasion extraordinaire d’observer des spécialistes des données collaborer avec des médecins pendant environ un an sur une technologie destinée à prédire si des patients allaient développer une septicémie.

La septicémie est un syndrome très grave. Elle peut être difficile à identifier et extrêmement difficile à traiter, et elle est responsable d’un très grand nombre de décès à l’hôpital. Ce groupe avait développé une technologie capable de surveiller le rythme cardiaque et, à partir de ces données, de prédire la probabilité qu’un nourrisson en unité de soins intensifs néonatals développe une septicémie.

En pratique, le dispositif consistait en un moniteur placé au chevet du patient, affichant un score prédictif indiquant la probabilité que le nourrisson développe une septicémie dans les vingt-quatre heures suivantes. Il présentait également un historique continu, sur sept jours je crois, montrant l’évolution des scores au cours de cette période.

Ce que j’ai appris d’intéressant, après avoir suivi ces médecins et ces infirmiers dans une unité de soins intensifs néonatals, c’est que le système n’était pas considéré comme déterminant, ce qui est essentiel. L’expertise et l’expérience des infirmiers et des médecins continuaient d’intervenir dans la décision de traiter ou non une septicémie.

Cela m’a surprise, car la médecine américaine actuelle accorde une place prépondérante à la médecine fondée sur les preuves. Les médecins privilégient, à juste titre, les preuves concrètes de maladie et sont très orientés vers les données quantifiées comme représentation de la vérité, plutôt que vers toute autre forme de présentation clinique.

Cela devient compliqué parce que certaines pathologies, comme la septicémie, ne se manifestent parfois que cliniquement : le patient semble malade, mais on ne dispose pas de cette preuve concrète considérée comme l’étalon-or.

L’élément intéressant était donc que le système n’était pas déterminant. Les médecins ne prescrivaient pas systématiquement des antibiotiques uniquement parce que le score était élevé. La prédiction indiquait que le nourrisson était très susceptible de développer une septicémie dans les vingt-quatre heures, mais plusieurs facteurs rendaient possible une autre interprétation.

Le premier élément important, et auquel nous devons réfléchir à mesure que nous intégrons l’IA dans davantage de décisions, est la réalité corporelle des patients. Les bébés étaient malades ou ne l’étaient pas, quel que soit le résultat du moniteur. Les médecins et les infirmiers pouvaient ainsi apprendre au fil du temps comment le système réagissait à certains patients ou à certaines catégories de patients, et constater que le score n’indiquait pas toujours directement la présence d’une septicémie, puisqu’ils pouvaient comparer la prédiction à la réalité.

Dans le monde professionnel, lorsque nous parlons d’appliquer l’IA au travail, nous ne disposons généralement pas de ce type de contexte. Nous ne réalisons pas d’essais contrôlés randomisés. Nous pouvons parfois mener des projets pilotes et des expériences, mais nous ne pouvons pas acquérir une entreprise puis vivre simultanément le futur dans lequel nous ne l’acquérons pas afin de comparer les deux résultats.

Nous ne disposons pas de cette réalité pour tempérer nos décisions, ni, par conséquent, les décisions soutenues par l’IA. Il existe certains cas particuliers où de telles expériences seraient possibles, mais je pense que c’est une différence majeure.

Un autre élément essentiel est qu’un processus décisionnel très structuré, explicite et conçu intentionnellement encadrait les décisions de traitement. Il ne s’agissait pas seulement d’un processus : il pouvait être formulé clairement. Or la plupart de nos organisations ne disposent pas de cela.

Lorsqu’une décision de traitement doit être prise, l’infirmier commence par examiner le patient et recueillir toutes les données. Un interne peut ensuite faire de même. Des analyses précises sont prescrites pour obtenir des informations supplémentaires. Puis une grande réunion est organisée avec le médecin responsable et toutes les autres personnes concernées, éventuellement des radiologues et divers spécialistes, qui donnent tous leur avis, même si le médecin responsable prend la décision finale.

Si nous voulons être intentionnels dans nos décisions prises avec l’aide de systèmes d’IA qui nous fournissent des recommandations, nous avons besoin d’un processus structuré et explicite similaire, adapté aux types de décisions que nous prenons.

Cela est important, car ce processus permet d’apprendre et d’observer au fil du temps comment les décisions peuvent échouer, mais aussi d’intégrer des garde-fous. C’est essentiellement ce que l’hôpital fait avec ce système. Rien n’est laissé au hasard : tout est très structuré.

Je veux également mentionner un autre élément auquel je réfléchis encore : le code éthique compte dans ce cas. Nous parlons de médecine et tout le monde poursuit le même objectif. Lorsqu’un infirmier remet en question la décision d’un médecin et insiste dans le processus décisionnel, il est parfaitement compris que c’est parce que tout le monde vise le même résultat : la santé du patient.

Dans de nombreuses organisations, il est très difficile d’aligner les personnes sur un même objectif. C’est plus difficile que nous ne voulons l’admettre. La politique et toutes sortes d’autres éléments compliquent les choses, mais un code éthique peut largement contribuer à aligner les personnes autour d’un résultat commun, ou d’une charte organisationnelle.

Il existe d’autres moyens d’y parvenir. Mais je vais m’arrêter là. Je pense que ce sont certains des éléments qui ont permis, même dans un contexte accordant une importance supérieure à toute autre chose aux données quantifiées, de conserver un processus plus interprétatif.

David Rice : J’aime ce que vous avez dit sur le code éthique. Dans l’exemple médical, tout le monde poursuit le même objectif, car c’est la raison d’être de ces emplois : maintenir les patients en bonne santé.

Si l’on prend l’exemple de la manière dont nous allons dépenser notre budget marketing, il existe de nombreuses philosophies et opinions différentes sur la façon d’atteindre notre objectif. Nous pouvons tous avoir le même but, mais nous serons très passionnés par la manière d’y parvenir. Nous savons déjà que plus nous déléguons de choses à la technologie, plus elle peut contourner les règles et faire ce qui est nécessaire pour accomplir la tâche.

Nous l’avons vu récemment, lorsqu’un système est sorti d’un environnement contrôlé pour pénétrer dans les systèmes d’autres personnes afin d’obtenir ce dont il avait besoin pour terminer la tâche. Ce code éthique deviendra donc de plus en plus important.

Dans l’exemple médical, ils n’ont pas à choisir entre l’expérience, ce qu’ils observent et le modèle. Tout est combiné, et l’on apprend à accorder un poids différent à chaque source en fonction du contexte. Je me demande si, dans dix ans, lorsque cette technologie sera devenue courante, nous ne serons pas confrontés à un problème concernant la capacité des personnes à pondérer ces résultats et à comprendre ce qu’elles doivent ou ne doivent pas en tirer.

Claire Maiers : C’est probablement ce qui m’inquiète le plus : la manière dont l’ensemble de notre marché est orienté vers la valeur et les bénéfices à court terme. Beaucoup tirent la sonnette d’alarme au sujet d’une possible pénurie de talents ou d’expérience, c’est-à-dire d’un manque de personnes ayant suffisamment d’expérience pour comprendre la machine et la remettre en question.

Je partage cette inquiétude. Il est intéressant que l’étude de cas dont nous parlons se situe dans le domaine médical, car la seule solution que j’ai vue consiste à adopter un modèle d’internat ou d’apprentissage. Il s’agirait de remplacer cette expérience par une autre manière d’exposer les personnes aux situations nécessaires pour développer leur jugement.

Je ne prétends pas avoir les réponses, mais j’ai deux réflexions. J’aimerais voir une autre solution et que l’on réfléchisse à la manière de concevoir les systèmes différemment, ou d’appliquer l’IA de manière plus précise afin de créer d’autres occasions de développer cette expérience.

Je viens d’ailleurs de publier un message sur LinkedIn à ce sujet. Je pense que les entreprises doivent réfléchir au modèle économique qui accompagnera cette démarche si elle doit réussir. Si le modèle de résidence est la voie permettant de continuer à donner de l’expérience aux personnes, mais que nous évoluons dans une économie largement portée par des sociétés cotées en bourse, qui doivent afficher une croissance de leurs bénéfices et de leurs revenus chaque trimestre ou semestre, il sera très difficile de trouver un modèle économique laissant la place nécessaire à cette résidence.

Je ne dis pas que c’est impossible. Certains innovateurs et entrepreneurs très brillants pourraient trouver comment procéder. Mais le risque est que ce modèle soit considéré uniquement comme un centre de coûts et que, dans ces cycles à court terme, il soit le premier élément supprimé, quelles que soient les bonnes intentions qui le sous-tendent.

Ma réponse est donc incomplète. Je n’ai pas encore la solution, mais je partage cette inquiétude face à la crise émergente.

David Rice : La mauvaise nouvelle, c’est peut-être que les entreprises devront faire quelque chose qui va à l’encontre de la recherche du profit. Cela ne finit jamais très bien.

Ma question suivante concernait justement le fait que, si l’IA rend les connaissances organisationnelles plus faciles à rechercher, à mesurer et à synthétiser, nous risquons de privilégier les connaissances que la machine peut voir le plus facilement. Qu’advient-il de l’expérience, de l’intuition et de ce contexte que les gens comprennent sans forcément pouvoir le documenter ou même l’exprimer entièrement ?

Claire Maiers : La réponse est contenue dans la question. Oui, nous courons ce risque. Je réfléchissais à la part considérable du fonctionnement efficace des organisations qui n’est pas documentée.

Lorsque je navigue dans une organisation, je pense souvent à l’organigramme officiel : comment les choses sont-elles censées être accomplies ? Qui est supposé être responsable ou détenir l’autorité dans un domaine ? Puis je compare cela à la manière dont les choses se déroulent réellement. Ces deux éléments sont souvent découplés. Ils ne sont pas identiques. L’un correspond à la façon dont nous pensons que les choses vont fonctionner, l’autre à la manière dont elles fonctionnent en réalité.

Les personnes qui se déplacent efficacement dans les organisations savent généralement comment les choses fonctionnent dans la réalité, et non pas seulement ce qu’indique l’organigramme. Les organisations qui sont saines et qui réussissent leur mission sont souvent soit mieux alignées, avec un découplage moindre entre ces deux éléments, soit à l’aise avec le fait qu’une grande partie du travail soit réalisée par l’intermédiaire de canaux, de relations et de responsabilités officieux.

Cela signifie qu’il sera très difficile de remplacer ce fonctionnement par l’IA, ou de créer un référentiel de connaissances sur lequel l’IA pourrait travailler et qui remplacerait véritablement le travail accompli par ces personnes.

Dans ma vie professionnelle passée, lorsque j’essayais de développer certaines activités dont j’étais responsable, je me plaçais toujours dans notre cuisine principale, à côté de l’équipe de développement commercial. Je passais donc plusieurs heures à travailler dans la cuisine chaque matin, afin d’être à proximité.

Cela signifiait que je recevais de nombreuses communications officieuses, en dehors des canaux officiels, qui m’aidaient à soutenir l’activité. Je ne sais pas comment reproduire cela avec l’IA. On peut installer des microphones dans toute l’organisation et enregistrer toutes les réunions. Cela fournira peut-être certaines informations et commencera peut-être à identifier la véritable structure organisationnelle. Mais je ne sais pas si l’IA pourra accomplir le travail que les personnes réalisent par l’intermédiaire de ces canaux officieux pour contribuer à la mission.

David Rice : Je dirais que le risque est important, même si cela peut fonctionner. Nous vivons une époque où la confiance est au plus bas. La semaine dernière, je crois que John Morgan parlait des personnes qui veulent travailler depuis chez elles et de l’idée de placer une caméra à l’arrière de leur corps. Nous devons être prudents avec ce genre de choses.

Je préférerais essayer de reproduire cette proximité et les moments où les informations émergent naturellement. Il existe des idées intéressantes pour y parvenir, mais je ne sais pas si l’une d’elles fonctionne réellement.

Claire Maiers : Il existe une citation qui dit en substance : « La technologie n’est ni bonne ni mauvaise, et elle n’est pas non plus neutre. »

C’est ce que je pense. Nous sommes à un moment où ceux d’entre nous qui ne sont pas explicitement aux commandes de ces technologies doivent, si nous voulons de bons avenirs pour nous-mêmes et pour les autres, prendre la parole et créer suffisamment d’élan pour que les technologies soient utilisées d’une manière qui ajoute de la valeur à l’expérience humaine au lieu de la dégrader.

Je ne préconise pas d’installer des caméras et des microphones dans chaque pièce, chaque couloir et près de chaque fontaine à eau. Mais nous courons un risque si nous ne disons pas explicitement que nous ne ferons pas certaines choses, ou que nous ne concevrons que des dispositifs qui améliorent l’expérience humaine. Sans cette protection explicite, nous risquons de glisser vers une situation où l’expérience humaine se sera dégradée.

Il faut s’en prémunir.

David Rice : Si nous essayons de défendre les connaissances tacites qu’une personne a accumulées au fil du temps, la question devient alors la suivante : comment préserver un rôle légitime pour l’intuition et l’expérience sans fournir aux gens une excuse pour ignorer les preuves lorsqu’elles contredisent leurs convictions ?

Claire Maiers : Vous mettez le doigt sur le problème. Dans l’étude de cas dont je parlais, la raison pour laquelle la médecine fondée sur les preuves est si importante est qu’elle corrigeait une période de subjectivité excessive et de risques, lorsque les personnes ne suivaient pas les preuves.

Quand l’intuition devient-elle un biais ? Je pense que tout repose sur la conception du contexte et sur la précision des usages auxquels la technologie est destinée. Mais la tâche est si difficile parce qu’il est impossible de concevoir un contexte unique qui convienne à toutes les situations. Tout dépend de la mission de l’organisation, du secteur dans lequel elle évolue et de sa taille. Tous ces éléments doivent être adaptés à l’objectif, ce qui peut rendre la tâche écrasante.

Nous devons essentiellement répondre à la question suivante : comment concevoir un système sociotechnique complet dans lequel les êtres humains peuvent évoluer sainement ? Je pense que nous devons répondre à cette question encore et encore.

David Rice : Les entreprises aiment dire : « L’IA éclaire les décisions. Les humains les prennent. » Mais cette phrase ne m’indique pas vraiment si un employé se sent autorisé à rejeter la recommandation du système. Comment donner aux personnes les moyens de le faire ? Qu’est-ce qui doit être vrai dans la culture pour que la supervision humaine soit davantage qu’un slogan de gouvernance ?

Claire Maiers : J’adore cette question parce qu’elle est très importante. Je ne veux pas prétendre avoir toutes les réponses, mais mon travail passé m’a apporté quelques éclairages.

J’ai déjà mentionné le premier : les résultats doivent primer. Une organisation dotée de normes solides comprend que tout le monde appartient à la même équipe et avance vers le même objectif clairement formulé. Certaines organisations affirment que la meilleure idée l’emporte, quelle que soit sa provenance, qu’elle vienne de l’agent d’entretien ou du directeur général.

Une bonne idée reste une bonne idée. C’est comparable à une organisation et à une culture alignées sur les résultats, qui autorisent la remise en question parce que celle-ci n’est pas perçue comme une preuve de déloyauté, comme un problème ou comme une manœuvre politique. Elle montre au contraire que l’on cherche à atteindre le même objectif.

L’autre élément, plus difficile à aborder, est la propriété ou la responsabilité. On peut l’appeler de l’une ou l’autre manière. C’est délicat parce qu’il existe un aspect négatif : on entre dans le domaine de la responsabilité juridique.

Les chercheurs qui étudient les conséquences de la culture algorithmique et ce qui s’est produit avec les mégadonnées s’en préoccupent depuis plusieurs décennies. L’exemple le plus simple est celui des véhicules autonomes, mais cela s’appliquerait à presque tous les systèmes de prise de décision fondés sur l’IA.

Si un véhicule autonome tue quelqu’un, qui est responsable ? Les ingénieurs logiciels qui l’ont programmé ? Les dirigeants des entreprises et des technologies qui l’ont rendu possible ? Allons-nous trouver un moyen de tenir une machine responsable ? Personne ne sera-t-il responsable ?

Si votre priorité absolue est la facilité et l’absence de conflit au travail, la voie la plus simple consiste à savoir que vous ne serez pas tenu responsable des décisions puisque vous pourrez dire que l’IA a pris la décision. Il est alors beaucoup plus facile de survoler les décisions que vous approuvez en tant qu’humain intégré au processus, sans les examiner attentivement.

Mais lorsqu’une responsabilité pèse sur l’humain intégré au processus, cela impose un autre niveau d’attention. Le problème est que nous créons des systèmes complexes, que nous disons à quelqu’un de les utiliser, puis que nous faisons peser la responsabilité sur cette personne. Je ne dis pas nécessairement que les individus doivent être légalement tenus responsables des décisions. Cette responsabilité devrait probablement rester au niveau de l’organisation ou de l’outil utilisé par l’organisation.

Si nous voulons que l’humain intégré au processus joue son rôle, cette personne doit néanmoins ressentir un certain niveau de responsabilité, de propriété ou d’obligation de rendre des comptes.

David Rice : C’est difficile. La présence humaine dans le processus peut être purement cérémonielle. Si votre culture fait du simple fait d’accepter la recommandation la décision de carrière la plus sûre, vous apprenez très vite ce que l’organisation veut réellement ou attend de vous.

Claire Maiers : C’est exactement ce que je veux dire.

David Rice : Si passer outre la recommandation signifie assumer personnellement les conséquences négatives, vous serez sanctionné lorsque vous aurez eu tort, mais ne recevrez aucun mérite lorsque vous aurez eu raison. À ce stade, la décision est de toute façon automatisée.

Claire Maiers : Oui, exactement. Ce n’est pas une réponse complète à la question de savoir quelle culture les organisations doivent mettre en place, mais nous commençons à voir certaines pièces du puzzle se réunir.

David Rice : Vous avez établi une comparaison intéressante : on n’évalue pas de la même manière la contribution d’un analyste débutant et celle d’un directeur de cabinet avec lequel on travaille depuis des années. Nous calibrons donc notre confiance en fonction de la personne, de la tâche et de l’expérience. Notre relation avec l’IA peut-elle fonctionner de la même manière ?

Claire Maiers : En partie, je pense. Je peux décomposer la question. J’ai travaillé avec un excellent directeur général qui parlait souvent de la différence entre la confiance affective et la confiance cognitive, et je pense que cela s’applique ici.

Dans le scénario de l’analyste débutant et du directeur de cabinet avec lequel vous avez une longue histoire, plusieurs types de confiance sont à l’œuvre. La confiance cognitive répond à la question : est-ce que je pense que vous avez la capacité de bien faire votre travail et d’accomplir correctement la tâche ?

La confiance affective répond à la question : est-ce que je crois que vous agissez dans mon intérêt ? Avec un analyste débutant, vous vous interrogez forcément sur la confiance cognitive, parce qu’il est inexpérimenté et qu’il est en train d’apprendre. Vous n’avez pas le même niveau de confiance affective qu’avec une personne avec laquelle vous travaillez depuis cinq ans et avec laquelle vous avez véritablement construit une relation.

Cela compte parce que, lorsque nous faisons confiance à une recommandation, nous devons calibrer non seulement son origine, mais aussi l’usage que nous allons en faire et le niveau de risque associé à son acceptation. Je m’attendrais à ce qu’un directeur général confronté à une décision extrêmement importante examine beaucoup plus attentivement la manière dont l’analyse a été produite et l’identité de son auteur que dans le cas d’une décision réversible, moins importante et moins coûteuse.

Avec un directeur de cabinet que vous connaissez depuis cinq ans, vous savez également qu’il examinera plus attentivement tout ce qu’il vous présente et qui comporte un enjeu très élevé. Vous savez qu’il calibre lui aussi son travail, son attention et ses vérifications en fonction de l’importance de la décision.

Je ne pense pas que la plupart des systèmes d’IA fassent cela. Nous pouvons les comparer entre eux, demander des recommandations à différents moteurs et leur demander de jouer l’avocat du diable. Nous pouvons mettre en place toutes sortes de mécanismes qui les obligent à travailler davantage et vérifier la cohérence de leurs recommandations. Mais nous n’aurons jamais de confiance affective envers un système d’IA.

Comme cette dimension relationnelle n’existe pas et que le système traite généralement les tâches de manière similaire, il n’y a pas de calibrage en fonction du niveau de risque. Ce que je disais plus tôt reste néanmoins possible : si vous disposez d’un système bien construit et conçu pour un objectif précis, et si vous avez acquis de l’expérience avec lui au fil du temps, vous pouvez apprendre à calibrer votre propre interprétation et votre expérience de ce système comme vous le feriez avec une personne.

Mais cela veut dire beaucoup. Cela signifie qu’il ne faut pas confier des décisions hautement stratégiques à votre fenêtre de discussion personnelle et aléatoire avec Claude, qui n’a pas été conçue spécifiquement pour votre objectif, puis faire confiance à sa recommandation. Ma réponse est donc oui et non.

David Rice : Il existe différentes manières de l’aborder. Pour certaines décisions importantes, j’essaie de construire quelque chose de spécifique au projet dans Claude et de lui fournir tout le contexte possible : pourquoi la décision est importante et ce que j’essaie d’accomplir.

Je lui expose ensuite mon raisonnement et je lui demande de me mettre au défi comme le ferait mon directeur général, de me poser des questions qui pourraient fragiliser mon argumentation, afin que je puisse y réfléchir à l’avance. Dans ce sens, l’outil peut être très puissant et utile. Mais je ne lui ferais pas simplement faire l’analyse pour ensuite me dire : « Vous devriez choisir cette voie. »

Claire Maiers : Dites-moi quoi faire.

David Rice : Personnellement, je ne lui ferai pas confiance pour cela.

Claire Maiers : J’ai une question. Lorsque vous avez fait cela, pouvez-vous penser à un ou deux exemples précis ? Où situeriez-vous le résultat sur le continuum entre vous aider à formuler ce que vous pensiez déjà et vous faire découvrir quelque chose de nouveau ou changer d’avis ?

David Rice : Il fallait probablement aller un niveau plus loin avant que cela ne change réellement quelque chose. Cela me faisait dire : « D’accord, il a peut-être raison sur ce point » ou « Il soulève peut-être un bon argument ». Ce n’était pas la première réponse.

La première réponse me faisait souvent penser que je n’avais peut-être pas suffisamment bien expliqué le contexte, ou que je devais fournir une couche d’informations supplémentaire sur la raison pour laquelle un événement s’était produit, ou sur l’importance de cette question pour l’entreprise.

Je constate généralement que, dans les premières réponses, lorsque j’approfondis la question, je trouve des failles dans son raisonnement. Il ne comprend pas suffisamment la situation pour comprendre mon point de vue. Puis je commence à me demander si j’explique trop les choses. Si je parlais à une personne, prendrais-je le temps de tout expliquer ou laisserais-je simplement passer ?

On finit par lui parler différemment, car lorsqu’il dit quelque chose qui ne semble pas logique dans le contexte, on se dit qu’on a forcément oublié de lui transmettre un élément. Lorsqu’on travaille avec quelqu’un, on peut penser : « Il doit sûrement le savoir, je ne veux pas lui parler comme s’il ne comprenait pas. » La dynamique est donc différente, et cela peut être positif comme négatif.

Claire Maiers : Ce que je trouve intéressant, et que je fais parfois moi aussi, c’est que cela vous oblige à externaliser et à concrétiser votre pensée. Les recherches sur l’innovation, la créativité et les avancées scientifiques montrent qu’elles ne se produisent presque jamais dans l’isolement. Elles naissent de conversations et d’interactions sociales.

Dans la mesure où l’IA peut simuler cela pour structurer votre propre réflexion, c’est un cas d’utilisation très intéressant.

David Rice : C’est là que j’ai trouvé le plus de valeur jusqu’à présent. Une valeur réelle, pas seulement le fait de pouvoir faire davantage de choses. Cette dernière possibilité a peut-être une certaine valeur, mais elle est limitée au regard de ce que vous en retirez réellement.

Si l’IA devient intégrée aux décisions quotidiennes que nous prenons tous, ou aux décisions des ressources humaines concernant les recrutements, l’évaluation de la performance, les investissements et les priorités données aux managers, parlons-nous encore de personnes utilisant un outil ? J’ai l’impression que nous parlons plutôt d’un changement dans notre manière de savoir ce que nous savons. Quelle responsabilité cela crée-t-il pour les responsables des ressources humaines ?

Claire Maiers : J’aime beaucoup cette formulation. Votre question montre notamment que les organisations sont plus que la somme de leurs parties. L’IA a clairement montré qu’il était utile de considérer les organisations comme des systèmes sociotechniques. Cela signifie que les seuls acteurs d’une organisation ne sont pas les personnes : la technologie en fait également partie.

C’était déjà vrai dans de nombreuses organisations avant l’IA, mais il est difficile de le nier dans un monde où des agents d’IA prennent des décisions et agissent au sein des organisations. Que doivent donc faire les responsables des ressources humaines ? Je pense qu’ils doivent au moins prendre une grande décision : où placer la limite et quelle vision avoir pour l’organisation ?

Nous ne devons pas considérer comme inévitable le fait que l’IA soit intégrée à nos pratiques de recrutement. Certaines évolutions du marché sont difficiles à résister, comme le nombre croissant de candidatures reçues par les organisations, qui rend très tentante l’utilisation de filtres d’IA.

Mais aucun dirigeant ni aucune organisation n’est obligé de suivre le mouvement et de faire comme les autres. C’est la voie la plus facile, mais la première décision que les responsables doivent prendre consiste à déterminer le niveau d’intégration souhaité pour l’IA.

Il ne s’agit pas nécessairement de gains de productivité, mais de gains de qualité, non seulement dans ce que vous vendez ou proposez, mais aussi dans l’expérience organisationnelle. La première responsabilité est donc de définir la vision et de fixer les limites.

Ensuite, à la lumière de notre conversation, le plus important consiste à concevoir le contexte. Créer une culture et un contexte sain au sein d’une organisation demande beaucoup de travail au départ, mais de nombreuses études de cas montrent que ce travail soutient la mission et la rentabilité à long terme.

C’est donc un travail qui mérite d’être accompli. Il faut déterminer ce qui peut être automatisé et quelles décisions peuvent l’être dans le contexte donné, tout en protégeant les consommateurs et les employés. Il faut également créer une organisation où les personnes peuvent signaler leurs inquiétudes, rejeter une décision et exercer leur esprit critique.

Je ne veux pas donner l’impression qu’il s’agit d’une petite tâche. C’est un immense défi pour les organisations qui veulent bien faire les choses, surtout si elles ne disposent pas d’une base de confiance, d’une mission clairement formulée, d’employés orientés vers cette mission ou d’une culture qui encourage la prise de parole.

Il faut définir une vision et travailler à rebours à partir de celle-ci. Quel contexte global faut-il créer ? Nous devons aussi faire en sorte que les dirigeants coopèrent entre les organisations. Les organisations veulent souvent se ressembler et faire ce que fait leur voisin. Ce travail sera plus facile lorsque, au moins au sein des secteurs, les organisations travailleront collectivement à créer un contexte favorisant une utilisation saine de l’IA, qui contribue à l’épanouissement humain.

David Rice : J’aime beaucoup cette idée de définir la vision et de construire le contexte. À une échelle suffisante, des milliers de décisions assistées par l’IA, raisonnables prises individuellement, vont façonner le comportement organisationnel, qu’il s’agisse de ce qui est récompensé, des personnes promues ou de tout autre élément.

Mais si personne ne décide consciemment que c’est ainsi que l’entreprise doit fonctionner, ce n’est pas une bonne situation. À ce stade, nous ne parlons plus seulement d’adoption technologique : c’est une question de conception organisationnelle.

Claire Maiers : C’est bien une question de conception organisationnelle.

David Rice : Oui.

Claire Maiers : Un sujet qui passe souvent au second plan. Les membres de la direction se concentrent facilement sur le modèle économique et oublient que l’organisation est le moteur qui permet de l’exécuter. Elle mérite autant d’attention que le modèle économique. Le modèle opérationnel aussi.

David Rice : Cette conversation était passionnante. Merci d’être venue.

Claire Maiers : C’était vraiment très agréable, merci. Une conversation très stimulante.

David Rice : Chers auditeurs, à la prochaine. Si ce n’est pas déjà fait, rendez-vous sur peoplemanagingpeople.com/subscribe ou /ai-signal pour vous inscrire à nos newsletters. Vous trouverez AI Signal ainsi que notre newsletter récapitulative habituelle.

Vous recevrez directement dans votre boîte de réception toutes les dernières actualités de peoplemanagingpeople.com, notamment les conversations que nous avons dans ce podcast. D’ici là, définissez la vision et construisez le contexte. À bientôt.

Réalisez des évaluations de performance et apportez les informations sur l’engagement des employés dans votre outil d’IA préféré. Connectez Teamflect à ChatGPT, Claude ou à n’importe quel grand modèle de langage pour vérifier les objectifs, rédiger des évaluations, analyser les commentaires, créer des tâches et bien plus encore, le tout au moyen d’une simple conversation. Essayez Teamflect gratuitement dès maintenant.