Expédier, Apprendre, Passer à l’échelle. Et ensuite ?
Changement de gouvernance: La gouvernance de l’IA doit évoluer de la politique vers la surveillance en temps réel à mesure que l’IA agentique prend des actions autonomes.
Priorité au déploiement: AWS privilégie le déploiement rapide de l’IA par rapport à la gouvernance, en se concentrant sur l’apprentissage et la montée en charge en production.
Risques non atténués: Credo AI recense 1 600 risques liés à l’IA, dont 15 % restent sans solution, soulevant des inquiétudes pour la gouvernance des IA agentiques.
Lacunes en matière de responsabilité: Les cadres de gouvernance actuels peinent à assigner la responsabilité des actions des agents IA ayant un impact sur les utilisateurs.
Lors d'une démonstration en direct à HumanX la semaine dernière, Mati Staniszewski, cofondateur d'ElevenLabs, a présenté à l'audience un agent de service gouvernemental développé sur la plateforme de son entreprise.
L'agent a guidé un utilisateur fictif tout au long de l'enregistrement d'une entreprise. Il a authentifié son identité via WhatsApp. Il a récupéré des documents à partir d’un compte Google lié, a changé de langue en cours de conversation lorsque l’utilisateur a mentionné des employés hispanophones, et a répondu à des questions sur la procédure d’obtention de permis de vendeur en Californie.
Puis l’utilisateur a posé une question sur la fiscalité. L’agent a mis fin à l’appel.
Keep Reading—and Keep Leading Smarter
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Il n’a pas signalé d’incertitude. Il n’a pas escaladé la demande. Il a mis fin à une conversation qu’un véritable utilisateur aurait supposé en bonne voie, parce que l’agent ignorait l’existence d’un service de taxes vers lequel transférer la demande.
Staniszewski a corrigé le problème en direct, en quelques minutes, reliant l’agent commercial à un agent fiscal, intégrant la modification et redémarrant. L’audience a assisté à une mise à jour de production en temps réel.
Ce qui mérite réflexion, ce n’est pas l’échec de l’agent. Les agents échouent. Ce qui importe, c’est la façon dont cet échec s’est manifesté. Aucun avertissement. Aucun transfert. Aucun relevé des besoins de l’utilisateur. La faille n’est devenue visible que lorsqu’un utilisateur y est tombé.
Imaginez maintenant ce scénario chez Revolut, qui déploie des agents ElevenLabs auprès de quatre millions de clients dans plus de 30 langues. Ou chez Deutsche Telekom, dont le réseau intègre désormais des agents traitant les demandes en temps réel. Le point de blocage, selon Staniszewski, n’est plus la technologie. C’est le déploiement.
Cette affirmation est à la fois exacte et, pour toute personne responsable des actions de ces agents, la phrase la plus importante de toute la session.
Le modèle pour lequel la gouvernance a été créée
Pendant la majeure partie des trois dernières années, la gouvernance de l’IA en entreprise s’appuyait sur un ensemble d’hypothèses gérables. Un système d’IA formulait une recommandation. Un humain l’examinait. L’humain assumait la responsabilité de la suite. Le modèle n’était pas parfait, mais il restait lisible. On pouvait indiquer où et par qui la décision avait été prise.
Cette architecture est en train de s’effondrer.
Navrina Singh, fondatrice et PDG de Credo AI, consacre six ans à bâtir ce qu’elle décrit comme la catégorie de la gouvernance de l’IA, depuis l’ère du machine learning prédictif jusqu’à aujourd’hui, où elle s’étend profondément à l’ère agentique.
À HumanX, elle a décrit le changement central. La gouvernance concernait autrefois la politique, elle doit désormais porter sur l’opérationnel et les garde-fous en temps réel. La nuance est plus importante qu’il n’y paraît. Une politique, on la rédige, on la revoit annuellement, on l’ajuste quand un problème survient.
La gouvernance en temps réel signifie surveiller en continu le comportement réel d’un système d’IA, en production, selon des critères qui doivent parfois évoluer avec le modèle sous-jacent.
Ce passage de la politique à l’opérationnel correspond précisément à la différence entre l’IA « conseil » et l’IA agentique. L’IA conseil fait des propositions dans un périmètre défini. L’IA agentique agit, enchaîne des actions dans différents systèmes, transmet à d’autres agents et produit des résultats qu’aucun humain n’a validés à chaque étape.
La démonstration d’ElevenLabs a condensé ce phénomène en quelques minutes. Une seule interaction initiale a mené à une authentification via WhatsApp, une récupération de documents dans Google Workspace, un changement de langue, un transfert d’agent sans accroc, et un appel sortant proactif pour proposer un programme de subvention. Cinq actions autonomes bien distinctes. Aucun humain n’a donné son feu vert à chaque étape. Voilà ce à quoi ressemble l’IA agentique sur un cas d’usage unique.
À l'échelle de l’entreprise, le fossé de gouvernance devient bien plus difficile à gérer.
Le calcul des bâtisseurs
Matt Garman, PDG d’Amazon Web Services, a été direct en ce qui concerne la véritable accumulation de valeur de l’IA en entreprise. Les premiers succès de l’IA générative, comme la création de contenu ou le résumé de documents, laissent désormais place à quelque chose de plus fondamental.
Les agents sont le moyen par lequel la plupart des entreprises et des organisations vont tirer la majorité de la valeur de l’IA.
Le déploiement interne d’Amazon confirme cette affirmation. L’outil Quick Suite de l’entreprise donne accès à des centaines de milliers d’employés à des agents IA connectés à des données d’entreprise à travers Salesforce, Workday, les courriels et la documentation interne.
Les développeurs de logiciels observent une productivité environ 4,5 fois plus élevée avec l’assistance IA qu’avec les méthodes classiques. Un agent de codage nommé Kiro a récemment résolu une demande de correction de bug client et déployé le correctif en 25 minutes.
Ce sont des gains réels, et Garman les a présentés sans exagération. Mais au cœur de l’argumentaire pour le déploiement se trouve un ordre de priorité avec lequel la gouvernance doit composer. Staniszewski l’a formulé explicitement.
Le goulot d’étranglement n’est plus la technologie. C’est le déploiement. Les entreprises qui livrent, qui apprennent et évoluent rapidement, sont celles qui gagneront.
Livrer. Apprendre. Passer à l’échelle. C’est la séquence. La gouvernance n’apparaît pas dans celle-ci, non pas parce qu’on l’ignore, mais parce que la logique concurrentielle actuelle privilégie la rapidité. La phase « apprendre » dans cette séquence se déroule en production, avec de vrais utilisateurs, et de vraies conséquences.
Il ne s’agit pas de cynisme. Garman et Staniszewski décrivent le fonctionnement des marchés technologiques lorsque la rapidité de progression des capacités est élevée et que le coût de l’attente est réel. Mais pour un DRH responsable des décisions IA pour la main-d’œuvre, ou un directeur des opérations dont l’organisation se restructure autour de systèmes agentiques, le calcul est différent. Ils ne récoltent pas directement les bénéfices d’un passage à l’action rapide. Ils héritent de la responsabilité si quelque chose tourne mal.
Un fossé que personne n’a comblé
Credo AI a assemblé ce que Singh décrit comme le plus grand référentiel mondial des risques IA, référençant actuellement près de 1 600 catégories distinctes. Ils disposent de mesures d’atténuation pour environ 85 % de celles-ci.
Les 15 % restants, environ 240 catégories de risques connues, n’ont pas encore de solution éprouvée. Voilà l’état de la gouvernance dans l’IA de conseil. Les systèmes agentiques, où plusieurs modèles interagissent, se passent des tâches et produisent des résultats qui alimentent d’autres décisions automatisées, introduisent des modes d’échec qui n’ont pas encore été entièrement caractérisés, et encore moins atténués.
Le problème le plus complexe relevé par Singh est celui de la traçabilité. Dans un système multi-agents, remonter la responsabilité demande non seulement de déterminer quelle décision a été prise, mais aussi comment. Par exemple : quel agent a contribué à quoi, quelles sources de données ont été consultées, à quel stade de la chaîne une erreur s’est produite, et comment une correction se propagerait.
La plupart des cadres de gouvernance ont été conçus pour évaluer la sortie d’un modèle. Ils n’ont pas été conçus pour reconstituer le raisonnement d’un système interconnecté opérant à travers différentes plateformes, modèles et frontières organisationnelles.
Saahil Jain, directeur technique de You.com, qui est passé de la recherche pour consommateurs à la création d’API de recherche pour agents IA, a formulé la question structurelle. Les utilisateurs humains interagissent avec l’information et exercent leur jugement sur ce qu’ils voient. Les agents qui consomment de l’information n’ont pas la même capacité d’auto-correction.
« Ils utiliseront essentiellement le contexte qui leur est donné et le citeront d’une manière qui n’implique pas les humains dans la boucle », a-t-il déclaré.
L’architecture de gouvernance mise en place dans les entreprises part de l’hypothèse qu’il existe une revue humaine à un moment ou un autre de la chaîne. Durant la semaine de HumanX, l’expression « des agents qui gouvernent d’autres agents » a été répétée à de nombreuses reprises. Le déploiement agentique, semble-t-il, élimine systématiquement cette hypothèse, sans rien proposer de structurellement équivalent à la place.
Les cadres réglementaires ne comblent pas ce fossé. Singh a conseillé des gouvernements aux États-Unis, en Europe, en Australie et en Inde sur la gouvernance de l’IA, et elle a été franche sur l’existence d’un retard massif.
Les règles conçues pour les anciens systèmes d’apprentissage automatique ne s’adaptent pas bien aux architectures agentiques. La loi sur l’IA du Colorado pousse vers des évaluations d’impact. Les exigences européennes en matière de confidentialité et de transparence se renforcent au niveau des modèles de pointe.
Mais le rythme du déploiement agentique devance largement tout cycle réglementaire, et Singh s'attend à ce que cela reste vrai pour un avenir prévisible.
Le minimum de conformité n'est pas le plafond
La conformité SOC 2 est désormais devenue un prérequis dans l’acquisition de solutions d’IA en entreprise. Singh a décrit des clients du Fortune 500, après une année d’expérimentation large avec de multiples fournisseurs, qui examinent désormais les fournisseurs pour savoir si leurs données sont protégées, si leurs standards de responsabilité sont documentés, et si l’intégration de leur IA expose l’entreprise à de nouveaux risques.
Selon Singh, seulement environ 40% des fournisseurs d’IA atteignent la production dans les grandes entreprises en conséquence. La pression de sélection est réelle.
Mais la conformité SOC 2 et la gouvernance agentique sont deux choses différentes, et les confondre est l’une des erreurs les plus lourdes que le marché des entreprises commette actuellement.
SOC 2 se concentre sur la sécurité et la disponibilité. Cela renseigne de manière significative sur la protection et la fiabilité des systèmes d’un fournisseur. Mais cela ne dit rien sur la traçabilité des décisions d'un agent, sur la précision contextuelle de ses résultats, sur sa capacité à remonter les cas limites de manière adéquate, ni sur une éventuelle dérive de comportement lorsque les modèles sous-jacents sont mis à jour à son insu.
Il s’agit là de questions de gouvernance, qui requièrent une infrastructure différente de celle fournie par une simple certification en matière de conformité.
Singh a décrit à quoi ressemble concrètement cette infrastructure : des équipes de gouvernance composées de data scientists, de spécialistes du risque et de la protection des données, et d’experts en comportement, pas seulement du personnel de sécurité. Des organismes de vérification indépendants, y compris une nouvelle norme émergente appelée AIUC, qui testent les systèmes agentiques selon des critères établis via des tiers externes. Une surveillance continue en cours de fonctionnement, et non pas seulement une évaluation avant le déploiement.
Credo AI a récemment lancé un MCP de gouvernance, actuellement en version bêta, conçu pour intégrer les garde-fous en amont du processus de développement lui-même, permettant aux concepteurs d’intégrer la logique de gouvernance dès la phase de construction au lieu de la rajouter ultérieurement.
La direction prise est la bonne. Reste à savoir si l’adoption progressera suffisamment vite pour avoir un réel impact.
La question de la responsabilité
Garman décrit la transformation par l’IA chez Amazon avec un optimisme particulier. Des équipes commerciales passant la majeure partie de leur temps avec les clients plutôt qu’à gérer l’administration des pipelines, des développeurs logiciels débloqués de files d’attente de plusieurs années, des produits mis sur le marché plus rapidement et avec une meilleure adaptation aux besoins réels des utilisateurs. Les gains sont bien réels. La logique est valable.
Mais au cœur du déploiement agentique réside une question à laquelle les cadres de gouvernance n’ont pas encore apporté de réponse claire. Lorsqu’un agent d’IA pose un acte qui porte préjudice à quelqu’un, qui en est responsable ?
L’agent vocal qui raccroche au mauvais moment, laissant un utilisateur dans le besoin. L’IA financière qui signale à tort une personne et impacte son accès au crédit. L’agent de présélection RH qui dépriorise un candidat sur la base de critères reproduisant un biais historique. La plateforme de prestations sociales qui refuse automatiquement une demande sans qu’aucune personne n’ait vérifié la décision avant qu’elle n’atteigne le demandeur.
Dans chaque cas, un agent a agi. Dans chaque cas, un humain lui a donné l’impulsion. Dans chaque cas, le lien entre la décision et la conséquence est plus long et plus diffus que tout ce que les cadres de gouvernance existants sont conçus pour cartographier.
L’observation de Singh sur le fait d’attendre mérite d’être prise au sérieux, au-delà de la logique commerciale qu’elle avançait.
« Beaucoup d’entreprises, quand nous leur parlons, disent attendons qu’un incident survienne, et alors nous investirons dans la gouvernance de l’IA, » dit-elle. « À ce moment-là, elles seront devenues irrélevantes. »
C’est un argument de compétitivité. Mais il y en a un autre, plus strict. À mesure que l’IA agentique envahit l’administration des prestations, l’évaluation des performances, la planification des effectifs, la finance client ou l’admission clinique, les personnes concernées par ces décisions ont un intérêt légitime à savoir comment elles sont prises et qui répond lorsque l’erreur survient.
Les cadres de gouvernance conçus pour l’IA en tant que conseillère ne suffisent pas pour l’IA en tant qu’actrice. Les concepteurs le savent. Ils déploient tout de même. La fenêtre pour intégrer la responsabilité dans ces systèmes avant que les circuits de travail ne s’organisent autour d’eux ne restera pas ouverte indéfiniment.