Déployer, Apprendre, Passer à l’Échelle. Et Ensuite ?
Changement de gouvernance: La gouvernance de l’IA doit évoluer, passant de la politique à la surveillance en temps réel à mesure que l’IA agentique prend des décisions autonomes.
Priorité au déploiement: AWS privilégie le déploiement rapide de l’IA au détriment de la gouvernance, misant sur l’apprentissage et la montée en échelle en production.
Risques non atténués: Credo AI dresse un catalogue de 1 600 risques liés à l’IA, dont 15 % restent sans aucune mesure d’atténuation, ce qui soulève des inquiétudes pour la gouvernance de l’IA agentique.
Lacunes en matière de responsabilité: Les cadres actuels de gouvernance peinent à attribuer la responsabilité des actions prises par des agents IA impactant les utilisateurs.
Lors d'une démonstration en direct à HumanX la semaine dernière, Mati Staniszewski, co-fondateur d'ElevenLabs, a présenté à un public un agent de service gouvernemental construit sur la plateforme de son entreprise.
L'agent a guidé un utilisateur fictif à travers l'enregistrement d'une entreprise. Il a authentifié son identité via WhatsApp. Il a récupéré des documents depuis un compte Google lié, a changé de langue en cours de conversation lorsque l'utilisateur a mentionné avoir des employés hispanophones, et a répondu à des questions concernant le processus d'obtention d'un permis de vente en Californie.
Puis l'utilisateur a posé une question sur les impôts. L'agent a mis fin à l'appel.
Continuez à lire—et continuez à diriger plus intelligemment
Créez un compte gratuit pour terminer cet article et rejoindre une communauté de leaders tournés vers l'avenir exploitant outils, guides pratiques et perspectives pour prospérer à l'ère de l'IA.
Have an account? Log In
Il n'a pas signalé d'incertitude. Il n'a pas fait remonter le problème. Il a mis fin à une conversation qu'un véritable utilisateur aurait supposé être prise en main, car l'agent ignorait l'existence d'un service fiscal vers lequel transférer l'appel.
Staniszewski a corrigé le problème sur scène en quelques minutes, connectant l'agent commercial à un agent fiscal, effectuant la modification et redémarrant. Le public a assisté à une mise à jour de production en temps réel.
L'important n'est pas que l'agent ait échoué. Les agents échouent. Ce qui compte, c'est la forme qu'a prise l'échec. Aucun avertissement. Pas de relais de la demande. Aucune trace de ce dont l'utilisateur avait besoin. La faille n'est devenue visible que lorsqu'un utilisateur y est tombé.
Imaginez maintenant ce scénario chez Revolut, qui a déployé les agents ElevenLabs auprès de quatre millions de clients dans plus de 30 langues. Ou chez Deutsche Telekom, dont le réseau inclut désormais des agents répondant aux requêtes client en temps réel. Le goulot d'étranglement, selon Staniszewski, n'est plus la technologie. C'est le déploiement.
Cette affirmation est à la fois correcte et, pour toute personne responsable des actions de ces agents, la phrase la plus importante de la session entière.
Le modèle pour lequel la gouvernance a été conçue
Durant la majeure partie des trois dernières années, la gouvernance de l’IA en entreprise fonctionnait sur un ensemble d’hypothèses maîtrisables. Un système d’IA proposait une recommandation. Un humain l’examinait. La responsabilité des suites incombait à l’humain. Le modèle n’était pas parfait, mais il restait lisible. On pouvait désigner où la décision était prise et par qui.
Cette architecture est en train de voler en éclats.
Navrina Singh, fondatrice et PDG de Credo AI, œuvre depuis six ans à bâtir ce qu’elle appelle la catégorie de la gouvernance de l’IA, démarrant à l’ère de l’apprentissage machine prédictif et intervenant aujourd’hui en plein cœur de l’ère des agents autonomes.
Lors de HumanX, elle a décrit ce changement central. La gouvernance portait autrefois sur la politique, elle doit dorénavant porter sur les garde-fous opérationnels et en temps réel. Cette distinction, plus importante qu’il n’y paraît, est cruciale. Une politique s’écrit, se révise annuellement, et s’ajuste lorsqu’un incident survient.
La gouvernance en temps réel signifie surveiller ce que fait réellement un système d’IA, en production, en continu, selon des critères susceptibles de devoir évoluer en même temps que le modèle sous-jacent.
Ce passage de la politique au temps réel correspond très précisément à la différence entre une IA consultative et une IA agentique. L’IA consultative propose des suggestions dans un cadre défini. L’IA agentique agit, enchaîne ces actions à travers des systèmes, transmet à d’autres agents, et produit des résultats jamais examinés par un humain au préalable.
La démo ElevenLabs l’a compressé en quelques minutes. Une interaction utilisateur initiale a produit une authentification sur WhatsApp, la récupération de documents dans Google Workspace, un changement de langue, un transfert d’agent sans accroc, et un appel sortant proactif proposant un programme de subvention. Cinq actions autonomes distinctes. Aucun humain n’a validé chaque étape. Voilà ce à quoi ressemble l’IA agentique sur un cas d’usage unique.
À l’échelle d’une entreprise, le déficit de gouvernance devient beaucoup plus difficile à gérer.
Le calcul des bâtisseurs
Matt Garman, PDG d’Amazon Web Services, a été très clair sur la façon dont la valeur de l’IA en entreprise s’accumule réellement. Les premiers succès en IA générative, création de contenu, synthèse de documents, laissent place à quelque chose de plus fondamental.
Les agents sont la façon dont la plupart des entreprises et des sociétés vont tirer la majeure partie de la valeur de l’IA.
Le déploiement interne d’Amazon corrobore cette affirmation. L’outil Quick Suite de l’entreprise donne à des centaines de milliers d’employés l’accès à des agents IA connectés à des données d’entreprise à travers Salesforce, Workday, la messagerie et la documentation interne.
Les développeurs de logiciels constatent environ 4,5 fois plus de productivité avec l’aide de l’IA que sans. Un agent de codage baptisé Kiro a récemment résolu une demande de correction de bug client et déployé la solution en 25 minutes.
Ces gains sont bien réels, et Garman les a présentés sans exagérer. Cependant, au cœur de l’argument en faveur du déploiement, se trouve un ordre de priorité avec lequel la gouvernance doit composer. Staniszewski l’a énoncé explicitement.
Le goulot d’étranglement n’est plus technologique. C’est le déploiement. Les entreprises qui livrent, qui apprennent et qui évoluent rapidement sont celles qui gagneront.
Lancer. Apprendre. Évoluer. C’est l’ordre des choses. La gouvernance n’y figure pas, non parce qu’elle serait ignorée, mais parce que la logique concurrentielle du moment privilégie la rapidité. La phase « apprendre » de cette séquence s’effectue en production, avec de vrais utilisateurs, face à de vraies conséquences.
Ce n’est pas du cynisme. Garman et Staniszewski décrivent le fonctionnement des marchés technologiques lorsque le taux d’amélioration des capacités est élevé et que le coût de l’attente est réel. Mais pour le DRH chargé des décisions IA pour les effectifs, ou le COO dont les opérations sont restructurées autour de systèmes agentiques, le calcul est différent. Ils ne bénéficient pas directement des avantages d’être les premiers à agir. Ils assument la responsabilité lorsque quelque chose ne tourne pas rond.
Un écart que personne n’a comblé
Credo AI a constitué ce que Singh décrit comme le plus grand référentiel mondial des risques liés à l’IA, recensant actuellement environ 1 600 catégories distinctes. Ils possèdent des mesures d’atténuation pour environ 85% d’entre elles.
Les 15 % restants, soit environ 240 catégories de risques connues, ne disposent pas encore de solution d’atténuation éprouvée. Voilà l’état de la gouvernance de l’IA de conseil. Les systèmes agentiques, où de multiples modèles interagissent, se transmettent des tâches et produisent des résultats qui influencent ensuite d’autres décisions automatisées, introduisent des modes d’échecs qui ne sont pas encore pleinement caractérisés, et encore moins atténués.
Le problème le plus ardu identifié par Singh est la traçabilité. Dans un système multi-agent, remonter la responsabilité implique de répondre non seulement à la question de la décision prise, mais aussi au comment. C’est-à-dire : quel agent a contribué à quoi, quelles sources de données ont été interrogées, où dans la chaîne une erreur est survenue et comment une correction se propagerait-elle.
La plupart des cadres de gouvernance ont été conçus pour évaluer la sortie d’un modèle. Ils n’ont pas été créés pour reconstituer le raisonnement d’un système interconnecté fonctionnant sur plusieurs plateformes, modèles et frontières organisationnelles.
Saahil Jain, CTO de You.com, qui est passé de la recherche grand public au développement d’API de recherche pour agents IA, a exposé la question structurelle. Les utilisateurs humains interagissent avec l’information et exercent leur propre jugement sur ce qu’ils voient. Les agents qui consomment l’information n’ont pas la même capacité d’auto-correction.
« Ils utilisent essentiellement le contexte qu’on leur fournit et le citent d’une manière qui n’implique pas d’humains dans la boucle », a-t-il déclaré.
L’architecture de gouvernance mise en place par les entreprises part du principe qu’il y a un contrôle humain quelque part dans la chaîne. Au fil de la semaine du HumanX, j’ai entendu à maintes reprises l’expression « agents qui supervisent des agents ». Le déploiement agentique, semble-t-il, retire systématiquement cette hypothèse, sans la remplacer par un équivalent structurel.
Les cadres réglementaires ne comblent pas cet écart. Singh a conseillé des gouvernements aux États-Unis, en Europe, en Australie et en Inde sur la gouvernance de l’IA, et elle a été directe quant à l’existence d’un important retard.
Les règles conçues pour les anciens systèmes d’apprentissage automatique ne s’adaptent pas aisément aux architectures agentiques. La Colorado AI Act met l’accent sur l’évaluation des impacts. Les exigences européennes en matière de confidentialité et de transparence se resserrent au niveau des modèles de pointe.
Mais le rythme du déploiement agentique dépasse largement tout cycle réglementaire, et Singh s'attend à ce que cela reste vrai dans un avenir prévisible.
Le minimum de conformité n'est pas la limite
La conformité SOC 2 est devenue un prérequis pour l'acquisition de solutions d'IA dans les grandes entreprises. Singh a décrit comment les clients du Fortune 500, après une année d'expérimentation avec de multiples fournisseurs, examinent désormais de près si les données sont protégées, si les standards de responsabilité sont documentés, et si l'intégration de leur IA au sein de l'entreprise crée un risque global.
Selon Singh, seuls environ 40 % des fournisseurs d'IA parviennent à passer en production au sein des grandes entreprises. La pression de sélection est bien réelle.
Cependant, la conformité SOC 2 et la gouvernance agentique sont deux choses différentes, et les confondre est l'une des erreurs les plus lourdes de conséquences que commet actuellement le marché des entreprises.
SOC 2 concerne la sécurité et la disponibilité. Cela dit quelque chose d'important quant à la protection et la fiabilité des systèmes d'un fournisseur. Mais cela ne dit rien sur la traçabilité des décisions d'un agent, sur l'exactitude contextuelle de ses sorties, sur sa capacité à faire remonter des cas particuliers de façon appropriée, ou sur l'éventuelle dérive de comportement lorsque les modèles sous-jacents sont modifiés sans avertissement préalable.
Ce sont là des questions de gouvernance, qui nécessitent une infrastructure différente de celle offerte par une certification de conformité.
Singh a détaillé à quoi ressemble concrètement cette infrastructure : des équipes de gouvernance qui incluent des data scientists, des spécialistes des risques et de la confidentialité, et des experts en comportements, et pas seulement des spécialistes de la sécurité. Des organismes de vérification indépendants, incluant une nouvelle norme émergente appelée AIUC, qui testent les systèmes agents sur la base de critères établis via des parties externes. Une surveillance continue en temps réel, et non pas seulement une évaluation avant déploiement.
Credo AI a récemment lancé un MCP de gouvernance, actuellement en version bêta, conçu pour intégrer les garde-fous en amont dans le processus de développement lui-même, donnant ainsi aux concepteurs la capacité d'intégrer la logique de gouvernance dès la construction plutôt que de l'ajouter après coup.
La direction est la bonne. La question de savoir si l'adoption est suffisamment rapide pour être décisive en est une autre.
La question de la responsabilité
Garman décrit la transformation par l'IA chez Amazon avec un optimisme certain. Des équipes commerciales qui passent la majeure partie de leur temps avec les clients plutôt que sur l'administration du pipeline, des développeurs logiciels libérés d'années d'arriérés, des produits livrés plus rapidement et avec une plus grande réactivité aux besoins réels des utilisateurs. Les avancées sont réelles. La logique est solide.
Mais dans cette image du déploiement agentique se trouve une question que les cadres de gouvernance n'ont pas encore résolue clairement. Lorsqu'un agent d'IA prend une décision qui cause du tort à quelqu'un, qui en porte la responsabilité ?
L'agent vocal qui met fin à un appel au mauvais moment, abandonnant un utilisateur qui avait besoin d'aide. L'IA financière qui signale une personne à tort et affecte son accès au crédit. L'agent de présélection RH qui dépriorise un candidat selon des critères reproduisant les biais du passé. La plateforme de prestations qui refuse automatiquement une demande sans révision humaine avant que la décision n'atteigne le requérant.
À chaque fois, un agent a agi. À chaque fois, un humain l'a mis en mouvement. À chaque fois, la chaîne entre la décision et la conséquence est plus longue et diffuse que tout ce que les cadres de gouvernance existants étaient conçus pour cartographier.
L'observation de Singh sur l'attente mérite d'être prise au sérieux au-delà de la logique business qu'elle mettait en avant.
« De nombreuses entreprises, lorsque nous leur parlons, disent : attendons qu'un incident survienne et alors, si besoin, nous investirons dans la gouvernance de l'IA », a-t-elle déclaré. « À ce moment-là, elles seront devenues hors de propos. »
C'est un argument compétitif. Mais il y en a un autre, plus fondamental. À mesure que l'IA agentique s'immisce dans l'administration des avantages, l'évaluation des performances, la planification des effectifs, la finance client ou la gestion des admissions cliniques, les personnes concernées par ces décisions ont un intérêt légitime à savoir comment ces décisions sont prises et à qui s'adresser en cas d'erreur.
Des cadres de gouvernance conçus pour une IA conseillère ne suffisent pas pour une IA actrice. Les créateurs en sont conscients. Ils déploient tout de même. La fenêtre pour intégrer la responsabilité dans ces systèmes avant que les processus ne se réorganisent autour d'eux ne restera pas ouverte indéfiniment.
