Le fiasco Anthropic-Pentagone a montré à chaque PDG ce qui se passe quand personne ne détient les décisions en matière d’IA
Désignation de risque: Le Pentagone a désigné Anthropic comme un risque pour la sécurité nationale, une première historique pour une entreprise américaine.
Lacunes réglementaires: L’absence de réglementation fédérale sur l’usage de l’IA complique les frontières juridiques pour la surveillance et les décisions autonomes.
Échec de gouvernance: Le Pentagone et Anthropic n’ont pas établi d’autorité décisionnelle claire pour les opérations liées à l’IA, ce qui a mené à une crise.
Prévalence de l’utilisation de l’IA: Environ 78 % des employés utilisent des outils d’IA sans approbation de l’organisation, ce qui soulève des questions de responsabilité.
Cadre opérationnel: Une gouvernance efficace doit se concentrer sur l’autorité décisionnelle au niveau des flux de travail, et pas seulement sur la documentation des politiques.
Vendredi dernier, le Pentagone a désigné Anthropic, le créateur du modèle d’IA Claude, comme un risque pour la chaîne d’approvisionnement liée à la sécurité nationale. Cette désignation, normalement réservée à des adversaires étrangers comme des entreprises russes de cybersécurité ou des fournisseurs chinois de puces électroniques, n’avait jamais été appliquée à une entreprise américaine.
Alors qu’Anthropic tenait sa position, OpenAI est intervenu pour s’approprier le contrat d’Anthropic.
Le litige avait commencé plusieurs mois plus tôt, lorsque Anthropic avait signé un contrat de 200 millions de dollars pour déployer Claude sur des réseaux militaires classifiés. Anthropic avait posé deux lignes rouges : pas de surveillance de masse des Américains, pas d’armes entièrement autonomes tirant sans intervention humaine.
Continuez à lire—et continuez à diriger plus intelligemment
Créez un compte gratuit pour terminer cet article et rejoindre une communauté de leaders tournés vers l'avenir exploitant outils, guides pratiques et perspectives pour prospérer à l'ère de l'IA.
Have an account? Log In
Le Pentagone a exigé une utilisation sans restriction pour tout usage légal.
Cela semble raisonnable, sauf pour le fait qu’il n’existe aucune loi fédérale encadrant la surveillance par l’IA. Aucune réglementation ne définit les limites de la sélection algorithmique. Aucun cadre légal n’organise la prise de décision autonome.
« Toute utilisation légale », en l’absence de loi, signifie que tout est permis.
Ni l’un ni l’autre n’avaient prévu de mécanisme pour résoudre le désaccord avant qu’il n’escalade, et le secrétaire à la Défense, Pete Hegseth, a donné un ultimatum de trois jours au PDG d’Anthropic, Dario Amodei, pour se conformer ou en subir les conséquences.
Amodei n’a pas cédé. Dans une interview pour CBS News, quelques heures après la mise sur liste noire, il a qualifié les actions de « représailles et sanctions », et a déclaré qu’Anthropic avait proposé de continuer à soutenir l’armée pendant une période de transition vers un concurrent.
Il a aussi identifié ce qui devrait être la préoccupation centrale pour quiconque utilise l’IA dans des environnements à forts enjeux : « La technologie avance si vite qu’elle est en décalage avec la loi. »
Retour aux affaires
La plupart des articles ont présenté cela comme une histoire politique. Sécurité contre défense. Un PDG de la tech face à un secrétaire à la défense. Il existe une version de ce récit qui porte sur l’éthique des armes autonomes, et cette question est importante.
Mais il y a une version du récit qui devrait faire réfléchir tous les COO et CHRO, car l’échec, au-delà des gros titres, est structurel, pas politique.
Le Pentagone a intégré l’IA dans des opérations classifiées sans résoudre la question de qui aurait autorité sur la manière dont cette IA pouvait être utilisée. Anthropic supposait que ses lignes rouges tiendraient. Le Pentagone supposait que ces lignes rouges ne s’appliqueraient plus une fois la technologie acquise. Personne n’a conçu l’architecture de gouvernance capable de gérer un désaccord avant qu’il ne devienne une crise.
Cette séquence se produit actuellement dans des entreprises à une échelle que la majorité des dirigeants ne mesure pas encore pleinement.
Des réseaux classifiés à votre organigramme
Plusieurs études estiment qu’environ 78 % des employés utilisent des outils d’IA jamais approuvés par leur employeur. En d’autres termes, l’IA est déjà intégrée dans la façon dont les décisions sont prises dans la plupart des organisations, qu’on l’ait pensée ainsi ou non.
Un CHRO pourrait découvrir que l’IA rédige des descriptions de poste, présélectionne les CV et génère le langage des retours de performance à travers toute l’entreprise, sans responsable identifié pour aucun de ces résultats.
Un COO pourrait constater que les prévisions de demande, recommandations tarifaires et évaluations de fournisseurs sont influencées par des modèles que personne à la direction n’a formellement approuvés pour un usage opérationnel.
Certains dirigeants ont commencé à bâtir des stratégies de gouvernance de l’IA pour gérer cela. Mohammed Chahdi, COO du groupe Muse, décrit un cadre que son conseil utilise pour séparer l’IA opérationnelle des expérimentations.
Avant qu’une solution ne fasse partie de nos opérations de base, nous attendons de la direction qu’elle teste la fiabilité et la solidité de chaque application d’IA avant de lui donner une place dans notre modèle d’exploitation.
Ce seuil, la différence entre « nous testons ceci » et « cela influence désormais de vraies décisions », est précisément ce que la plupart des organisations n’ont pas défini.
La question qui plane sur tout cela est la même que celle qui a brisé la relation entre le Pentagone et Anthropic : qui possède l’autorité de décision sur ce que l’IA fait une fois qu’elle est intégrée dans des processus critiques ?
Dans la plupart des entreprises, la réponse honnête est : personne. Les droits de décision ont été conçus pour un monde où les humains produisaient l’analyse et prenaient la décision finale. Or désormais, l’IA produit l’analyse, rédige des recommandations et dans de nombreux cas façonne la décision avant qu’un humain ne l’examine.
La structure de responsabilité n’a pas suivi, et la technologie ne cesse de s’accélérer. METR, une organisation de recherche en IA basée à Berkeley, a constaté que l’horizon d’accomplissement des tâches pour les modèles d’IA de pointe doublait environ tous les sept mois. Ce rythme ne laisse pas le temps aux cadres de gouvernance d’arriver à maturité.
Les contrats ne gouvernent pas. Les systèmes d’exploitation, si.
Le réflexe dans la plupart des organisations est de répondre par des politiques. Vous pourriez :
- Rédiger un document d’utilisation acceptable
- Mettre en place un comité d’approbation
- Créer un cycle de révision.
La politique est nécessaire. Mais elle ne traite que la couche superficielle. Le Pentagone avait un contrat, qui comportait des conditions. Il avait vraisemblablement des avocats pour examiner ces conditions. Et pourtant, il a fini par se retrouver dans une impasse publique parce que le contrat ne tranchait jamais qui contrôlait en définitive l’utilisation pratique de l’IA.
Amodei a d’ailleurs fait part de ce point lorsqu’on lui a demandé pourquoi Anthropic, une entreprise privée, devrait avoir davantage voix au chapitre que le Pentagone concernant l’usage militaire de l’IA. Sa réponse ne portait pas sur l’éthique de façon abstraite. Il s’agissait de limitations de capacités.
Notre modèle a une personnalité. Il est capable de certaines choses. Il peut faire certaines choses de manière fiable. Et il peut aussi ne pas en faire d’autres de manière fiable.
C’est un constat sur l’écart entre ce que l’IA peut produire et ce qu’un humain doit vérifier. Ce même écart existe dans toute organisation utilisant des workflows augmentés par l’IA. Lorsqu’un modèle rédige une recommandation de tarification, quelqu’un doit assumer si cette recommandation est valable pour ce client, ce marché, ce moment.
Lorsque l’IA sélectionne des candidats, quelqu’un doit assumer si les critères produisent des résultats justes et précis. Lorsque l’IA génère un résumé de conformité, quelqu’un doit assumer l’exactitude des informations transmises aux régulateurs.
Une gouvernance efficace à l’ère de l’accélération ressemble moins à un manuel de politique qu’à un système d’exploitation. L’autorité décisionnelle doit être explicitement nommée au niveau du workflow. Les points de prise de contrôle humaine doivent être intégrés dans les workflows IA en production, et non pas supposés. Les modifications de modèle doivent être considérées comme des changements de système, avec des tests et une validation explicite avant le déploiement.
Là où se trouve réellement l’échec
Amodei a soulevé quelque chose dans son entretien à CBS qui s’applique bien au-delà du contexte militaire. Évoquant les armes autonomes, il a déclaré :
« Supposez que j’aie une armée de 10 millions de drones tous coordonnés par une seule personne ou un petit groupe. Je pense qu’il est facile de voir qu’il y a là des problèmes de responsabilité. »
Remplacez les drones par des workflows augmentés par l’IA dans une entreprise de taille moyenne. Remplacez l’unique personne par un manager qui a été promu pour son efficacité opérationnelle dans un environnement stable et qui supervise désormais un mélange de travail humain et généré par la machine, sans avoir été formé à distinguer la fluidité de l’IA de la justesse de l’IA.
C’est vers là que nous allons si nous n’agissons pas consciemment. Des managers supervisant implicitement des décisions augmentées par l’IA sans qu’on leur dise que cela fait partie de leur mission, sans systèmes d’évaluation axés sur la rigueur de validation, et sans processus d’escalade clairs pour signaler quand quelque chose ne va pas.
Si un schéma de recrutement biaisé émerge d’un filtrage IA dans six mois, ou si une erreur de tarification se généralise à des milliers de comptes, l’échec ne sera pas technique. Ce sera le fait que personne n’a assumé la supervision.
Le Pentagone a supposé qu’il pouvait intégrer Claude dans des opérations classifiées et en définir les limites plus tard. Anthropic a supposé que ses lignes rouges contractuelles seraient respectées sans mécanisme pour les faire appliquer. Tous deux se sont trompés.
Le résultat a été une rupture publique, une mise sur liste noire normalement réservée aux adversaires étrangers, et une course pour remplacer un modèle que des officiers militaires en uniforme considéraient comme essentiel.
La plupart des organisations ne seront pas confrontées à des conséquences aussi dramatiques. Mais la défaillance structurelle sera familière. L’IA s’intègre. Les décisions passent par elle. Personne n’a clairement défini qui est responsable du résultat, qui possède un pouvoir de veto, ou ce qu’il advient quand quelque chose ne va pas. Et quand la question devient urgente, il est déjà trop tard pour y répondre posément.
Si vous êtes DRH ou directeur des opérations et que vous lisez ceci, le Pentagone vient de faire l’expérience à votre place. Découvrir ce qui se passe lorsque les questions de gouvernance les plus cruciales sont remises à plus tard a coûté une relation rompue, une faille dans la sécurité nationale, et une course au rattrapage qui aurait pu être évitée. Votre version de cette expérience sera plus discrète. Elle ne sera pas moins chère.
