Le fiasco Anthropic-Pentagone montre à chaque PDG ce qui se passe quand personne n’assume la responsabilité des décisions d’IA
Désignation de risque: Le Pentagone a désigné Anthropic comme un risque pour la sécurité nationale, une première historique pour une entreprise américaine.
Lacunes réglementaires: L'absence de régulations fédérales sur l’usage de l’IA complique les frontières légales pour la surveillance et les décisions autonomes.
Échec de gouvernance: Le Pentagone et Anthropic n’ont pas défini clairement l’autorité de décision sur les opérations d’IA, menant à une crise.
Prolifération de l’usage de l’IA: Environ 78 % des employés utilisent des outils d’IA sans approbation de l’organisation, ce qui soulève des questions de responsabilité.
Cadre opérationnel: Une gouvernance efficace doit se concentrer sur l’autorité de décision au niveau des flux de travail, et non uniquement sur la documentation des politiques.
Vendredi dernier, le Pentagone a désigné Anthropic, le fabricant du modèle d'IA Claude, comme un risque pour la chaîne d'approvisionnement de la sécurité nationale. Cette désignation, habituellement réservée à des adversaires étrangers comme les entreprises de cybersécurité russes et les fournisseurs de puces chinois, n'avait jamais été appliquée à une entreprise américaine.
Alors qu’Anthropic tenait bon, OpenAI est intervenu pour réclamer le contrat d’Anthropic.
Le différend a commencé plusieurs mois auparavant, lorsque Anthropic a signé un contrat de 200 millions de dollars pour déployer Claude sur des réseaux militaires classifiés. Anthropic a tracé deux lignes rouges : pas de surveillance de masse des Américains, pas d’armes entièrement autonomes qui tirent sans intervention humaine.
Keep Reading—and Keep Leading Smarter
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Le Pentagone a exigé une utilisation sans restriction pour toute fin légale.
Cela semble raisonnable, sauf qu’il n’existe aucune loi fédérale régissant la surveillance par IA. Aucune régulation ne définit les limites du ciblage algorithmique. Aucun cadre juridique pour la prise de décision autonome.
« Toute utilisation légale » en l’absence de loi signifie que tout est permis.
Aucun des deux camps n’a mis en place de mécanisme pour résoudre ce désaccord avant qu’il ne s’envenime, et le secrétaire à la Défense Pete Hegseth a donné à Dario Amodei, PDG d’Anthropic, un ultimatum de trois jours pour se conformer ou faire face aux conséquences.
Amodei n’a pas cédé. Dans une interview avec CBS News quelques heures après la mise sur liste noire, il a qualifié les actions de « représailles punitives », et déclaré qu’Anthropic avait proposé de continuer à soutenir l’armée pendant une transition vers un concurrent.
Il a également identifié ce qui devrait être la préoccupation centrale pour toute personne déployant l’IA dans des environnements à forts enjeux : « La technologie avance si vite qu’elle dépasse le cadre légal. »
Retour au business
La plupart des articles ont présenté cela comme une histoire politique : sécurité contre défense. Un PDG de la tech contre un secrétaire à la Défense. Il existe une version de cette histoire axée sur l’éthique des armes autonomes, et elle compte.
Mais il y a une version qui devrait faire réfléchir chaque COO et CHRO, car l’échec sous les gros titres est structurel, non politique.
Le Pentagone a intégré l’IA dans des opérations classifiées sans clarifier qui avait autorité sur la façon dont cette IA pouvait être utilisée. Anthropic a supposé que ses lignes rouges seraient respectées. Le Pentagone a supposé que ces lignes n’auraient plus lieu d’être une fois la technologie acquise. Personne n’a conçu l’architecture de gouvernance permettant de gérer un désaccord avant qu’il ne devienne une crise.
Cette séquence se déroule aujourd’hui dans les entreprises à une échelle dont la majorité des dirigeants ne mesure pas toute la portée.
Des réseaux classifiés à votre organigramme
Plusieurs études estiment qu’environ 78 % des employés utilisent des outils d’IA que leur employeur n’a jamais validés. En d’autres termes, l’IA est déjà intégrée dans la façon dont les décisions sont prises dans la plupart des organisations, que quelqu’un l’ait voulu ou non.
Un CHRO pourrait découvrir que l’IA rédige les descriptions de poste, trie les CV et génère les commentaires de performance dans toute la société sans qu’aucun responsable n’ait été défini pour ces productions.
Un COO pourrait constater que les prévisions de la demande, les recommandations de tarification et les évaluations des fournisseurs sont influencées par des modèles que personne dans la direction n’a officiellement validés pour un usage en production.
Certains dirigeants ont commencé à élaborer des stratégies de gouvernance de l’IA pour gérer cela. Mohammed Chahdi, COO du Muse Group, décrit un cadre utilisé par son conseil pour séparer l’IA opérationnelle des paris expérimentaux.
Avant que quelque chose ne fasse partie de nos opérations stratégiques, nous attendons du management qu’il teste réellement la fiabilité et la profondeur de chaque application d’IA avant qu’elle gagne sa place dans le modèle opérationnel.
Ce seuil, la frontière entre « nous testons cela » et « cela influence maintenant des décisions réelles », est justement ce que la majorité des organisations n’a pas défini.
La question fondamentale à toutes ces situations est la même que celle qui a fait éclater la relation entre le Pentagone et Anthropic : qui détient le pouvoir de décision sur ce que fait l’IA une fois qu’elle est intégrée aux processus critiques ?
Dans la plupart des entreprises, la réponse honnête est personne. Les droits de décision ont été conçus pour un monde où les humains produisaient l’analyse et prenaient l’appel final. Aujourd’hui, l’IA produit l’analyse, rédige des recommandations, et dans de nombreux cas façonne la décision avant même qu’un humain ne la revoie.
La structure de responsabilité n’a pas suivi, et la technologie continue de s’accélérer. METR, une organisation de recherche en IA basée à Berkeley, a constaté que l’horizon d’accomplissement des tâches pour les modèles d’IA de pointe double environ tous les sept mois. Ce rythme ne laisse pas le temps aux cadres de gouvernance de mûrir.
Les contrats ne gouvernent pas. Les systèmes d’exploitation, oui.
L’instinct dans la plupart des organisations est de répondre par la politique interne. Vous pourriez :
- Écrire un document d’utilisation acceptable
- Établir un comité d’approbation
- Créer un cycle de révision.
La politique interne est nécessaire. Mais elle ne traite que la surface. Le Pentagone avait un contrat, avec des termes. Il a probablement fait réviser ces termes par des avocats. Et pourtant, il s’est retrouvé face à une impasse publique, car le contrat n’a jamais permis de trancher qui contrôlait en définitive l’usage réel de l’IA dans la pratique.
Amodei l’a dit très directement lorsqu’on lui a demandé pourquoi Anthropic, une société privée, devrait avoir plus de pouvoir que le Pentagone sur l’utilisation de l’IA militaire. Sa réponse ne portait pas sur l’éthique en général. Il s’agissait de limites de capacité.
Notre modèle a une personnalité. Il est capable de certaines choses. Il est capable de faire certaines choses de façon fiable. Il est capable aussi de ne pas faire certaines choses de façon fiable.
Cela met en lumière le fossé entre ce que l’IA peut produire et ce qu’un humain doit vérifier. Ce même écart existe dans chaque organisation exploitant des workflows augmentés par l’IA. Lorsque qu’un modèle rédige une recommandation de prix, quelqu’un doit se porter garant de la validité de cette recommandation pour ce client, ce marché, ce moment précis.
Quand l’IA sélectionne des candidats, quelqu’un doit garantir que les critères produisent des résultats justes et précis. Lorsqu’une IA génère un résumé de conformité, quelqu’un doit être responsable de l’exactitude des informations transmises aux régulateurs.
Une gouvernance efficace sous accélération ressemble moins à un manuel de politique, et davantage à un système d’exploitation. L’autorité de décision doit être attribuée au niveau du workflow. Les points de validation humaine doivent être conçus dans les workflows IA en production, pas supposés présents. Les changements de modèle doivent être traités comme des changements de système, avec tests et approbation explicite avant le déploiement.
Là où se situe la vraie défaillance
Amodei a soulevé, lors de son interview pour CBS, un point qui va bien au-delà du contexte militaire. À propos des armes autonomes, il a déclaré :
« Supposons que j’aie une armée de 10 millions de drones, tous coordonnés par une seule personne ou un petit groupe. Il est facile de voir qu’il y a là des enjeux de responsabilité. »
Remplacez les drones par des workflows augmentés par l’IA dans une entreprise de taille moyenne. Remplacez la seule personne par un manager promu pour son efficacité opérationnelle dans un environnement stable et qui supervise désormais à la fois des productions humaines et des tâches générées par machine, sans formation sur comment distinguer une production IA fluide d’une production IA correcte.
C’est là où nous allons si nous ne sommes pas attentifs. Des managers supervisent implicitement des décisions augmentées par l’IA sans qu’on leur ait dit que cela fait partie de leur rôle, sans système d’évaluation prenant en compte la rigueur de validation, et sans filière claire d’escalade en cas d’anomalie.
Si un schéma de recrutement biaisé émerge de la sélection IA d’ici six mois, ou qu’une erreur de tarification touche des milliers de comptes, l’échec ne sera pas technique. Ce sera l’absence de responsable de la supervision.
Le Pentagone a supposé qu’il pouvait intégrer Claude à ses opérations classifiées et régler les limites plus tard. Anthropic a supposé que ses lignes rouges contractuelles seraient respectées sans mécanisme pour les faire appliquer. Les deux avaient tort.
Résultat : une rupture publique, un placement sur liste noire normalement réservé aux adversaires étrangers, et une course pour remplacer un modèle que des officiers militaires en uniforme jugeaient essentiel.
La plupart des organisations ne connaîtront pas de conséquences aussi spectaculaires. Mais la défaillance structurelle leur semblera familière. L’IA s’intègre. Les décisions passent par elle. Personne n’a clairement défini qui possède l’autorité sur la production, qui a le pouvoir de passer outre, ni ce qu’il advient en cas de dysfonctionnement. Et quand la question devient urgente, il est déjà trop tard pour y répondre paisiblement.
Si vous êtes DRH ou COO et lisez ceci, sachez que le Pentagone a mené l’expérience pour vous. Le prix à payer pour découvrir ce qui arrive quand on repousse les questions de gouvernance les plus critiques a été une relation rompue, une faille dans la sécurité nationale, et une course-poursuite qui aurait pu être évitée. Votre version de cette expérience sera plus discrète. Elle ne sera pas moins coûteuse.
