Le Débâcle Anthropic-Pentagone a Montré à Tous les PDG Ce Qui Arrive Quand Personne n’Assume les Décisions en Matière d’IA
Désignation de Risque: Le Pentagone a déclaré Anthropic comme un risque pour la sécurité nationale, une première historique pour une entreprise américaine.
Lacunes Réglementaires: L’absence de réglementations fédérales sur l’utilisation de l’IA complique les limites juridiques pour la surveillance et les décisions autonomes.
Échec de Gouvernance: Le Pentagone et Anthropic n'ont pas su établir d’autorité décisionnelle claire sur les opérations liées à l’IA, menant à une crise.
Prévalence de l’Usage de l’IA: Environ 78 % des employés utilisent des outils d’IA sans approbation organisationnelle, suscitant des préoccupations en matière de responsabilité.
Cadre Opérationnel: Une gouvernance efficace doit se concentrer sur l’autorité décisionnelle au niveau des flux de travail, et pas uniquement sur la documentation des politiques.
Vendredi dernier, le Pentagone a désigné Anthropic, le créateur du modèle d'IA Claude, comme un risque pour la chaîne d'approvisionnement de la sécurité nationale. Cette désignation, habituellement réservée aux adversaires étrangers comme les entreprises russes de cybersécurité et les fournisseurs chinois de puces, n'avait jamais été appliquée à une entreprise américaine.
Alors qu'Anthropic tenait bon, OpenAI est intervenu pour récupérer le contrat d'Anthropic.
Le conflit a débuté plusieurs mois auparavant, lorsque Anthropic a signé un contrat de 200 millions de dollars pour déployer Claude sur des réseaux militaires classifiés. Anthropic avait posé deux lignes rouges : pas de surveillance de masse des Américains, pas d'armes totalement autonomes qui tirent sans intervention humaine.
Keep Reading—and Keep Leading Smarter
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Le Pentagone a exigé une utilisation sans restriction pour tout usage légal.
Cela semble raisonnable, sauf pour le fait qu'il n'existe aucune loi fédérale régissant la surveillance par l'IA. Aucune réglementation ne définit les limites du ciblage algorithmique. Aucun cadre juridique pour la prise de décision autonome.
« Tout usage légal » en l'absence de loi signifie que tout est permis.
Aucun des deux camps n'a mis en place de mécanisme pour résoudre le différend avant qu'il ne s'aggrave, et le secrétaire à la Défense Pete Hegseth a donné à Dario Amodei, PDG d'Anthropic, un ultimatum de trois jours pour se conformer ou faire face aux conséquences.
Amodei n'a pas cédé. Dans une interview accordée à CBS News quelques heures après le placement sur liste noire, il a qualifié les actions de « revanchardes et punitives », et a déclaré qu'Anthropic avait proposé de continuer à soutenir l'armée pendant la transition vers un concurrent.
Il a également souligné ce qui devrait être la préoccupation centrale pour toute personne déployant l'IA dans des environnements à enjeux élevés : « La technologie avance tellement vite qu'elle dépasse la loi. »
Retour aux affaires
La plupart des articles ont présenté cela comme une histoire politique. Sécurité contre défense. Un PDG de la tech contre un secrétaire à la Défense. Il existe une version de cette histoire sur l'éthique des armes autonomes, et ce sujet est important.
Mais il existe une version qui devrait interpeller chaque directeur des opérations (COO) et directeur des ressources humaines (CHRO), car l'échec sous-jacent aux gros titres est structurel, pas politique.
Le Pentagone a intégré l'IA dans des opérations classifiées sans déterminer qui aurait l'autorité sur les modalités d'utilisation de cette IA. Anthropic supposait que ses lignes rouges seraient respectées. Le Pentagone pensait qu'elles ne s'appliqueraient plus une fois la technologie acquise. Personne n'a conçu l’architecture de gouvernance pour résoudre un désaccord avant qu'il ne devienne une crise.
Cette séquence se joue actuellement dans les entreprises à une échelle que la plupart des dirigeants ne perçoivent pas pleinement.
Des réseaux classifiés à votre organigramme
Plusieurs études estiment qu'environ 78 % des employés utilisent des outils d’IA que leur employeur n’a jamais approuvés. Autrement dit, l'IA est déjà intégrée dans les processus de prise de décision dans la plupart des organisations, qu'elles aient été conçues pour cela ou non.
Un(e) CHRO pourrait découvrir que l’IA rédige des descriptions de poste, sélectionne des CV et génère des retours sur la performance dans toute l’entreprise sans qu’aucun propriétaire ne soit défini pour ces livrables.
Un(e) COO pourrait se rendre compte que les prévisions de demande, les recommandations de prix et les évaluations de fournisseurs sont influencées par des modèles qu’aucun membre de la direction n’a officiellement approuvés pour une utilisation en production.
Certains dirigeants ont commencé à mettre en place des stratégies de gouvernance de l'IA pour gérer cela. Mohammed Chahdi, COO du Muse Group, décrit un cadre que son conseil d'administration utilise pour séparer les usages opérationnels des paris expérimentaux sur l'IA.
Avant qu’une technologie n’intègre nos opérations essentielles, nous attendons de la direction qu’elle teste la fiabilité et la profondeur de chaque application d’IA avant qu’elle ne soit intégrée au modèle opérationnel.
Ce seuil, la frontière entre « nous testons » et « ceci influence désormais de vraies décisions », est précisément ce que la plupart des organisations n'ont pas défini.
La question qui plane sur tout cela est la même que celle qui a brisé la relation entre le Pentagone et Anthropic : qui détient l'autorité décisionnelle sur ce que fait l'IA une fois qu'elle est insérée dans des processus critiques ?
Dans la plupart des entreprises, la réponse honnête est : personne. Les droits de décision ont été conçus pour un monde où les humains produisaient l’analyse et prenaient la décision finale. Aujourd’hui, l’IA produit l’analyse, rédige des recommandations, et dans de nombreux cas façonne la décision avant qu’un humain ne la révise.
La structure de responsabilité n’a pas suivi, et la technologie ne cesse de s’intensifier. METR, une organisation de recherche en IA basée à Berkeley, a constaté que l’horizon d’accomplissement des tâches des modèles IA de pointe a doublé environ tous les sept mois. Ce rythme n’attend pas que les cadres de gouvernance soient prêts.
Les contrats ne gouvernent pas. Les systèmes d’exploitation, oui.
L’instinct dans la plupart des organisations est de réagir par des politiques. Vous pourriez :
- Rédiger un document d’utilisation acceptable
- Établir un comité d’approbation
- Créer un cycle de revue.
La politique est nécessaire. Mais la politique ne traite que la surface. Le Pentagone avait un contrat, qui comportait des clauses. Il avait probablement des avocats pour revoir ces clauses. Et il s’est tout de même retrouvé dans une confrontation publique parce que le contrat n’a jamais déterminé qui, en fin de compte, contrôlait l’utilisation réelle de l’IA.
Amodei a souligné ce point lorsqu’on lui a demandé pourquoi Anthropic, une société privée, devrait avoir plus de pouvoir que le Pentagone sur l’usage de l’IA militaire. Sa réponse ne portait pas sur l’éthique au sens abstrait. Elle portait sur les limites des capacités.
Notre modèle a une personnalité. Il est capable de certaines choses. Il est capable de faire certaines choses de manière fiable. Il est aussi capable de ne pas faire certaines choses de manière fiable.
Cela exprime le fossé entre ce que l’IA peut produire et ce qu’un humain doit vérifier. Ce même fossé existe dans chaque organisation qui utilise des flux de travail augmentés par l’IA. Lorsqu’un modèle propose une recommandation de tarification, quelqu’un doit assumer la responsabilité de valider si cette recommandation convient à ce client, ce marché, ce moment.
Quand l’IA effectue le tri des candidats, quelqu’un doit assumer la responsabilité de vérifier si les critères produisent des résultats justes et précis. Quand l’IA génère un résumé de conformité, quelqu’un doit assumer la responsabilité de l’exactitude de ce qui est transmis aux régulateurs.
Une gouvernance efficace dans un contexte d’accélération ressemble moins à un manuel de politique et davantage à un système d’exploitation. L’autorité de décision doit être nommée au niveau du flux de travail. Les points d’intervention humaine doivent être conçus dans les processus IA en production, plutôt que supposés acquis. Les changements de modèles doivent être considérés comme des changements de système, avec des tests et une validation explicite avant le déploiement.
Où réside la vraie défaillance
Amodei a soulevé dans son interview sur CBS un point qui va bien au-delà du contexte militaire. En discutant des armes autonomes, il a déclaré :
« Supposons que j’aie une armée de 10 millions de drones tous coordonnés par une seule personne ou un petit groupe. Je pense qu’il est facile de voir qu’il existe des problèmes de responsabilité. »
Remplacez les drones par des flux de travail augmentés par l’IA dans une entreprise de taille moyenne. Remplacez la personne unique par un manager promu pour son efficacité opérationnelle dans un environnement stable, supervisant désormais un mélange de travail humain et généré par machine sans formation lui permettant de distinguer une production IA « fluide » d’une sortie IA correcte.
C’est là que nous allons si nous ne faisons rien de manière intentionnelle. Des managers supervisant de fait des décisions augmentées par l’IA sans qu’on leur dise que cela fait partie de leur rôle, sans dispositifs d’évaluation de la performance intégrant la validation, et sans chemins d’escalade clairs quand quelque chose semble anormal.
Si un schéma de recrutement biaisé émerge d’un tri IA dans six mois, ou si une erreur de tarification s’étend à des milliers de comptes, la défaillance ne sera pas technique. Ce sera que personne n’a assumé la supervision.
Le Pentagone a supposé qu’il pourrait intégrer Claude dans des opérations classifiées et régler les limites après coup. Anthropic a supposé que ses lignes rouges contractuelles seraient respectées sans mécanisme pour les appliquer. Les deux avaient tort.
Le résultat : une rupture publique, une désignation de mise sur liste noire normalement réservée aux adversaires étrangers, et une course pour remplacer un modèle que les officiers militaires en uniforme considéraient comme essentiel.
La plupart des organisations ne connaîtront pas de conséquences aussi spectaculaires. Mais la défaillance structurelle sera familière. L’IA est intégrée. Les décisions transitent par elle. Personne n’a clairement défini qui est responsable des résultats, qui a l’autorité de passer outre, ou ce qui se passe quand il y a un problème. Et lorsque la question devient urgente, il est déjà trop tard pour y répondre sereinement.
Si vous êtes DRH ou COO et que vous lisez ceci, le Pentagone vient de faire l’expérience pour vous. Le coût d’attendre pour répondre aux questions de gouvernance les plus cruciales s’est traduit par une rupture de relation, un vide dans la sécurité nationale, et une course contre la montre qui aurait pu être évitée. Votre version de cette expérience sera plus discrète. Elle ne sera pas moins coûteuse.