Il disastro Anthropic-Pentagono ha mostrato a ogni CEO cosa succede quando nessuno possiede le decisioni sull’IA
Designazione di rischio: Il Pentagono ha designato Anthropic come rischio per la sicurezza nazionale, una prima storica per un’azienda statunitense.
Lacune regolatorie: La mancanza di normative federali sull’uso dell’IA complica i limiti legali per la sorveglianza e le decisioni autonome.
Fallimento di governance: Pentagono e Anthropic non sono riusciti a stabilire un’autorità decisionale chiara sulle operazioni IA, portando a una crisi.
Prevalenza d’uso dell’IA: Circa il 78% dei dipendenti utilizza strumenti IA senza approvazione organizzativa, aumentando i rischi di responsabilità.
Quadro operativo: Una governance efficace dovrebbe concentrarsi sull’autorità decisionale a livello di flusso di lavoro, non solo sulla documentazione delle policy.
Venerdì scorso, il Pentagono ha designato Anthropic, il produttore del modello AI Claude, come un rischio per la catena di fornitura della sicurezza nazionale. Questa designazione, di solito riservata ad avversari stranieri come aziende di cybersicurezza russe e fornitori di chip cinesi, non era mai stata applicata a una società americana.
Mentre Anthropic manteneva la propria posizione, OpenAI si è fatta avanti per aggiudicarsi il contratto di Anthropic.
La disputa è iniziata mesi prima, quando Anthropic ha firmato un contratto da 200 milioni di dollari per installare Claude su reti militari classificate. Anthropic ha tracciato due linee rosse: no alla sorveglianza di massa sugli americani, no alle armi completamente autonome che sparano senza coinvolgimento umano.
Continua a leggere—e continua a guidare con intelligenza
Crea un account gratuito per terminare la lettura e unirti a una community di leader lungimiranti che sbloccano strumenti, playbook e approfondimenti per prosperare nell'era dell'IA.
Have an account? Log In
Il Pentagono ha richiesto un uso illimitato per qualsiasi scopo legale.
Sembra ragionevole, eccetto per il fatto che non esistono leggi federali che regolamentano la sorveglianza con AI. Nessuna normativa che definisca i limiti per il targeting algoritmico. Nessun quadro giuridico per le decisioni autonome.
"Tutti gli usi leciti" in assenza di una legge significa che tutto è permesso.
Nessuna delle due parti aveva costruito un meccanismo per risolvere il disaccordo prima che degenerasse, e il Segretario alla Difesa Pete Hegseth ha dato all'amministratore delegato di Anthropic, Dario Amodei, un ultimatum di tre giorni per conformarsi o affrontare le conseguenze.
Amodei non ha ceduto. In un'intervista a CBS News poche ore dopo la messa al bando, ha descritto le azioni come "ritorsive e punitive" e ha dichiarato che Anthropic si era offerta di continuare a supportare i militari durante la transizione verso un concorrente.
Ha anche individuato quella che dovrebbe essere la preoccupazione centrale per chiunque implementi AI in contesti ad alto rischio: "La tecnologia avanza così velocemente che è fuori passo con la legge."
Torniamo al business
La maggior parte della copertura ha trattato la vicenda come una storia politica. Sicurezza contro difesa. Un CEO tecnologico contro un segretario della difesa. Esiste una versione di questa storia che riguarda l'etica delle armi autonome, ed è una storia importante.
Ma c'è una versione che dovrebbe far riflettere ogni COO e CHRO, perché la falla sotto i titoli è strutturale, non politica.
Il Pentagono ha integrato l'AI nelle operazioni classificate senza chiarire chi avesse l'autorità su come quell'AI poteva essere utilizzata. Anthropic dava per scontato che le proprie linee rosse sarebbero state rispettate. Il Pentagono presumeva che quelle linee rosse non si sarebbero più applicate una volta ottenuta la tecnologia. Nessuno ha progettato l'architettura di governance per gestire un disaccordo prima che si trasformasse in una crisi.
Questa sequenza si sta già verificando nelle aziende, su una scala che la maggior parte dei leader non comprende appieno.
Dalle reti classificate all'organigramma della tua azienda
Diversi studi stimano che circa il 78% dei dipendenti usi strumenti AI mai approvati dal datore di lavoro. In altre parole, l'AI è già integrata nei processi decisionali nella maggior parte delle organizzazioni, che lo si voglia o meno.
Un CHRO potrebbe scoprire che l'AI sta redigendo descrizioni di lavoro, valutando i CV e generando feedback sulle performance in tutta l'azienda senza che nessuno sia chiaramente responsabile di quei risultati.
Un COO potrebbe scoprire che le previsioni di domanda, le raccomandazioni sui prezzi e le valutazioni dei fornitori sono influenzate da modelli che nessun membro del management ha formalmente approvato per l'uso produttivo.
Alcuni leader hanno iniziato a sviluppare strategie di governance dell'AI per gestire questa situazione. Mohammed Chahdi, COO di Muse Group, descrive un framework che il suo consiglio di amministrazione utilizza per separare l'AI operativa dagli esperimenti.
Prima che qualcosa entri a far parte delle nostre operazioni fondamentali, ci aspettiamo che il management sottoponga a rigorosi test di affidabilità e profondità ciascuna applicazione AI, prima che questa guadagni un posto nel modello operativo.
Quella soglia, il confine tra "stiamo testando questo" e "questo ora influenza decisioni reali", è esattamente ciò che la maggior parte delle organizzazioni non ha definito.
La domanda che incombe su tutto ciò è la stessa che ha rotto la relazione tra Pentagono e Anthropic: chi ha l'autorità decisionale su cosa fa l'AI una volta che viene intrecciata nei processi critici?
Nella maggior parte delle aziende, la risposta onesta è nessuno. I diritti decisionali sono stati progettati per un mondo in cui gli esseri umani producevano analisi e prendevano la decisione finale. Ora l’intelligenza artificiale produce analisi, prepara raccomandazioni e, in molti casi, influenza la decisione prima che una persona la esamini.
La struttura di responsabilità non si è ancora adeguata, e la tecnologia continua a crescere a un ritmo esponenziale. METR, un’organizzazione di ricerca sull’IA con sede a Berkeley, ha rilevato che l’orizzonte di completamento delle attività per i modelli di IA di frontiera sta raddoppiando circa ogni sette mesi. Quel ritmo non aspetta che i quadri di governance maturino.
I contratti non governano. Lo fanno i sistemi operativi.
L’istinto della maggior parte delle organizzazioni è rispondere con la policy. Potresti:
- Scrivere un documento di uso accettabile
- Istituire un comitato di approvazione
- Creare un ciclo di revisione.
La policy è necessaria. Ma agisce solo sullo strato superficiale. Il Pentagono aveva un contratto, con dei termini. Presumibilmente aveva anche degli avvocati che li hanno rivisti. Eppure, si sono comunque ritrovati in uno scontro pubblico perché il contratto non ha mai risolto chi controllava in definitiva come venisse utilizzata l’IA nella pratica.
Amodei ha sottolineato questo punto direttamente quando gli è stato chiesto perché Anthropic, un’azienda privata, dovrebbe avere più voce in capitolo del Pentagono sull’uso militare dell’IA. La sua risposta non riguardava l’etica in astratto. Si trattava di limiti di capacità.
Il nostro modello ha una personalità. È capace di certe cose. È in grado di fare alcune cose in modo affidabile. È in grado di non fare alcune cose in modo affidabile.
Questa è un’affermazione sulla distanza tra ciò che l’IA può produrre e ciò che un essere umano deve verificare. Lo stesso divario esiste in ogni organizzazione che gestisce flussi di lavoro potenziati dall’IA. Quando un modello elabora una raccomandazione sui prezzi, qualcuno deve assumersi la responsabilità di verificare che tale raccomandazione sia valida per questo cliente, questo mercato, questo momento.
Quando l’IA seleziona i candidati, qualcuno deve assumersi la responsabilità di verificare che i criteri producano risultati equi e accurati. Quando l’IA genera un riepilogo di conformità, qualcuno deve assumersi la responsabilità dell’accuratezza di quanto verrà trasmesso agli organi di controllo.
Un sistema di governance che funziona sotto accelerazione assomiglia meno a un manuale di policy e più a un sistema operativo. L’autorità decisionale deve essere definita a livello di flusso di lavoro. I punti di intervento umano devono essere progettati nei flussi di lavoro con IA in produzione, non dati per scontati. Le modifiche al modello devono essere trattate come modifiche di sistema, con test e approvazione esplicita prima della messa in opera.
Dove risiede il vero fallimento
Amodei ha evidenziato qualcosa nella sua intervista alla CBS che va ben oltre il contesto militare. Discutendo delle armi autonome, ha detto:
“Supponiamo di avere un esercito di 10 milioni di droni tutti coordinati da una persona o da un piccolo gruppo di persone. Credo sia facile vedere che ci sono questioni di responsabilità.”
Sostituite i droni con flussi di lavoro aziendali potenziati dall’IA all’interno di un’azienda di medie dimensioni. Sostituite l’unica persona con un manager promosso per l’efficienza operativa in un ambiente stabile e che ora supervisiona un insieme misto di lavoro umano e generato da macchine, senza formazione su come distinguere tra output IA fluido e output IA corretto.
È lì che stiamo andando se non agiamo intenzionalmente. Manager che supervisionano implicitamente decisioni potenziate dall’IA senza essere stati informati che fa parte del loro lavoro, senza sistemi di performance che tengano conto della disciplina di validazione, e senza chiari percorsi di escalation per quando qualcosa sembra non funzionare.
Se tra sei mesi emerge un modello di assunzione distorto dalla selezione automatica dell’IA, o se un errore di prezzo si propaga su migliaia di account, il fallimento non sarà tecnico. Sarà che nessuno si è preso la responsabilità del controllo.
Il Pentagono pensava di poter integrare Claude nelle operazioni classificate e stabilire i confini in un secondo momento. Anthropic pensava che le sue linee rosse contrattuali sarebbero state rispettate senza un meccanismo per farle rispettare. Entrambi si sbagliavano.
Il risultato è stato una frattura pubblica, una designazione di blacklisting normalmente diretta a nemici stranieri, e una corsa per sostituire un modello che gli ufficiali militari in uniforme avevano descritto come essenziale.
La maggior parte delle organizzazioni non affronterà conseguenze così drammatiche. Ma il fallimento strutturale sarà familiare. L’IA viene integrata. Le decisioni passano attraverso di essa. Nessuno ha definito chiaramente chi possiede l’output, chi ha il potere di intervenire o cosa succede quando qualcosa si rompe. E quando la questione diventa urgente, è già troppo tardi per rispondere con calma.
Se sei un CHRO o un COO che legge questo testo, il Pentagono ha appena condotto l’esperimento per te. Il prezzo per scoprire cosa accade quando le questioni di governance più rilevanti vengono rimandate è stata una relazione rotta, una lacuna nella sicurezza nazionale e una corsa ad arginare i problemi che si potevano evitare. La tua versione di quell’esperimento sarà più silenziosa. Non sarà più economica.
