La debacle Anthropic-Pentagono ha mostrato a ogni CEO cosa accade quando nessuno si assume la responsabilità delle decisioni sull’IA
Designazione di rischio: Il Pentagono ha designato Anthropic come rischio per la sicurezza nazionale, una prima volta storica per una società statunitense.
Lacune normative: L’assenza di regolamenti federali sull’uso dell’IA complica i confini legali per sorveglianza e decisioni autonome.
Fallimento della governance: Pentagono e Anthropic non hanno stabilito una chiara autorità decisionale sulle operazioni IA, sfociando in una crisi.
Diffusione dell’uso dell’IA: Circa il 78% dei dipendenti utilizza strumenti di IA senza l’approvazione dell’organizzazione, aumentando i rischi di responsabilità.
Quadro operativo: Una governance efficace deve puntare sull’autorità decisionale a livello di flusso di lavoro, non solo sulla documentazione delle policy.
Venerdì scorso, il Pentagono ha designato Anthropic, produttore del modello AI Claude, come un rischio per la catena di approvvigionamento della sicurezza nazionale. La designazione, solitamente riservata ad avversari stranieri come aziende di cybersicurezza russe e fornitori di chip cinesi, non era mai stata applicata a un'azienda americana.
Mentre Anthropic manteneva la posizione, OpenAI è intervenuta per aggiudicarsi il contratto di Anthropic.
La disputa è iniziata mesi prima, quando Anthropic ha firmato un contratto da 200 milioni di dollari per integrare Claude nelle reti militari classificate. Anthropic ha tracciato due linee rosse: niente sorveglianza di massa sugli americani, niente armi completamente autonome che sparano senza coinvolgimento umano.
Keep Reading—and Keep Leading Smarter
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Il Pentagono ha richiesto un utilizzo illimitato per qualsiasi scopo lecito.
Sembra ragionevole, se non fosse per il fatto che non esistono leggi federali che regolano la sorveglianza tramite AI. Nessuna regolamentazione che definisca i limiti del targeting algoritmico. Nessun quadro giuridico per il processo decisionale autonomo.
"Tutti gli usi leciti" in assenza di legge significa che tutto è permesso.
Nessuna delle due parti aveva costruito un meccanismo per risolvere il disaccordo prima che degenerasse, e il Segretario alla Difesa Pete Hegseth ha dato all'amministratore delegato di Anthropic, Dario Amodei, un ultimatum di tre giorni per conformarsi o affrontare le conseguenze.
Amodei non ha ceduto. In un'intervista a CBS News poche ore dopo la messa al bando, ha descritto le azioni come "rappresaglie e punitive", e ha dichiarato che Anthropic aveva offerto di continuare a sostenere l'esercito durante la transizione verso un concorrente.
Ha anche individuato quella che dovrebbe essere la preoccupazione centrale per chiunque implementi l'AI in contesti ad alto rischio: "La tecnologia avanza così velocemente che è fuori passo con la legge."
Tornando al Business
La maggior parte delle cronache ha presentato il fatto come una storia politica. Sicurezza contro difesa. Un amministratore delegato del settore tech contro un segretario alla difesa. Esiste una versione di questa vicenda che riguarda l’etica delle armi autonome, e questa storia conta.
Ma c'è una versione che dovrebbe preoccupare ogni COO e CHRO, perché il vero fallimento sotto i titoli non è politico, ma strutturale.
Il Pentagono ha integrato l'AI nelle operazioni classificate senza definire chi avesse autorità su come quell'AI poteva essere utilizzata. Anthropic presumeva che le sue linee rosse sarebbero state rispettate. Il Pentagono presumeva che tali linee non sarebbero più valse una volta acquisita la tecnologia. Nessuno ha progettato l'architettura di governance per gestire un disaccordo prima che diventasse una crisi.
Questa sequenza si sta già ripetendo nelle aziende, su una scala che la maggior parte dei leader non coglie appieno.
Dalle Reti Classificate al Tuo Organigramma
Diversi studi stimano che circa il 78% dei dipendenti utilizza strumenti di AI non approvati dal datore di lavoro. In altre parole, l'AI è già incorporata nei processi decisionali nella maggior parte delle organizzazioni, che lo si sia pianificato o meno.
Un CHRO potrebbe scoprire che l'AI sta redigendo descrizioni di lavoro, selezionando i curriculum e generando il linguaggio per il feedback sulle prestazioni in tutta l'azienda, senza che vi sia un vero responsabile per uno qualsiasi di questi output.
Un COO potrebbe scoprire che le previsioni della domanda, le raccomandazioni sui prezzi e le valutazioni dei fornitori sono influenzate da modelli che nessun dirigente ha formalmente approvato per l'uso operativo.
Alcuni leader hanno iniziato a costruire strategie di governance dell’AI per gestire questa situazione. Mohammed Chahdi, COO di Muse Group, descrive un quadro di riferimento che il suo consiglio utilizza per distinguere le applicazioni AI operative da quelle sperimentali.
Prima che qualcosa entri a far parte delle nostre operazioni fondamentali, ci aspettiamo che il management testi a fondo l’affidabilità e la profondità di ogni applicazione AI prima che entri a far parte del modello operativo.
Quella soglia, il limite tra "stiamo testando questo" e "questo ora influenza decisioni reali", è proprio ciò che la maggior parte delle organizzazioni non ha ancora definito.
La domanda che incombe su tutto questo è la stessa che ha rotto il rapporto tra Pentagono e Anthropic: chi ha l'autorità decisionale su ciò che fa l'AI una volta integrata nei processi critici?
Nella maggior parte delle aziende, la risposta sincera è nessuno. I diritti decisionali sono stati pensati per un mondo in cui gli esseri umani producevano analisi e prendevano la decisione finale. Ora l’IA produce analisi, redige raccomandazioni e, in molti casi, indirizza la decisione prima che un essere umano la esamini.
La struttura di responsabilità non si è ancora adattata, mentre la tecnologia continua ad accelerare. METR, un’organizzazione di ricerca sull’intelligenza artificiale con sede a Berkeley, ha rilevato che l’orizzonte di completamento dei compiti per i modelli di IA all’avanguardia raddoppia circa ogni sette mesi. Questo ritmo non aspetta che i quadri di governance si consolidino.
I contratti non governano. Lo fanno i sistemi operativi.
L’istinto nella maggior parte delle organizzazioni è di rispondere con una policy. Potresti:
- Scrivere un documento di utilizzo accettabile
- Istaurare un comitato di approvazione
- Creare un ciclo di revisione.
La policy è necessaria. Ma la policy affronta solo lo strato superficiale. Il Pentagono aveva un contratto, che prevedeva termini. Presumibilmente degli avvocati hanno revisionato quei termini. Eppure si è ritrovato comunque in uno scontro pubblico, perché il contratto non ha mai risolto chi controllava, in ultima analisi, come veniva usata l’IA nella pratica.
Amodei ha sottolineato direttamente questo punto quando gli è stato chiesto perché Anthropic, un’azienda privata, dovrebbe avere più voce in capitolo del Pentagono sull’uso dell’IA militare. La sua risposta non riguardava l’etica in astratto. Riguardava i limiti di capacità.
Il nostro modello ha una personalità. È capace di certe cose. È in grado di fare certe cose in modo affidabile. È in grado di non fare certe cose in modo affidabile.
Questa è una riflessione sul divario tra ciò che l’IA può produrre e ciò che un umano deve verificare. Lo stesso divario esiste in ogni organizzazione che utilizza flussi di lavoro supportati dall’IA. Quando un modello redige una raccomandazione di prezzo, qualcuno deve assumersi la responsabilità di decidere se quella raccomandazione sia valida per questo cliente, questo mercato, questo momento.
Quando l’IA seleziona i candidati, qualcuno deve assumersi la responsabilità di verificare se i criteri producono risultati equi e accurati. Quando l’IA genera un riepilogo di conformità, qualcuno deve garantire che ciò che viene inviato ai regolatori sia preciso.
La governance efficace in un contesto di accelerazione assomiglia meno a un manuale di policy e più a un sistema operativo. L’autorità decisionale deve essere assegnata a livello di flusso di lavoro. I punti di intervento umano devono essere progettati all’interno dei flussi produttivi dell’IA e non semplicemente dati per esistenti. Le modifiche ai modelli devono essere trattate come modifiche di sistema, con test e approvazioni esplicite prima della messa in produzione.
Dove si trova il vero fallimento
Amodei ha sollevato qualcosa nella sua intervista alla CBS che si applica ben oltre il contesto militare. Parlando di armi autonome, ha detto:
“Supponiamo di avere un esercito di 10 milioni di droni tutti coordinati da una sola persona o da un piccolo gruppo di persone. Penso che sia facile vedere che ci sono delle questioni di responsabilità in questo scenario.”
Sostituisci i droni con flussi di lavoro potenziati dall’IA in un’azienda di medie dimensioni. Sostituisci la persona singola con un manager promosso per l’efficienza operativa in un ambiente stabile che ora supervisiona un mix di lavori generati da esseri umani e macchine, senza alcuna formazione su come distinguere tra output di IA fluido e output di IA corretto.
È lì che stiamo andando se non agiamo con intenzione. Responsabili che supervisionano implicitamente decisioni potenziate dall’IA senza che sia esplicitato che fa parte del loro ruolo, senza sistemi di valutazione delle performance che tengano conto della disciplina nella validazione, e senza chiari percorsi di escalation in caso di anomalie.
Se tra sei mesi emerge uno schema di assunzioni distorto dal filtro dell’IA, o un errore di prezzo si diffonde su migliaia di account, il fallimento non sarà tecnico. Il problema sarà che nessuno ha assunto la responsabilità del controllo.
Il Pentagono ha dato per scontato di poter integrare Claude nelle operazioni classificate e di risolvere i limiti in seguito. Anthropic ha presunto che le sue restrizioni contrattuali sarebbero state rispettate senza un meccanismo per farle rispettare. Entrambi si sbagliavano.
Ne è conseguita una rottura pubblica, una designazione di blacklist solitamente riservata agli avversari stranieri e una corsa a sostituire un modello che ufficiali militari in divisa avevano descritto come essenziale.
La maggior parte delle organizzazioni non affronterà conseguenze così drammatiche. Ma il fallimento strutturale sembrerà familiare. L’IA viene integrata. Le decisioni passano attraverso di essa. Nessuno ha definito chiaramente chi possiede i risultati, chi ha la facoltà di intervenire o cosa succede quando qualcosa si inceppa. E quando la questione diventa urgente, è già troppo tardi per affrontarla con calma.
Se sei un CHRO o un COO che sta leggendo, il Pentagono ha appena fatto l’esperimento per te. Il costo di rimandare le domande di governance più rilevanti è stato una relazione rotta, una falla nella sicurezza nazionale e una corsa al rimedio che poteva essere evitata. La tua versione di quell’esperimento sarà più silenziosa. Non sarà più economica.
