Anthropic–Pentagon-debaclet visade alla vd:ar vad som händer när ingen äger AI-besluten
Riskklassificering: Pentagon klassificerade Anthropic som en risk för den nationella säkerheten, vilket var första gången i historien för ett amerikanskt företag.
Regulatoriska luckor: Avsaknaden av federala regler för användning av AI försvårar de rättsliga gränserna för övervakning och autonoma beslut.
Styrningsmisslyckande: Pentagon och Anthropic lyckades inte fastställa ett tydligt beslutsmandat för AI-verksamheten, vilket ledde till en kris.
AI-användningens omfattning: Omkring 78 % av de anställda använder AI-verktyg utan organisationens godkännande, vilket väcker frågor om ansvarsskyldighet.
Operativ ram: Effektiv styrning bör fokusera på beslutsmandat på arbetsflödesnivå, inte bara på dokumentation av policyer.
Förra fredagen utsåg Pentagon Anthropic, skaparen av AI-modellen Claude, till en nationell säkerhetsrisk i leveranskedjan. Klassificeringen, som vanligtvis är förbehållen utländska motståndare som ryska cybersäkerhetsföretag och kinesiska chiptillverkare, hade aldrig tidigare tillämpats på ett amerikanskt företag.
När Anthropic stod fast vid sin linje klev OpenAI fram för att göra anspråk på Anthropics kontrakt.
Tvisten började flera månader tidigare, när Anthropic undertecknade ett kontrakt på $200 miljoner för att införa Claude i klassificerade militära nätverk. Anthropic drog två röda linjer: ingen massövervakning av amerikaner och inga helt autonoma vapen som avfyras utan mänsklig medverkan.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Pentagon krävde obegränsad användning för alla lagliga ändamål.
Det låter rimligt, bortsett från att det inte finns några federala lagar som reglerar AI-övervakning. Ingen reglering som definierar gränserna för algoritmisk målstyrning. Ingen rättslig ram för autonoma beslut.
”All laglig användning” i avsaknad av lag innebär att allt är tillåtet.
Ingen av sidorna hade byggt en mekanism för att lösa oenigheten innan den eskalerade, och försvarsminister Pete Hegseth gav Anthropics vd Dario Amodei ett ultimatum på tre dagar att följa kraven eller möta konsekvenser.
Amodei vek sig inte. I en intervju med CBS News några timmar efter svartlistningen beskrev han åtgärderna som ”vedergällande och bestraffande” och sade att Anthropic hade erbjudit sig att fortsätta stödja militären genom en övergång till en konkurrent.
Han identifierade också det som borde vara den centrala frågan för alla som använder AI i miljöer där mycket står på spel: ”Tekniken utvecklas så snabbt att den inte håller jämna steg med lagstiftningen.”
Tillbaka till verksamheten
Den mesta rapporteringen har framställt detta som en politisk historia. Säkerhet kontra försvar. En teknik-vd kontra en försvarsminister. Det finns en version av detta som handlar om etiken kring autonoma vapen, och den historien är viktig.
Men det finns också en version som borde få alla COO:er och CHRO:er att stanna upp, eftersom misslyckandet bakom rubrikerna är strukturellt, inte politiskt.
Pentagon integrerade AI i klassificerade verksamheter utan att klargöra vem som hade befogenhet att bestämma hur AI:n fick användas. Anthropic utgick från att deras röda linjer skulle gälla. Pentagon utgick från att de röda linjerna inte skulle gälla när myndigheten väl hade förvärvat tekniken. Ingen utformade den styrningsarkitektur som krävs för att hantera en oenighet innan oenigheten blev en kris.
Den sekvensen utspelar sig just nu i företag, i en omfattning som de flesta ledare inte fullt ut inser.
Från klassificerade nätverk till ditt organisationsschema
Flera studier uppskattar att omkring 78 % av de anställda använder AI-verktyg som deras arbetsgivare aldrig har godkänt. Med andra ord är AI redan inbäddad i hur beslut fattas i de flesta organisationer, oavsett om någon har utformat organisationen för det eller inte.
En CHRO kan upptäcka att AI tar fram arbetsbeskrivningar, granskar CV:n och genererar formuleringar för prestationsåterkoppling i hela företaget, utan att det finns en tydligt utsedd ägare för något av detta.
En COO kan upptäcka att efterfrågeprognoser, prisrekommendationer och leverantörsutvärderingar formas av modeller som ingen i ledningen formellt har godkänt för produktionsanvändning.
Vissa ledare har börjat bygga strategier för AI-styrning för att hantera detta. Mohammed Chahdi, COO på Muse Group, beskriver ett ramverk som hans styrelse använder för att skilja operativ AI från experimentella satsningar.
Innan något blir en del av vår kärnverksamhet förväntar vi oss att ledningen stresstestar tillförlitligheten och djupet i varje AI-tillämpning innan den får en plats i verksamhetsmodellen.
Den tröskeln, gränsen mellan ”vi testar detta” och ”detta påverkar nu verkliga beslut”, är precis vad de flesta organisationer inte har definierat.
Frågan som hänger över allt detta är samma fråga som bröt relationen mellan Pentagon och Anthropic: vem har beslutsmandat över vad AI gör när den väl har vävts in i kritiska arbetsflöden?
I de flesta företag är det ärliga svaret ingen. Beslutsmandat utformades för en värld där människor producerade analyser och människor fattade det slutliga beslutet. Nu producerar AI analyser, utarbetar rekommendationer och formar i många fall beslutet innan en människa granskar det.
Ansvarsstrukturen har inte hunnit ikapp, och tekniken fortsätter att förstärkas. METR, en Berkeley-baserad AI-forskningsorganisation, fann att tidshorisonten för uppgiftsutförande hos de mest avancerade AI-modellerna har fördubblats ungefär var sjunde månad. Den takten väntar inte på att styrningsramverken ska mogna.
Avtal styr inte. Operativsystem gör det.
Instinkten i de flesta organisationer är att svara med policyer. Du kanske:
- Skriver ett dokument om godtagbar användning
- Inrättar en godkännandekommitté
- Skapar en granskningscykel.
Policy är nödvändigt. Men policy hanterar ytskiktet. Pentagon hade ett avtal med villkor. Förmodligen hade jurister granskat dessa villkor. Ändå slutade det i en offentlig konflikt eftersom avtalet aldrig klargjorde vem som i slutändan kontrollerade hur AI användes i praktiken.
Amodei framhöll detta direkt när han fick frågan varför Anthropic, ett privat företag, borde ha mer att säga till om än Pentagon när det gäller militär användning av AI. Hans svar handlade inte om etik i abstrakt mening. Det handlade om kapacitetsbegränsningar.
Vår modell har en personlighet. Den kan göra vissa saker. Den kan på ett tillförlitligt sätt göra vissa saker. Den kan på ett tillförlitligt sätt avstå från att göra vissa saker.
Det är ett uttalande om gapet mellan vad AI kan producera och vad en människa behöver verifiera. Samma gap finns i varje organisation som använder AI-förstärkta arbetsflöden. När en modell utarbetar en prisrekommendation måste någon ansvara för om rekommendationen är giltig för den här kunden, den här marknaden och det här ögonblicket.
När AI sållar bland kandidater måste någon ansvara för om kriterierna ger rättvisa och korrekta resultat. När AI genererar en sammanfattning av efterlevnaden måste någon ansvara för riktigheten i det som skickas till tillsynsmyndigheter.
Styrning som fungerar under acceleration liknar mindre en policyhandbok och mer ett operativsystem. Beslutsbefogenheten måste anges på arbetsflödesnivå. Kontrollpunkter för mänskliga ingripanden måste byggas in i AI-arbetsflöden i produktion, inte förutsättas finnas. Modelländringar måste behandlas som systemändringar, med tester och uttryckligt godkännande före driftsättning.
Här finns det verkliga misslyckandet
Amodei tog upp något i sin CBS-intervju som sträcker sig långt bortom det militära sammanhanget. När han diskuterade autonoma vapen sade han:
"Anta att jag har en armé på 10 miljoner drönare som alla samordnas av en person eller en liten grupp människor. Jag tror att det är lätt att se att det uppstår ansvarsfrågor där."
Byt ut drönare mot AI-förstärkta arbetsflöden i ett medelstort företag. Byt ut den ena personen mot en chef som befordrades för sin operativa effektivitet i en stabil miljö och nu leder en blandning av arbete som genererats av människor och maskiner, utan utbildning i hur man skiljer mellan vältaliga AI-resultat och korrekta AI-resultat.
Det är dit vi är på väg om vi inte agerar medvetet. Chefer övervakar underförstått AI-förstärkta beslut utan att få veta att det ingår i deras arbete, utan prestationssystem som tar hänsyn till noggrannhet i valideringen och utan tydliga eskaleringsvägar för när något verkar fel.
Om ett partiskt rekryteringsmönster uppstår genom AI-baserad kandidatsållning om sex månader, eller om ett prisfel sprids till tusentals konton, kommer misslyckandet inte att vara tekniskt. Det kommer att vara att ingen hade ansvaret för tillsynen.
Pentagon antog att det kunde bädda in Claude i sekretessbelagda operationer och reda ut gränserna senare. Anthropic antog att företagets avtalsmässiga röda linjer skulle respekteras utan en mekanism för att upprätthålla dem. Båda hade fel.
Resultatet blev ett offentligt sammanbrott, en svartlistningsklassificering som normalt riktas mot utländska motståndare och en panikartad insats för att ersätta en modell som uniformerade militärer beskrev som avgörande.
De flesta organisationer kommer inte att drabbas av så dramatiska konsekvenser. Men det strukturella misslyckandet kommer att kännas bekant. AI byggs in. Besluten passerar genom det. Ingen definierade tydligt vem som ansvarar för resultatet, vem som har rätt att ingripa eller vad som händer när något går fel. Och när frågan blir brådskande är det redan för sent att besvara den lugnt.
Om du är CHRO eller COO och läser detta har Pentagon just genomfört experimentet åt dig. Kostnaden för att upptäcka vad som händer när de mest betydelsefulla styrningsfrågorna skjuts upp var en sprucken relation, en lucka i den nationella säkerheten och en panikartad insats som inte behövde ske. Din version av experimentet kommer att bli tystare. Den blir inte billigare.
