Anthropic-Pentagon-fiaskoen viste alle administrerende direktører hva som skjer når ingen har ansvar for KI-beslutninger
Risikoangivelse: Pentagonet utpekte Anthropic som en nasjonal sikkerhetsrisiko, noe som var første gang i historien for et amerikansk selskap.
Regulatoriske hull: Mangelen på føderale regler for bruk av KI gjør de juridiske grensene for overvåking og autonome beslutninger mer kompliserte.
Svikt i styringen: Pentagonet og Anthropic klarte ikke å etablere tydelig beslutningsmyndighet over KI-operasjoner, noe som førte til en krise.
Utbredelsen av KI-bruk: Omtrent 78 % av de ansatte bruker KI-verktøy uten godkjenning fra organisasjonen, noe som skaper bekymring rundt ansvarliggjøring.
Operasjonelt rammeverk: Effektiv styring bør fokusere på beslutningsmyndighet på arbeidsflytnivå, ikke bare på dokumentasjon av retningslinjer.
Forrige fredag utpekte Pentagon Anthropic, selskapet bak AI-modellen Claude, som en nasjonal sikkerhetsrisiko i forsyningskjeden. Denne betegnelsen, som vanligvis er forbeholdt utenlandske motstandere som russiske cybersikkerhetsselskaper og kinesiske brikkeleverandører, hadde aldri tidligere blitt brukt mot et amerikansk selskap.
Mens Anthropic sto fast på sitt, trådte OpenAI inn for å kreve Anthropics kontrakt.
Striden startet flere måneder tidligere, da Anthropic signerte en kontrakt på $200 millioner for å ta Claude i bruk på graderte militære nettverk. Anthropic trakk to røde linjer: ingen masseovervåking av amerikanere og ingen fullt autonome våpen som avfyrer uten menneskelig medvirkning.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Pentagon krevde ubegrenset bruk til ethvert lovlig formål.
Det høres rimelig ut, bortsett fra at det ikke finnes noen føderale lover som regulerer AI-overvåking. Ingen regulering som definerer grensene for algoritmisk målretting. Ingen juridisk ramme for autonome beslutninger.
«All lovlig bruk» i fravær av lov betyr at alt er tillatt.
Ingen av sidene hadde etablert en mekanisme for å løse uenigheten før den eskalerte, og forsvarsminister Pete Hegseth ga Anthropics administrerende direktør Dario Amodei et ultimatum på tre dager om å etterkomme kravet eller møte konsekvenser.
Amodei ga ikke etter. I et intervju med CBS News noen timer etter svartelistingen beskrev han handlingene som «gjengjeldende og straffende», og sa at Anthropic hadde tilbudt å fortsette å støtte militæret gjennom en overgang til en konkurrent.
Han identifiserte også det som bør være den sentrale bekymringen for alle som tar i bruk AI i situasjoner med høy risiko: «Teknologien utvikler seg så raskt at den ikke holder tritt med lovverket.»
Tilbake til virksomheten
Det meste av dekningen har fremstilt dette som en politisk sak. Sikkerhet mot forsvar. En teknologidirektør mot en forsvarsminister. Det finnes en versjon av dette som handler om etikken rundt autonome våpen, og den historien er viktig.
Men det finnes også en versjon som bør få alle COO-er og CHRO-er til å stoppe opp, fordi svikten under overskriftene er strukturell, ikke politisk.
Pentagon bygget AI inn i graderte operasjoner uten å avklare hvem som hadde myndighet over hvordan AI-en kunne brukes. Anthropic antok at de røde linjene deres ville stå seg. Pentagon antok at disse røde linjene ikke ville gjelde når de hadde anskaffet teknologien. Ingen utformet styringsarkitekturen for å håndtere en uenighet før uenigheten ble til en krise.
Denne sekvensen utspiller seg i selskaper akkurat nå, i en skala de fleste ledere ikke fullt ut forstår.
Fra graderte nettverk til organisasjonskartet ditt
Flere studier anslår at rundt 78 % av de ansatte bruker AI-verktøy som arbeidsgiveren aldri har godkjent. Med andre ord er AI allerede innebygd i hvordan beslutninger tas i de fleste organisasjoner, enten noen har utformet det slik eller ikke.
En CHRO kan oppdage at AI utarbeider stillingsbeskrivelser, siler CV-er og genererer formuleringer til tilbakemeldinger om prestasjoner i hele selskapet, uten at det er definert hvem som har ansvar for noen av disse resultatene.
En COO kan oppdage at etterspørselsprognoser, prisingsanbefalinger og leverandørvurderinger formes av modeller som ingen i ledelsen formelt har godkjent for bruk i produksjon.
Noen ledere har begynt å utvikle strategier for AI-styring for å håndtere dette. Mohammed Chahdi, COO i Muse Group, beskriver et rammeverk styret hans bruker for å skille mellom operasjonell AI og eksperimentelle satsinger.
Før noe blir en del av kjernevirksomheten vår, forventer vi at ledelsen kvalitetstester påliteligheten og dybden i hver AI-applikasjon før den får en plass i driftsmodellen.
Denne terskelen, grensen mellom «vi tester dette» og «dette påvirker nå reelle beslutninger», er nettopp det de fleste organisasjoner ikke har definert.
Spørsmålet som henger over alt dette, er det samme som brøt forholdet mellom Pentagon og Anthropic: Hvem har beslutningsmyndighet over hva AI gjør når den er vevd inn i kritiske arbeidsprosesser?
I de fleste selskaper er det ærlige svaret ingen. Beslutningsmyndighet ble utformet for en verden der mennesker produserte analyser, og mennesker tok den endelige avgjørelsen. Nå produserer KI analyser, utarbeider anbefalinger og former i mange tilfeller beslutningen før et menneske vurderer den.
Ansvarsstrukturen har ikke holdt tritt, og teknologien fortsetter å akselerere. METR, en Berkeley-basert forskningsorganisasjon innen KI, fant at horisonten for oppgaveløsning i ledende KI-modeller har blitt doblet omtrent hver sjuende måned. Det tempoet venter ikke på at styringsrammeverk skal bli modne.
Kontrakter styrer ikke. Operative systemer gjør det.
Instinktet i de fleste organisasjoner er å svare med retningslinjer. Du kan for eksempel:
- Skrive et dokument om akseptabel bruk
- Opprette en godkjenningskomité
- Opprette en gjennomgangssyklus.
Retningslinjer er nødvendige. Men retningslinjer tar for seg overflatelaget. Pentagon hadde en kontrakt med vilkår. Det var etter alt å dømme jurister som gjennomgikk disse vilkårene. Likevel endte det i en offentlig konflikt fordi kontrakten aldri avklarte hvem som til syvende og sist hadde kontroll over hvordan KI faktisk ble brukt.
Amodei fremhevet dette direkte da han ble spurt om hvorfor Anthropic, et privat selskap, burde ha mer å si enn Pentagon om militær bruk av KI. Svaret hans handlet ikke om etikk i abstrakt forstand. Det handlet om kapasitetsbegrensninger.
Modellen vår har en personlighet. Den er i stand til visse ting. Den er i stand til å gjøre visse ting pålitelig. Den er i stand til å la være å gjøre visse ting pålitelig.
Det er en uttalelse om gapet mellom det KI kan produsere, og det et menneske må verifisere. Det samme gapet finnes i alle organisasjoner som bruker KI-forsterkede arbeidsflyter. Når en modell utarbeider en prisanbefaling, må noen ha ansvaret for om anbefalingen er gyldig for denne kunden, dette markedet og dette tidspunktet.
Når KI siler kandidater, må noen ha ansvaret for om kriteriene gir rettferdige og nøyaktige resultater. Når KI genererer et sammendrag av etterlevelse, må noen ha ansvaret for nøyaktigheten i det som sendes til tilsynsmyndighetene.
Styring som fungerer under akselerasjon, ligner mindre på en retningslinjehåndbok og mer på et operativsystem. Beslutningsmyndigheten må navngis på arbeidsflytnivå. Menneskelige overstyringspunkter må bygges inn i operative KI-arbeidsflyter, ikke forutsettes å finnes. Modellendringer må behandles som systemendringer, med testing og uttrykkelig godkjenning før implementering.
Hvor den egentlige svikten ligger
Amodei tok opp noe i CBS-intervjuet sitt som har betydning langt utover den militære konteksten. Da han diskuterte autonome våpen, sa han:
"Tenk deg at jeg har en hær på 10 millioner droner, alle koordinert av én person eller en liten gruppe mennesker. Jeg tror det er lett å se at det oppstår spørsmål om ansvarlighet."
Bytt ut droner med KI-forsterkede arbeidsflyter i et mellomstort selskap. Bytt ut den ene personen med en leder som ble forfremmet for operasjonell effektivitet i et stabilt miljø, og som nå fører tilsyn med en blanding av menneskeskapt og maskinprodusert arbeid uten opplæring i hvordan man skiller mellom velartikulert KI-resultat og korrekt KI-resultat.
Det er dit vi er på vei hvis vi ikke handler bevisst. Ledere fører i praksis tilsyn med KI-forsterkede beslutninger uten å få beskjed om at dette er en del av jobben deres, uten prestasjonssystemer som tar hensyn til grundigheten i valideringen, og uten tydelige eskaleringsveier for når noe ser feil ut.
Hvis et skjevt ansettelsesmønster oppstår som følge av KI-siling om seks måneder, eller en prisfeil skaleres til tusenvis av kontoer, vil svikten ikke være teknisk. Den vil bestå i at ingen hadde ansvaret for tilsynet.
Pentagon antok at det kunne integrere Claude i graderte operasjoner og avklare grensene senere. Anthropic antok at selskapets kontraktsfestede røde linjer ville bli respektert uten en mekanisme for å håndheve dem. Begge tok feil.
Resultatet ble et offentlig brudd, en svartelistingsbetegnelse som vanligvis brukes mot utenlandske motstandere, og et kappløp for å erstatte en modell som uniformerte militære offiserer beskrev som avgjørende.
De fleste organisasjoner vil ikke møte så dramatiske konsekvenser. Men den strukturelle svikten vil føles kjent. KI bygges inn. Beslutninger går gjennom systemet. Ingen har tydelig definert hvem som har ansvaret for resultatet, hvem som har myndighet til å overstyre, eller hva som skjer når noe går galt. Og når spørsmålet blir presserende, er det allerede for sent å svare rolig på det.
Hvis du er HR-direktør eller driftsdirektør og leser dette, har Pentagon nettopp gjennomført eksperimentet for deg. Kostnaden ved å finne ut hva som skjer når de viktigste styringsspørsmålene utsettes, var et ødelagt forhold, et sikkerhetspolitisk hull og et kappløp som ikke trengte å finne sted. Din versjon av eksperimentet vil bli stillere. Den blir ikke billigere.
