Anthropic-Pentagon-fiaskoen viste alle administrerende direktører, hvad der sker, når ingen har ansvaret for AI-beslutninger
Risikobetegnelse: Pentagon udpegede Anthropic som en national sikkerhedsrisiko, hvilket var første gang i historien, at en amerikansk virksomhed blev udpeget som sådan.
Regulatoriske huller: Manglen på føderale regler for brugen af AI gør de juridiske grænser for overvågning og autonome beslutninger mere komplicerede.
Ledelsesmæssigt svigt: Pentagon og Anthropic fastlagde ikke en klar beslutningsmyndighed over AI-operationer, hvilket førte til en krise.
Udbredelsen af AI-brug: Omkring 78 % af medarbejderne bruger AI-værktøjer uden organisationens godkendelse, hvilket skaber bekymring om ansvarlighed.
Operationel ramme: Effektiv styring bør fokusere på beslutningsmyndighed på arbejdsgangsniveau, ikke kun på dokumentation af politikker.
I fredags udpegede Pentagon Anthropic, virksomheden bag AI-modellen Claude, som en national sikkerhedsrisiko i forsyningskæden. Udpegningen, der normalt er forbeholdt udenlandske modstandere som russiske cybersikkerhedsvirksomheder og kinesiske chipproducenter, var aldrig tidligere blevet anvendt på en amerikansk virksomhed.
Mens Anthropic holdt fast, trådte OpenAI til for at gøre krav på Anthropics kontrakt.
Striden begyndte flere måneder tidligere, da Anthropic underskrev en kontrakt på $200 millioner om at implementere Claude på klassificerede militære netværk. Anthropic trak to røde linjer: ingen masseovervågning af amerikanere og ingen fuldt autonome våben, der affyrer uden menneskelig indblanding.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Pentagon krævede ubegrænset brug til ethvert lovligt formål.
Det lyder rimeligt, bortset fra at der ikke findes nogen føderale love, der regulerer AI-overvågning. Ingen regulering, der definerer grænserne for algoritmisk målretning. Ingen juridisk ramme for autonom beslutningstagning.
"Al lovlig brug" i fraværet af lovgivning betyder, at alt er tilladt.
Ingen af parterne havde opbygget en mekanisme til at løse uenigheden, før den eskalerede, og forsvarsminister Pete Hegseth gav Anthropics administrerende direktør Dario Amodei et ultimatum på tre dage til at efterkomme kravet eller se konsekvenserne i øjnene.
Amodei gav ikke efter. I et interview med CBS News få timer efter sortlistningen beskrev han handlingerne som "gengældende og straffende" og sagde, at Anthropic havde tilbudt at fortsætte med at støtte militæret gennem en overgang til en konkurrent.
Han identificerede også det, der bør være den centrale bekymring for alle, der implementerer AI i miljøer med høj risiko: "Teknologien udvikler sig så hurtigt, at den ikke holder trit med lovgivningen."
Tilbage til forretningen
Det meste af dækningen har fremstillet dette som en politisk historie. Sikkerhed over for forsvar. En teknologidirektør over for en forsvarsminister. Der findes en version af dette, der handler om etikken ved autonome våben, og den historie er vigtig.
Men der findes også en version, som bør få alle COO'er og CHRO'er til at standse op, fordi svigtet under overskrifterne er strukturelt, ikke politisk.
Pentagon integrerede AI i klassificerede operationer uden at afklare, hvem der havde beføjelse til at bestemme, hvordan denne AI måtte bruges. Anthropic gik ud fra, at virksomhedens røde linjer ville holde. Pentagon gik ud fra, at de røde linjer ikke ville gælde, når først de havde erhvervet teknologien. Ingen havde designet styringsarkitekturen til at håndtere en uenighed, før uenigheden blev til en krise.
Den rækkefølge udspiller sig lige nu i virksomheder i et omfang, som de fleste ledere ikke fuldt ud forstår.
Fra klassificerede netværk til dit organisationsdiagram
Flere undersøgelser anslår, at omkring 78 % af medarbejderne bruger AI-værktøjer, som deres arbejdsgiver aldrig har godkendt. Med andre ord er AI allerede integreret i den måde, beslutninger træffes på i de fleste organisationer, uanset om nogen har designet det sådan eller ej.
En CHRO kan opdage, at AI udarbejder jobbeskrivelser, screener CV'er og genererer formuleringer til feedback om medarbejdernes præstationer på tværs af virksomheden, uden at der er udpeget en ansvarlig for nogen af disse resultater.
En COO kan opdage, at efterspørgselsprognoser, prisfastsættelsesanbefalinger og leverandørvurderinger bliver formet af modeller, som ingen i ledelsen formelt har godkendt til produktionsbrug.
Nogle ledere er begyndt at opbygge AI-styringsstrategier for at håndtere dette. Mohammed Chahdi, COO hos Muse Group, beskriver en ramme, som hans bestyrelse bruger til at adskille operationel AI fra eksperimentelle satsninger.
Før noget bliver en del af vores kerneforretning, forventer vi, at ledelsen stresstester pålideligheden og dybden af hver AI-applikation, før den får en plads i driftsmodellen.
Den tærskel, altså grænsen mellem "vi tester dette" og "dette påvirker nu reelle beslutninger", er præcis det, som de fleste organisationer ikke har defineret.
Det spørgsmål, der hænger over alt dette, er det samme, som ødelagde forholdet mellem Pentagon og Anthropic: Hvem har beslutningsmyndigheden over, hvad AI gør, når den først er vævet ind i kritiske arbejdsgange?
I de fleste virksomheder er det ærlige svar ingen. Beslutningsrettigheder blev designet til en verden, hvor mennesker producerede analyser, og mennesker traf den endelige beslutning. Nu producerer AI analyser, udarbejder anbefalinger og former i mange tilfælde beslutningen, før et menneske gennemgår den.
Ansvarsstrukturen er ikke fulgt med, og teknologien fortsætter med at accelerere. METR, en Berkeley-baseret AI-forskningsorganisation, fandt, at horisonten for opgavefuldførelse for banebrydende AI-modeller omtrent er blevet fordoblet hver syvende måned. Det tempo venter ikke på, at styringsrammer modnes.
Kontrakter styrer ikke. Operativsystemer gør.
Instinktet i de fleste organisationer er at reagere med politikker. Man kan for eksempel:
- Udarbejde et dokument om acceptabel brug
- Etablere et godkendelsesudvalg
- Oprette en gennemgangscyklus.
Politikker er nødvendige. Men politikker adresserer det overfladiske lag. Pentagon havde en kontrakt, som indeholdt vilkår. Den havde formodentlig jurister til at gennemgå disse vilkår. Og alligevel endte det i en offentlig konflikt, fordi kontrakten aldrig afklarede, hvem der i sidste ende kontrollerede, hvordan AI blev brugt i praksis.
Amodei fremførte dette synspunkt direkte, da han blev spurgt, hvorfor Anthropic, en privat virksomhed, burde have mere indflydelse end Pentagon på militær brug af AI. Hans svar handlede ikke om etik i abstrakt forstand. Det handlede om kapacitetsbegrænsninger.
Vores model har en personlighed. Den er i stand til visse ting. Den kan pålideligt udføre visse ting. Den kan pålideligt lade være med at udføre visse ting.
Det er en udtalelse om kløften mellem det, AI kan producere, og det, et menneske har brug for at verificere. Den samme kløft findes i alle organisationer, der driver AI-forstærkede arbejdsgange. Når en model udarbejder en prisfastsættelsesanbefaling, skal nogen tage ansvar for, om anbefalingen er gyldig for denne kunde, dette marked og dette tidspunkt.
Når AI screener kandidater, skal nogen tage ansvar for, om kriterierne fører til retfærdige og præcise resultater. Når AI genererer en opsummering af overholdelsen af regler, skal nogen tage ansvar for nøjagtigheden af det, der sendes til tilsynsmyndighederne.
Styring, der fungerer under acceleration, ligner mindre en politikmanual og mere et operativsystem. Beslutningsmyndigheden skal navngives på arbejdsgangsniveau. Punkter, hvor mennesker kan tilsidesætte beslutninger, skal designes ind i AI-arbejdsgange i produktion i stedet for blot at blive antaget. Modelændringer skal behandles som systemændringer med test og udtrykkelig godkendelse før implementering.
Her ligger det egentlige svigt
Amodei rejste noget i sit CBS-interview, som rækker langt ud over den militære kontekst. Da han talte om autonome våben, sagde han:
"Forestil dig, at jeg har en hær på 10 millioner droner, som alle koordineres af én person eller en lille gruppe mennesker. Jeg tror, det er let at se, at der opstår problemer med ansvarligheden."
Erstat droner med AI-forstærkede arbejdsgange på tværs af en mellemstor virksomhed. Erstat den ene person med en leder, der blev forfremmet for operationel effektivitet i et stabilt miljø, og som nu fører tilsyn med en blanding af menneskeskabt og maskin-genereret arbejde uden oplæring i, hvordan man skelner mellem velklingende AI-resultater og korrekte AI-resultater.
Det er den retning, vi bevæger os i, hvis vi ikke handler bevidst. Ledere fører implicit tilsyn med AI-forstærkede beslutninger uden at få at vide, at det er en del af deres job, uden præstationssystemer, der tager højde for disciplin omkring validering, og uden tydelige eskaleringsveje, når noget ser forkert ud.
Hvis der om seks måneder opstår et skævt ansættelsesmønster som følge af AI-screening, eller en prisfejl skaleres på tværs af tusindvis af konti, vil svigtet ikke være teknisk. Det vil være, at ingen tog ansvar for tilsynet.
Pentagon antog, at det kunne indlejre Claude i klassificerede operationer og afklare grænserne senere. Anthropic antog, at virksomhedens kontraktmæssige røde linjer ville blive respekteret uden en mekanisme til at håndhæve dem. Begge tog fejl.
Resultatet blev et offentligt brud, en betegnelse for sortlistning, der normalt rettes mod udenlandske modstandere, og et kapløb om at erstatte en model, som uniformerede militærofficerer beskrev som afgørende.
De fleste organisationer vil ikke stå over for så dramatiske konsekvenser. Men det strukturelle svigt vil føles velkendt. AI bliver indlejret. Beslutninger strømmer gennem den. Ingen har tydeligt defineret, hvem der ejer resultatet, hvem der har myndighed til at tilsidesætte det, eller hvad der sker, når noget går galt. Og når spørgsmålet bliver presserende, er det allerede for sent at besvare det roligt.
Hvis du er CHRO eller COO og læser dette, har Pentagon netop udført eksperimentet for dig. Prisen for at finde ud af, hvad der sker, når de mest afgørende styringsspørgsmål udskydes, var et ødelagt forhold, et hul i den nationale sikkerhed og et kapløb, der ikke behøvede at finde sted. Din version af eksperimentet vil være mere afdæmpet. Den bliver ikke billigere.
