Lancér, lær, skalér. Hvad så?
Skift i styringen: Styring af AI skal udvikle sig fra politikker til overvågning i driftstiden, efterhånden som agentisk AI træffer autonome handlinger.
Prioritet ved udrulning: AWS prioriterer hurtig udrulning af AI over styring med fokus på læring og skalering i produktion.
Uafværgede risici: Credo AI katalogiserer 1.600 AI-risici, hvoraf 15 % ikke har nogen afværgeforanstaltninger, hvilket giver anledning til bekymring om styringen af agentisk AI.
Huller i ansvarsplaceringen: De nuværende rammer for AI-styring har svært ved at placere ansvaret for agentiske AI-handlinger, der påvirker brugere.
Under en live demonstration ved HumanX i sidste uge førte Mati Staniszewski, medstifter af ElevenLabs, et publikum gennem en offentlig serviceagent, der var bygget på hans virksomheds platform.
Agenten guidede en fiktiv bruger gennem virksomhedsregistrering. Den autentificerede brugerens identitet via WhatsApp. Den hentede dokumenter fra en tilknyttet Google-konto, skiftede sprog midt i samtalen, da brugeren nævnte spansktalende medarbejdere, og besvarede spørgsmål om processen for at få en sælgertilladelse i Californien.
Derefter spurgte brugeren om skat. Agenten afsluttede opkaldet.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Den markerede ikke usikkerhed. Den eskalerede ikke sagen. Den afsluttede en samtale, som en rigtig bruger ville have antaget blev håndteret, fordi agenten ikke vidste, at der fandtes en skatteafdeling, som den kunne viderestille til.
Staniszewski løste problemet på scenen på få minutter ved at forbinde virksomhedsagenten med en skatteagent, udrulle ændringen og genstarte. Publikum så en live-opdatering af produktionen finde sted i realtid.
Det, der er værd at dvæle ved, er ikke, at agenten fejlede. Agenter fejler. Det er, hvordan fejlen så ud. Ingen advarsel. Ingen overdragelse. Ingen registrering af, hvad brugeren havde brug for. Manglen blev først synlig, da en bruger stødte ind i den.
Forestil dig nu det scenarie i Revolut, som har implementeret ElevenLabs-agenter på tværs af fire millioner kunder på mere end 30 sprog. Eller i Deutsche Telekom, hvis netværk nu omfatter agenter, der håndterer kundeforespørgsler i realtid. Flaskehalsen er ikke længere teknologien, sagde Staniszewski. Det er implementeringen.
Det udsagn er både korrekt og, for alle der er ansvarlige for, hvad disse agenter gør, den vigtigste sætning under hele sessionen.
Den model, som styring blev bygget til
I størstedelen af de seneste tre år har virksomheders styring af AI fungeret ud fra et håndterbart sæt antagelser. Et AI-system fremsatte en anbefaling. Et menneske gennemgik den. Mennesket bar ansvaret for, hvad der skete derefter. Modellen var ikke perfekt, men den var gennemskuelig. Man kunne pege på, hvor en beslutning blev truffet, og hvem der traf den.
Denne arkitektur er ved at bryde sammen.
Navrina Singh, grundlægger og administrerende direktør for Credo AI, har brugt seks år på at opbygge det, hun beskriver som kategorien for AI-styring, først i den forudsigende maskinlæringsæra og nu dybt inde i den agentbaserede æra.
På HumanX beskrev hun det centrale skifte. Styring handlede tidligere om politikker, men nu skal det handle om operationelle sikkerhedsforanstaltninger og sikkerhedsforanstaltninger under drift. Forskellen betyder mere, end det måske lyder til. En politik er noget, man skriver, gennemgår årligt og opdaterer, når noget går galt.
Styring under drift betyder at overvåge, hvad et AI-system faktisk gør i produktionen, kontinuerligt og op mod kriterier, der muligvis skal ændres, efterhånden som den underliggende model udvikler sig.
Dette skifte fra politik til drift svarer direkte til forskellen mellem rådgivende AI og agentbaseret AI. Rådgivende AI kommer med forslag inden for et afgrænset område. Agentbaseret AI udfører handlinger, kæder disse handlinger sammen på tværs af systemer, overdrager opgaver til andre agenter og skaber resultater, som intet enkelt menneske har gennemgået, før de fandt sted.
ElevenLabs-demonstrationen kondenserede dette til få minutter. En indledende brugerinteraktion førte til autentificering via WhatsApp, dokumenthentning fra Google Workspace, et sprogskifte, en problemfri overdragelse til en anden agent og et proaktivt udgående opkald med tilbud om et tilskudsprogram. Fem forskellige autonome handlinger. Intet menneske godkendte hvert trin. Det er sådan agentbaseret AI ser ud på niveauet for en enkelt anvendelse.
I virksomhedsskala bliver styringskløften betydeligt sværere at håndtere.
Byggernes regnestykke
Matt Garman, administrerende direktør for Amazon Web Services, var ligefrem omkring, hvor værdien af AI i virksomheder faktisk samler sig. De tidlige generative AI-gevinster, indholdsskabelse og dokumentopsummering, viger for noget mere grundlæggende.
Agenter er den måde, de fleste virksomheder og de fleste organisationer kommer til at få det meste af deres værdi ud af AI på.
Amazons interne implementeringsspor understøtter den påstand. Virksomhedens Quick Suite-værktøj giver hundredtusindvis af medarbejdere adgang til AI-agenter, der er forbundet med virksomhedsdata på tværs af Salesforce, Workday, e-mail og intern dokumentation.
Softwareudviklere oplever omkring 4,5 gange større output med AI-assistance end uden. En kodeagent ved navn Kiro løste for nylig en kundehenvendelse og sendte rettelsen ud på 25 minutter.
Det er reelle gevinster, og Garman præsenterede dem uden at overdrive. Men indlejret i argumentet for implementering ligger en prioriteret rækkefølge, som governance er nødt til at forholde sig til. Staniszewski gjorde det tydeligt.
Flaskehalsen er ikke længere teknologien. Det er implementeringen. De virksomheder, der lancerer, lærer og skalerer hurtigt, er de virksomheder, der vinder.
Lancér. Lær. Skalér. Det er rækkefølgen. Governance indgår ikke i den, ikke fordi det ignoreres, men fordi den konkurrenceprægede logik i øjeblikket belønner hastighed. Læringsfasen i den rækkefølge foregår i produktionen, med rigtige brugere og reelle konsekvenser.
Det her er ikke kynisme. Garman og Staniszewski beskriver, hvordan teknologimarkeder fungerer, når forbedringen af kapaciteten sker hurtigt, og omkostningen ved at vente er reel. Men for den CHRO, der er ansvarlig for arbejdsstyrkens AI-beslutninger, eller den COO, hvis drift omstruktureres omkring agentiske systemer, ser regnestykket anderledes ud. De får ikke gevinsten ved at være først. De overtager ansvaret, når noget går galt.
Et hul, ingen har lukket
Credo AI har samlet det, Singh beskriver som verdens største arkiv over AI-risici, og katalogiserer i øjeblikket omkring 1.600 særskilte kategorier. De har afværgeforanstaltninger for omkring 85 % af dem.
De resterende 15 procent, cirka 240 kendte risikokategorier, har endnu ingen etableret afværgeforanstaltning. Det er status for governance inden for rådgivende AI. Agentiske systemer, hvor flere modeller interagerer, overdrager opgaver og producerer resultater, der indgår i yderligere automatiserede beslutninger, introducerer fejlsituationer, som ikke er fuldt karakteriseret, og slet ikke afværget.
Det vanskeligere problem, som Singh identificerede, er oprindelse. I et multiagentsystem kræver det at spore ansvarlighed, at man ikke kun besvarer spørgsmålet om, hvilken beslutning der blev truffet, men også hvordan. Det vil sige, hvilken agent der bidrog med hvad, hvilke datakilder der blev konsulteret, hvor i kæden en fejl opstod, og hvordan en rettelse ville forplante sig.
De fleste governance-rammer er designet til at evaluere en models output. De blev ikke bygget til at rekonstruere ræsonnementet i et sammenkoblet system, der fungerer på tværs af platforme, modeller og organisatoriske grænser.
Saahil Jain, CTO hos You.com, som skiftede fokus fra forbrugersøgning til at bygge søge-API'er til AI-agenter, indrammede det strukturelle problem. Menneskelige brugere interagerer med information og udøver dømmekraft i forhold til det, de ser. Agenter, der forbruger information, har ikke den samme evne til selvkorrektion.
De vil grundlæggende bruge den kontekst, de får, og henvise til den på en måde, der ikke inkluderer mennesker i sløjfen," sagde han.
Den governance-arkitektur, som virksomheder har opbygget, forudsætter en menneskelig gennemgang et sted i kæden. I løbet af ugen hos HumanX var udtrykket "agenter, der styrer agenter", noget jeg hørte igen og igen. Agentisk implementering ser ud til systematisk at fjerne denne forudsætning uden at erstatte den med noget strukturelt tilsvarende.
Lovgivningsmæssige rammer lukker ikke hullet. Singh har rådgivet regeringer i hele USA, Europa, Australien og Indien om AI-governance, og hun var direkte omkring eksistensen af en massiv forsinkelse.
Regler, der er designet til tidligere maskinlæringssystemer, passer ikke problemfrit til agentiske arkitekturer. Colorado AI Act presser på for konsekvensanalyser. Europæiske krav til privatliv og gennemsigtighed strammes på niveauet for frontmodeller.
Men tempoet i den agentbaserede implementering ligger langt foran enhver lovgivningscyklus, og Singh forventer, at det vil forblive sådan i en overskuelig fremtid.
Overholdelsesniveauet er ikke loftet
SOC 2-overholdelse er blevet et grundlæggende krav i virksomheders indkøb af AI. Singh beskrev Fortune 500-kunder, som efter et års bred eksperimenteren med flere leverandører nu gransker leverandørerne med fokus på, om deres data er beskyttet, om deres ansvarlighedsstandarder er dokumenteret, og om det at bringe deres AI ind i virksomheden skaber en samlet eksponering.
Ifølge Singh kommer kun omkring 40 % af AI-leverandørerne derfor i produktion i store virksomheder. Udvælgelsespresset er reelt.
Men SOC 2-overholdelse og styring af agentbaserede systemer er to forskellige ting, og at sammenblande dem er en af de mere vidtrækkende fejl, som erhvervsmarkedet begår i øjeblikket.
SOC 2 omhandler sikkerhed og tilgængelighed. Det siger noget væsentligt om, hvorvidt en leverandørs systemer er beskyttede og pålidelige. Det siger intet om, hvorvidt en agents beslutninger kan spores, om dens resultater er kontekstuelt korrekte, om den håndterer særtilfælde korrekt, eller om dens adfærd ændrer sig, når de underliggende modeller opdateres uden varsel.
Det er spørgsmål om styring, og de kræver en anden form for infrastruktur end den, en overholdelsescertificering tilbyder.
Singh beskrev, hvordan denne infrastruktur ser ud i praksis: styringsteams, der omfatter dataforskere, risiko- og databeskyttelsesspecialister samt adfærdseksperter – ikke kun sikkerhedspersonale. Uafhængige verifikationsorganisationer, herunder en ny standard kaldet AIUC, som tester agentbaserede systemer op imod etablerede kriterier gennem eksterne parter. Kontinuerlig overvågning under drift, ikke kun evaluering før implementering.
Credo AI lancerede for nylig en styrings-MCP, som i øjeblikket er i betafase, og som er designet til at flytte sikkerhedsforanstaltninger opstrøms ind i selve udviklingsprocessen, så udviklere får mulighed for at indbygge styringslogik på konstruktionstidspunktet i stedet for at lægge den ovenpå bagefter.
Retningen er rigtig. Om indførelsen sker hurtigt nok til at gøre en forskel, er et separat spørgsmål.
Spørgsmålet om ansvar
Garman beskriver AI-transformationen hos Amazon med en specifik optimisme. Salgsteams, der bruger det meste af deres tid sammen med kunder i stedet for på administration af salgspipelinen, softwareudviklere, der frigøres fra flere år lange efterslæb, samt produkter, der lanceres hurtigere og i højere grad reagerer på det, brugerne faktisk ønsker. Gevinsterne er reelle. Logikken er sund.
Men indlejret i billedet af den agentbaserede implementering ligger et spørgsmål, som styringsrammerne ikke har besvaret klart. Når en AI-agent foretager en handling, der skader nogen, hvem har så ansvaret?
Stemmeagenten, der afslutter et opkald på det forkerte tidspunkt og efterlader en bruger, som havde brug for hjælp. Den finansielle AI, der fejlagtigt markerer nogen og påvirker deres adgang til kredit. HR-screeningsagenten, der nedprioriterer en kandidat på baggrund af kriterier, som indeholder historisk bias. Ydelsesplatformen, der automatisk afviser et krav uden nogen menneskelig gennemgang, før afgørelsen når frem til den, der har fremsat kravet.
I hvert tilfælde handlede en agent. I hvert tilfælde satte et menneske den i gang. I hvert tilfælde er kæden mellem beslutning og konsekvens længere og mere diffus end noget, eksisterende styringsrammer er designet til at kortlægge.
Singhs bemærkning om at vente fortjener at blive taget alvorligt ud over den forretningslogik, hun fremførte.
"Mange virksomheder siger, når vi taler med dem: Lad os vente, til der sker en hændelse, og så kan vi investere i AI-styring, hvis vi får brug for det," sagde hun. "På det tidspunkt vil de være irrelevante."
Det er et konkurrenceargument. Der er også et vanskeligere argument. Efterhånden som agentbaseret AI bevæger sig ind i administration af ydelser, evaluering af resultater, arbejdsstyrkeplanlægning, kunders økonomi og klinisk modtagelse, har de mennesker, der modtager konsekvenserne af disse beslutninger, legitime interesser i, hvordan beslutningerne træffes, og hvem der svarer, når de er forkerte.
Styringsrammer, der er afstemt efter AI som rådgiver, er ikke tilstrækkelige til AI som aktør. Udviklerne ved det. De implementerer alligevel. Vinduet for at indbygge ansvarlighed i disse systemer, før arbejdsgangene organiseres omkring dem, står ikke åbent for altid.
