Utvikle, lære, skalere. Hva så?
Skifte i styringen: KI-styring må utvikle seg fra retningslinjer til overvåking under kjøring etter hvert som agentisk KI utfører selvstendige handlinger.
Prioritet ved implementering: AWS prioriterer rask implementering av KI fremfor styring, med fokus på læring i produksjon og skalering.
Uavbøtede risikoer: Credo AI katalogiserer 1 600 KI-risikoer, hvorav 15 % mangler risikoreduserende tiltak, noe som skaper bekymring for styringen av agentisk KI.
Ansvarshull: Dagens styringsrammeverk har problemer med å plassere ansvaret for handlingene til KI-agenter som påvirker brukere.
Under en direktedemonstrasjon på HumanX forrige uke førte Mati Staniszewski, medgründer av ElevenLabs, et publikum gjennom en offentlig tjenesteagent bygget på selskapets plattform.
Agenten veiledet en fiktiv bruker gjennom registrering av en virksomhet. Den autentiserte brukerens identitet via WhatsApp. Den hentet dokumenter fra en tilknyttet Google-konto, byttet språk midt i samtalen da brukeren nevnte spansktalende ansatte, og svarte på spørsmål om prosessen for å få selgertillatelse i California.
Deretter spurte brukeren om skatt. Agenten avsluttet samtalen.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Den varslet ikke om usikkerhet. Den eskalerte ikke. Den avsluttet en samtale som en virkelig bruker ville ha antatt ble håndtert, fordi agenten ikke visste at det fantes en skatteavdeling å sende henvendelsen videre til.
Staniszewski løste problemet på scenen i løpet av noen minutter ved å koble virksomhetsagenten til en skatteagent, publisere endringen og starte på nytt. Publikum så en oppdatering av produksjonssystemet finne sted i sanntid.
Det som er verdt å dvele ved, er ikke at agenten mislyktes. Agenter mislykkes. Det er hvordan feilen så ut. Ingen advarsel. Ingen overføring. Ingen oversikt over hva brukeren trengte. Gapet ble først synlig da en bruker gikk rett inn i det.
Sett nå dette scenarioet inn i Revolut, som har tatt i bruk ElevenLabs-agenter blant fire millioner kunder på mer enn 30 språk. Eller i Deutsche Telekom, hvis nettverk nå omfatter agenter som håndterer kundehenvendelser i sanntid. Flaskehalsen, sa Staniszewski, er ikke lenger teknologien. Det er implementeringen.
Den påstanden er både riktig og, for alle som er ansvarlige for hva disse agentene gjør, den viktigste setningen under hele sesjonen.
Modellen styringen ble bygget for
De siste tre årene har virksomheters styring av kunstig intelligens i stor grad vært basert på et håndterbart sett med antakelser. Et KI-system presenterte en anbefaling. Et menneske vurderte den. Mennesket hadde ansvaret for det som skjedde videre. Modellen var ikke perfekt, men den var forståelig. Du kunne peke på hvor en beslutning ble tatt, og hvem som tok den.
Den arkitekturen bryter sammen.
Navrina Singh, grunnlegger og administrerende direktør i Credo AI, har brukt seks år på å bygge det hun beskriver som kategorien KI-styring, med utgangspunkt i den prediktive maskinlæringsæraen og nå dypt inne i den agentbaserte.
På HumanX beskrev hun det sentrale skiftet. Styring handlet tidligere om retningslinjer, men må nå handle om operasjonelle sikkerhetsmekanismer og sikkerhetsmekanismer i sanntid. Forskjellen betyr mer enn det kanskje høres ut som. En retningslinje er noe du skriver, gjennomgår årlig og oppdaterer når noe går galt.
Styring i sanntid innebærer å overvåke hva et KI-system faktisk gjør i produksjon, kontinuerlig, opp mot kriterier som kan måtte endres etter hvert som den underliggende modellen utvikler seg.
Dette skiftet fra retningslinjer til styring i sanntid samsvarer direkte med forskjellen mellom rådgivende KI og agentbasert KI. Rådgivende KI kommer med forslag innenfor et definert område. Agentbasert KI utfører handlinger, setter disse handlingene sammen på tvers av systemer, overfører oppgaver til andre agenter og produserer resultater som ingen enkeltperson har gjennomgått før de inntraff.
ElevenLabs-demonstrasjonen komprimerte dette til noen få minutter. Én innledende brukerinteraksjon førte til autentisering via WhatsApp, dokumenthenting fra Google Workspace, et språkbytte, en sømløs overføring til en annen agent og en proaktiv utgående samtale med tilbud om et tilskuddsprogram. Fem ulike autonome handlinger. Ingen mennesker godkjente hvert enkelt trinn. Det er slik agentbasert KI ser ut på nivået til ett enkelt bruksområde.
I virksomhetsskala blir styringsgapet betydelig vanskeligere å håndtere.
Byggernes regnestykke
Matt Garman, administrerende direktør i Amazon Web Services, var tydelig på hvor verdien av KI i virksomheter faktisk samler seg. De tidlige gevinstene fra generativ KI, innholdsproduksjon og dokumentsammendrag, viker plassen for noe mer grunnleggende.
Agenter er måten de fleste virksomheter og de fleste selskaper kommer til å få mesteparten av verdien sin ut av AI på.
Amazons interne utrullingsspor underbygger denne påstanden. Selskapets Quick Suite-verktøy gir hundretusener av ansatte tilgang til AI-agenter som er koblet til virksomhetsdata på tvers av Salesforce, Workday, e-post og intern dokumentasjon.
Programvareutviklere oppnår omtrent 4,5 ganger høyere produksjon med AI-støtte enn uten. En kodeagent kalt Kiro løste nylig en kundefeil og sendte ut rettelsen på 25 minutter.
Dette er reelle gevinster, og Garman presenterte dem uten å overdrive. Men innebygd i argumentet for utrulling ligger det en prioritert rekkefølge som styringen må forholde seg til. Staniszewski var tydelig på dette.
Flaskehalsen er ikke lenger teknologien. Det er utrullingen. Selskapene som leverer, lærer og skalerer raskt, er selskapene som vil vinne.
Lever. Lær. Skaler. Det er rekkefølgen. Styring inngår ikke i den, ikke fordi den ignoreres, men fordi konkurranselogikken i den nåværende situasjonen belønner hastighet. «Lær»-fasen i denne rekkefølgen skjer i produksjon, med reelle brukere og reelle konsekvenser.
Dette er ikke kynisme. Garman og Staniszewski beskriver hvordan teknologimarkeder fungerer når forbedringstakten for egenskaper er høy og kostnaden ved å vente er reell. Men for CHRO-en som er ansvarlig for AI-beslutninger om arbeidsstyrken, eller COO-en hvis drift omstruktureres rundt agentiske systemer, ser regnestykket annerledes ut. De får ikke ta del i oppsiden ved å gå først. De arver ansvaret når noe går galt.
Et hull ingen har lukket
Credo AI har samlet det Singh beskriver som verdens største arkiv over AI-risikoer, og katalogiserer for tiden rundt 1 600 separate kategorier. De har risikoreduserende tiltak for omtrent 85 % av disse.
De resterende 15 prosentene, omtrent 240 kjente risikokategorier, har foreløpig ingen etablerte risikoreduserende tiltak. Dette er statusen for styring innen rådgivende AI. Agentiske systemer, der flere modeller samhandler, overfører oppgaver og produserer resultater som inngår i ytterligere automatiserte beslutninger, introduserer feilmåter som ikke er fullstendig kartlagt, langt mindre håndtert.
Det vanskeligere problemet Singh identifiserte, er opphavssporing. I et system med flere agenter krever ansvarsplassering at man ikke bare svarer på hvilken beslutning som ble tatt, men hvordan. Altså hvilken agent som bidro med hva, hvilke datakilder som ble konsultert, hvor i kjeden en feil oppsto, og hvordan en korrigering ville spre seg.
De fleste styringsrammeverk ble utformet for å evaluere resultatet fra en modell. De ble ikke bygget for å rekonstruere resonnementet i et sammenkoblet system som opererer på tvers av plattformer, modeller og organisatoriske grenser.
Saahil Jain, teknologidirektør i You.com, som gikk fra forbrukersøk til å bygge søke-API-er for AI-agenter, beskrev det strukturelle problemet. Menneskelige brukere samhandler med informasjon og utøver dømmekraft når det gjelder det de ser. Agenter som konsumerer informasjon, har ikke samme evne til selvkorrigering.
De vil i hovedsak bruke konteksten de får, og sitere til den på en måte som ikke inkluderer mennesker i sløyfen," sa han.
Styringsarkitekturen virksomheter har bygget, forutsetter en menneskelig gjennomgang et sted i kjeden. I løpet av uken på HumanX var uttrykket «agenter som styrer agenter» noe jeg hørte igjen og igjen. Agentisk utrulling ser ut til systematisk å fjerne denne forutsetningen uten å erstatte den med noe strukturelt tilsvarende.
Regelverkene lukker ikke gapet. Singh har rådgitt myndigheter over hele USA, Europa, Australia og India om AI-styring, og hun var tydelig på at det finnes et enormt etterslep.
Regler som er utformet for tidligere maskinlæringssystemer, lar seg ikke uten videre anvende på agentiske arkitekturer. Colorado-loven om kunstig intelligens legger press på konsekvensutredninger. Europeiske krav til personvern og åpenhet strammes inn på nivået for de mest avanserte modellene.
Men tempoet i den agentbaserte utrullingen ligger langt foran enhver reguleringssyklus, og Singh forventer at det vil fortsette å være slik i overskuelig fremtid.
Etterlevelsesgulvet er ikke taket
SOC 2-etterlevelse har blitt et grunnleggende krav ved innkjøp av KI i større virksomheter. Singh beskrev Fortune 500-kunder som, etter et år med omfattende eksperimentering med flere leverandører, nå gransker leverandørene med hensyn til om dataene deres er beskyttet, om ansvarsstandardene deres er dokumentert, og om det å ta KI-en deres inn i virksomheten skaper en samlet risikoeksponering.
Ifølge Singh kommer bare rundt 40 % av KI-leverandørene i produksjon i større virksomheter som følge av dette. Utvelgelsespresset er reelt.
Men SOC 2-etterlevelse og styring av agentbaserte systemer er to forskjellige ting, og å blande dem sammen er en av de mer konsekvensrike feilene markedet for større virksomheter gjør for tiden.
SOC 2 omhandler sikkerhet og tilgjengelighet. Standarden sier noe vesentlig om hvorvidt en leverandørs systemer er beskyttet og pålitelige. Den sier ingenting om hvorvidt beslutningene til en agent kan spores, om resultatene er kontekstuelt korrekte, om den eskalerer særtilfeller på riktig måte, eller om atferden endrer seg etter hvert som modellene under den oppdateres uten varsel.
Dette er spørsmål om styring, og de krever en annen type infrastruktur enn det en etterlevelsessertifisering tilbyr.
Singh beskrev hvordan denne infrastrukturen ser ut i praksis: styringsteam som inkluderer dataforskere, risiko- og personvernspesialister og atferdseksperter, ikke bare sikkerhetspersonell. Uavhengige verifiseringsorganisasjoner, inkludert en fremvoksende standard kalt AIUC, som tester agentbaserte systemer mot etablerte kriterier gjennom eksterne parter. Kontinuerlig overvåking i drift, ikke bare evaluering før utrulling.
Credo AI lanserte nylig en styrings-MCP, som for tiden er i betaversjon, utviklet for å flytte kontrollmekanismene oppstrøms i selve utviklingsprosessen, slik at utviklere kan bygge inn styringslogikk på konstruksjonstidspunktet i stedet for å legge den oppå systemet i etterkant.
Retningen er riktig. Om innføringen går raskt nok til å ha betydning, er et separat spørsmål.
Ansvarsspørsmålet
Garman beskriver KI-transformasjonen hos Amazon med en tydelig optimisme. Salgsteam som bruker mesteparten av tiden sin med kunder i stedet for på administrasjon av salgspipeline, programvareutviklere som frigjøres fra flere år lange restanser, og produkter som lanseres raskere og med større respons på det brukerne faktisk ønsker. Gevinstene er reelle. Logikken er solid.
Men innebygd i bildet av agentbasert utrulling ligger et spørsmål som styringsrammeverkene ikke har besvart på en entydig måte. Når en KI-agent iverksetter en handling som skader noen, hvem har ansvaret?
Stemmeagenten som avslutter en samtale på feil tidspunkt og etterlater en bruker som trengte hjelp. Den finansielle KI-en som feilaktig flagger noen og påvirker tilgangen deres til kreditt. Agenten for HR-screening som nedprioriterer en kandidat basert på kriterier som viderefører historisk skjevhet. Plattformen for personalgoder som automatisk avslår et krav uten menneskelig gjennomgang før avgjørelsen når den som fremmet kravet.
I hvert tilfelle handlet en agent. I hvert tilfelle satte et menneske den i gang. I hvert tilfelle er kjeden mellom beslutning og konsekvens lengre og mer uoversiktlig enn noe eksisterende styringsrammeverk ble utformet for å kartlegge.
Singhs observasjon om å vente fortjener å bli tatt på alvor utover forretningslogikken hun presenterte.
"Mange selskaper sier til oss når vi snakker med dem: La oss vente til en hendelse oppstår, og så kan vi investere i KI-styring hvis vi trenger det," sa hun. "Innen da vil de være irrelevante."
Det er et konkurranseargument. Det finnes også et vanskeligere argument. Etter hvert som agentbasert KI tas i bruk i administrasjon av personalgoder, prestasjonsevaluering, arbeidsstyrkeplanlegging, kundefinansiering og klinisk mottak, har menneskene som mottar resultatene av disse beslutningene legitime interesser i hvordan beslutningene tas, og hvem som svarer når de er feil.
Styringsrammeverk som er kalibrert for KI som rådgiver, er ikke tilstrekkelige for KI som aktør. Utviklerne vet dette. De ruller likevel ut systemene. Vinduet for å bygge ansvarlighet inn i disse systemene før arbeidsflytene organiserer seg rundt dem, står ikke åpent på ubestemt tid.
