Hvorfor traditionelle AI-risikorammer bryder sammen

David Rice: En juridisk chef i en Fortune 500-virksomhed beskrev det sådan: Hendes virksomhed stod ikke i brand, men det føltes, som om alle gik rundt med en flammekaster. Det er dér, de fleste organisationer befinder sig lige nu – de er opmærksomme på risikoen, men ved ikke, hvor de skal rette slangen hen, og faren kommer ikke udefra. Det er et internt momentum, som ingen ved, hvordan de skal bremse.

I dagens program taler jeg med Reid Blackman, forfatter til The Ethical Nightmare Challenge, om hvorfor traditionelle styringsrammer ikke er bygget til det, der sker lige nu. Dine medarbejdere bruger allerede AI på måder, du ikke har forudset. Du kan ikke forudsige, hvordan de vil bruge AI-agenter, og det eneste håndtag, de fleste ledere kender, er at begrænse adgangen – hvilket reelt ikke er en løsning.

Reid fremhæver noget, der skærer igennem meget af støjen omkring dette. At bevæge sig hurtigt og tage AI-etik alvorligt er ikke et valg mellem to modsætninger. De virksomheder, der behandler det som et enten-eller, skaber netop de katastrofale tillidsbrud, de forsøger at undgå. Og du behøver ikke opbygge et omfattende AI-etisk program fra den ene dag til den anden.

Du kan begynde på projektniveau – med to eller tre teams, et pilotprojekt på ti uger eller blot én ærlig samtale om, hvor mareridtene kan opstå. Så hvad er det første spørgsmål, der er værd at stille i din organisation? Hvad med: Har vi standset op for at identificere, hvilke etiske, omdømmemæssige og juridiske mareridt vores måde at indføre AI på kan føre til?

De fleste organisationer vil, hvis de er ærlige, svare nej, og det er dér, du begynder. I dag skal vi derfor tale om, hvorfor traditionel risikostyring ikke er rustet til generativ AI eller AI-agenter. Hvad der gør agentisk AI til en fundamentalt anderledes styringsudfordring, hvorfor hastighed og etik ikke er modsætninger, og hvad det faktisk koster at bevæge sig hurtigt og ødelægge ting. Og endelig hvordan man starter The Ethical Nightmare Challenge på projektniveau.

Jeg hedder David Rice, og dette er People Managing People. Hvis din organisation endnu ikke har standset op og spurgt, hvad der kan gå galt, og hvem der bliver skadet, viser denne samtale dig, hvorfor spørgsmålet ikke kan vente meget længere. Lad os komme i gang.

Okay, Reid. Velkommen til programmet. Det er godt at have dig med.

Reid Blackman: Tak, fordi jeg måtte komme.

David Rice: Jeg har bogen her. Jeg kan godt lide den. Jeg synes, det er god læsning for alle, der tænker over de etiske udfordringer ved AI.

Reid Blackman: Den er ikke lige min kop te, men jeg er glad for, at du kan lide den.

David Rice: Du beskriver en juridisk chef i teksten – en person i en Fortune 500-virksomhed, som sagde, at hendes virksomhed ikke stod i brand, men at det føltes, som om alle gik rundt med en flammekaster. Det kan jeg godt lide.

Reid Blackman: Ja, ja, det er et citat. Et direkte citat.

David Rice: Det er et stærkt billede, ikke? For det indfanger præcis, hvordan mange ledere har det lige nu. De er opmærksomme på risikoen, men er ikke rigtigt sikre på, hvor de skal rette slangen hen i hele denne AI-situation. Så jeg er nysgerrig: Hvad er efter din mening den strukturelle årsag til, at de fleste organisationer befinder sig dér?

Og hvorfor lukker traditionel risikostyring ikke det hul?

Reid Blackman: Det er et stort spørgsmål. Okay, grunden til, at de har det sådan, er, at der er mange årsager. En af de vigtigste er dog, at de ikke ved, hvilken slags ballade deres medarbejdere kan finde på. For det ved generativ AI og derefter AI-agenter, som vi kan tale om, er, at de kan bruges i så mange forskellige sammenhænge af så mange forskellige mennesker til så mange forskellige formål, at du ikke kan forudsige det.

Du kan simpelthen ikke forudsige alle de forskellige måder, værktøjet vil blive brugt på. Og du ved også, at de her systemer kan udvise bestemte former for adfærd, der krænker privatlivets fred, de kan være forudindtagede eller diskriminerende på forskellige måder, og de kan hallucinere eller bare opfinde oplysninger. Så der er mange måder, det kan gå galt på. Der har været advokatfirmaer og de fire store revisionsfirmaer i nyhederne, fordi de har afleveret kundeopgaver med AI-hallucineret materiale.

Når man derfor kombinerer alle de måder, ting kan gå galt på med AI, med det faktum, at man ikke kan forudsige, hvordan alle ens medarbejdere vil bruge det, er det naturligvis nervepirrende. Alle går rundt med en flammekaster. Hvis der er et svar på dit spørgsmål om, hvorfor standardtilgangen endnu ikke virker, så holder jeg en pause her.

David Rice: Det, der især slår mig ved billedet, er, at det placerer faren i hænderne på de mennesker, der forventes at styre, ikke? Det er ikke en ekstern trussel. Det er det interne momentum, som ingen på nuværende tidspunkt ved, hvordan de skal bremse. Jeg tror faktisk, at det grundlæggende er et ledelses- og kulturproblem, som vi taler om hele tiden, ikke?

Det er lige så meget et styringsproblem.

Reid Blackman: Den eneste måde, de kender til at bremse på, er at begrænse adgangen og lade være med at bruge tingene og værktøjerne. Så de kan forbyde ting-

David Rice: Hvilket reelt ikke er en løsning.

Reid Blackman: Nej. Det er højst en midlertidig løsning. Og det bliver endnu værre med agentisk AI. Når man beder medarbejdere om at bruge de nyeste agentiske systemer, bruge Claude Code eller noget i den stil, og bygge deres egen agent, assistent eller kontrolpanel, kommer tingene virkelig ud af kontrol. For hvem ved, hvad de kan finde på at bygge, hvad de vil bruge det til, og hvordan de vil bruge det i deres arbejdsgange?

Vil de indføre de rigtige former for kontrol? Vil de vide, hvad risiciene er? Og hvordan udøver de deres professionelle dømmekraft i denne meget grå kontekst?

David Rice: Det er så vanskeligt, ikke? Agentisk AI er måske lidt anderledes på grund af den måde, det skal bygges på. Men når vi tænker på store sprogmodeller og generativ AI på arbejdspladsen, synes jeg også, at der er noget interessant ved flammekasteranalogien. HR træder ind i rummet, og tingene er allerede antændt og sprøjter i alle retninger.

For alle er allerede i gang med at tilpasse sig, bruge det og indarbejde det i deres arbejdsgange på måder, du ikke engang kender til eller har tænkt på. Og nu er det en udfordring i sig selv at få overblik over det. Og så kommer man med: “Vi bygger selv hvad?”

Det er en virkelig interessant tid. Jeg bliver ved med at vende tilbage til, at meget af dette faktisk er et valg. Vi implementerer det på forskellige måder, men hvem i direktionen har egentlig bemyndigelse til at træde på bremsen og sige, at presset for at accelerere ikke kommer herfra?

Lige nu kommer det alle steder fra. Det føles, som om det kommer fra bestyrelser, investorer, direktionen og konkurrenterne. Så hvem tager ejerskab for at sige: “Vent lidt. Vi er nødt til at sætte farten ned og stille nogle etiske spørgsmål her”?

Reid Blackman: Ja, ja.

David Rice: Det kan måske føles karrierebegrænsende, men vi vil gerne gøre det ansvarligt.

Reid Blackman: Lad mig hurtigt definere AI-agenter, for jeg tror, det vil hjælpe lytterne, eftersom det er den retning, udviklingen går i.

Sådan som jeg tænker på en AI-agent – og jeg tror bestemt ikke, jeg er alene om det – har en AI-agent typisk en stor sprogmodel i centrum, som en chatbot, man interagerer med. Derefter skal to betingelser være opfyldt, for at der er tale om en agent. For det første skal den være forbundet med andre værktøjer. Du forbinder altså din sprogmodel med internettet og måske med virksomhedens databaser eller virksomhedssoftware som dit CRM-system.

Den kan også være forbundet med andre AI-systemer. Den første betingelse er derfor, at sprogmodellen har adgang til forskellige databaser, softwareprogrammer og andre AI-systemer. Den anden betingelse er, at den udviser en vis grad af autonomi. Det betyder, at du giver den det mål, du ønsker.

I stedet for at sige: “Gå først til denne database og hent oplysningerne, kør dem derefter gennem AI-system nummer to, lav så denne internetsøgning, og bagefter vil jeg have dig til at…” kan du sige: “Jeg vil have, at du sender en e-mail til mine fem vigtigste kunder og skriver sådan og sådan baseret på dette og hint.”

Agenten finder så selv ud af, hvilke værktøjer den skal kalde, hvilke internetsøgninger den eventuelt skal foretage, hvilke databaser den eventuelt skal tilgå, hvilke andre AI-systemer den skal bruge, og hvilken anden software den skal forbinde sig til.

Fordi den selv finder ud af, hvordan den skal forfølge de mål, brugeren har angivet, er den autonom i forhold til midlerne til at nå målene. Hvis din sprogmodel opfylder de to betingelser – den er forbundet med værktøjer, og den kan selv finde ud af, hvordan den skal forfølge de mål, du giver den – har du en AI-agent.

Og så begynder man at forstå kompleksiteten, for agentens udformning er meget kontekstafhængig. Hvem bruger agenten? Hvilke værktøjer er den forbundet med? Hvilke data og hvilken anden software har den adgang til? I hvilken rækkefølge kalder den disse værktøjer eller bruger dem?

Hvilke beslutninger har den bemyndigelse til at træffe? Og så videre. Der opstår en enorm kompleksitet. Man har ikke kun uforudsigeligheden i, hvordan folk vil bruge sprogmodeller alene, altså ren generativ AI. Hvordan de vil bruge AI-agenter, er endnu mere uforudsigeligt.

David Rice: Jeg tror, den anden del af spørgsmålet var, hvorfor traditionel risikostyring ikke lukker det hul. Og jeg synes, du berører kompleksiteten, ikke? AI-agenter – vi skriver ikke nødvendigvis klare jobbeskrivelser for dem i nogle tilfælde, og udvikling over tid er et reelt problem, fordi vi begynder at se dem gøre ting, vi aldrig havde til hensigt.

Så ja, kompleksiteten og den teknologiske forståelse kommer måske til at udvikle sig meget mere. Men jeg ved det ikke. Du må fortælle mig det.

Reid Blackman: Det er alle de ting. Når jeg tænker på, hvordan traditionel AI-styring ser ud – og jeg siger det som en, der har arbejdet med traditionel ansvarlig AI og AI-styring – har jeg i otte år rådgivet store organisationer om AI-styring, ansvarlig AI eller AI-etik. Der er en række problemer med det. Tilgangen er ganske enkelt brudt sammen.

For det første er den meget topstyret og politikdrevet. Hvis du arbejder i en stor organisation, ved du, hvor lang tid det tager at få en politik vedtaget. For en bestyrelse at vedtage en politik, der gælder for hele virksomheden, tager det mindst et år.

Nogle steder tager det to år. Det tager lang tid. Den hurtigste løsning, jeg nogensinde har set, tog ni måneder, og det var med meget kompetente, intelligente beslutningstagere, der handlede hurtigt. Men det tog stadig ni måneder. I mellemtiden springer teknologien fremad.

Den virksomhed med flammekasteren, du taler om, er faktisk en Fortune 500-virksomhed inden for forbrugsvarer. Hun talte om generativ AI i modsætning til snæver AI, omskrev deres politik og så videre. Det var en meget robust politik, sandsynligvis den mest robuste politik, vi nogensinde havde vedtaget sammen med en kunde. Jeg var stor tilhænger af den.

Og så begyndte vi at implementere den, for når man først har offentliggjort politikken, er der ingen, der interesserer sig for den. Ingen står op om morgenen og springer ud af sengen ivrige efter at læse den nye politik.

Så skal man gennemføre en oplysningskampagne. Måske er der tre personer i virksomheden, der interesserer sig for det, men for det meste skal man skabe opmærksomhed om politikken og om, hvordan den gælder. Man skal oversætte den til deres afdeling, deres rolle og deres arbejdsgange.

Det er en proces, der varer flere måneder eller i virkeligheden flere år. Det gjorde vi sammen med den kunde, og så kom agentisk AI. Pludselig implementerede vi en forældet politik, og vi skulle have direktionen og bestyrelsen til at godkende en ny. Man kan se, at det er et rod uden ende. Og det er bare AI.

Vi kan også tale om kvantecomputere og blockchain, hvis du vil. Det teknologiske landskab bliver meget komplekst meget hurtigt, mens den topstyrede politiktilgang er meget langsom. Og når det gælder kompleksiteten i AI-agenter, vil et dokument, der følger af politikken, indeholde en masse procedurer for overholdelse.

Lad os sige, at vi har 20 procedurer. På grund af AI-agenternes kompleksitet og kontekstafhængighed er måske ti af dem relevante. De næste ti er fuldstændig irrelevante for netop din agentiske kontekst. Og der vil være yderligere ti, som slet ikke står på listen, men som er meget relevante for dig i betragtning af, hvad du bygger, og hvordan du bruger det.

Modellen, hvor man fra begyndelsen antager, at man kender alle kontrollerne og alle de procedurer, folk skal overholde for at sikre, at alt foregår korrekt, er ganske enkelt brudt sammen på grund af kompleksiteten i agentisk AI.

David Rice: Du sagde lige noget interessant. Det er antagelsen om, at vi kender alle risiciene, kompleksiteterne og rollerne. Vi ved, at vi ikke gør, ikke?

Reid Blackman: Ja, hundrede procent.

David Rice: Jeg så, at hændelsesdata for AI fra MIT’s register over AI-risici viste, at verificerede fejl næsten blev tredoblet over en fireårig periode mellem 2021 og 2025. Og det er bare det, der bliver rapporteret, ikke?

De fleste bestyrelser behandler AI-etik som et afkrydsningsfelt for compliance. Mange ser det som et IT-problem. Men hvornår bliver den tilgang reelt til et svigt af det betroede ansvar? Hvordan ser ansvarlighed faktisk ud, når et AI-system forårsager reel skade?

Reid Blackman: Mit svar på det spørgsmål har ændret sig gennem årene. Tidligere sagde de mennesker i branchen, som jeg synes er ubehageligt sælgeragtige, altid ting som: “AI-etik og AI-styring bremser dig ikke. Det får dig til at bevæge dig hurtigere, ligesom bremser på en bil får dig til at køre hurtigere.”

Jeg tænkte altid, at det var noget vrøvl. Jeg ville ønske, det var sandt, for så kunne jeg sælge flere ydelser, men det er simpelthen falsk. Men jeg tror, det ændrer sig med agentisk AI. Det tror jeg faktisk. Det skyldes, at det er så åbenlyst, at AI-agenter kan løbe af sporet.

Når man siger, at man vil skabe AI-systemer, som træffer beslutninger i en skala og med en hastighed, mennesker aldrig ville kunne matche på tværs af snesevis af softwareprogrammer, er det let at tænke: “Det lyder, som om det kan gå virkelig galt, virkelig hurtigt.”

Man behøver ikke være teknolog for at tænke, at det lyder vanvittigt. Den autonomi og al den magt, vi har givet agenten, al adgangen til data og værktøjer og potentielt til kunder og klienter, som vi giver sprogmodellen, virker temmelig vild. Så i stedet for bremser tænker jeg nu mere på rattet.

Hvis man ikke ved, hvordan man styrer agenter på den rigtige måde, er det åbenlyst, at tingene vil gå skævt. Og derfor oplever jeg, at flere ledere på højt niveau – især personer i direktionen, som ikke arbejder på teknologisiden – begynder at forstå det.

Tidligere var det typisk teknologichefer, dataansvarlige og informationschefer. Nu siger HR-direktører, driftsdirektører, administrerende direktører og marketingdirektører også: “Ja, det her er vanvittigt.”

David Rice: Det interessante er, at det ikke kun er et juridisk problem. Vi taler ofte om det fra et HR-perspektiv. Det er et kulturproblem, og der er meget, der handler om tillid.

Men der er også et problem med forretningskontinuitet. Er det HR-direktøren, der skal rejse spørgsmålet, før det ender hos jura? Vi ser på sager som Workday- og Eightfold-søgsmålene. Det er ikke marginale aktører. Det er mainstream-HR-teknologi.

Påtager man sig ansvar blot ved at indføre disse værktøjer, uden bevidst at have accepteret det? Det er et wakeupcall om leverandøransvar og om, hvordan vi gennemfører indkøb. Jeg spekulerer også på bestyrelsesdelen, for der er et reelt gab mellem det, bestyrelser siger om AI-styring, og det, de faktisk ved.

Reid Blackman: De har ingen idé.

David Rice: Det var netop mit spørgsmål: Har de overhovedet den nødvendige forståelse til at stille de rigtige spørgsmål?

Reid Blackman: Nej. Når jeg taler med en bestyrelse, bliver jeg ærligt talt slået af, hvor lidt de ved. Det er stadig dag ét. Bestyrelserne i Fortune 500-virksomheder er typisk ældre. De voksede ikke op med internettet eller en personlig computer. De ved meget lidt om AI og bliver ofte intimideret af teknologien.

Mange ikke-teknologer bliver intimideret af teknologien. De tænker, at det er et IT-problem eller noget for dataforskere. De er ikke teknologer, og det er kompliceret. Jeg er ikke matematiker, og jeg kan ikke programmere. Det er noget, andre tager sig af.

Den frygt for ikke at kunne forstå det får dem til at holde AI på afstand, især når det handler om at undgå mareridt og virkelig dårlige situationer med AI. De tænker: “Det hører ikke under mit ansvarsområde.” Det er katastrofalt, især nu.

Noget af det, folk bliver ved med at fremhæve ved generativ og agentisk AI, er, at det demokratiserer AI og lægger AI i alles hænder. Det er fantastisk. Selvom jeg fokuserer på etiske mareridt, er jeg ikke skeptiker. Jeg synes, AI er fantastisk, og jeg bruger det hver dag.

Men hvis vi skal demokratisere AI – hvilket vi er nødt til for at få det fulde udbytte – skal vi gøre folk trygge ved at tale om det. Vi skal have alle til at tænke over det på en måde, der ikke virker intimiderende. Vi skal sænke adgangstærsklen for meningsfulde samtaler om risiciene og om, hvordan man undgår dem.

David Rice: Vi er kun mellem seks måneder og et år inde i, at HR-folk for alvor er begyndt at tage det til sig og føle sig mere trygge ved at bruge det. For blot et år siden talte jeg med mange, der følte: “Jeg er ikke kvalificeret til at bruge det.”

De var inden for HR, og man måtte udfordre den fortælling. Vi kunne se potentialet i, hvad de kunne bygge og gøre, men det var i begyndelsen intimiderende for mange. Jeg forestiller mig, at det især gælder bestyrelser, som måske er kommet dertil ad helt andre veje end gennem naturlig tilegnelse af teknologi.

Reid Blackman: Jeg vil nævne et par ting. Jeg holdt en præsentation for en biotekvirksomhed, hvor jeg forklarede AI, risici og bias. Jeg gav et eksempel på AI i HR, måske bare snæver AI til at score CV’er.

En complianceperson skrev febrilsk i chatten: “For en god ordens skyld: Politikken er, at ingen må bruge AI på nogen måde i forbindelse med rekruttering.” Jeg har set folk gå helt i panik over “Brug ikke AI i HR”.

Det andet er, at den standardtilgang, jeg talte om tidligere, kræver, at en person fra direktionen på teknologisiden leder indsatsen, fordi det er de eneste, der føler sig trygge ved det. Det bliver typisk informationschefen, sikkerhedschefen eller dataansvarlige.

HR-folk er normalt ikke dem, man går til først. De er dog ofte blandt de første afdelinger, hvor politikken implementeres, fordi de håndterer så mange følsomme data og træffer beslutninger med så store konsekvenser.

Det, vi har brug for nu, er en løsning, der hurtigt kan implementeres og skaleres, og som kan begynde hvor som helst. En HR-direktør skal kunne sige: “Vi må finde ud af, hvordan AI-styring ser ud for HR. Vi venter ikke på en politik for hele virksomheden. Det tager for lang tid. Vi må selv løse problemet og finde ud af, hvordan HR undgår de mareridt.”

Vi har brug for en tilgang, der hurtigt kan implementeres og skaleres, som kan komme ind flere steder i organisationen og ikke venter på, at hele direktionen eller bestyrelsen gør noget.

Det mindre neutrale synspunkt er mit eget: Afdelingslederne skal samles om at identificere de potentielle etiske, omdømmemæssige og juridiske mareridt for deres afdeling. Hvilke ressourcer har HR brug for for at undgå dem, og hvordan skal HR-medarbejderne oplæres i at bruge ressourcerne effektivt?

Jeg tror, vi har brug for noget, der kan implementeres hurtigt. Vi kan ikke vente på, at jura kommer ind i billedet.

David Rice: Jeg er enig. Den konventionelle ramme for ansvarlig AI er bygget til snævre og forudsigelige systemer. Du argumenterer i bogen for, at den allerede er forældet, mens de fleste organisationer ikke er fulgt med.

Er forsinkelsen et spørgsmål om benægtelse, hastighedspres eller om, at de mennesker, der lægger strategien, ikke forstår, hvad de implementerer?

Reid Blackman: Der er flere måder at besvare det på. Vi har arbejdet med mange kunder, og forskellige organisationer støder på forskellige barrierer på forskellige tidspunkter.

Vi arbejder måske med en bank, hvor chefen for AI-innovation udvikler et ansvarligt AI-program. Så opdager modelrisikostyringen, som er en anden afdeling, det og siger: “Vent, hvad laver I? Det er vores område.” Så opstår der politisk kamp.

Et andet eksempel er, at vi får vedtaget en politik og forsøger at implementere den i en afdeling, hvorefter afdelingslederen siger: “Hvad vil I? Det vil jeg ikke.” Selvom politikken er vedtaget, støder man på en ny barriere under implementeringen.

En kollega sagde til mig: “De er ligeglade med etik.” Men jeg tror faktisk ikke, det er problemet. Vi arbejder for det meste med gode mennesker, der gerne vil gøre det rigtige. De vil selvfølgelig også gøre det rigtige for deres brand og organisation. Meget af det handler om omdømmemæssig risikostyring.

En af grundene til, at vi støder på så mange barrierer, er, at vi forventer, at data- eller informationschefen skal stå for organisatoriske forandringer. Det er en stor opgave, og de ved ikke nødvendigvis, hvordan man gør, fordi de er teknologer.

De sidder i direktionen, fordi de var gode til at lede teknologiteams. De er aldrig blevet oplært i at række ud til HR-, drifts- eller marketingdirektøren. Derfor er der en forsinkelse.

Min første reaktion var, at vi skulle hjælpe kunderne med den organisatoriske forandring og lære dem, hvordan man gennemfører den. Men senere indså jeg, at problemet ikke er, at den politiske opgave er stor. Problemet er, at vi fra begyndelsen giver dem en alt for stor politisk opgave.

Vi skal finde en løsning, der ikke kræver en enorm mængde enighed blandt topledere for at skabe fremskridt. Vi skal begynde mindre, arbejde i dele og udvide derfra i stedet for at kræve topstyret enighed på administrerende direktør-niveau.

Det er en væsentlig årsag til forsinkelsen. Standardtilgangen til AI er meget langsom, blandt andet fordi det tager lang tid at skabe den politiske vilje og det momentum, der skal til for at vedtage en politik, implementere den og integrere den i arbejdsgangene.

David Rice: Ved større teknologiske skift, hvor udviklingen overhaler institutionernes reaktion, har vi rammer, der føles bedre end ingenting. Derfor bliver vi ved med at bruge dem, selv når de underliggende antagelser ikke længere holder.

Der er også en menneskelig dimension. Mange ledere har opbygget disse rammer i god tro og investeret deres troværdighed i dem. Det kan føles ubehageligt at anerkende, at de skal skrottes.

For enhver HR-direktør og driftsdirektør, der lytter, er det værd at sige: Hvis jeres styringssystem blev udformet, før agentiske systemer kom på radaren, bliver det hurtigt forældet. Det beskytter jer ikke længere. Det er ikke en kritik af det, I gjorde, men en realitet ved den hastighed, udviklingen bevæger sig med.

Reid Blackman: Jeg har sagt, at hvis man vil bruge dele af min første bog som optændingsmateriale, er det fint. Den var god dengang. Jeg ved ikke, om vi tog fejl, men vi tog tilstrækkeligt fejl. Vi fremtidssikrede den ikke nok, fordi vi ikke vidste, hvad der kom.

Jeg vidste ikke, at ChatGPT var på vej. Jeg vidste ikke, at AI-agenter var på vej, før i februar 2024. Den gamle tilgang var rimelig for snæver AI, men den er ikke bygget til den agentiske verden. Glem den.

David Rice: I 2022 ville jeg have sagt, at man skulle være dataforsker for at forstå AI. Nu foregår der en million ting. Alle bruger det, og det vil kun brede sig. Det bliver mere kompliceret og får flere mennesker til at forsøge ting, vi ikke kan forudsige.

Reid Blackman: Det fremhæver et vigtigt punkt: Vi skal forbedre den klare kommunikation. Alle forsøger at forstå AI, men dataforskere ved ikke nødvendigvis, hvordan de skal tale med HR eller driftsdirektører – og omvendt.

Med al denne kompleksitet bliver det meget værre, hvis vi taler om landskabet med forskellige og uklare sprog. Spørgsmålet er derfor, hvordan vi skaber et klart sprog til at tale om det.

Vi har brug for kommunikationen for at forstå landskabet og for at kunne samarbejde. Agenter kan udføre opgaver på tværs af afdelinger og funktioner. Derfor skal afdelinger samarbejde om at bygge, overvåge og kontrollere AI-agenter.

Det er en af grundene til, at bogen hedder The Ethical Nightmare Challenge, og at jeg bruger ordet mareridt. Alle ved, hvad et mareridt er. Det er ikke teknisk eller fyldt med fagudtryk. Hvad er mareridtsscenarierne her?

Folk i HR kan besvare det spørgsmål. Det ville være et reelt mareridt, hvis vi opdagede, at vi brugte AI på en måde, der systematisk frasorterede kvinder over 40 år. Det kan man sige klart.

En HR-medarbejder kan sige til en dataforsker: “Vi kan godt lide det, du laver, men her er et mareridt, vi er bekymrede for ved den AI-løsning, du leverer.” Så taler vi om konkrete resultater, vi vil undgå, i stedet for indviklede standardprocedurer og principper.

David Rice: Bogen beder ledere forestille sig de værst tænkelige, men plausible resultater af deres AI-systemer, før de sker. Det lyder indlysende, men det er tydeligvis ikke almindelig praksis.

Hvad sker der i de sessioner, som ledere ikke forventer, og hvad fortæller en sådan gennemgang om, hvor godt organisationen egentlig kender sin egen AI-stak?

Reid Blackman: Det gør de ikke. Mareridtstilgangen har været øjenåbnende for mange. Og du har ret: Hvorfor starter vi ikke dér?

Jeg ved, hvorfor jeg personligt ikke gjorde det. Jeg var filosofiprofessor og specialiserede mig i etik. Etikere taler normalt om det gode og det rigtige. Vi taler om det forkerte og det tilladelige, men mareridtsscenarier er typisk ikke vores område.

Fra et risikoperspektiv er tilgangen normalt meget procedureorienteret. Det handler om, hvorvidt man kun indsamler så mange data, som man har brug for, og ikke mere. Den måde, etikere og risikofolk tænker på, førte ikke naturligt til at identificere de værst tænkelige scenarier.

I ingeniørarbejde er det standard at undersøge, hvordan et fly kan gå i stykker, og forsøge at forhindre det. I AI-området har det bare ikke været den normale tilgang.

Da jeg begyndte at tænke på The Ethical Nightmare Challenge, var første trin at spørge, hvilke etiske AI-mareridt der gælder for organisationen. Det virkede indlysende, da jeg først formulerede det, og jeg følte mig bekræftet, da jeg så, at det også bruges inden for andre former for ingeniørarbejde.

Tidligere begyndte samtaler på bestyrelsesniveau med værdier: retfærdighed, gennemsigtighed, ansvarlighed og privatliv. Derefter spurgte man: “Hvad betyder det egentlig, at vi går ind for retfærdighed?” Alle kiggede på hinanden og vidste det ikke.

Hvis værdierne skulle gøres virkelige, oversatte man dem til procedurer. Retfærdighed betød eksempelvis, at man skulle kontrollere for bias i hvert trin af AI-systemets livscyklus. Gennemsigtighed betød, at man skulle informere slutbrugere om, at de interagerede med AI.

Samtalen blev så til et spørgsmål om, hvorvidt man ville følge procedurerne. På direktion- og bestyrelsesniveau er det kedeligt og for teknisk. Men det var det eneste, vi gjorde med værdierne.

Når jeg nu spørger ledere, hvilke mareridtsscenarier der findes, har de et langt bedre greb om svaret. De ved, hvordan noget virkelig dårligt ser ud, og de kan lettere skabe enighed om det dårlige end om det ideelle.

Det er ikke perfekt, og der vil stadig være uenighed, men der er langt mindre friktion.

David Rice: Det er også motiverende og skaber den rigtige form for hast. Ingen siger: “Vi må hellere komme i gang med disse procedurer.”

Reid Blackman: Ingen bliver begejstrede for, hvordan procedurerne realiserer værdien retfærdighed. Men når man tænker på mareridtsscenarierne og sandsynligheden for, at de opstår, begynder man at ligge vågen om natten. På den rigtige måde. Så vil man gøre noget ved det.

David Rice: Det gode ved mareridtssamtalen er, at den giver en struktureret måde at bevæge sig mod intellektuel ærlighed på. Organisationer er ikke nødvendigvis gode til den form for ærlighed, når der er momentum og investeringer bag noget.

Det kræver en kultur, hvor man kan sige det ubehagelige uden at blive opfattet som negativ eller som dommedagsprofet. Derfor fungerer din proces også som en slags diagnose af kulturen.

Reid Blackman: Det er en god måde at formulere det på. Det er også en måde at opbygge en etisk kultur på, uden at det kræver andet end den mest grundlæggende psykologiske tryghed: “Sådan gør vi her.”

The Ethical Nightmare Challenge består grundlæggende af tre spørgsmål: Hvilke etiske AI-mareridt har din organisation? Hvilke ressourcer har I til at undgå dem? Og hvordan oplærer I jeres medarbejdere i at bruge ressourcerne effektivt?

De tre spørgsmål kan bruges på ethvert niveau. For en bestemt AI-løsning kan man spørge, hvilke mareridt der findes, hvilke ressourcer man har, og hvilken oplæring udviklere eller slutbrugere har brug for. Man kan også stille spørgsmålene på afdelings-, divisions- eller koncernniveau.

Alle bør oplæres i de tre spørgsmål og i, hvad AI er, samt hvilke mareridtsscenarier der er indbygget i AI – bias, hallucinationer, automatiseringsbias og kaskaderende fejl i agentiske systemer.

Når man indkøber løsninger fra leverandører eller udvikler AI internt, kan man oprette ENC-teams. ENC står for Ethical Nightmare Challenge. Teamets opgave er at besvare de tre spørgsmål.

Et ENC-team bør være tværfunktionelt og eksempelvis bestå af personer fra HR, dataanalyse, jura, risiko og compliance. Ideelt bør en repræsentant for leverandøren også deltage. Nogle af ressourcerne til at undgå mareridtene vil ligge hos leverandøren, andre internt.

Man kan ikke bare samle eksperter i et rum og sige: “Løs problemet.” Derfor har jeg udviklet en metode i syv trin. Teamet udfylder et arbejdsark, identificerer mareridtene og vurderer sandsynligheden og konsekvensen. På den måde får man en samlet risikoscore og kan prioritere, hvilke mareridt der skal undgås først.

ENC-teams kan oprettes efter behov. Hvis HR arbejder meget med AI, mens marketing ikke gør, kan man oprette et ENC-team i HR, men ikke nødvendigvis i marketing. Hvis én AI-løsning er højrisiko, og en anden er mindre vigtig, opretter man et team til den første.

Ved at oprette ENC-teams skaber man organisatorisk kapacitet til at undgå etiske mareridt. Jo mere organisationen bruger det samme sprog og de samme praksisser, desto mere bliver det en del af kulturen.

David Rice: Fra et people operations-perspektiv bør det ske før implementering og ikke efter en hændelse. Mange HR-ledere føler, at de hele tiden reagerer i stedet for at forudse. Hvordan bygger man forudseenhed ind i de indledende processer?

Reid Blackman: Projektbaserede ENC-teams arbejder proaktivt. De forsøger at finde ud af, hvad der kan gå galt, før det sker. De identificerer mareridtene og skaber ressourcer og oplæring til at undgå dem.

De skal også udvikle værktøjer til at overvåge AI efter implementeringen. Man kan ikke bare sætte systemet i gang og glemme det. Man skal finde ud af, hvad løbende overvågning betyder for den konkrete løsning.

På afdelingsniveau kan et ENC-team stille de tre spørgsmål: Hvilke mareridt skal vi undgå? Hvilke ressourcer har vi? Hvilken oplæring har vi brug for? Det er proaktivt og hjælper afdelingslederne med at gentænke deres rolle i forebyggelsen af mareridt.

ENC-teams er grundlæggende problemløsere, ikke enheder, der blot kontrollerer procedureoverholdelse. Afdelingslederne skal ikke kun udstikke regler; de skal hjælpe med at løse problemet.

Det kan være ekstra specialiseret oplæring, et mareridtsregister for HR, et bibliotek med strategier og taktikker eller månedlige og kvartalsvise rundbordssamtaler mellem projektledere. Alt dette er både problemløsning og proaktivt arbejde.

David Rice: Agentisk AI ændrer risikoberegningen. Systemerne svarer ikke bare; de tager initiativ, kæder beslutninger sammen og handler på organisationens vegne. For en driftsdirektør eller HR-direktør, hvis medarbejdere arbejder sammen med autonome agenter, ændrer ansvarligheden sig. Hvem har ansvaret, når noget går galt?

Reid Blackman: ENC-teams er det første lag. Men hvis man træder tilbage og spørger bredere, er ansvaret ikke nødvendigvis indlysende.

Jeg tænker på det som et helikopterstyrt. Hvem er ansvarlig? Var det en designfejl, en produktionsfejl, en vedligeholdelsesfejl, en pilotfejl eller en fejl i flyvekontrollen? Der er mange muligheder, fordi mange teams har haft ansvar for forskellige dele.

Det samme gælder AI-agenter. Vi forestiller os dem som personer eller sammenhængende enheder, men de består reelt af værktøjer, der er sat sammen. Måske gik noget galt, fordi et tilsluttet værktøj svigtede. Måske var det leverandøren af værktøjet, udvikleren af sprogmodellen eller virksomheden, der tilpassede grundmodellen.

Der findes ikke et generelt svar på, hvem der har skylden, når AI-agenter går galt, ligesom der ikke findes et generelt svar på, hvem der har skylden, når helikoptere styrter.

David Rice: Det agentiske skift opløser det menneskelige beslutningspunkt, vi normalt føler os trygge ved at eje. Men det er dér, ansvaret normalt ligger.

Reid Blackman: Man kan placere et vist ansvar hos den person, der godkendte løsningen. Det kan være uagtsomt eller uforsvarligt at godkende en AI-løsning. Men personen godkender samtidig noget, der grundlæggende er uforudsigeligt, og der kan opstå problemer, som ikke med rimelighed kunne forudses. I så fald er det ikke nødvendigvis rimeligt at holde personen ansvarlig.

David Rice: Mange organisationer er heller ikke fuldt ud klar over, hvad deres medarbejdere arbejder sammen med. Hvis de ikke ved, at de arbejder med eller bliver vurderet af AI, er der en dimension af gennemsigtighed og samtykke, der rækker ud over compliance.

Det handler om tillid. At skjule det er som at hælde benzin på bålet.

Reid Blackman: Ledere er bange for at tale med medarbejderne om dette. De tror, at medarbejderne ikke vil tage AI til sig, hvis man taler om risiciene og det dårlige.

Men problemerne er virkelige. Man løser dem ikke ved at stikke hovedet i sandet og sige, at alt er godt. Hvis man vil løse et problem, må man navngive det.

Psykologisk er det også en fejl at lade, som om problemerne ikke findes. Mange medarbejdere er urolige og ved ikke, hvad AI er. Hvis man siger: “Bare rolig, det er fantastisk,” øger det ikke nødvendigvis anvendelsen. En bedre tilgang er at sige: “Vi vil gerne have, at I bruger teknologien mere. Vi ved, at der er problemer, og vi vil give jer en måde at bruge den ansvarligt på, der stemmer overens med jeres professionelle dømmekraft.”

David Rice: Vi bør stoppe med at bløde sproget op for at gøre ting mere behagelige. Hvis vi kalder mareridt for noget andet, bliver problemet ikke mindre. Hvorfor ikke bruge ord som katastrofe?

Reid Blackman: Katastrofe? Jeg kommer fra filosofien, hvor vi gerne vil forklare problemet direkte og i et klart sprog. AI er fantastisk, men vi behøver ikke smile hele tiden. Vi kan godt anerkende, at der er alvorlige problemer ved teknologien.

David Rice: Folk har brugt nye værktøjer og ny teknologi før. Hvis man ikke giver dem nyttige måder at bruge AI på og en klar retning, finder de selv ud af det – og man bryder sig måske ikke om, hvad de finder på.

Reid Blackman: Det minder om en afholdenhedspolitik: “Lad være med at bruge det. Rør det ikke. Vi har en streng politik.” Det virker ikke. Det første, medarbejderne gjorde, var at åbne chatgpt.com.

David Rice: Etiske mareridt opstår sjældent på grund af ondsindede intentioner. De opstår, fordi velmenende mennesker bevæger sig hurtigt i systemer, de ikke helt forstår, eller som ikke er designet til at bevæge sig så hurtigt.

Hvordan overbeviser man en administrerende direktør, der mener, at den største risiko er at sakke bagud, og som vil se produktivitetsgevinster og høj hastighed?

Reid Blackman: Jeg mener ikke, der er nogen modsætning. Hvis man vil bevæge sig hurtigt og konkurrere, skal man uddanne medarbejderne grundigt. Man kan ikke kun lære dem om mulighederne og ignorere risiciene.

AI-agenter vil gå af sporet, hvis de ikke udvikles, overvåges og anvendes korrekt. Hvis man beder alle løbe af sted, så snart startskuddet lyder, vil de snuble ud af startblokkene. Man skal lære dem, hvordan de undgår at snuble.

Det er den eneste måde at få dem til at bevæge sig hurtigere på. Hvis de ikke forstår, hvor let AI kan gå galt, skal man lære dem det og lære dem at udøve deres professionelle dømmekraft.

David Rice: En vigtig omformulering er, at etisk AI-svigt ikke kun rammer dårlige aktører eller virksomheder, der skærer hjørner. Det rammer også organisationer, der bekymrer sig dybt, men bevæger sig hurtigere, end deres dømmekraft kan følge med til.

Reid Blackman: Det er en god måde at sige det på: at bevæge sig hurtigere end menneskelig dømmekraft.

David Rice: Det ændrer også indgrebet. Det handler ikke nødvendigvis om at installere etik som et regelsæt, men om at opbygge kapaciteten til at sætte farten ned på de rigtige tidspunkter. I en hastighedsbesat kultur er det reelt kontrakulturelt.

Reid Blackman: Det er sådan, man får “bevæg dig hurtigt og ødelæg ting”. Måske er man amoralsk, og indtægterne overstiger bøder og omdømmeskader. Men hvis man bekymrer sig om sit brand, bør man ikke bevæge sig sådan.

Der er ingen modsætning mellem hastighed og etik. Jeg bruger selv AI til alle mulige ting, selvom jeg er etikeren. Det skyldes, at jeg forstår, hvordan ting kan gå galt, ved, at jeg skal kontrollere oplysningerne og kan modstå min egen tilbøjelighed til at stole på computeren.

Det er derfor forkert at tro, at man enten bevæger sig hurtigt og ødelægger ting, eller at man ikke kan bevæge sig hurtigt.

David Rice: Den reelle risiko er et stort, katastrofalt svigt, der ødelægger offentlighedens tillid og sætter virksomheden tilbage. Hvad med at bevæge sig i et normalt tempo og gøre tingene bedre?

Reid Blackman: Mange spørger, hvorfor virksomheder skal tage AI-styring alvorligt. Der findes ikke ét afgørende argument, der overbeviser alle virksomheder og skeptikere.

Men for virksomheder, der ikke har ubegrænsede ressourcer eller et brand, der kan overleve alt, er der åbenlyse grunde til ikke at bevæge sig hurtigt og ødelægge ting. Brandet kan ikke holde til det, og etisk bør man heller ikke ødelægge ting, der ikke bør ødelægges.

David Rice: Hvis en leder i direktionen har nikket med under denne samtale og erkender, at de nuværende rammer ikke er tilstrækkelige, hvordan skal den første seriøse samtale i organisationen så se ud, og hvem skal være med?

Reid Blackman: Der behøver ikke være en masse mennesker i rummet. The Ethical Nightmare Challenge kan begynde på afdelings-, divisions- eller projektniveau.

Hvis der kun skal stilles ét spørgsmål, bør det være: Har vi standset op og identificeret, hvilke etiske, omdømmemæssige og juridiske mareridt vores indførelse af AI kan føre til?

Hvis svaret er ja, er det godt. Men jeg vil vædde på, at svaret bliver nej. Så må man begynde dér.

David Rice: Det praktiske ved det er, at det kan begynde forskellige steder – selv på projektniveau. Man behøver ikke opbygge et omfattende AI-etisk program fra den ene dag til den anden. Man skal begynde med mindst én ærlig samtale om, hvor virksomheden står.

Reid Blackman: Det er noget, vi nu kan gøre med kunder, som vi ikke kunne gøre med standardtilgangen. Vi kan afprøve The Ethical Nightmare Challenge. Vi kan identificere to eller tre teams, oplære dem og gennemføre metoden i et pilotprojekt på ti uger.

Hvis det ikke virker, eller hvis det viser sig, at man ikke har brug for det, stopper man. Det er en lille ting at begynde med. Man kan derefter vurdere, om det skal skaleres. Man behøver ikke starte med en stor og tung opgave.

I stedet for at pilotere en politik for hele virksomheden i et år eller mere kan man begynde småt. Det kan og bør man gøre.

David Rice: Fremragende, Reid. Tak, fordi du kom med i programmet. Det har været fantastisk at tale med dig, og jeg har nydt samtalen.

Reid Blackman: I lige måde. Tak, fordi jeg måtte komme.

David Rice: Lyttere, husk at tjekke Reid Blackman og hans bog The Ethical Nightmare Challenge. Giv den et grundigt kig og nogle overvejelser. Der er mange gode spørgsmål og meget, vi alle bør tænke over.

Hvis du ikke allerede har gjort det, så gå ind på peoplemanagingpeople.com/subscribe og tilmeld dig nyhedsbrevet. Du får denne podcast og alt andet, vi skaber, direkte i din indbakke.

Indtil næste gang: Lad os gøre det til en vane at spørge: “Hvad kan gå galt her, og hvem bliver skadet?” i stedet for: “Hvor hurtigt kan vi sende det ud?” Vi ses næste gang.