Hvorfor menneskeligt tilsyn ikke er nok til at holde AI i skak

David Rice: Vi taler om AI-understøttet beslutningstagning, som om menneskeheden aldrig har mødt det før. Claire Maiers har i over et årti studeret mennesker, der arbejder sammen med prædiktive systemer, og hun siger, at vi har glemt den vigtigste lektie: kontekst. I dagens program taler jeg med Claire om, hvad der faktisk er anderledes denne gang, og det er ikke selve eksistensen af maskinanbefalinger.

Vi har haft dem i årevis inden for politiarbejde, prøveløsladelser, rekruttering, Netflix og meget andet. Det anderledes er den kulturelle autoritet, som denne version bærer med sig. Sprog føles mere gennemarbejdet end tal. Konversationelt design får et system til at føles som en kollega eller endda en autoritet, og derfor er det sværere at møde det med et kritisk blik, medmindre man gør det bevidst.

Claires argument fører hen til noget, organisationer endnu ikke fuldt ud forholder sig til. AI har gjort det umuligt at benægte, at organisationer er sociotekniske systemer. Aktørerne er ikke længere kun mennesker, og det betyder, at ledere har en reel beslutning at træffe: ikke om AI skal bruges, men hvor integreret den skal være, og hvilken vision de bygger hen imod.

Det er let at følge flokken. Det er også sådan, man ender med tusindvis af individuelt rimelige AI-understøttede beslutninger, der ændrer, hvem der bliver ansat, hvem der bliver forfremmet, og hvad der belønnes, uden at nogen bevidst har besluttet, at sådan skal virksomheden fungere. Derfor gennemgår vi i dag, hvorfor kontekst – ikke kultur alene – mangler i de fleste AI-samtaler, hvad vi tog fejl af med big data for et årti siden, og om vi gentager fejlen, hvorfor generativ AI har større overbevisende autoritet end tidligere beslutningsstøttesystemer, og hvad det betyder at tage organisationsdesign lige så alvorligt som selve forretningsmodellen.

Jeg hedder David Rice. Dette er People Managing People, og hvis jeres organisation har taget AI i brug, uden at nogen har fastlagt visionen bag det, viser denne samtale, hvorfor det er et organisationsdesignproblem og ikke kun et teknologiproblem.

Mød Teamflect, den bedst bedømte platform til præstationsledelse og medarbejderengagement, udviklet til Microsoft Teams. Over 1.000 organisationer har tillid til løsningen, som er brugervenlig og samtidig på virksomhedsniveau. Besøg Teamflect.com for at få mere at vide.

David Rice: Claire, velkommen til programmet. Det er godt at have dig med.

Claire Maiers: Mange tak. Jeg glæder mig virkelig til vores samtale i dag.

David Rice: Jeg vil gerne begynde med, at der er en tendens til at behandle AI-understøttet beslutningstagning som noget, menneskeheden aldrig tidligere har oplevet. Men du har studeret mennesker, der arbejder sammen med prædiktive systemer, længe før vi fik generativ AI. Hvad lærte vi dengang, som vi på en eller anden måde har glemt, og hvad er virkelig anderledes denne gang?

Claire Maiers: Meget er anderledes, men det, der ligner, er, at vi i lang tid har arbejdet med datapunkter, forudsigelser eller anbefalinger fra systemer, der i høj grad er sorte bokse, ligesom generativ AI er det for de fleste brugere.

Den vigtigste lektie fra mere end et årtis studier af mennesker, der bruger disse systemer som beslutningsstøtte, er, at kontekst betyder meget. Det er den del, der er blevet glemt i mange samtaler. Vi taler ganske vist om kultur, men kontekst rækker ud over kultur eller kan i det mindste opdeles i forskellige dele, som vi kan tænke over, når vi designer organisationer.

Mennesker bruger ikke disse systemer i et tomrum, sådan som de måske blev tænkt, da de blev designet. De bruger dem i en bestemt organisation med bestemte normer. De kommer fra en bestemt faglig tradition og arbejder i en bestemt kultur. Det afgørende ved kulturen er blandt andet, hvordan vi vurderer sandhed, hvad vi anser for viden, og hvordan vi fortolker og anvender systemernes output.

David Rice: Du nævnte sandhed og forståelse af viden. Det virker, som om hver teknologigeneration ankommer med løftet om at erstatte rodet menneskelighed – især dømmekraft – med noget mere objektivt. Det, der måske er anderledes nu, er ikke maskinanbefalingernes eksistens, men deres tilgængelighed og overbevisende kvalitet. Er der fejl fra tidligere beslutningsstøttesystemer, som du ser os begynde at gentage?

Claire Maiers: I de bedste tilfælde har der ofte været en menneskelig afvejning af outputtet. Vi har bestemt set systemer gå galt, for eksempel ved brug af prædiktiv analyse i politiarbejde, vurderinger af tilbagefald og beslutninger om prøveløsladelse. Der har været en overdreven tillid til systemer, som var for rigide til at tage højde for menneskelig virkelighed.

Det var en af de store bekymringer under hypen omkring big data. For ti eller femten år siden blev big data fejret som en måde at besvare spørgsmål på uden menneskelig subjektivitet: Nu kunne vi kende sandheden og behandle datasæt, der var store nok til at forklare verden og give os prædiktiv kraft. Men vi så hurtigt, hvordan det slog tilbage i alt for rigide systemer.

Det, der bekymrer mig mere nu, er forskellen mellem big data og den nuværende version af AI, især generativ AI. AI bærer en større kulturel autoritet. Outputtet består af sprog i stedet for tal, hvilket får det til at virke mere gennemarbejdet. Systemerne er bevidst designet til at føles konversationelle, som en kollega, ven eller autoritet. Psykologisk gør det det sværere at møde dem med et kritisk og spørgende blik, medmindre vi gør det meget bevidst.

Skalaen er også anderledes. De fleste mennesker interagerede ikke med big data-teknologi hver dag, selv om teknologien påvirkede dem gennem reklamer, platforme og myndighedsbeslutninger. Nu kan næsten alle bruge generativ AI direkte. De store teknologivirksomheder har både materiel og symbolsk magt, hvilket giver AI-output en anden form for kulturel og erkendelsesmæssig autoritet.

David Rice: Efter vores forsamtale tænkte jeg på, hvordan big data blev kaldt det enogtyvende århundredes olie. Dengang spurgte folk: Hvad skal man bruge alle de oplysninger til? Det spørger ingen om længere, fordi de ved, hvad oplysningerne kan bruges til. Mange, der har oplevet dataindsamling og brug af data på egen krop, ser nu på AI og tænker, at de ved, hvor det fører hen.

En prædiktiv model gav tidligere en score eller sandsynlighed. Nu kan systemet forklare sig selv, anbefale en handling og argumentere overbevisende for, hvorfor det har ret. Hvad sker der med menneskelig dømmekraft, når systemet producerer den slags information? Hvis vi begynder at stole mere på systemet, stiller vi så spørgsmålstegn ved os selv på andre måder?

Claire Maiers: Jeg vil vende spørgsmålet lidt på hovedet og sige, at vi bør begynde med de resultater, vi ønsker, og derefter designe systemet, så det styrker os i den tænkning, vi ønsker at udføre.

Jeg er ikke imod AI. Der findes fantastiske anvendelser, og jeg er begejstret for meget af det, teknologien kan tilbyde. Men der er ingen grund til, at systemet skal præsentere information på den måde, som de fleste oplever ChatGPT eller Claude. Jeg bruger selv Claude, og nogle gange giver det anbefalinger, selv når jeg udtrykkeligt siger: Fortæl mig ikke, hvad jeg skal gøre. Giv mig bare en række spørgsmål, der kan hjælpe mig videre i min tænkning.

Vi kan designe systemet bedre og opfordre producenterne til at gøre det anderledes. Når vi træffer beslutninger på andre måder, tvinger aktiviteterne hjernen til at gennemgå trin, der aktiverer forbindelser og fører til andre former for bearbejdning og læring. Forskning viser for eksempel, at det at tage noter er læring. Når man tager noter, kategoriserer man, skaber associationer og forenkler information.

Hvis en AI tager noter under et møde i stedet for os, har vores hjerne ikke udført arbejdet. Vi forlader ikke nødvendigvis mødet i samme mentale tilstand eller med de samme indsigter. Det betyder ikke, at AI-genererede opsummeringer ikke kan være nyttige, men værdien ligger ofte i selve handlingen at tage noter, ikke blot i at have noterne bagefter.

David Rice: Det er et godt eksempel. Jeg har ofte forladt et møde og tænkt: Hvad handlede det møde egentlig om? Jeg var mindre engageret, fordi jeg ikke selv tog noter.

Claire Maiers: Ja. Nogle gange ønsker vi ikke at være engagerede, fordi tænkning er krævende. At skabe idéer og bearbejde information kræver energi. Der er forskel på at vide, hvad der er lettest, og hvad der er bedst. Man har det ofte bedre efter et møde, hvor man virkelig deltog, og man er bedre rustet til at hjælpe sin organisation.

David Rice: Når man tidligere tog sine egne noter fra møde til møde, begyndte man også at forbinde det, der blev sagt nu, med noget, man havde hørt tidligere. Med en AI-notetager kan man blive passivt involveret og først tale, når man hører sit navn. Så opdager man måske bagefter, at man burde have sagt noget, men øjeblikket er forbi. Det ændrer måden, man engagerer sig i både teknologien og sit arbejde på.

Claire Maiers: Absolut.

David Rice: I det kliniske miljø, du har studeret, handlede det interessante ikke om, hvorvidt maskinen eller lægen var bedst til en opgave. Praktikerne lærte, hvor maskinen passede ind i en større beslutningsproces. Kan du føre os gennem den sag og forklare, hvad der gjorde det muligt at udvikle forholdet uden enten blindt at følge systemet eller afvise det?

Claire Maiers: Det var omkring ti år siden, men forskningen er stadig relevant. Jeg studerede, hvordan datavidenskab ændrede vores forståelse af, hvad det vil sige at vide noget. En af casestudierne foregik på det medicinske område, hvor jeg fulgte dataloger, der samarbejdede med læger om en teknologi, som skulle forudsige, om patienter ville udvikle sepsis.

Sepsis er et alvorligt syndrom, som kan være svært at identificere og behandle og er ansvarligt for mange dødsfald på hospitaler. Gruppen udviklede en teknologi, der overvågede hjertefrekvensen og på baggrund af disse data forudsagde sandsynligheden for, at et spædbarn på neonatal intensivafdeling ville udvikle sepsis.

Systemet viste en prædiktiv score for sandsynligheden for sepsis inden for de næste 24 timer samt en historik over tidligere scores. Det afgørende var, at systemet ikke blev behandlet som afgørende. Sygeplejerskernes og lægernes erfaringer indgik stadig i beslutningen om behandling.

Babyerne var syge eller raske, uanset hvad monitoren viste. Det gav personalet mulighed for over tid at lære, hvordan systemet reagerede på bestemte patienter eller patientgrupper, og at se forskellen mellem forudsigelse og virkelighed. I arbejdslivet har vi ofte ikke den samme form for virkelighed til at afbalancere AI-understøttede beslutninger.

En anden vigtig faktor var, at behandlingsbeslutningerne fulgte en struktureret og tydeligt formuleret proces. Sygeplejersken undersøgte patienten og indsamlede data, en læge kunne gøre det samme, specifikke prøver blev bestilt, og derefter deltog flere fagpersoner i en samlet vurdering, hvor den ansvarlige læge traf den endelige beslutning.

Hvis vi vil være bevidste om vores beslutninger med AI-systemer, der giver os anbefalinger, har vi brug for en tilsvarende struktureret proces, der passer til den type beslutninger, vi træffer. Det gør det muligt at lære over tid, se hvor beslutninger fejler og indbygge sikkerhedsforanstaltninger.

Etiske retningslinjer betyder også noget. I medicin er alle samlet om det samme mål: patientens helbred. I mange organisationer er det vanskeligere at samle mennesker om et fælles resultat. Politik og andre interesser kommer i vejen. En etisk kodeks eller et organisatorisk charter kan hjælpe med at skabe fælles retning.

David Rice: I marketing kan alle have samme overordnede mål, men meget forskellige syn på, hvordan man når det. Jo mere vi overlader til teknologien, desto mere ved vi, at den kan omgå regler og gøre, hvad der skal til for at fuldføre opgaven. Derfor bliver etiske retningslinjer stadig vigtigere.

Der er også spørgsmålet om ekspertise. Mange af dem, der klarer sig bedst med AI, har allerede et stærkt fundament af erfaring, som gør dem i stand til at vurdere maskinen. Hvad sker der om ti år, når teknologien er standard? Er du bekymret for menneskers evne til at tillægge output den rette vægt?

Claire Maiers: Det er måske det, der bekymrer mig mest. Hele vores marked er orienteret mod kortsigtet værdi og gevinst. Vi risikerer mangel på mennesker med den erfaring, der skal til for at forstå og udfordre maskinen.

En mulig løsning er en model med praktik eller residency, hvor mennesker får eksponering og erfaring og dermed kan opbygge dømmekraft. Men hvis virksomheder samtidig er styret af kvartalsvise mål for vækst og overskud, bliver det svært at finde en forretningsmodel, der giver plads til en sådan ordning. Risikoen er, at den bliver betragtet som et omkostningscenter og derfor er det første, der fjernes i en kortsigtet økonomisk cyklus.

David Rice: Når AI gør organisatorisk viden søgbar, målbar og sammenfattelig, risikerer vi så at privilegere den viden, som maskinen lettest kan se? Hvad sker der med erfaring, intuition og den kontekst, folk kender, men ikke nødvendigvis kan dokumentere eller formulere?

Claire Maiers: Ja, det er vi i risiko for. Meget af det, der får organisationer til at fungere godt, er ikke dokumenteret. Tænk på forskellen mellem det formelle organisationsdiagram og den måde, ting faktisk bliver gjort på. De mennesker, der navigerer godt i organisationer, forstår ofte de uformelle relationer, kommunikationsveje og ansvarsområder.

Organisationer, der lykkes, er enten tættere på det formelle diagram, eller også accepterer de, at meget arbejde udføres gennem uofficielle kanaler og relationer. Det bliver svært at erstatte med AI. Man kan placere mikrofoner overalt og optage alle møder, men det er ikke sikkert, at systemet kan udføre det arbejde, som mennesker udfører gennem de uformelle kanaler.

David Rice: Tilliden er allerede meget lav. Vi skal være forsigtige med løsninger, der overvåger mennesker. Jeg vil hellere forsøge at genskabe den nærhed, hvor idéer naturligt opstår, end at optage alt.

Claire Maiers: Teknologi er hverken god eller dårlig, og den er heller ikke neutral. Hvis vi ønsker gode fremtider for os selv og andre, må vi sige fra og skabe momentum for, at teknologien bruges på en måde, der tilfører værdi til menneskers oplevelse i stedet for at forringe den.

Vi bør ikke nødvendigvis have kameraer og mikrofoner i alle rum og gange. Men hvis vi ikke udtrykkeligt siger, at vi ikke vil gøre det, eller at vi kun vil designe løsninger, der forbedrer den menneskelige oplevelse, risikerer vi at ende et sted, hvor den menneskelige oplevelse er blevet forringet.

David Rice: Hvordan bevarer vi en legitim rolle for intuition og erfaring uden at give mennesker en undskyldning for at ignorere evidens, når den modsiger deres overbevisninger?

Claire Maiers: Du rammer hovedet på sømmet. Evidensbaseret medicin blev blandt andet udviklet som en korrektion af en periode med for meget subjektivitet, hvor mennesker ikke fulgte evidensen. Hvornår bliver intuition til bias? Det handler om at designe konteksten og være specifik omkring, hvordan teknologien skal bruges.

Man kan ikke designe én kontekst, der passer til alle. Det afhænger af organisationens mission, branche og størrelse. Vi må i sidste ende svare på spørgsmålet: Hvordan designer vi et komplet socioteknisk system, som er sundt for mennesker at arbejde i?

David Rice: Virksomheder siger ofte: AI informerer beslutninger, mennesker træffer dem. Men det fortæller ikke, om en medarbejder faktisk føler sig bemyndiget til at afvise systemets anbefaling. Hvad skal være sandt i kulturen, for at menneskeligt tilsyn er mere end et slogan?

Claire Maiers: Først og fremmest skal organisationen være orienteret mod fælles, tydeligt formulerede resultater. Hvis alle er på samme hold og arbejder mod det samme mål, kan man stille spørgsmål uden at blive betragtet som illoyal, besværlig eller politisk. Den bedste idé bør kunne komme fra hvem som helst.

Det andet handler om ejerskab og ansvar. Hvis det er lettest at undgå besvær på arbejdet, og man ved, at man ikke bliver holdt ansvarlig, fordi man kan sige, at AI traf beslutningen, bliver det let at overse de beslutninger, man godkender som menneske i systemet. Når der derimod er et reelt ansvar knyttet til mennesket i systemet, tvinger det en anden grad af opmærksomhed frem.

Men vi skal være forsigtige med at lægge ansvaret på enkeltpersoner, når organisationen har skabt det komplekse system og kræver, at det bruges. Det juridiske ansvar bør muligvis stadig ligge på organisationsniveau eller hos leverandøren af værktøjet. Hvis mennesket i systemet skal fungere, skal personen dog føle en form for ejerskab og ansvar.

David Rice: Det kan blive ceremonielt. Hvis den sikreste karrierebeslutning er bare at acceptere systemet, lærer man hurtigt, hvad organisationen reelt forventer. Hvis man tilsidesætter systemet og tager fejl, bliver man straffet, men hvis man har ret, får man måske ingen anerkendelse. Så er beslutningen i praksis automatiseret.

Claire Maiers: Ja, præcis. Det er ikke et fuldstændigt svar på, hvilken kultur organisationer har brug for, men vi begynder at se brikkerne falde på plads.

David Rice: Du sammenlignede tidligere en junioranalytiker med en stabschef, man har arbejdet sammen med i årevis. Vi kalibrerer vores tillid efter personen, opgaven og erfaringen. Kan vores forhold til AI fungere på samme måde?

Claire Maiers: Til en vis grad. Der findes flere former for tillid. Kognitiv tillid handler om, hvorvidt man mener, at personen kan udføre opgaven godt. Affektiv tillid handler om, hvorvidt man tror, at personen har ens bedste interesse for øje.

Med en junioranalytiker stiller man måske spørgsmålstegn ved den kognitive tillid, fordi personen er uerfaren. Man har heller ikke den samme affektive tillid som til en person, man har arbejdet sammen med i fem år. Når vi vurderer en anbefaling, bør vi derfor se på, hvor anbefalingen kommer fra, hvad vi vil bruge den til, og hvilken risiko der er forbundet med at acceptere den.

De fleste AI-systemer har ikke affektiv tillid, og de kalibrerer ikke nødvendigvis deres indsats efter risikoen ved opgaven. Man kan godt opbygge erfaring med et veludviklet, specialiseret system og lære at fortolke dets output, men det kræver meget. Man bør ikke lægge strategiske beslutninger ind i et tilfældigt chatvindue og derefter stole på anbefalingen.

David Rice: Jeg bruger det hellere til at udfordre min egen tænkning. Jeg giver systemet konteksten, forklarer hvorfor beslutningen er vigtig og beder det stille de spørgsmål, som min administrerende direktør ville stille, så det kan finde huller i mit argument. På den måde kan det være et meget stærkt og nyttigt værktøj. Men jeg vil ikke bare bede det fortælle mig, hvad jeg skal gøre.

Claire Maiers: Det interessante er, at det tvinger dig til at eksternalisere og konkretisere din tænkning. Innovation og kreativitet opstår sjældent isoleret. De opstår i samtaler og social interaktion. I det omfang AI kan simulere den slags samtale og styrke ens egen tænkning, er det en interessant anvendelse.

David Rice: Det er dér, jeg hidtil har fundet den største værdi. Ikke bare at kunne nå mere, men at kunne tænke bedre. Hvis AI bliver indlejret i hverdagsbeslutninger – hvem der bliver ansat, hvordan præstation vurderes, hvilke investeringer der foretages, og hvad ledere skal prioritere – taler vi så stadig om et værktøj? Det føles som en ændring af, hvordan vi ved, hvad vi ved. Hvilket ansvar skaber det for ledere?

Claire Maiers: Organisationer er mere end summen af deres dele. AI har gjort det tydeligt, at organisationer er sociotekniske systemer. Aktørerne er ikke kun mennesker, men også teknologi. Ledere skal derfor beslutte, hvor grænsen går, og hvilken vision de har for organisationen.

Det er ikke uundgåeligt, at AI skal indgå i rekruttering. Markedspres kan gøre det svært at modstå AI-filtre, men den enkelte leder og organisation behøver ikke følge flokken. Den første beslutning er, hvor integreret AI skal være, og hvor vi søger kvalitetsforbedringer – ikke kun produktivitetsgevinster, men også en bedre organisatorisk oplevelse.

Derefter skal man designe konteksten. Det er hårdt arbejde at skabe en sund kultur, men det er arbejde, der kan fastholde organisationens mission og lønsomhed på lang sigt. Man må spørge, hvad der kan automatiseres, hvilke beslutninger der kan automatiseres på en sikker måde, og hvordan man skaber en organisation, hvor mennesker kan sige fra, afvise beslutninger og tænke kritisk.

Det er en enorm opgave, især hvis der ikke allerede findes et fundament af tillid, en tydelig mission eller en kultur, der opmuntrer mennesker til at sige deres mening. Derfor bør man fastlægge visionen og arbejde baglæns derfra. Hvilken samlet kontekst skal skabes? Organisationer bør også samarbejde på tværs af brancher, så AI anvendes på en sund måde, der bidrager til menneskelig trivsel.

David Rice: Jeg kan godt lide idéen om at fastlægge visionen og opbygge konteksten. Når tusindvis af individuelt rimelige AI-understøttede beslutninger samler sig, former de organisationens adfærd – hvad der belønnes, hvem der forfremmes og meget mere. Hvis ingen bevidst beslutter, at sådan skal virksomheden fungere, er det et dårligt sted at være. Det er ikke længere kun teknologiadoption; det er et spørgsmål om organisationsdesign.

Claire Maiers: Det er organisationsdesign. Det bliver ofte nedprioriteret. Topledelsen kan let fokusere på forretningsmodellen og glemme, at organisationen er motoren, der skal føre den ud i livet. Driftsmodellen kræver lige så meget opmærksomhed som forretningsmodellen.

David Rice: Det har været en fantastisk samtale. Tak, fordi du ville være med.

Claire Maiers: Det har været virkelig spændende. Mange tak.

David Rice: Kære lyttere, indtil næste gang. Hvis I ikke allerede har gjort det, så gå til peoplemanagingpeople.com/subscribe eller /ai-signal og tilmeld jer vores nyhedsbreve. Det er AI Signal eller vores almindelige opsummeringsnyhedsbrev.

I får de seneste nyheder fra peoplemanagingpeople.com direkte i indbakken, herunder samtalerne fra denne podcast. Indtil næste gang: Fastlæg visionen, opbyg konteksten. Vi ses.

Gennemfør præstationssamtaler, og få indsigt i medarbejderengagement ind i dit foretrukne AI-værktøj. Forbind Teamflect med ChatGPT, Claude eller en anden stor sprogmodel for at gennemgå mål, skrive evalueringer, vurdere feedback, oprette opgaver og meget mere – alt sammen gennem en enkel chat. Prøv Teamflect gratis nu.