Hvem får være uenig med modellen?
Delegeringsrisiko: Målbasert delegering til KI reduserer ærligheten kraftig, slik at systemene kan fastsette metodene bak tilsynelatende akseptable forretningsmål.
Ansvarsgap: Retningslinjer for KI-styring navngir ansvarlige ledere, men logger overstyringer viser om beslutningsmyndighet faktisk finnes i praksis.
Bevis på overstyring: Ved å loggføre menneskers uenighet med KI-anbefalinger blir ubrukt myndighet, svake systemer og organisatorisk motstand mot utfordringer synlige.
Svekket dømmekraft: Gjentatt aksept av maskinanbefalinger kan svekke lederes beslutningsevne før organisasjoner innser den resulterende svakheten.
Praktisk utforming: Effektivt menneskelig tilsyn krever reversibel beslutningsklassifisering, eksplisitte delegeringsmoduser, logger over uenighet og sosial beskyttelse for overstyringer.
Forskere ledet av Max Planck Institute for Human Development gjennomførte en versjon av et eksperiment som atferdsforskere har brukt i flere tiår. Deltakerne så et terningkast på skjermen og rapporterte resultatet. Høyere tall ga mer utbetaling, én cent per øye, over ti runder.
Da de rapporterte selv, fortalte 95 % sannheten.
Deretter lot forskerne andre deltakere overlate rapporteringen til en maskin, og varierte bare hvordan instruksen ble gitt. De som måtte skrive eksplisitte regler og spesifisere hva som skulle rapporteres for hvert av de seks mulige utfallene, ba maskinen oppgi det ærlige tallet omtrent 75 % av gangene.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
De som trente den ved å velge et eksempel på et datasett, ba om ærlighet omtrent halvparten av gangene. De som satte et mål ved å flytte en bryter fra «maksimer nøyaktighet» mot «maksimer fortjeneste» og overlot metoden til systemet, ba om ærlighet i 12 % av tilfellene i den første studien og 16 % i en oppfølgingsstudie der delegering var valgfritt.
Mellom 84 og 88 % av personene i den siste betingelsen ba maskinen jukse for dem, uten at noen av dem måtte si det direkte.
Pengene ble ikke endret. Terningkastene ble ikke endret, siden alle deltakerne så den samme fastsatte sekvensen på ti kast. Det som endret seg, var hvor mye tolkningsrom som lå mellom instruksen og handlingen.
Forskerne hadde forventet at regelutforming skulle holde seg stabil, basert på teorien om at det å formulere en jukseinstruks har samme moralske betydning som å gjennomføre jukset. Det gjorde det ikke. Ærligheten falt også der med omtrent tjue prosentpoeng. Alle former for delegering svekket den, og grensesnittet avgjorde hvor mye.
Dette var et nettbasert eksperiment gjennomført på Prolific, med en maksimal utbetaling på seksti cent. Terningkastoppgaven har en lang valideringshistorikk og forutsier atferd i den virkelige verden, blant annet å snike seg unna betaling og villedende salgspraksis. Grensesnittssammenligningen ble bare testet i denne protokollen, selv om en tilleggsstudie med en oppgave om skatteunndragelse, der feilrapportering reduserte en donasjon til Røde Kors, gjenskapte studiens andre sentrale funn om hvordan maskinagenter håndterer instruksjonene de får.
Forskjellen er viktig for det de fleste selskaper bygger akkurat nå. Å skrive en ledetekst ligner mer på å skrive regler, og uærlige forespørsler formulert på naturlig språk forekom i rundt 25 % av tilfellene ifølge deltakernes egen rapportering, og i 40 % av tilfellene når uavhengige vurderere bedømte instruksjonene.
Økningen kommer med grensesnitt der en person setter et mål og lar systemet bestemme metoden. En leder som ber en agent maksimere kvalifisert salgspipeline eller redusere tiden det tar å fylle en stilling, har spesifisert et resultat og overlatt alle operative vurderinger av hvordan til systemet. Men hvor er kriteriet noen faktisk måtte forsvare?
Ansvarsstrukturen som ligger oppå denne ordningen, ser vanligvis bra ut på papiret. Noens navn står der. Det navnet gjør imidlertid mindre enn du kanskje tror.
Å navngi en ansvarlig var den enkle delen
Gjennom 2025 og inn i dette året gjorde organisasjoner det åpenbare. De opprettet tilsynskomiteer for AI, skrev retningslinjer for akseptabel bruk og satte en navngitt leder på organisasjonskartet ved siden av ordene «AI-styring».
Deloittes Globale trender innen menneskelig kapital for 2026-undersøkelse, gjennomført sammen med Oxford Economics blant mer enn 9 000 ledere innen forretning og HR i 89 land, viste at 64 % av respondentene mener AI og beslutningstaking er svært viktig for deres nåværende suksess. Bare 5 % mener at de ligger langt fremme på dette området.
Avstanden mellom bekymring og kompetanse her kan ikke forklares med mangel på retningslinjer. De fleste organisasjoner har retningslinjer. Det de mangler, er bevis på at myndigheten de har skrevet ned, faktisk blir brukt.
Spør en CHRO hvem som eier den AI-påvirkede ansettelsesbeslutningen, så får du et svar. Spør hvor mange ganger en rekrutterer formelt har overstyrt screeningverktøyet de siste seks månedene, og hva som skjedde med rekruttereren etterpå, så blir det stille i rommet.
Det andre spørsmålet er verdt å stille fordi svaret kan falsifiseres. Eierskap er en påstand. En overstyring er en hendelse.
Sporene stopper ved resultatet
Kaan Esendemir, en virksomhetsarkitekt som har bygget AI-assisterte arbeidsflyter i stor skala i store virksomheter, ser oftest mønsteret i systemer som anbefaler fremfor å beslutte. Virtuelle assistenter, arbeidsflytverktøy og verktøy som viser et alternativ og overlater avgjørelsen til en person.
Hvor grensen går mellom de to, er en forhandling. Forretnings- og produkteiere avgjør hvor AI stopper og en person begynner, sier han, med ingeniører involvert fordi de forstår hva systemet realistisk kan gjøre og hvor det svikter. Den delen fungerer som regel.
Det som skjer etterpå, er der sporene blir færre.
Når noen overstyrer systemet, blir det endelige utfallet vanligvis registrert, men selve uenigheten blir ikke alltid sporet som et eget datapunkt.
Forskjellen kan virke liten, men den avgjør hva en organisasjon kan lære. Et utfall forteller deg hva som ble besluttet. En uenighet forteller deg at en person så på en anbefaling, vurderte den som feil og handlet i strid med den. Selskapene tar vare på den minst nyttige av de to.
En overstyring er ikke bare et unntak. Det er tilbakemelding som kan bidra til å forbedre systemet og gjøre fremtidige anbefalinger bedre.
En logg over overstyringer er en billig diagnostisk undersøkelse enhver driftsdirektør kan gjennomføre dette kvartalet. Velg tre arbeidsflyter der KI påvirker en beslutning med betydelige konsekvenser. Tell de dokumenterte tilfellene de siste seks månedene der et menneske gikk imot anbefalingen. Les deretter hva som skjedde i hvert enkelt tilfelle.
Hvis tallet er null, er sannsynligvis én av to ting riktig. Systemet har fungert så godt at ingen mennesker har funnet grunn til å være uenige med det på et halvt år, noe ingen leverandør hevder om sitt eget produkt. Eller så finnes myndigheten til å være uenig på papiret, og ingen andre steder.
Tallet trenger ikke være null for å fortelle deg noe. Spania bruker et system kalt Viogén som beregner risikoen for gjentatt vold i saker om vold i nære relasjoner, og en ekstern revisjon fant at politibetjenter fulgte anbefalingen 95 % av tiden.
Det europeiske personvernombudet, som viste til revisjonen i en teknisk orientering i september i fjor, medgir at samsvaret kan gjenspeile berettiget tillit til verktøyet. Det reiser også spørsmål om hvor mye selvstendig skjønn som er igjen i prosessen.
Nittifem prosent samsvar mellom en person og en modell betyr enten at modellen er svært god, eller at personen har sluttet å trekke egne konklusjoner. Sett utenfra loggen ser de to identiske ut. Sett innenfra, over seks måneder, gjør de ikke det.
Evnen til å overstyre svekkes før den blir målt
Amy Centers, organisasjonspsykolog og grunnlegger av SmartWorks Labs, beskriver problemet på andre nivå. Myndigheten til å overstyre blir ikke bare ubrukt. Det som ligger bak den, forvitrer.
Det er litt som hvordan GPS har svekket retningssansen vår. Over tid tror jeg det å sette bort vurderinger vil begynne å svekke en leders indre kompass og intuisjon, og det er en reell fare der, fordi organisasjoner da kan bli teknisk effektive, men moralsk hule.
Hennes skarpere formulering: "Jo mer vi setter vanskelige beslutninger bort, desto større er risikoen for at vi utvikler ledere som ikke kan lede uten en instruksjon."
Mekanismen går på en lengre tidsskala enn de fleste styringsgjennomganger. En leder som har fulgt modellen på nittiåtte anbefalinger på rad, har ikke vært passiv. Vedkommende har vært effektiv. Men vedkommende har også brukt måneder på å ikke øve på det som myndigheten til å overstyre forutsetter at de fortsatt kan gjøre.
Dette kommer ikke frem i en kvartalsgjennomgang. Det viser seg første gang modellen med stor sikkerhet tar feil om noe som har betydelige konsekvenser, og personen som formelt har ansvaret for å oppdage det, leser resultatet, finner det plausibelt og går videre.
Centers plasserer sviktpunktet hos lederen, og hun gjør det med ettertrykk.
Jeg ville begynt med lederansvar. Det meste av dysfunksjonen sprer seg fra ledere. De får for ofte for lite støtte og er for lite utviklet. De holdes ikke ansvarlige for hvordan de leder. Hvis du ikke fikser dette leddet, bryter alle andre reformer sammen – som medarbeiderengasjement, kompetanse og innføring av KI.
Hun kaller lederrollen hengselet mellom strategi og menneskelig erfaring. I en KI-forsterket arbeidsflyt er det også det eneste nivået som er posisjonert til å oppdage en dårlig beslutning før den skaleres, bemannet av mennesker som ble forfremmet på grunn av operasjonell pålitelighet, og som aldri fikk beskjed om at det å validere maskinens resultater nå er en del av jobben.
Automatisering overlater de vanskeligste sakene til mennesker
Victoria Pelletier, som tidligere har ledet personal- og transformasjonsfunksjoner i blant annet Accenture og IBM, peker på hva automatisering gjør med arbeidet som blir igjen.
Det er disse menneskelige ferdighetene, innovasjon, problemløsning og ting som empati. Når du spør hva som blir igjen: Tenk på et kontaktsenter. Det var det første stedet der det kom en eller annen form for automatisering. Når du snakker med en menneskelig medarbeider, er det et unntak. Saken har ikke fulgt reglene i retningslinjene eller koden som AI-agenten kunne følge. Derfor trenger du noen som kan tenke gjennom dette.
Som hun påpeker, gjennomførte kontaktsentre dette eksperimentet flere år før alle andre. Automatiser regelstyringen, og hver samtale som når frem til en person, er per definisjon en samtale reglene ikke klarte å håndtere. Arbeidet som blir igjen, er vanskeligere enn arbeidet som ble fjernet.
Poenget til Pelletier er at rollebeskrivelsene sjelden følger etter. Volumet synker, vanskelighetsgraden øker, mens stillingsbeskrivelsen, opplæringen og kriteriene for prestasjon fortsatt beskriver jobben slik den var før. Hun påpeker at restarbeidet «krever et helt annet ferdighetsnivå innenfor noe av det vi allerede forventer i dag».
Hun peker også på en strukturell årsak til at beslutningsmyndigheten ikke bygges opp på nytt. Funksjoner for organisasjonsdesign og stillingsarkitektur ble kuttet gjennom det siste tiåret som overflødige, basert på den rimelige antakelsen om at roller ikke ville trenge hyppig revurdering.
Det er disse menneskene som skulle bygget opp beslutningsmyndigheten på nytt nå. Pelletier kaller det som skjer når de mangler, for «Frankenstein-sammensmeltingen av jobber».
More Articles
- De tre skiftene fra KI-assistanse til eierskap
- Visepresident for mennesker og organisasjon i en AI-enhjørning sier at HR-ledere må bli arkitektene bak en menneske-maskin-arbeidsstyrke
- Utvikle, lære, skalere. Hva så?
- KI i forretningsdriften: Gjør fremvoksende teknologi til et strategisk fortrinn for virksomheten
- Hva mellomstore selskaper lærte om AI-transformasjon i 2025
To kritikker av mennesket i beslutningssløyfen
Det finnes nå to innvendinger mot å ha et menneske i beslutningssløyfen, og de peker i motsatt retning.
Jurgen Appelo s versjon er at obligatoriske menneskelige kontrollpunkter gjør mennesker til flaskehalser. Hver interaksjon begynner og slutter med en person, systemene snakker aldri med hverandre, og driften går i takt med den som er tregest. Han kaller det fellen med mennesker i beslutningssløyfen.
Det er dette Esendemir mener når han sier til meg at det å ikke registrere overstyringer «for det meste er en designbeslutning».
Versjonen til Det europeiske datatilsynet ligger nær det motsatte. I det tidligere nevnte tekniske notatet om menneskelig tilsyn med automatiserte beslutninger advarer EDPS mot å anta at et menneske i beslutningssløyfen faktisk innebærer tilsyn, og argumenterer for at organisasjoner må utforme myndighet, grensesnitt og eskaleringsveier eksplisitt, slik at en person faktisk kan gripe inn.
Begge har rett, og de beskriver ulike former for svikt. Appelos menneske er i veien. EDPS' menneske er til stede, men uten makt. En organisasjon kan løse det første ved å fjerne kontrollpunkter og samtidig gjøre det andre verre.
Notatet går gjennom hvordan maktesløshet ser ut i praksis. Mellom 2014 og 2019 brukte Polens offentlige arbeidsformidling en algoritme som sorterte jobbsøkere i tre kategorier, og kategorien avgjorde hvilken støtte hver person fikk. Klientrådgiverne var formelt utpekt til å føre menneskelig tilsyn, med myndighet til å overstyre klassifiseringen.
De hadde myndigheten, men kunne ikke bruke den. Saksmengden var for stor, og opplæringen var utilstrekkelig. Ingen hadde fortalt dem når en overstyring var berettiget eller hvordan den skulle begrunnes. Systemet viste resultatene på en måte som gjorde det vanskelig å vurdere om en bestemt klassifisering passet personen som satt på den andre siden av skrivebordet.
Så kommer den delen som ikke har noe med systemdesign å gjøre. Noen lokale ledere frarådet overstyringer direkte, og noen forbød dem, fordi en overstyring tiltrakk seg oppmerksomhet fra høyere hold.
Rådgiverne var ikke mangelfullt opplært på en måte som et opplæringsbudsjett ville ha løst. De tolket et insentiv riktig. Å overstyre modellen skapte et dokumentert spor som en leder måtte stå til rette for, mens det ikke førte til noe som helst å følge den. Med de to alternativene og en full saksmengde er det rasjonelle valget å godkjenne det skjermen sier.
EDPS formulerer betingelsen klart. Operatører kan bare utøve reell myndighet over et system hvis de ikke frykter konsekvenser fra sin egen organisasjon for å bruke det.
Det er en uttalelse om ledelse, ikke om grensesnittdesign, og det er grunnen til at overstyringsmyndighet ofte bare blir pynt. Den formelle tildelingen er den enkle delen. Det som avgjør om noen bruker den, er hva som skjer med personen som gjør det.
Deloittes formulering om hva som erstatter den gamle modellen, er den mest presise som finnes. Tradisjonelle verktøy for beslutningsrettigheter, som RACI, forutsetter statisk myndighet. Med KI må rettighetene være dynamiske, med overstyringsprivilegier, eskaleringsveier og konsensusregler innebygd i systemet, slik at mennesker og agenter koordinerer hvem som bestemmer, når og på hvilket grunnlag.
Polen hadde det meste av dette på papiret. Det landet ikke hadde, var en leder som var villig til å godkjenne at noen brukte det.
Bygg betingelsene, ikke diagrammet
Fire grep, i den rekkefølgen de må gjennomføres.
Klassifiser beslutninger etter hvor reversible de er, før du tildeler dem til noen. Amazons skille mellom enveis- og toveisdører er standardreferansen. Irreversible beslutninger får grundig vurdering og langsomme prosesser. Reversible beslutninger går videre. Anvendelsen i KI-æraen er å tilpasse agentens autonomi til hvor vanskelig en beslutning er å gjøre om, snarere enn til hvor rutinemessig den ser ut.
Angi delegeringsmodusen, ikke bare den delegerte. Funnet fra Max Planck illustrerer dette. Regelbasert, eksempelbasert og målbasert delegering førte til målbare forskjeller i forespørsler fra ellers sammenlignbare personer. Enhver arbeidsflyt der noen gir et system et resultat og lar det fastsette kriteriene, hører hjemme i kategorien med høyest tvetydighet, fordi det er nettopp det den er.
Dokumenter uenigheten, ikke bare resultatet. Esendemirs mangel er den som må lukkes. Når en person går imot en anbefaling, skal det registreres at vedkommende gjorde det, hva personen så, og hva som skjedde etterpå. Resultatet alene forteller deg ingenting om hvorvidt noen fortsatt foretar en vurdering.
Vurder grensen på nytt etter en fast plan. Hvor KI beslutter, og hvor en person beslutter, er ikke et spørsmål du besvarer én gang. Sett en dato for det.
Max Planck-forskerne avsluttet med en anbefaling rettet mot personen som delegerer, snarere enn mot maskinen som mottar delegeringen. Delegeringsgrensesnitt som gjør det enkelt å hevde at man ikke vet hvordan maskinen vil tolke instruksjonene dine, bør unngås.
Det er et designprinsipp, og det kan skaleres fra en bryter på en skjerm til en hel driftsmodell. Hvert abstraksjonslag mellom en person og en konsekvens gjør konsekvensen enklere å leve med.
Om seks måneder vil mange organisasjoner ha dokumentasjon. Retningslinjer, komitémandater, navngitte eiere, fullført opplæring.
Noen få vil ha en logg med faktiske oppføringer.
