Kan du måle dømmekraft?
Måleblindhet: Bruksmålinger viser hvor utbredt KI er tatt i bruk, men kan ikke avdekke om medarbeiderne forbedrer seg, blir dårligere eller gir avkall på dømmekraften.
Egenvurdering: Medarbeidere vurderer ofte KIs innvirkning på egen ytelse feil, noe som gjør undersøkelser og selvrapporterte gevinster til upålitelige bevis.
Dømmekraftsignaler: KIs dømmekraft kan måles gjennom mønstre for å godta, endre og avvise svar, innlagte feil og vurderinger av plausible konkurrerende svar.
Risiko for juniorer: KI kan hindre junioransatte i å øve på grunnleggende arbeid, forsinke utviklingen av ferdigheter og skjule svakheter frem til kritiske beslutninger skal tas.
Utforming først: Organisasjoner bør måle menneskelig kapasitet før de utformer arbeidet på nytt, ellers kan automatisering permanent bygge inn en uoppdaget kompetansenedgang.
AI-dashbordet ditt forteller deg hvor mange som bruker verktøyene. Det kan ikke fortelle deg hva verktøyene gjør med dem.
Det var et tilbakevendende tema i mange av øktene jeg deltok på forrige uke under AI4 i Las Vegas.
Organisasjoner har brukt to år på å bygge rapportering rundt aktiverte lisenser, ukentlige aktive brukere, innsendte spørsmål og rapporterte timer spart. Disse tallene besvarte et spørsmål ledelsen stilte i 2023, nemlig om noen faktisk kom til å bruke det. Adopsjon var risikoen, så det ga mening å måle adopsjon.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Det spørsmålet trenger ikke lenger noe svar. Men instrumentet som ble bygget for å besvare det, ble stående, og peker nå mot et problem det faktisk ikke er utformet for å oppdage.
En av øktene jeg deltok på, het «Forbi adopsjon: Å bygge AI-dømmekraft i arbeidsflyten». Sharahn McClung s formulering var den tydeligste versjonen av dette jeg har hørt. Selskaper måler hastighet. De måler bruk. Deretter antar de forbedring. De to første telles. Det tredje utledes.
Forskning publisert av BCG i juni tyder på at denne slutningen ofte nok er feil til at det har betydning. I en studie av 70 toppledere og ledere på høyt nivå sa halvparten at de allerede ser ferdigheter forvitre i sine egne organisasjoner, og over 60 % forventer at dette blir en vesentlig trussel i løpet av tre til fem år. Bare én av ti hadde en strategi for hele organisasjonen eller målrettede tiltak på gang. En tredjedel hadde ikke diskutert det i det hele tatt.
Hvis du hører på podkasten vår, har du sannsynligvis hørt meg snakke om behovet for at ledere er litt mer filosofiske i disse tider. Men her blir spørsmålet mer praktisk enn filosofisk. Hvis du ville vite om AI gjorde medarbeiderne dine bedre eller dårligere, hvor ville du sett?
Start med å utelukke det åpenbare svaret
Instinktet er å spørre dem.
Det finnes en grunn til å mistro dette instinktet, og den kommer fra en studie av personer som burde ha vært best posisjonert til å svare.
I juli 2025 gjennomførte METR en randomisert studie med 16 erfarne utviklere av åpen kildekode som arbeidet med 246 reelle problemer i kodebaser de kjente inngående. Før de startet, forutså utviklerne at AI-verktøy ville gjøre dem omtrent 24 % raskere. De var 19 % langsommere. Etterpå, etter å ha vært gjennom hele opplevelsen, anslo de fortsatt at de hadde vært rundt 20 % raskere.
Det er verdt å merke seg to ting ved dette resultatet.
METR omtaler nå funnet som historisk, og en oppfølgingsstudie i februar 2026 fant enkelte tegn på høyere hastighet med nyere modeller. Det spesifikke tallet for nedgangen beskriver kanskje ikke verktøyene teamene dine bruker i dag.
Det som består, er det andre funnet, som uansett er det mest nyttige. Dette var erfarne fagpersoner på kjent grunn, med et resultat som var direkte observerbart for dem, og avstanden mellom deres oppfatning og målte prestasjon var på nesten 40 prosentpoeng. Ingenting ved bedre modeller gjør folk flinkere til å vurdere sin egen prestasjon.
Enhver målemetode som baserer seg på egenrapportering, arver dette problemet. Medarbeiderundersøkelser som spør om AI hjelper, vil gi svar. Svarene vil være oppriktige. De vil også være omtrent like pålitelige som utviklernes anslag.
To kurver, samme form
Se for deg to team med identiske brukskurver. Begge stiger jevnt, og begge viser sunn adopsjon på alle målene du samler inn i dag.
Det ene teamet har lært når modellen er verdt å stole på, og når den må overstyres. Kompetansen deres bygger seg opp. Det andre har akseptert resultatene som fakta i flere måneder. Kompetansen deres tappes bort under en linje som stiger.
Det finnes ingen versjon av et bruksmål som skiller mellom disse teamene.
Et arbeidsnotat fra Wharton fra januar målte hvor langt fra hverandre de faktisk er. Steven Shaw og Gideon Nave gjennomførte tre forhåndsregistrerte eksperimenter med omtrent 1 400 deltakere fordelt på mer enn 9 000 forsøk, der de tilfeldig bestemte om en AI-assistent skulle gi korrekte eller feilaktige svar gjennom skjulte frøinstruksjoner.
Sammenlignet med et utgangspunkt bestående av deltakere uten tilgang til AI, økte nøyaktigheten med 25 prosentpoeng når AI-en hadde rett. Når den tok feil, falt nøyaktigheten 15 poeng under utgangspunktet uten AI.
Du leste riktig, under personene som aldri hadde verktøyet. På oppgavene der modellen var upålitelig, gjorde tilgangen til den deltakerne dårligere enn om de ikke hadde hatt den i det hele tatt.
Selvtilliten økte under begge betingelsene, også etter feil.
Shaw og Nave kaller atferden «kognitiv overgivelse», det vil si å ta i bruk AI-resultater med minimal granskning, samtidig som både intuisjon og overveielse overstyres. De beskriver kunstig kognisjon som et tredje system som opererer utenfor hjernen, og som enten kan supplere menneskelig resonnering eller erstatte den.
Dette var en laboratoriestudie som brukte resonneringsoppgaver, ikke ansatte som utførte arbeidet sitt, og det skillet er verdt å holde klart. Det studien fastslår, er mekanismen og omfanget av den under kontrollerte forhold.
BCGs ledere beskriver det samme mønsteret fra innsiden av virkelige organisasjoner. Nesten 90 % identifiserte team som aksepterer KI-resultater uten å stressteste dem, som et symptom på svekket kompetanse. Mer enn halvparten beskrev at eierskapet svekkes samtidig. En av dem sa det rett ut: Når resultatet ikke er positivt, blir ansvaret lagt på KI.
Hva dømmekraft består av
Dømmekraft høres ut som noe som motsetter seg måling. McClungs sesjon var nyttig fordi den avviste denne antakelsen og brøt ordet ned i observerbare handlinger.
Å stole på et godt svar og gå videre. Å ta opp et korrekt resultat til ny vurdering er en egen form for sløsing. Et team som verifiserer alt to ganger, utøver ikke dømmekraft – det utvikler ingen dømmekraft. Effektiv aksept hører med på listen over ting du ønsker.
Å overstyre et selvsikkert, feil svar. Det vanskelige. Resultatet virker godt formulert, modellen viser ingen nøling, og det krever tilstrekkelig uavhengig kunnskap å oppdage at noe er galt. Dette er handlingen som svikter først, og den som ingen bruksmetrikk kan fange opp.
Å vite når man ikke skal ta i bruk verktøyet i det hele tatt. McClungs versjon av dette var det mest menneskelige øyeblikket i sesjonen. Hun beskrev hvordan hun noen ganger skrev en instruksjon og innså underveis at all tenkingen allerede hadde funnet sted gjennom selve skrivehandlingen, slik at det ikke var noe igjen å gjøre med svaret som kom tilbake.
Jeg vet ikke hvordan det er med deg, men personlig er jeg redd for en blank side. Jeg ser på den og vet ikke hvor jeg skal begynne. Og noen ganger oppdager jeg at innen jeg har skrevet instruksjonen, har jeg allerede gjort hele prosessen og all tenkingen i instruksjonen, og at jeg faktisk ikke trenger verktøyet.
Hver av disse er en beslutning en person tar før noe resultat sendes ut. Ingen av dem blir bedre fordi bruken øker. De er innsatsfaktorer en organisasjon må bygge opp, og å behandle dem som biprodukter av innføringen er slik man ender opp i situasjonen BCGs respondenter beskriver.
Det forklarer også hvorfor dømmekraft og beslutningstaking hadde den høyeste risikoen for kompetanseforvitring av alle ferdighetene i studien deres. De lå side om side med problemforståelse og problemformulering, som de samme lederne vurderte som den aller viktigste ferdigheten for organisasjonens langsiktige resultater.
Tre måter å se dømmekraft på
Sortert etter hvor raskt du kan komme i gang.
Aksepter, endre, avvis.
Hver KI-økt genererer en oversikt over hva som ble spurt om, hva som kom tilbake, og hva personen gjorde med det etterpå. Å akseptere et korrekt svar og å akseptere et feil svar produserer identiske bruksdata og representerer motsatte former for dømmekraft. Endring er et tegn på at noen leste resultatet og tenkte gjennom det før det ble sendt ut.
Aggregert på tvers av et team over flere måneder slutter dette forholdet å være en anekdote og blir noe du kan følge over tid.
Hindringen er tilgang. De fleste HR-funksjoner kan for øyeblikket ikke se disse dataene, og å få tilgang til dem krever en samtale med IT og de plattformansvarlige for KI, ikke noe du lanserer neste uke. Organisasjonene som kommer dit først, vil være de der personalteamet og plattformteamet allerede snakket sammen.
Den innlagte feilen
Ta en reell oppgave. Legg inn en kjent feil i det modellen returnerer, valgt på forhånd. Et feil tall, et trinn som er hoppet over, en påstand som ikke holder. Oppdager personen det før resultatet går videre?
Styrken ved dette, sammenlignet med enhver test, er at det gjennomføres på faktiske leveranser og vurderes på samme måte hver gang. Fordi feilen ble valgt på forhånd, er det ingen uklarhet rundt vurderingen, og du kan sammenligne én måned med en annen på en ryddig måte.
Følsomheten er imidlertid reell. Gjennomført på en dårlig måte oppleves dette som en felle og ødelegger tilliten umiddelbart. Det fungerer når teamene vet at praksisen finnes, forstår hvorfor, og ser at resultatene brukes til utvikling snarere enn straff.
Vurderende dømmekraft
To svar, begge flytende, begge plausible, men det ene er subtilt feil. Kan personen identifisere hvilket, og forklare hvorfor?
Dette ligger nærmest det ekspertarbeid krever, og er det dyreste å gjennomføre, fordi det å lage fasiten krever noen med reell domeneekspertise til å konstruere plausible, men mangelfulle alternativer. Vær ærlig med deg selv om den kostnaden før du forplikter deg til dette.
Versjonene som allerede er i drift
Noen organisasjoner har gått videre uten å vente på perfekte måleinstrumenter.
Ved CNIL, Frankrikes datatilsyn, er ledere ansvarlige for å vurdere om medarbeidere kan utfordre KI-resultater, ikke bare bruke dem. Kritisk engasjement ble en synlig og evaluert del av prestasjonene.
Det er den jeg ville tatt i bruk først. Den krever ingen nye verktøy, og den flytter spørsmålet inn i prestasjonssystemet, som HR allerede eier. Den løser også et problem BCG identifiserer andre steder i forskningen sin, nemlig at sertifiseringsratene stiger mens den faktiske kompetansen kanskje ikke gjør det.
Shell bygget om læringsløpene for juniorer slik at nyansatte selvstendig formulerer problemet, tester antakelser og utarbeider en grunnlagsanalyse før KI berører arbeidet. Tidlige rapporterte resultater omfattet bedre spørsmål og tydeligere begrunnelser for beslutningene.
Noen selskaper gjennomfører øvelser i KI-svikt, der de med vilje introduserer hallusinasjoner og uventede utfordringer i opplæringen, slik at det å stille spørsmål ved resultater blir en refleks snarere enn en instruks. En indisk bank gjennomfører en strukturert arbeidsøkt uten KI den første fredagen i hver måned på tvers av alle funksjoner.
Ingen av disse er nøyaktig måling. De er praksisen som målingen skulle fortelle deg om du trenger.
More Articles
- KI i forretningsdriften: Gjør fremvoksende teknologi til et strategisk fortrinn for virksomheten
- Hva mellomstore selskaper lærte om AI-transformasjon i 2025
- AI-klar er en frase, ikke en strategi
- Kontinuerlig tilbakemelding på prestasjoner høres banebrytende ut – helt til du ser hvordan bedrifter bruker det
- Visepresident for mennesker og organisasjon i en AI-enhjørning sier at HR-ledere må bli arkitektene bak en menneske-maskin-arbeidsstyrke
Problemet viser seg sent
Femtitre prosent av lederne BCG spurte, pekte på at juniortalenter utvikler seg saktere.
Det analytiske rutinearbeidet er der dømmekraft tradisjonelt bygges. Researcharbeidet, de første utkastene, feilsøkingen, det langsomme arbeidet med å dele opp et problem og oppdage hvilke deler du tok feil av. Ingen liker disse repetisjonene, men alle trenger dem.
Det arbeidet er det første organisasjoner overlater til KI. Og menneskene som tidligere lærte av det, forventes nå å prestere uten det, i noen tilfeller på et nivå som en av BCGs respondenter beskrev som det en medarbeider med fem til ti års erfaring ville gjort.
Det finnes imidlertid en måleutfordring her. Alt ovenfor oppdager nedgang sammenlignet med et utgangspunkt. Hos erfarne medarbeidere fungerer det, fordi utgangspunktet finnes og du kan følge med på hvordan det endrer seg.
For en som ble ansatt i fjor, finnes det ikke noe utgangspunkt. Kompetansen ble aldri utviklet, og fraværet av den ser identisk ut med normal prestasjon tidlig i karrieren helt til du trenger at personen tar en avgjørelse uten støtte. Du måler ikke svekkelse. Du måler noe som aldri oppsto, og ingen av dagens måleinstrumenter er laget for det.
Det betyr at juniorkohorten er der dette koster mest og viser seg senest.
Hvorfor rekkefølgen er viktig
Omlegging av arbeid er initiativet for de neste to kvartalene i mange av organisasjonene jeg snakker med. Kartlegging av oppgaver, pilotprosjekter med agenter, organisasjonskart tegnet rundt hva maskiner håndterer og hva mennesker beholder.
Disse beslutningene stivner. De avgjør hvilke ferdigheter som verdsettes, hvilke ferdigheter medarbeiderne dine sannsynligvis kommer til å øve på i årene som følger, og hvilke som faller permanent ut av bruk.
Hvis de tas på toppen av en uoppdaget nedgang, bygges nedgangen inn i strukturen. Du ville avgjøre hva mennesker bør fortsette å gjøre, uten en ærlig vurdering av hva menneskene dine fortsatt kan gjøre, og hvor ferdighetene deres har blitt svekket.
Jeg mener ikke at måleinstrumentet må være perfekt før du begynner. Testen med innlagte feil kan gjennomføres i løpet av en måned i de fleste funksjoner. CNILs tilnærming krever en samtale med ledere og en linje i en vurderingsmal.
Før jeg godkjente en omlegging, ville jeg ønsket svar på ett spørsmål og dokumentasjonen bak det.
Hvis du slo av KI for hele teamet ditt i morgen, ville medarbeiderne dine vært bedre enn de var før du tok det i bruk, eller dårligere?
