Kan man måle dømmekraft?
Metrisk blindhed: Brugsmetrikker viser, om AI bliver taget i brug, men kan ikke afsløre, om medarbejderne bliver bedre, dårligere eller opgiver deres dømmekraft.
Selvvurdering: Medarbejdere vurderer ofte AI's indvirkning på deres præstation forkert, hvilket gør undersøgelser og selvrapporterede gevinster til upålidelige beviser.
Signaler på dømmekraft: AI-dømmekraft kan måles gennem mønstre for accept, ændring og afvisning, indlejrede fejl samt evalueringer af plausible konkurrerende svar.
Risiko for juniorer: AI kan forhindre junioransatte i at øve grundlæggende arbejde, forsinke udviklingen af deres kompetencer og skjule svagheder, indtil der skal træffes kritiske beslutninger.
Design først: Organisationer bør måle menneskelige kompetencer, før de redesigner arbejdet, ellers kan automatisering permanent indlejre et uerkendt kompetencetab.
Dit AI-dashboard fortæller dig, hvor mange mennesker der bruger værktøjerne. Det kan ikke fortælle dig, hvad værktøjerne gør ved dem.
Det var et tilbagevendende tema i mange af de sessioner, jeg deltog i i sidste uge på AI4 i Las Vegas.
Organisationer har brugt to år på at opbygge rapportering om aktiverede pladser, ugentligt aktive brugere, indsendte prompts og rapporterede sparede timer. Disse tal besvarede et spørgsmål, som ledelsen stillede i 2023: om nogen rent faktisk ville bruge det. Anvendelsen var risikoen, så det gav mening at måle anvendelsen.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Det spørgsmål behøver ikke længere et svar. Men det instrument, der blev bygget til at besvare det, blev stående og er nu rettet mod et problem, som det faktisk ikke er designet til at opfange.
En af de sessioner, jeg deltog i, hed "Mere end anvendelse: Opbygning af dømmekraft i arbejdets flow". Sharahn McClungs formulering var den klareste version af dette, jeg har hørt. Virksomheder måler hastighed. De måler anvendelse. Derefter antager de forbedring. De to første ting tælles. Den tredje udledes.
Forskning offentliggjort af BCG i juni tyder på, at denne slutning ofte nok er forkert til, at det har betydning. I en undersøgelse af 70 ledere på C-niveau og højtstående chefer sagde halvdelen, at de allerede ser færdigheder forringes i deres egne organisationer, og mere end 60 % forventer, at det bliver en væsentlig trussel inden for tre til fem år. Kun én ud af ti havde en strategi på organisationsniveau eller målrettede initiativer i gang. En tredjedel havde slet ikke drøftet det.
Hvis du lytter til vores podcast, har du sikkert hørt mig tale om behovet for, at ledere bliver en smule mere filosofiske i disse tider. Men her bliver spørgsmålet mere praktisk end filosofisk. Hvis du ville vide, om AI gjorde dine medarbejdere bedre eller dårligere, hvor ville du så kigge?
Start med at udelukke det indlysende svar
Instinktet er at spørge dem.
Der er en grund til at mistro dette instinkt, og den stammer fra en undersøgelse af mennesker, som burde have været bedst placeret til at svare.
I juli 2025 gennemførte METR et randomiseret forsøg med 16 erfarne udviklere af software med åben kildekode, der arbejdede med 246 reelle problemer i kodebaser, de kendte indgående. Før de begyndte, forudsagde udviklerne, at AI-værktøjer ville gøre dem omkring 24 % hurtigere. De var 19 % langsommere. Bagefter, efter at have gennemlevet hele oplevelsen, vurderede de stadig, at de havde været omkring 20 % hurtigere.
Der er to ting ved dette resultat, som er værd at holde fast i.
METR betegner nu fundet som historisk, og en opfølgning i februar 2026 fandt visse tegn på hastighedsforbedring med nyere modeller. Det specifikke tal for opbremsningen beskriver måske ikke de værktøjer, dine team bruger i dag.
Det, der består, er det andet fund, som alligevel er det mest nyttige. Dette var eksperter, der arbejdede inden for et velkendt område, hvor resultatet var direkte synligt for dem, og afstanden mellem deres opfattelse og deres målte præstation var næsten 40 procentpoint. Intet ved bedre modeller gør mennesker bedre til at vurdere deres egen præstation.
Enhver målingsmetode, der bygger på selvrapportering, arver dette problem. Trivselsundersøgelser, der spørger, om AI hjælper, vil give svar. Svarene vil være oprigtige. De vil også være omtrent lige så pålidelige som disse udvikleres vurderinger.
To kurver, samme form
Forestil dig to team med identiske udviklingskurver for anvendelsen. Begge stiger støt, og begge viser en sund anvendelse på alle de målinger, du indsamler i øjeblikket.
Det ene team har lært, hvornår modellen er værd at stole på, og hvornår den skal tilsidesættes. Deres kapacitet vokser kumulativt. Det andet har accepteret resultaterne som fakta i månedsvis. Deres kapacitet siver væk under en stigende kurve.
Der findes ingen version af en anvendelsesmåling, der kan skelne mellem disse team.
En arbejdsrapport fra Wharton fra januar målte, hvor forskellige de faktisk er. Steven Shaw og Gideon Nave gennemførte tre forhåndsregistrerede eksperimenter med omkring 1.400 deltagere på tværs af mere end 9.000 forsøg, hvor de randomiserede, om en AI-assistent gav korrekte eller fejlbehæftede svar via skjulte foruddefinerede prompts.
Sammenlignet med et referencegrundlag bestående af deltagere uden adgang til AI steg nøjagtigheden med 25 procentpoint, når AI'en havde ret. Når den tog fejl, faldt nøjagtigheden 15 point under referencegrundlaget uden AI.
Du læste rigtigt: under niveauet hos de mennesker, der aldrig havde haft værktøjet. På de opgaver, hvor modellen var upålidelig, gjorde adgangen til den deltagerne dårligere, end hvis de slet ikke havde haft den.
Selvtilliden steg under begge betingelser, også efter fejl.
Shaw og Nave kalder adfærden "kognitiv overgivelse", hvilket betyder, at man accepterer AI-resultater med minimal granskning, samtidig med at man tilsidesætter både intuition og overvejelse. De beskriver kunstig kognition som et tredje system, der fungerer uden for hjernen, og som enten kan supplere menneskelig tænkning eller erstatte den.
Dette var et laboratoriestudie, der anvendte ræsonneringsproblemer, ikke medarbejdere, der udførte deres arbejde, og den forskel er værd at holde sig for øje. Det, studiet fastslår, er mekanismen og dens omfang under kontrollerede forhold.
BCG's ledere beskriver det samme mønster indefra virkelige organisationer. Næsten 90 % identificerede teams, der accepterer AI-output uden at stressteste det, som et symptom på faldende kompetence. Mere end halvdelen beskrev, hvordan ejerskabet samtidig blev udhulet. En af dem formulerede det kontant og sagde, at når resultatet ikke er positivt, bliver ansvaret lagt over på AI.
Hvad dømmekraft bryder ned i
Dømmekraft lyder som noget, der modstår måling. McClungs session var nyttig, fordi den afviste denne antagelse og brød ordet ned i observerbare handlinger.
At stole på et godt svar og gå videre. At genbehandle et korrekt output er sin egen form for spild. Et team, der verificerer alt to gange, udøver ikke dømmekraft, men udvikler ingen dømmekraft. Effektiv accept hører med på listen over de ting, man ønsker.
At tilsidesætte et selvsikkert forkert svar. Det svære. Outputtet lyder godt, modellen viser ingen tøven, og det kræver tilstrækkelig uafhængig viden at opdage, at noget er forkert. Det er den handling, der svigter først, og den, som intet i en brugsmetrik kan se.
At vide, hvornår man slet ikke skal gribe efter værktøjet. McClungs version af dette var det mest menneskelige øjeblik i sessionen. Hun beskrev, hvordan hun nogle gange skrev en prompt og undervejs indså, at al tænkningen allerede var foregået i selve skrivehandlingen, så der ikke var noget tilbage at gøre med det svar, der kom tilbage.
Jeg ved ikke med dig, men personligt er jeg bange for en tom side. Jeg ser på den og ved ikke, hvor jeg skal begynde. Og nogle gange opdager jeg, at når jeg har skrevet prompten, har jeg allerede gennemført hele min proces og al min tænkning i prompten, og at jeg faktisk ikke har brug for værktøjet.
Hver af disse er en beslutning, en person træffer, før noget output sendes ud. Ingen af dem bliver bedre, fordi brugen stiger. De er input, som en organisation er nødt til at opbygge, og at behandle dem som biprodukter af udbredelsen er sådan, man ender i den situation, som BCG's respondenter beskriver.
Det forklarer også, hvorfor dømmekraft og beslutningstagning havde den højeste risiko for kompetencetab af alle færdigheder i deres studie, side om side med problemforståelse og problemindramning, som de samme ledere vurderede som den vigtigste færdighed for organisationens langsigtede resultater.
Tre måder at se dømmekraft på
Rangeret efter, hvor hurtigt du kan komme i gang.
Accepter, rediger, afvis.
Hver AI-session genererer en registrering af, hvad der blev spurgt om, hvad der kom tilbage, og hvad personen derefter gjorde med det. At acceptere et korrekt svar og at acceptere et forkert svar producerer identiske brugsdata og repræsenterer modsatrettede handlinger af dømmekraft. Redigering er et tegn på, at nogen har læst outputtet og tænkt over det, før det blev sendt ud.
Aggregeret på tværs af et team over flere måneder holder dette forhold op med at være en anekdote og bliver noget, man kan følge over tid.
Hindringen er adgang. De fleste HR-funktioner kan i øjeblikket ikke se disse data, og at få adgang til dem kræver en samtale med IT og de ansvarlige for jeres AI-platform i stedet for noget, man lancerer i næste uge. De organisationer, der når dertil først, vil være dem, hvor personale- og platformsteamet allerede talte sammen.
Den indlagte fejl
Tag en reel opgave. Indarbejd en kendt fejl i det, modellen returnerer, valgt på forhånd. Et forkert tal, et overset trin, en påstand, der ikke holder. Opdager personen den, før den går videre?
Fordelen ved dette frem for enhver test er, at det foregår på faktiske leverancer og vurderes på samme måde hver gang. Fordi fejlen blev valgt på forhånd, er der ingen uklarhed om bedømmelsen, og du kan sammenligne én måned med en anden på en enkel måde.
Følsomheden er dog reel. Hvis det udføres dårligt, virker det som en fælde og forgifter straks tilliden. Det fungerer, når teams ved, at metoden findes, forstår hvorfor, og ser resultaterne blive brugt udviklingsmæssigt frem for straffende.
Vurderende dømmekraft
To svar, begge flydende, begge plausible, men det ene er subtilt forkert. Kan personen identificere hvilket og forklare hvorfor?
Dette ligger tættest på det, ekspertarbejde kræver, og er det dyreste at gennemføre, fordi udarbejdelsen af facit kræver en person med ægte domæneekspertise til at konstruere plausible, men fejlbehæftede alternativer. Vær ærlig over for dig selv om den omkostning, før du beslutter dig for det.
Versionerne, der allerede er i drift
Nogle organisationer er gået videre uden at vente på perfekt måleinstrumentering.
Hos CNIL, Frankrigs datatilsyn, er lederne ansvarlige for at vurdere, om medarbejderne kan stille spørgsmålstegn ved AI-output, ikke blot bruge dem. Kritisk engagement blev en synlig og evalueret del af præstationen.
Det er den, jeg først ville tage i brug. Den kræver ingen nye værktøjer, og den flytter spørgsmålet ind i præstationssystemet, som HR allerede ejer. Den løser også et problem, som BCG identificerer andetsteds i deres forskning: Certificeringsraterne stiger, mens den faktiske kunnen måske ikke gør.
Shell genopbyggede deres læringsforløb for juniorer, så nye medarbejdere selvstændigt formulerer problemet, tester antagelser og udarbejder en grundanalyse, før AI kommer ind i arbejdet. De tidlige resultater omfattede angiveligt bedre spørgsmål og tydeligere ræsonnement bag beslutningerne.
Nogle virksomheder gennemfører øvelser i AI-fejl, hvor de bevidst indfører hallucinationer og uventede udfordringer i træningen, så det at stille spørgsmålstegn ved output bliver en refleks i stedet for en instruktion. En indisk bank afholder en struktureret arbejdsdag uden AI den første fredag i hver måned på tværs af alle funktioner.
Ingen af disse er præcis måling. De er den praksis, som målingen ville fortælle dig, om du har brug for.
More Articles
- Kunstig intelligens i forretningsdrift: Gør ny teknologi til en strategisk forretningsfordel
- Hvad mellemstore virksomheder lærte om AI-transformation i 2025
- AI-klar er en formulering, ikke en strategi
- Løbende feedback om præstationer lyder transformerende, indtil man ser, hvordan virksomheder bruger det
- Vicepræsident for mennesker & organisation hos AI-unicorn siger, at HR-ledere skal blive arkitekterne bag en menneske-maskine-arbejdsstyrke
Problemet viser sig sent
53 procent af de ledere, som BCG adspurgte, pegede på, at juniortalenter udvikler sig langsommere.
Det analytiske rutinearbejde er dér, hvor dømmekraft traditionelt bliver opbygget. Researchen, de første udkast, fejlfindingen, det langsomme arbejde med at nedbryde et problem og opdage, hvilke dele man tog fejl af. Ingen nyder disse gentagelser, men alle har brug for dem.
Det arbejde er det første, organisationer overlader til AI. Og de mennesker, som plejede at lære af det, forventes nu at præstere uden det, i nogle tilfælde på et niveau, som en af BCG's respondenter beskrev som det, en medarbejder med fem til ti års erfaring ville kunne gøre.
Der er dog en målingsmæssig krølle her. Alt det ovenstående opdager tilbagegang i forhold til et udgangspunkt. Hos erfarne medarbejdere fungerer det, fordi udgangspunktet findes, og man kan se, hvordan det ændrer sig.
Hos en person, der blev ansat sidste år, findes der ikke noget udgangspunkt. Evnen blev aldrig opbygget, og dens fravær ser identisk ud med normal præstation tidligt i karrieren, indtil det øjeblik hvor man har brug for, at personen træffer en beslutning uden støtte. Du måler ikke forringelse. Du måler noget, der ikke opstod, og ingen af de nuværende måleinstrumenter er bygget til det.
Det betyder, at det er blandt juniorerne, at dette koster mest og viser sig senest.
Hvorfor rækkefølgen er vigtig
Arbejdsomlægning er initiativet for de næste to kvartaler i mange af de organisationer, jeg taler med. Opgaveopgørelser, pilotprojekter med agenter, organisationsdiagrammer tegnet omkring, hvad maskinerne varetager, og hvad menneskerne beholder.
De beslutninger stivner. De afgør, hvilke kompetencer der værdsættes, hvilke kompetencer jeres medarbejdere sandsynligvis vil øve i årevis derefter, og hvilke der permanent forsvinder fra brug.
Hvis man træffer dem oven på en uopmålt tilbagegang, indbygger man tilbagegangen i strukturen. Man ville beslutte, hvad mennesker fortsat bør gøre, uden at have et ærligt billede af, hvad jeres mennesker stadig kan, og hvor deres evner er svækket.
Jeg mener ikke, at måleinstrumentet skal være perfekt, før man går i gang. Testen med indlagte fejl kan gennemføres på en måned i de fleste funktioner. CNIL's tilgang kræver en samtale med lederne og en linje i en skabelon til medarbejdervurderinger.
Før jeg ville godkende en omlægning, ønsker jeg et svar på ét spørgsmål og dokumentationen bag det.
Hvis I slukkede for AI på tværs af jeres team i morgen, ville jeres medarbejdere så være bedre, end de var, før I tog det i brug, eller dårligere?
