Kun je beoordelingsvermogen meten?
Blinde vlek voor meetgegevens: Gebruikscijfers laten zien in hoeverre AI wordt gebruikt, maar kunnen niet onthullen of medewerkers beter worden, achteruitgaan of hun beoordelingsvermogen opgeven.
Zelfbeoordeling: Medewerkers schatten de invloed van AI op hun prestaties vaak verkeerd in, waardoor enquêtes en zelfgerapporteerde voordelen onbetrouwbaar bewijs vormen.
Signalen van beoordelingsvermogen: Het beoordelingsvermogen bij het gebruik van AI wordt meetbaar via patronen van accepteren, aanpassen en afwijzen, ingevoegde fouten en evaluaties van plausibele alternatieve antwoorden.
Risico voor junior medewerkers: AI kan voorkomen dat junior medewerkers fundamenteel werk oefenen, waardoor de ontwikkeling van vaardigheden wordt vertraagd en zwakke punten verborgen blijven tot er kritieke beslissingen moeten worden genomen.
Eerst ontwerpen: Organisaties moeten menselijke vaardigheden meten voordat ze werk opnieuw ontwerpen, anders kan automatisering een niet-herkend vaardigheidsverlies permanent verankeren.
Je AI-dashboard vertelt je hoeveel mensen de tools gebruiken. Het kan je niet vertellen wat de tools met hen doen.
Dat was een terugkerend thema in veel van de sessies die ik vorige week bij AI4 in Las Vegas bijwoonde.
Organisaties hebben twee jaar besteed aan het opbouwen van rapportages over geactiveerde accounts, wekelijks actieve gebruikers, ingediende prompts en gerapporteerde bespaarde uren. Die cijfers beantwoordden een vraag die leiders in 2023 stelden: zou iemand dit daadwerkelijk gebruiken? Adoptie was het risico, dus het was logisch om adoptie te meten.
Create a Free Account to Keep Reading—and Keep Leading Smarter
Unlock this piece and join a community of forward-thinking leaders discovering tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Die vraag hoeft niet langer beantwoord te worden. Maar het instrument dat daarvoor was gebouwd, bleef bestaan en wordt nu ingezet voor een probleem dat het eigenlijk niet kan waarnemen.
Een van de sessies die ik bijwoonde, heette "Verder dan adoptie: AI-oordeelsvermogen opbouwen tijdens het werk". De uiteenzetting van Sharahn McClung was de duidelijkste versie hiervan die ik heb gehoord. Bedrijven meten snelheid. Ze meten gebruik. Vervolgens gaan ze ervan uit dat er verbetering is. De eerste twee worden geteld. De derde wordt afgeleid.
Onderzoek dat BCG in juni publiceerde, suggereert dat die afleiding vaak genoeg onjuist is om ertoe te doen. In een onderzoek onder 70 bestuurders en senior managers zei de helft dat ze al zien dat vaardigheden binnen hun eigen organisaties achteruitgaan, en verwacht meer dan 60% dat dit binnen drie tot vijf jaar een wezenlijke bedreiging wordt. Slechts één op de tien had een strategie voor de hele organisatie of gerichte initiatieven lopen. Een derde had het er helemaal niet over gehad.
Als je naar onze podcast luistert, heb je me waarschijnlijk horen praten over de noodzaak voor leiders om in deze tijden wat filosofischer te zijn. Maar hier wordt de vraag eerder praktisch dan filosofisch. Als je wilde weten of AI je mensen beter of slechter maakte, waar zou je dan kijken?
Begin met het voor de hand liggende antwoord uit te sluiten
De eerste ingeving is om het hun te vragen.
Er is een reden om die ingeving niet te vertrouwen, en die komt voort uit een onderzoek onder mensen die bij uitstek in staat zouden moeten zijn geweest om die vraag te beantwoorden.
In juli 2025 voerde METR een gerandomiseerde proef uit met 16 ervaren ontwikkelaars van opensourcesoftware die werkten aan 246 echte problemen in codebases die ze door en door kenden. Voordat ze begonnen, voorspelden de ontwikkelaars dat AI-tools hen ongeveer 24% sneller zouden maken. Ze waren 19% langzamer. Daarna, nadat ze de volledige ervaring hadden doorlopen, schatten ze nog steeds dat ze ongeveer 20% sneller waren geweest.
Twee dingen aan dat resultaat zijn het onthouden waard.
METR bestempelt deze bevinding inmiddels als historisch, en een vervolgonderzoek in februari 2026 vond enig bewijs voor versnelling bij recentere modellen. Het specifieke vertragingscijfer beschrijft mogelijk niet de tools die je teams vandaag gebruiken.
Wat overeind blijft, is de tweede bevinding, die sowieso de nuttigere is. Dit waren deskundige professionals op bekend terrein, met een resultaat dat rechtstreeks voor hen waarneembaar was, en het verschil tussen hun perceptie en hun gemeten prestaties liep op tot bijna 40 punten. Niets aan betere modellen maakt mensen beter in het beoordelen van hun eigen prestaties.
Elke meetmethode die via zelfrapportage verloopt, erft dat probleem. Enquêtes naar betrokkenheid waarin wordt gevraagd of AI helpt, zullen antwoorden opleveren. De antwoorden zullen oprecht zijn. Ze zullen ook ongeveer net zo betrouwbaar zijn als de inschattingen van die ontwikkelaars.
Twee curven, dezelfde vorm
Stel je twee teams voor met identieke gebruikstrajecten. Beide stijgen gestaag en beide laten op elke metriek die je momenteel verzamelt een gezonde adoptie zien.
Het ene team heeft geleerd wanneer het de moeite waard is om het model te vertrouwen en wanneer het moet worden overruled. Hun vermogen stapelt zich op. Het andere team accepteert de uitvoer al maanden als een feit. Hun vermogen loopt onder een stijgende lijn vandaan.
Er bestaat geen versie van een gebruikmetriek die deze teams van elkaar onderscheidt.
Een werkdocument van Wharton uit januari mat hoe ver ze in werkelijkheid uit elkaar liggen. Steven Shaw en Gideon Nave voerden drie vooraf geregistreerde experimenten uit met ongeveer 1.400 deelnemers in meer dan 9.000 proeven, waarbij ze willekeurig bepaalden of een AI-assistent via verborgen vooraf ingestelde prompts correcte of gebrekkige antwoorden gaf.
Vergeleken met een basislijn van deelnemers zonder toegang tot AI, steeg de nauwkeurigheid met 25 procentpunten wanneer de AI gelijk had. Wanneer de AI een fout maakte, daalde de nauwkeurigheid met 15 punten onder de basislijn zonder AI.
Je leest het goed: onder de mensen die de tool nooit hadden gehad. Bij taken waarop het model onbetrouwbaar was, maakte toegang ertoe de deelnemers slechter dan wanneer ze de tool helemaal niet hadden gehad.
Het vertrouwen nam in beide omstandigheden toe, ook na fouten.
Shaw en Nave noemen dit gedrag “cognitieve overgave”, waarmee ze bedoelen dat AI-uitvoer met minimale kritische beoordeling wordt overgenomen, terwijl zowel intuïtie als weloverwogen nadenken terzijde worden geschoven. Ze beschrijven kunstmatige cognitie als een derde systeem dat buiten de hersenen opereert en dat menselijke redenering kan aanvullen of vervangen.
Dit was een laboratoriumonderzoek met redeneerproblemen, niet met werknemers die hun werk deden, en dat onderscheid is het waard om scherp te houden. Wat het onderzoek vaststelt, is het mechanisme en de omvang ervan onder gecontroleerde omstandigheden.
De leiders van BCG beschrijven hetzelfde patroon vanuit echte organisaties. Bijna 90% identificeerde teams die AI-output accepteren zonder die aan stresstests te onderwerpen als een symptoom van afnemende capaciteiten. Meer dan de helft beschreef dat het eigenaarschap tegelijkertijd afnam. Een van hen formuleerde het onomwonden: wanneer de uitkomst niet positief is, wordt de verantwoordelijkheid bij de AI gelegd.
Waaruit oordeelsvermogen bestaat
Oordeelsvermogen klinkt als iets wat zich moeilijk laat meten. De sessie van McClung was nuttig omdat zij dat uitgangspunt verwierp en het woord opsplitste in observeerbare handelingen.
Een goed antwoord vertrouwen en doorgaan. Correcte output opnieuw ter discussie stellen is een vorm van verspilling op zich. Een team dat alles twee keer controleert, oefent geen oordeelsvermogen uit; het slaagt er niet in dat te ontwikkelen. Efficiënt accepteren hoort op de lijst te staan van dingen die je wél wilt.
Een zelfverzekerd fout antwoord overschrijven. Dit is de moeilijke. De output leest goed, het model toont geen aarzeling, en om de fout te ontdekken is voldoende onafhankelijke kennis nodig om te merken dat er iets niet klopt. Dit is de handeling die het eerst faalt en die niets in een gebruiksmetriek kan waarnemen.
Weten wanneer je überhaupt niet naar de tool moet grijpen. McClungs versie hiervan was het meest menselijke moment van de sessie. Ze beschreef dat ze soms een prompt schrijft en halverwege beseft dat al het denkwerk al heeft plaatsgevonden tijdens het schrijven ervan, waardoor er niets meer te doen is met het antwoord dat terugkomt.
Ik weet niet hoe het met jou zit, maar persoonlijk ben ik bang voor een lege pagina. Ik kijk ernaar en weet niet waar ik moet beginnen. En soms merk ik dat ik tegen de tijd dat ik de prompt heb geschreven, al mijn proces en al mijn denkwerk in de prompt heb gedaan, en de tool eigenlijk niet nodig heb.
Elk van deze punten is een beslissing die iemand neemt voordat er output wordt opgeleverd. Geen ervan verbetert doordat het gebruik toeneemt. Het zijn inputfactoren die een organisatie moet opbouwen, en ze behandelen als bijproducten van adoptie is hoe je uitkomt bij de positie die de respondenten van BCG beschrijven.
Het verklaart ook waarom oordeelsvermogen en besluitvorming in hun onderzoek het hoogste risico op verlies van vaardigheden hadden van alle vaardigheden, samen met het begrijpen en formuleren van problemen. Diezelfde leiders beoordeelden dat laatste als de belangrijkste vaardigheid voor de prestaties van een organisatie op de lange termijn.
Drie manieren om oordeelsvermogen te zien
Gerangschikt op hoe snel je ermee kunt beginnen.
Accepteren, aanpassen, afwijzen.
Elke AI-sessie genereert een registratie van wat er is gevraagd, wat er terugkwam en wat de persoon er vervolgens mee deed. Een correct antwoord accepteren en een fout antwoord accepteren levert identieke gebruiksgegevens op, maar vertegenwoordigt tegengestelde vormen van oordeelsvermogen. Aanpassing is bewijs dat iemand de output heeft gelezen en erover heeft nagedacht voordat die werd opgeleverd.
Wanneer je dit over een team en meerdere maanden aggregeert, houdt die verhouding op een anekdote te zijn en wordt ze iets waarvan je trends kunt volgen.
Het obstakel is toegang. De meeste HR-functies kunnen deze gegevens momenteel niet zien, en er toegang toe krijgen is een gesprek met IT en de eigenaren van je AI-platform, niet iets wat je volgende week lanceert. De organisaties die dit als eerste voor elkaar krijgen, zullen de organisaties zijn waar het personeels- en platformteam al met elkaar spraken.
De ingeplante fout
Neem een echte taak. Plant vooraf een bekende fout in wat het model terugstuurt. Een verkeerd cijfer, een overgeslagen stap, een bewering die geen standhoudt. Merkt de persoon die op voordat het verdergaat?
De kracht hiervan ten opzichte van elke test is dat het op echte opleveringen wordt uitgevoerd en elke keer op dezelfde manier wordt beoordeeld. Omdat de fout vooraf is geselecteerd, is er geen onduidelijkheid over de beoordeling en kun je de ene maand netjes met de andere vergelijken.
De gevoeligheid is echter reëel. Als je dit slecht uitvoert, komt het over als een valstrik en wordt het vertrouwen onmiddellijk aangetast. Het werkt wanneer teams weten dat de werkwijze bestaat, begrijpen waarom en zien dat de resultaten ontwikkelingsgericht en niet bestraffend worden gebruikt.
Beoordelend oordeelsvermogen
Twee antwoorden, beide vloeiend, beide plausibel, maar één subtiel verkeerd. Kan de persoon vaststellen welk antwoord dat is en uitleggen waarom?
Dit komt het dichtst in de buurt van wat expertwerk vereist en is het duurst om uit te voeren, omdat het opstellen van de antwoordsleutel iemand met echte vakinhoudelijke expertise vereist om plausibele maar gebrekkige alternatieven te construeren. Wees eerlijk tegen jezelf over die kosten voordat je hiervoor kiest.
De versies die al in gebruik zijn
Sommige organisaties zijn verdergegaan zonder te wachten op perfecte meetinstrumenten.
Bij CNIL, de Franse toezichthouder voor gegevensbescherming, zijn managers verantwoordelijk voor het beoordelen of medewerkers AI-uitkomsten ter discussie kunnen stellen, en niet alleen ermee kunnen werken. Kritische betrokkenheid werd een zichtbare en geëvalueerde prestatiedimensie.
Dat is de aanpak die ik als eerste zou overnemen. Er is geen nieuwe technologie voor nodig en de vraag wordt ondergebracht in het prestatiesysteem, waar HR al verantwoordelijk voor is. Bovendien lost dit een probleem op dat BCG elders in zijn onderzoek benoemt: certificeringspercentages stijgen, terwijl de werkelijke bekwaamheid dat mogelijk niet doet.
Shell heeft zijn leertrajecten voor junior medewerkers opnieuw ingericht, zodat nieuwe medewerkers het probleem zelfstandig formuleren, aannames testen en een basisanalyse opstellen voordat AI het werk aanraakt. Tot de vroeg gerapporteerde resultaten behoorden betere vragen en een duidelijkere onderbouwing van beslissingen.
Sommige bedrijven houden oefeningen voor AI-falen, waarbij ze bewust hallucinaties en onverwachte wendingen in trainingen introduceren, zodat het in twijfel trekken van uitkomsten een reflex wordt in plaats van een instructie. Een Indiase bank houdt op de eerste vrijdag van elke maand binnen alle functies een gestructureerde werksessie zonder AI.
Geen van deze aanpakken is precies een meetmethode. Het zijn de praktijken waarvan een meting je zou vertellen of je ze nodig hebt.
Het probleem dient zich laat aan
Drieënvijftig procent van de door BCG ondervraagde leiders wees op een tragere ontwikkeling van junior talent.
Het analytische uitvoerende werk is traditioneel de plek waar oordeelsvermogen wordt opgebouwd. Het onderzoek, de eerste versies, het opsporen en verhelpen van fouten, het trage proces van een probleem opdelen en ontdekken welke onderdelen je verkeerd hebt aangepakt. Niemand doet die herhalingen graag, maar iedereen heeft ze nodig.
Dat werk is het eerste wat organisaties aan AI uitbesteden. En de mensen die er vroeger van leerden, worden nu geacht het zonder die ondersteuning te doen, in sommige gevallen op een niveau dat een van de respondenten van BCG omschreef als het niveau van iemand met vijf tot tien jaar werkervaring.
Hier zit echter een complicatie rond de meting. Alles hierboven signaleert achteruitgang ten opzichte van een uitgangssituatie. Bij ervaren mensen werkt dat, omdat die uitgangssituatie bestaat en je kunt volgen hoe die verandert.
Bij iemand die vorig jaar is aangenomen, bestaat er geen uitgangssituatie. De bekwaamheid heeft zich nooit gevormd, en de afwezigheid ervan ziet er identiek uit aan normale prestaties aan het begin van een loopbaan, totdat je die persoon nodig hebt om zonder ondersteuning een beslissing te nemen. Je meet geen afbraak. Je meet iets wat nooit is ontstaan, en geen van de huidige instrumenten is daarvoor ontworpen.
Dat betekent dat dit de junior groep het meest kost en zich daar het laatst manifesteert.
Waarom de volgorde ertoe doet
Werkherontwerp is in veel organisaties waarmee ik spreek het initiatief voor de komende twee kwartalen. Taakinventarissen, proefprojecten met agents, organisatieschema's die zijn opgebouwd rond wat machines uitvoeren en wat mensen behouden.
Die beslissingen verharden. Ze bepalen welke capaciteiten worden gewaardeerd, welke capaciteiten je mensen waarschijnlijk nog jarenlang zullen oefenen en welke permanent buiten gebruik raken.
Als je die beslissingen baseert op een niet-gemeten achteruitgang, bouw je die achteruitgang in de structuur in. Je zou beslissen wat mensen moeten blijven doen zonder eerlijk inzicht in wat je mensen nog kunnen en waar hun vaardigheden zijn verschraald.
Ik denk niet dat het meetinstrument perfect moet zijn voordat je begint. De test met opzettelijk ingebrachte fouten kan in de meeste functies binnen een maand worden uitgevoerd. De aanpak van CNIL vereist een gesprek met managers en één regel in een beoordelingssjabloon.
Voordat ik mijn goedkeuring aan een herontwerp zou geven, wil ik een antwoord op één vraag en het bewijs dat dit antwoord ondersteunt.
Als je AI morgen binnen je hele team zou uitschakelen, zouden je mensen dan beter zijn dan voordat je AI invoerde, of slechter?
