For noen måneder siden deltok jeg i et evalueringsmøte etter en ansettelsesprosess, der en AI-screeningsskår hadde vært den avgjørende faktoren for et jobbtilbud. Kandidaten skåret godt over grensen, teamet følte seg trygge på beslutningen, og stillingen ble besatt to dager raskere enn gjennomsnittet.
Seks uker senere var den nyansatte borte.
Ingen i rommet kunne fortelle meg om skåren noen gang hadde blitt kontrollert mot et faktisk resultat – godt eller dårlig. Den hadde ganske enkelt blitt stolt på, på samme måte som du stoler på et termometer uten noen gang å spørre hvem som kalibrerte det.
Det er grunnen til at Screenz finnes, og grunnen til at denne artikkelen også gjør det.
Hvis du vurderer AI-verktøy for screening, har du sett nøyaktighetstallene leverandørene fremhever – 89 % på dette, 94 % på det, «overgår manuell gjennomgang». Disse tallene er som regel riktige. De svarer også som regel på et annet spørsmål enn det du faktisk stiller.
Hva «nøyaktighet» vanligvis betyr (og hva Screenz måler i stedet)
De fleste påstander om nøyaktighet fra leverandører av AI-screening beskriver hvor godt verktøyet kobler en CV eller profil mot en stillingsbeskrivelse – ved å hente ut ferdigheter, stillingstitler og antall års erfaring, og deretter rangere kandidater opp mot angitte kriterier. Det er reelt, målbart og genuint nyttig. Det er bare ikke det samme som å forutsi hvor godt noen faktisk vil prestere etter at de er ansatt.
Dette er to forskjellige spørsmål:
- Treffsikkerhet i matching: Ligner denne kandidatens profil på det vi sa at vi ønsket?
- Prediktiv validitet: Korrelerer en høy skår faktisk med gode prestasjoner eller lengre ansettelsestid når noen først er i stillingen?

Et verktøy kan være fremragende på det første og fullstendig uprøvd på det andre. De fleste leverandørers markedsføring skiller ikke mellom disse, og de fleste kjøpere vet ikke at de bør spørre – og det er nettopp slik en godt markedsført skår ender opp med å bli behandlet som en urokkelig sannhet i et evalueringsmøte etter en ansettelsesprosess.
Hos Screenz behandler vi disse som to separate tall, ikke som én sammenslått skår – fordi det å slå dem sammen er nettopp det som gjør at et matchingverktøy ender opp med å bli markedsført som et prediktivt verktøy.
Spørsmålet vi bygde Screenz for å besvare
Det finnes et navn på dette i forskningen: prediktiv validitet – korrelasjonen mellom en vurderingsskår og et senere, uavhengig mål på prestasjon, for eksempel ledervurderinger, produksjon eller det å bli værende i 12 måneder. Den måles fra 0 (ingen sammenheng) til 1 (perfekt prediksjon), og i den virkelige verden er det ingenting innen ansettelser som kommer i nærheten av 1.

For å sette det i perspektiv ligger metaanalytisk forskning på strukturerte intervjuer – den nærmeste godt studerte slektningen til dagens AI-intervjuagenter – vanligvis på validitetskoeffisienter et sted i området .28–.30, avhengig av hvilken prestasjonsdimensjon som måles. Disse tallene gjenspeiler flere tiår med forbedringer og regnes som et sterkt resultat innen personalutvelgelse. Det er langt unna det et overskriftstall som «94 % nøyaktig» antyder for en kjøper som ikke kjenner forskjellen – og det er en betydelig høyere terskel enn de fleste leverandører av AI-screening er villige til å bli målt mot.
Dette er det nøyaktige spørsmålet vi bygde Screenz’ Intelligence Layer for å fortsette å besvare. Alle søkere får det samme strukturerte, rollespesifikke intervjuet. Kandidatene rangeres deretter opp mot disse kriteriene, med transkripsjonen og begrunnelsen vedlagt, slik at en saksbehandler kan kontrollere modellens arbeid i stedet for å ta skåren på tro og håp. Når noen er ansatt, følger vi opp innsjekkings- og beholdningssignaler opp mot det intervjuet sa om dem – og fører dette mønsteret tilbake i hvordan den neste kortlisten rangeres. Det er hele poenget med denne sløyfen: Validitet er ikke en påstand vi fremsetter én gang ved lansering, men noe systemet fortsetter å teste på nytt mot resultater etter hvert som de kommer inn.

Så når en leverandør sier at verktøyet deres forutsier prestasjoner, finnes det ett spørsmål som går rett til kjernen:
«Validert mot hvilket resultat, målt hvordan og over hvilken tidsperiode?»
Hvis det ærlige svaret er «det har vi ikke målt ennå», er ikke det automatisk diskvalifiserende – det betyr bare at du kjøper et matchingverktøy, ikke et prediktivt verktøy, og at hvor mye du stoler på skåren i vanskelige beslutninger, bør tilpasses deretter.
Want to learn more about Screenz?
Tre spørsmål du bør stille før du stoler på en skår (inkludert Screenz)
- Mot hvilket resultat er den validert – og hvor lenge etter ansettelsen?
«Forutsier suksess» kan bety en resultatindikator for 30 dager, et 12-måneders tall for hvor mange som blir værende, eller en leders skjønnsmessige vurdering. Spør hvilken av disse det er snakk om, og spør hva «suksess» ble definert som før studien ble gjennomført – ikke etterpå, når det er lett å velge måltallet som får resultatet til å se best ut.
- Er verktøyet validert på data som ligner på deres, eller lånt fra et annet sted?
En validitetsstudie som er gjennomført på tvers av en leverandørs bredere kundebase, gjelder ikke automatisk for deres roller, bransje eller arbeidsmarked. Spør om dokumentasjonen omfatter noe som ligner på deres kontekst – og om leverandøren tilbyr en måte å validere verktøyet mot deres egne resultatdata på løpende basis, ikke bare i salgsfasen.

- Hva er forholdstallet for negativ forskjellsbehandling, og hvem har kontrollert det?
Etter den bredt brukte firedelsregelen er det grunn til å undersøke en utvalgsrate for en gruppe som er lavere enn 80 % av raten for gruppen med høyest poengsum. Et verktøy kan ha god prediktiv validitet og likevel føre til forskjellsbehandling – dette er separate spørsmål, og en leverandør som bare kan svare på det ene, har egentlig ikke svart på noen av dem.
Dette er ikke hypotetiske spørsmål for oss. Det er de tre spørsmålene Intelligence Layer er bygget for å fortsette å besvare – ikke bare én gang ved lansering, men løpende etter hvert som nye resultatdata kommer inn.
Ingenting av dette handler om å tvile på kunstig intelligens som kategori. Det handler om forskjellen mellom at en leverandør forteller deg at poengsummen deres fungerer, og at leverandøren viser deg dokumentasjonen på at den fungerer – for resultater som betyr noe for virksomheten din, ikke bare for dem som er enkle å markedsføre.
Hvorfor vi bygget Screenz rundt dette spørsmålet
Jeg skal være åpen: Dette er ikke en nøytral liste. Vi bygget Screenz rundt en KI-agent som gjennomfører strukturerte intervjuer – ikke en som bare tolker en CV – noe som betyr at spørsmålet om prediktiv validitet ikke er abstrakt for oss. Det er hele produktet. Effektivitet er lett å dokumentere og lett å markedsføre: raskere kortlister, lavere kostnad per ansettelse. Resultatvaliditet er vanskeligere å bygge inn og tar lengre tid å dokumentere, noe som trolig er grunnen til at færre leverandører fremhever det.
Vi vil heller bli vurdert ut fra det vanskeligere spørsmålet. Hvis du spør oss «validert mot hva», ønsker vi at det skal være den enkleste delen av samtalen – ikke den delen som blir avledet til en demonstrasjon av funksjonene.
Ta dette med til din neste leverandørsamtale – Screenz inkludert
Du trenger ikke bakgrunn innen statistikk for å ha denne samtalen. Du trenger tre spørsmål og viljen til å tåle et ærlig «det vet vi ikke ennå» hvis det er svaret du får. Ta med de tre spørsmålene ovenfor til deres nåværende leverandør, eller til den neste som presenterer en poengsum for deg, og se om svaret er et konkret tall og en konkret metode – eller en selvsikker gjentakelse av nøyaktighetspåstanden du allerede hadde fått.
Gapet mellom disse to svarene er hele poenget.
Lurer du på hvordan resultatvalidert screening faktisk ser ut i praksis? Se hvordan Screenz gjør det.


