Forudsiger din KI-screeningsscore faktisk noget? Sådan besvarer Screenz det

En praktisk tjekliste, som Screenz har udviklet for at besvare det spørgsmål, de fleste leverandører af KI-screening håber, at du ikke stiller.

Screenz Partner Spotlight
Partner Perspectives

This is sponsored content from Screenz. Learn here how we stay transparent.

For et par måneder siden deltog jeg i en opsamling på en rekruttering, hvor en AI-screeningsscore havde været den afgørende faktor for et jobtilbud. Kandidaten scorede et godt stykke over grænsen, teamet havde det godt med beslutningen, og stillingen blev besat to dage hurtigere end gennemsnittet.

Seks uger senere var den ansatte væk.

Ingen i rummet kunne fortælle mig, om scoren nogensinde var blevet kontrolleret op mod et reelt resultat — godt eller dårligt. Den var ganske enkelt blevet stolet på, på samme måde som man stoler på et termometer uden nogensinde at spørge, hvem der kalibrerede det.

Det er grunden til, at Screenz findes, og grunden til, at denne artikel også gør.

Hvis du evaluerer AI-screeningsværktøjer, har du set de nøjagtighedstal, leverandørerne fremhæver — 89 % af dette, 94 % af hint, "overgår manuel gennemgang". De tal er som regel sande. De besvarer også som regel et andet spørgsmål end det, du faktisk stiller.

Hvad "nøjagtighed" normalt betyder (og hvad Screenz måler i stedet)

De fleste påstande om nøjagtighed fra AI-screeningsleverandører beskriver, hvor godt værktøjet matcher et CV eller en profil med en jobbeskrivelse — ved at udtrække færdigheder, jobtitler og års erfaring og derefter rangordne kandidater efter de angivne kriterier. Det er reelt, målbart og oprigtigt nyttigt. Det er bare ikke det samme som at forudsige, hvordan nogen rent faktisk vil præstere, når de først er blevet ansat.

Det er to forskellige spørgsmål:

  • Matchningsnøjagtighed: Ligner denne kandidats profil det, vi sagde, at vi ønskede?
  • Prædiktiv validitet: Korrelaterer en høj score faktisk med stærke resultater eller længere ansættelse, når personen først sidder i stillingen?

Et værktøj kan være fremragende til det første og fuldstændig uprøvet, når det gælder det andet. De fleste leverandørers markedsføring skelner ikke mellem de to, og de fleste købere ved ikke, at de skal spørge — hvilket netop er sådan, at en velformidlet score ender med at blive behandlet som den endelige sandhed i en opsamling på en rekruttering.

Hos Screenz behandler vi dem som to separate tal, ikke som én samlet score — fordi det netop er sådan, et matchningsværktøj ender med at blive markedsført som et prædiktivt værktøj.

Det spørgsmål, vi byggede Screenz til at besvare

Der findes et navn for dette i forskningen: prædiktiv validitet — korrelationen mellem en vurderingsscore og et senere, uafhængigt mål for præstation, såsom ledervurderinger, output eller fastholdelse efter 12 måneder. Den måles på en skala fra 0 (ingen sammenhæng) til 1 (perfekt forudsigelse), og i den virkelige verden kommer intet rekrutteringsrelateret i nærheden af 1.

For at sætte det i perspektiv placerer metaanalytisk forskning i strukturerede interviews — den nærmeste veldokumenterede slægtning til nutidens AI-interviewagenter — generelt validitetskoefficienterne et sted i intervallet .28–.30, afhængigt af hvilken præstationsdimension der måles. Disse tal afspejler årtiers videreudvikling og betragtes som et stærkt resultat inden for personaleudvælgelse. Det er langt fra det, som et overskriftstal som "94 % nøjagtig" antyder for en køber, der ikke er fortrolig med forskellen — og det er en betydeligt højere standard, end de fleste AI-screeningsleverandører er villige til at blive målt op imod.

Det er netop det spørgsmål, vi byggede Screenz' intelligenslag til fortsat at besvare. Alle ansøgere får det samme strukturerede, rollespecifikke interview. Kandidaterne rangordnes derefter efter disse kriterier, med transskriptionen og begrundelsen vedlagt, så en vurderer kan kontrollere modellens arbejde i stedet for blindt at stole på scoren. Når en person er blevet ansat, følger vi op på signaler for opfølgning og fastholdelse i forhold til det, interviewet sagde om vedkommende — og fører dette mønster tilbage i den måde, den næste kandidatliste rangordnes på. Det er hele pointen med denne løkke: Validitet er ikke en påstand, vi fremsætter én gang ved lanceringen; det er noget, systemet løbende tester igen op mod de resultater, der kommer ind.

Så når en leverandør siger, at deres værktøj forudsiger præstation, er der ét spørgsmål, der går lige til sagen:

"Valideret op mod hvilket resultat, målt hvordan og over hvilken tidsperiode?"

Hvis det ærlige svar er "det har vi ikke målt endnu", er det ikke automatisk diskvalificerende — det betyder blot, at du køber et matchningsværktøj, ikke et prædiktivt værktøj, og at din tillid til scoren i tætte afgørelser bør afstemmes derefter.

Want to learn more about Screenz?

Our review covers everything you need to know.

Tre spørgsmål, du bør stille, før du stoler på en score (inklusive Screenz)

  1. Valideret op mod hvilket resultat — og hvor lang tid efter ansættelsen?

“Forudsiger succes” kan betyde en 30-dages præstationsmarkering, et 12-måneders fastholdelsestal eller en leders mavefornemmelsesvurdering. Spørg, hvilken af dem der menes, og spørg, hvad “succes” blev defineret som, før undersøgelsen blev gennemført — ikke bagefter, hvor det er nemt at vælge det mål, der får resultatet til at se bedst ud.

  1. Er værktøjet valideret på data som dine, eller lånt fra et andet sted?

En validitetsundersøgelse, der er gennemført på tværs af en leverandørs bredere kundebase, gælder ikke automatisk for dine roller, din branche eller dit arbejdsmarked. Spørg, om dokumentationen omfatter noget, der minder om din kontekst — og om leverandøren tilbyder en måde løbende at validere værktøjet op mod dine egne resultatdata på, ikke kun i salgsfasen.

  1. Hvad er forholdet for negativ særbehandling, og hvem har kontrolleret det?

Efter den bredt anvendte fire-femdelsregel er en udvælgelsesrate for enhver gruppe, der ligger under 80 % af raten for gruppen med den højeste score, værd at undersøge. Et værktøj kan have en rimelig prædiktiv validitet og stadig medføre uforholdsmæssig negativ indvirkning — det er separate spørgsmål, og en leverandør, der kun kan besvare det ene, har i virkeligheden ikke besvaret nogen af dem.

Det her er ikke hypotetisk for os. Det er de tre spørgsmål, som intelligenslaget er bygget til at blive ved med at besvare — ikke kun én gang ved lanceringen, men løbende, efterhånden som nye resultatdata kommer ind.

Intet af dette handler om at betvivle AI som kategori. Det handler om forskellen mellem en leverandør, der fortæller dig, at deres score virker, og en leverandør, der viser dig dokumentationen for, at den virker — for resultater, der betyder noget for din virksomhed, ikke kun dem, der er nemme at markedsføre.

Hvorfor vi byggede Screenz op omkring dette spørgsmål

Jeg vil være helt ærlig: Det her er ikke en neutral liste. Vi byggede Screenz op omkring en AI-agent, der gennemfører strukturerede interviews — ikke en, der bare fortolker et CV — hvilket betyder, at spørgsmålet om prædiktiv validitet ikke er abstrakt for os. Det er hele produktet. Effektivitet er nem at bevise og nem at markedsføre: hurtigere kandidatshortlister, lavere omkostning pr. ansættelse. Resultatvaliditet er sværere at opbygge og tager længere tid at bevise, hvilket nok er grunden til, at færre leverandører fremhæver det.

Vi vil hellere vurderes på det sværere spørgsmål. Hvis du spørger os “valideret i forhold til hvad?”, vil vi gerne have, at det er den nemmeste del af samtalen — ikke den del, der bliver omdirigeret til en funktionsdemonstration.

Tag det her med til din næste leverandørsamtale — Screenz inkluderet

Du behøver ikke en baggrund inden for statistik for at tage denne samtale. Du har brug for tre spørgsmål og viljen til at acceptere et ærligt “det ved vi ikke endnu”, hvis det er det svar, du får. Tag de tre ovenstående spørgsmål med til din nuværende leverandør eller til den næste, der præsenterer dig for en score, og se, om svaret er et specifikt tal og en metode — eller en selvsikker gentagelse af den nøjagtighedspåstand, du allerede havde hørt.

Forskellen mellem de to svar er hele pointen.

Nysgerrig efter at se, hvordan resultatvalideret screening faktisk ser ud i praksis? Se, hvordan Screenz griber det an.

Rob Griesmeyer
Rob Griesmeyer is the Technical Co-Founder of Screenz.ai, where he leads the development of an AI agent that conducts structured interviews and validates screening scores against post-hire outcomes. He has spent more than 14 years building ML and AI products, and previously COO at Interview Query.

You may also like