För några månader sedan deltog jag i en genomgång efter en rekrytering där ett AI-baserat screeningsresultat hade varit den avgörande faktorn för ett anställningserbjudande. Kandidaten fick ett resultat långt över gränsvärdet, teamet kände sig trygga med beslutet och rekryteringsärendet stängdes två dagar snabbare än genomsnittet.
Sex veckor senare var den personen borta.
Ingen i rummet kunde säga om resultatet någonsin hade kontrollerats mot ett verkligt utfall — bra eller dåligt. Det hade helt enkelt fått stå oemotsagt, på samma sätt som man litar på en termometer utan att någonsin fråga vem som kalibrerade den.
Det är anledningen till att Screenz finns, och anledningen till att den här artikeln också gör det.
Om du utvärderar AI-baserade screeningverktyg har du sett de träffsäkerhetssiffror som leverantörerna lyfter fram — 89 % här, 94 % där, ”överträffar manuell granskning”. De siffrorna är vanligtvis sanna. De besvarar också vanligtvis en annan fråga än den du faktiskt ställer.
Vad ”träffsäkerhet” vanligtvis betyder (och vad Screenz mäter i stället)
De flesta påståenden om träffsäkerhet från AI-baserade screeningleverantörer beskriver hur väl verktyget matchar ett CV eller en profil mot en arbetsbeskrivning — genom att identifiera färdigheter, befattningar och antal års erfarenhet och sedan rangordna kandidater utifrån angivna kriterier. Det är verkligt, mätbart och genuint användbart. Det är bara inte samma sak som att förutsäga hur någon faktiskt kommer att prestera efter att ha blivit anställd.
Det är två olika frågor:
- Matchningsträffsäkerhet: Liknar den här kandidatens profil det vi sade att vi ville ha?
- Prediktiv validitet: Korrelaterar ett högt resultat faktiskt med goda prestationer eller längre anställningstid när personen väl har tillträtt rollen?

Ett verktyg kan vara utmärkt på det första och helt obeprövat när det gäller det andra. De flesta leverantörers marknadsföring skiljer inte mellan dem, och de flesta köpare vet inte att de ska fråga — vilket är precis så ett välmarknadsfört resultat till slut behandlas som en sanning i en genomgång efter en rekrytering.
På Screenz behandlar vi dessa som två separata siffror, inte som ett sammanvägt resultat — eftersom det är precis genom att slå ihop dem som ett matchningsverktyg marknadsförs som ett prediktivt verktyg.
Frågan vi byggde Screenz för att besvara
Det finns ett namn för detta inom forskningen: prediktiv validitet — korrelationen mellan ett bedömningsresultat och ett senare, oberoende mått på prestation, exempelvis chefers bedömningar, arbetsresultat eller kvarstannande efter 12 månader. Den mäts på en skala från 0 (inget samband) till 1 (perfekt förutsägelse), och i verkligheten kommer inget rekryteringsrelaterat i närheten av 1.

Som jämförelse placerar metaanalytisk forskning om strukturerade intervjuer — den närmast jämförbara välstuderade motsvarigheten till dagens AI-intervjuagenter — i allmänhet validitetskoefficienterna någonstans i intervallet .28–.30, beroende på vilken prestationsdimension som mäts. Dessa siffror återspeglar årtionden av förfining och betraktas som ett starkt resultat inom personalurval. Det är långt ifrån vad en rubriksiffra som ”94 % träffsäker” antyder för en köpare som inte är insatt i skillnaden — och det är en betydligt högre ribba än vad de flesta leverantörer av AI-baserad screening är villiga att låta sig mätas mot.
Detta är den exakta fråga som vi byggde Screenz Intelligence Layer för att fortsätta besvara. Varje sökande får samma strukturerade, rollspecifika intervju. Kandidaterna rangordnas sedan utifrån dessa kriterier, med utskriften och resonemanget bifogade, så att en granskare kan kontrollera modellens arbete i stället för att lita på resultatet utan vidare. När någon har anställts följer vi upp avstämnings- och kvarstannandesignaler mot det intervjun sade om personen — och återför det mönstret till hur nästa kortlista rangordnas. Det är hela poängen med den loopen: validitet är inte ett påstående vi gör en gång vid lanseringen, utan något systemet fortsätter att pröva mot utfall allt eftersom de kommer in.

Så när en leverantör säger att deras verktyg förutsäger prestation finns det en fråga som går rakt på sak:
”Validerat mot vilket utfall, mätt hur och över vilken tidsperiod?”
Om det ärliga svaret är ”det har vi inte mätt ännu” är det inte automatiskt ett skäl att avfärda verktyget — det betyder bara att du köper ett matchningsverktyg, inte ett prediktivt verktyg, och att ditt beroende av resultatet i svåra beslut bör anpassas därefter.
Tre frågor att ställa innan du litar på ett resultat (inklusive Screenz)
- Mot vilket utfall validerades det — och hur lång tid efter anställningen?
”Förutsäger framgång” kan betyda en 30-dagarsindikator för prestation, ett 12-månadersmått på kvarstannande eller en chefs magkänslebaserade bedömning. Fråga vilket av dem det handlar om, och fråga vad ”framgång” definierades som innan studien genomfördes – inte efteråt, när det är lätt att välja det mått som får resultatet att se bäst ut.
- Validerat på data som liknar dina, eller hämtat från någon annanstans?
En validitetsstudie som genomförts på en leverantörs bredare kundbas överförs inte automatiskt till dina roller, din bransch eller din arbetsmarknad. Fråga om underlaget innehåller något som liknar din kontext – och om leverantören erbjuder ett sätt att löpande validera verktyget mot dina egna utfallsdata, inte bara under säljprocessen.

- Vad är kvoten för negativ påverkan, och vem kontrollerade den?
Enligt den allmänt använda fyra femtedelsregeln är en urvalsfrekvens för någon grupp som understiger 80 % av frekvensen för gruppen med högst poäng värd att undersöka. Ett verktyg kan ha god prediktiv validitet och ändå medföra oproportionerlig påverkan – det är separata frågor, och en leverantör som bara kan besvara den ena har egentligen inte besvarat någon av dem.
Det här är inte hypotetiskt för oss. Det är de tre frågor som Intelligence Layer är byggt för att fortsätta besvara – inte bara en gång vid lanseringen, utan löpande när nya utfallsdata kommer in.
Inget av detta handlar om att tvivla på AI som kategori. Det handlar om skillnaden mellan att en leverantör säger att deras poäng fungerar och att en leverantör visar dig bevisen för att den fungerar – för resultat som är viktiga för din verksamhet, inte bara för de resultat som är enkla att marknadsföra.
Varför vi byggde Screenz kring den här frågan
Jag vill vara tydlig: det här är inte en neutral lista. Vi byggde Screenz kring en AI-agent som genomför strukturerade intervjuer – inte en som bara tolkar ett CV – vilket innebär att frågan om prediktiv validitet inte är abstrakt för oss. Den är hela produkten. Effektivitet är lätt att bevisa och lätt att marknadsföra: snabbare kortlistor, lägre kostnad per anställning. Resultatvaliditet är svårare att bygga och tar längre tid att bevisa, vilket förmodligen är anledningen till att färre leverantörer lyfter fram den.
Vi vill hellre bedömas utifrån den svårare frågan. Om du frågar oss ”validerat mot vad?” vill vi att det ska vara den enklaste delen av samtalet – inte den del som leds vidare till en funktionsdemonstration.
Ta med detta till ditt nästa leverantörssamtal – Screenz inkluderat
Du behöver inte ha en bakgrund inom statistik för att ha det här samtalet. Du behöver tre frågor och viljan att acceptera ett ärligt ”det vet vi inte än”, om det är det svar du får. Ta med de tre frågorna ovan till din nuvarande leverantör eller till nästa leverantör som försöker sälja in en poängmodell till dig, och se om svaret är ett specifikt tal och en metodik – eller en självsäker upprepning av det noggrannhetsanspråk du redan har hört.
Skillnaden mellan de två svaren är hela poängen.
Nyfiken på hur screening som validerats mot utfall faktiskt ser ut i praktiken? Se hur Screenz arbetar med det.

