Muutama kuukausi sitten osallistuin rekrytointipäätöksen purkutilaisuuteen, jossa tekoälyseulonnan pistemäärä oli ratkaiseva tekijä työtarjouksen tekemisessä. Ehdokas sai selvästi raja-arvon ylittävän pistemäärän, tiimi suhtautui päätökseen luottavaisesti, ja rekrytointitarve täytettiin kaksi päivää keskimääräistä nopeammin.
Kuusi viikkoa myöhemmin tämä palkattu henkilö oli lähtenyt.
Kukaan huoneessa ei osannut kertoa, oliko pistemäärää koskaan verrattu todelliseen lopputulokseen – hyvään tai huonoon. Siihen oli vain luotettu samalla tavalla kuin lämpömittariin luotetaan kysymättä koskaan, kuka sen kalibroi.
Juuri siksi Screenz on olemassa, ja juuri siksi tämä artikkeli on kirjoitettu.
Jos arvioit tekoälypohjaisia seulontatyökaluja, olet nähnyt tarkkuusluvut, joilla toimittajat aloittavat esittelynsä – 89 % tätä, 94 % tuota, ”päihittää manuaalisen arvioinnin”. Nämä luvut ovat yleensä totta. Ne vastaavat kuitenkin yleensä eri kysymykseen kuin siihen, jonka sinä oikeasti esität.
Mitä ”tarkkuus” yleensä tarkoittaa (ja mitä Screenz mittaa sen sijaan)
Useimmat tekoälyseulontatoimittajien tarkkuusväitteet kuvaavat sitä, kuinka hyvin työkalu yhdistää ansioluettelon tai profiilin työnkuvaukseen – poimii taidot, tittelit ja työkokemusvuodet ja asettaa ehdokkaat järjestykseen ilmoitettujen kriteerien perusteella. Tämä on todellista, mitattavaa ja aidosti hyödyllistä. Se ei kuitenkaan ole sama asia kuin ennustaa, kuinka joku todella suoriutuu palkkaamisen jälkeen.
Nämä ovat kaksi eri kysymystä:
- Yhdistämisen tarkkuus: Vastaako tämän ehdokkaan profiili sitä, mitä sanoimme etsivämme?
- Ennustava validiteetti: Korreloiko korkea pistemäärä todella vahvan suoriutumisen tai pidemmän työsuhteen kanssa sen jälkeen, kun henkilö on aloittanut tehtävässä?

Työkalu voi olla erinomainen ensimmäisessä ja täysin todistamaton toisessa. Useimmat toimittajien markkinointiviestit eivät erota näitä toisistaan, eivätkä useimmat ostajat tiedä kysyä asiasta – juuri näin hyvin markkinoidusta pistemäärästä tulee rekrytointipäätöksen purkutilaisuudessa ehdoton totuus.
Screenzissä käsittelemme näitä kahtena erillisenä lukuna, emme yhtenä yhdistettynä pistemääränä – koska niiden yhdistäminen on juuri se tapa, jolla yhdistämistyökalu päätyy markkinoille ennustavana työkaluna.
Kysymys, johon rakensimme Screenzin vastaamaan
Tutkimuksessa tälle on nimi: ennustava validiteetti – arviointipistemäärän ja myöhemmän, riippumattoman suoriutumisen mittarin, kuten esihenkilöiden arvioiden, tuotoksen tai 12 kuukauden työsuhteessa pysymisen, välinen korrelaatio. Se ilmoitetaan asteikolla 0:sta (ei yhteyttä) 1:een (täydellinen ennuste), ja todellisessa maailmassa mikään rekrytointiin liittyvä ei yllä lähellekään ykköstä.

Asiayhteyden vuoksi: jäsenneltyjä haastatteluja koskeva meta-analyyttinen tutkimus – ne ovat lähin perusteellisesti tutkittu vastine nykyisille tekoälyhaastatteluagenteille – sijoittaa validiteettikertoimet yleensä noin välille .28–.30 mitatusta suoriutumisen ulottuvuudesta riippuen. Nämä luvut perustuvat vuosikymmenten kehitystyöhön, ja niitä pidetään henkilöstövalinnassa vahvana tuloksena. Ne eivät ole lähelläkään sitä, mitä ostaja, joka ei tunne eroa, tulkitsee otsikkotason väitteestä ”94 %:n tarkkuus” – ja rima on merkittävästi korkeammalla kuin useimmat tekoälyseulontatoimittajat ovat valmiita asettamaan itselleen.
Tämä on juuri se kysymys, johon rakensimme Screenzin älykkyyskerroksen jatkuvasti vastaamaan. Jokainen hakija käy läpi saman jäsennellyn, roolikohtaisen haastattelun. Ehdokkaat asetetaan sitten järjestykseen näiden kriteerien perusteella, ja mukaan liitetään keskustelun litterointi sekä perustelut, jotta arvioija voi tarkistaa mallin työn sen sijaan, että luottaisi pistemäärään sokeasti. Kun joku on palkattu, seuraamme perehdytyskeskustelujen ja työsuhteessa pysymisen signaaleja suhteessa siihen, mitä haastattelu hänestä kertoi – ja syötämme tämän mallin takaisin siihen, miten seuraava esivalittujen ehdokkaiden joukko asetetaan järjestykseen. Tämä kehä on koko asian ydin: validiteetti ei ole väite, jonka esitämme kerran julkaisun yhteydessä, vaan asia, jonka järjestelmä testaa jatkuvasti uudelleen toteutuneita tuloksia vasten niiden kertyessä.

Kun toimittaja siis sanoo työkalunsa ennustavan suoriutumista, yksi kysymys menee suoraan asian ytimeen:
”Mihin lopputulokseen validointi perustuu, miten se mitattiin ja millä aikavälillä?”
Jos rehellinen vastaus on ”emme ole vielä mitanneet sitä”, se ei automaattisesti tee työkalusta kelvotonta – se tarkoittaa vain, että olet ostamassa yhdistämistyökalua etkä ennustavaa työkalua, ja pistemäärään kohdistuva luottamuksesi tiukoissa valintatilanteissa tulisi mitoittaa sen mukaisesti.
Want to learn more about Screenz?
Kolme kysymystä, jotka kannattaa esittää ennen kuin luotat pistemäärään (myös Screenzistä)
- Mihin lopputulokseen validointi perustuu – ja kuinka kauan palkkaamisen jälkeen?
”Ennustaa menestystä” voi tarkoittaa 30 päivän suorituskykylippua, 12 kuukauden pysyvyyslukua tai esihenkilön intuitiivista arviota. Kysy, mitä niistä tarkoitetaan, ja kysy, miten ”menestys” määriteltiin ennen tutkimuksen toteuttamista — ei sen jälkeen, jolloin on helppo valita mittari, joka saa tuloksen näyttämään parhaimmalta.
- Vahvistettu sinun kaltaisillasi tiedoilla vai lainattu jostain muualta?
Toimittajan laajemman asiakaskunnan keskuudessa toteutettu validiteettitutkimus ei automaattisesti sovellu sinun tehtäviisi, toimialaasi tai työmarkkinoihisi. Kysy, sisältääkö näyttö mitään omaa toimintaympäristöäsi vastaavaa — ja tarjoaako toimittaja tavan validoida työkalu omia lopputulostietojasi vasten jatkuvasti, ei vain myyntivaiheessa.

- Mikä on haitallisen vaikutuksen suhdeluku, ja kuka tarkisti sen?
Laajasti käytetyn neljän viidesosan säännön mukaan minkä tahansa ryhmän valintaprosentti, joka jää alle 80 prosenttiin korkeimman pistemäärän saaneen ryhmän prosentista, on syytä tutkia. Työkalulla voi olla kelvollinen ennustava validiteetti ja silti erilainen vaikutus eri ryhmiin — nämä ovat erillisiä kysymyksiä, eikä toimittaja, joka pystyy vastaamaan vain toiseen, ole oikeastaan vastannut kumpaankaan.
Nämä eivät ole meille hypoteettisia kysymyksiä. Nämä ovat ne kolme kysymystä, joihin Intelligence Layer on rakennettu vastaamaan — ei vain kerran käyttöönoton yhteydessä, vaan jatkuvasti, kun uutta lopputulostietoa kertyy.
Tässä ei ole kyse siitä, että tekoälyyn kategoriana pitäisi suhtautua epäillen. Kyse on erosta sen välillä, kertooko toimittaja, että heidän pisteytyksensä toimii, ja sen välillä, että toimittaja näyttää näytön siitä, että se toimii — liiketoiminnallesi tärkeiden lopputulosten osalta, ei vain niiden, joita on helppo mainostaa.
Miksi rakensimme Screenzin tämän kysymyksen ympärille
Sanon tämän suoraan: tämä ei ole puolueeton lista. Rakensimme Screenzin tekoälyagentin ympärille, joka toteuttaa jäsenneltyjä haastatteluja — ei sellaisen ympärille, joka vain jäsentää ansioluettelon — joten ennustavan validiteetin kysymys ei ole meille abstrakti. Se on koko tuotteemme ydin. Tehokkuus on helppo todistaa ja helppo markkinoida: nopeammat esivalinnat ja pienemmät rekrytointikustannukset. Lopputulosten validiteettia on vaikeampi rakentaa ja hitaampi todistaa, mikä luultavasti selittää, miksi harvempi toimittaja nostaa sen etusijalle.
Haluaisimme mieluummin, että meitä arvioidaan vaikeamman kysymyksen perusteella. Jos kysyt meiltä ”mihin verrattuna validoitu”, haluamme sen olevan keskustelun helpoin osa — ei osa, joka ohjataan takaisin ominaisuusesittelyyn.
Ota tämä mukaan seuraavaan keskusteluusi toimittajan kanssa – myös Screenz
Sinulla ei tarvitse olla tilastotieteen taustaa tätä keskustelua varten. Tarvitset kolme kysymystä ja valmiuden hyväksyä rehellinen ”emme vielä tiedä”, jos se on saamasi vastaus. Esitä yllä olevat kolme kysymystä nykyiselle toimittajallesi tai seuraavalle toimittajalle, joka tarjoaa sinulle pisteytystä, ja tarkkaile, onko vastaus täsmällinen luku ja menetelmä — vai itsevarma uudelleenmuotoilu tarkkuusväitteestä, jonka jo esitit.
Näiden kahden vastauksen välinen ero on koko asian ydin.
Haluatko tietää, miltä lopputulosten perusteella validoitu esivalinta näyttää käytännössä? Katso, miten Screenz lähestyy asiaa.


