Il tuo punteggio di selezione basato sull’IA prevede davvero qualcosa? Ecco come Screenz risponde

Una checklist pratica creata da Screenz per rispondere alla domanda che la maggior parte dei fornitori di selezione basata sull’IA spera che tu non faccia.

Screenz Partner Spotlight
Prospettive dei partner

Questo è un contenuto sponsorizzato da Screenz. Scopri qui come rimaniamo trasparenti.

Qualche mese fa, ho partecipato a una riunione di valutazione di un’assunzione in cui il punteggio di screening dell’IA era stato il fattore decisivo per fare un’offerta. Il candidato aveva ottenuto un punteggio ben al di sopra della soglia, il team era soddisfatto e la richiesta era stata chiusa due giorni più velocemente della media.

Sei settimane dopo, quella persona non c’era più.

Nessuno nella stanza ha saputo dirmi se il punteggio fosse mai stato verificato rispetto a un risultato concreto — positivo o negativo. Era stato semplicemente considerato affidabile, come ci si fida di un termometro senza mai chiedersi chi lo abbia calibrato.

È per questo che esiste Screenz, ed è anche il motivo per cui esiste questo articolo.

Se stai valutando strumenti di screening basati sull’IA, hai visto i numeri sull’accuratezza con cui i fornitori aprono le loro presentazioni — 89% questo, 94% quello, “supera la valutazione manuale”. Questi numeri sono di solito veri. Di solito, però, rispondono anche a una domanda diversa da quella che stai realmente ponendo.

Cosa significa di solito “accuratezza” (e cosa misura invece Screenz)

La maggior parte delle affermazioni sull’accuratezza dei fornitori di strumenti di screening basati sull’IA descrive quanto bene lo strumento abbini un curriculum o un profilo a una descrizione del lavoro — individuando competenze, ruoli e anni di esperienza, quindi classificando i candidati in base ai criteri dichiarati. È un processo reale, misurabile e davvero utile. Semplicemente, non equivale a prevedere quanto una persona lavorerà effettivamente bene una volta assunta.

Si tratta di due domande diverse:

  • Accuratezza dell’abbinamento: Il profilo di questo candidato corrisponde a ciò che avevamo dichiarato di cercare?
  • Validità predittiva: Un punteggio elevato è realmente correlato a prestazioni elevate o a una permanenza più lunga una volta che la persona ha assunto il ruolo?

Uno strumento può essere eccellente nel primo aspetto e non aver dimostrato assolutamente nulla nel secondo. La maggior parte del marketing dei fornitori non fa distinzione tra i due aspetti e la maggior parte degli acquirenti non sa di doverlo chiedere — ed è esattamente così che un punteggio ben promosso finisce per essere trattato come una verità assoluta durante una valutazione di assunzione.

In Screenz, consideriamo questi due aspetti come due numeri distinti, non come un unico punteggio combinato — perché è proprio fondendoli che uno strumento di abbinamento finisce per essere promosso come strumento predittivo.

La domanda a cui abbiamo creato Screenz per rispondere

Nella ricerca esiste un termine per indicare questo concetto: validità predittiva — la correlazione tra il punteggio di una valutazione e una misura indipendente e successiva delle prestazioni, come le valutazioni dei responsabili, la produttività o la permanenza a 12 mesi. Viene espressa su una scala da 0 (nessuna relazione) a 1 (predizione perfetta) e, nel mondo reale, nulla di ciò che riguarda le assunzioni si avvicina a 1.

Per fare un confronto, la ricerca meta-analitica sui colloqui strutturati — il parente più vicino e meglio studiato degli agenti per colloqui basati sull’IA di oggi — colloca generalmente i coefficienti di validità tra .28 e .30, a seconda della dimensione delle prestazioni misurata. Questi numeri riflettono decenni di perfezionamento e sono considerati un risultato significativo nella selezione del personale. Sono molto lontani da ciò che un numero in evidenza come “accuratezza del 94%” lascia intendere a un acquirente che non conosce la differenza — e rappresentano una soglia considerevolmente più alta rispetto a quella rispetto alla quale la maggior parte dei fornitori di strumenti di screening basati sull’IA è disposta a farsi valutare.

Questa è esattamente la domanda a cui abbiamo creato l’Intelligence Layer di Screenz per continuare a rispondere. Ogni candidato affronta lo stesso colloquio strutturato e specifico per il ruolo. I candidati vengono poi classificati in base a quei criteri, con la trascrizione e il ragionamento allegati, così che chi effettua la valutazione possa verificare il lavoro del modello invece di accettare il punteggio sulla fiducia. Una volta assunta una persona, monitoriamo i segnali relativi ai controlli periodici e alla permanenza, confrontandoli con ciò che il colloquio aveva indicato su di lei — e utilizziamo questo schema per migliorare il modo in cui viene classificata la rosa successiva di candidati. Questo ciclo è il punto centrale: la validità non è un’affermazione che facciamo una sola volta al lancio, ma qualcosa che il sistema continua a verificare rispetto ai risultati man mano che si presentano.

Quindi, quando un fornitore afferma che il suo strumento prevede le prestazioni, c’è una domanda che arriva dritta al punto:

“Rispetto a quale risultato è stato validato, come è stato misurato e in quale arco di tempo?”

Se la risposta onesta è “non lo abbiamo ancora misurato”, non è automaticamente un motivo per escluderlo — significa semplicemente che stai acquistando uno strumento di abbinamento, non uno predittivo, e che la fiducia riposta nel punteggio nei casi più incerti dovrebbe essere commisurata di conseguenza.

Tre domande da porsi prima di fidarsi di un punteggio (incluso Screenz)

  1. Rispetto a quale risultato è stato validato — e quanto tempo dopo l’assunzione?

“Predice il successo” può significare un indicatore delle prestazioni a 30 giorni, un dato sulla permanenza a 12 mesi o una valutazione intuitiva del manager. Chiedi quale dei tre e chiedi come è stato definito il “successo” prima dello svolgimento dello studio, non dopo, quando è facile scegliere la metrica che fa apparire il risultato migliore.

  1. È stato convalidato su dati simili ai tuoi o preso in prestito da qualche altra realtà?

Uno studio di validità condotto sull’insieme più ampio dei clienti di un fornitore non si applica automaticamente ai tuoi ruoli, al tuo settore o al tuo mercato del lavoro. Chiedi se le evidenze includono qualcosa di simile al tuo contesto e se il fornitore offre un modo per convalidare continuamente lo strumento rispetto ai dati sui risultati della tua organizzazione, non solo durante la fase commerciale.

  1. Qual è il rapporto di impatto negativo e chi lo ha verificato?

Secondo la regola dei quattro quinti, ampiamente utilizzata, un tasso di selezione per qualsiasi gruppo inferiore all’80% del tasso del gruppo con il punteggio più alto merita un’indagine. Uno strumento può avere una discreta validità predittiva e al tempo stesso produrre un impatto disparato: sono domande distinte e un fornitore che sa rispondere soltanto a una delle due non ha davvero risposto a nessuna.

Per noi non sono ipotesi. Sono le tre domande a cui l’Intelligence Layer è progettato per continuare a rispondere, non solo una volta al lancio, ma costantemente, man mano che arrivano nuovi dati sui risultati.

Niente di tutto questo riguarda il mettere in dubbio l’IA in quanto tale. Riguarda la differenza tra un fornitore che ti dice che il suo punteggio funziona e un fornitore che ti mostra le evidenze del suo funzionamento, per risultati importanti per la tua azienda, non solo per quelli facili da pubblicizzare.

Perché abbiamo costruito Screenz attorno a questa domanda

Voglio essere sincero: questo non è un elenco imparziale. Abbiamo costruito Screenz attorno a un agente di IA che conduce colloqui strutturati, non attorno a uno che si limita ad analizzare un curriculum, il che significa che la questione della validità predittiva non è astratta per noi. È l’intero prodotto. L’efficienza è facile da dimostrare e da commercializzare: selezioni più rapide, costo per assunzione più basso. La validità dei risultati è più difficile da costruire e più lenta da dimostrare, probabilmente è per questo che sono meno numerosi i fornitori che la mettono in primo piano.

Preferiamo essere giudicati sulla domanda più difficile. Se ci chiedi “convalidato rispetto a cosa?”, vogliamo che questa sia la parte più semplice della conversazione, non quella che viene sviata verso una dimostrazione delle funzionalità.

Porta queste domande alla tua prossima conversazione con un fornitore, Screenz incluso

Non è necessario avere una formazione in statistica per affrontare questa conversazione. Servono tre domande e la disponibilità ad accettare un sincero “non lo sappiamo ancora”, se questa è la risposta che ricevi. Porta le tre domande qui sopra al tuo fornitore attuale o al prossimo che ti propone un punteggio e osserva se la risposta consiste in un numero e una metodologia specifici oppure nella ripetizione sicura della dichiarazione sull’accuratezza che avevi già ricevuto.

Il divario tra queste due risposte è il punto centrale.

Vuoi sapere come si presenta concretamente una selezione convalidata rispetto ai risultati? Scopri come la affronta Screenz.

Rob Griesmeyer
Rob Griesmeyer is the Technical Co-Founder of Screenz.ai, where he leads the development of an AI agent that conducts structured interviews and validates screening scores against post-hire outcomes. He has spent more than 14 years building ML and AI products, and previously COO at Interview Query.