Há alguns meses, assisti a uma reunião de análise de recrutamento em que uma pontuação de triagem baseada em IA tinha sido o fator decisivo na apresentação de uma proposta. O candidato obteve uma pontuação muito acima do limite, a equipa ficou satisfeita e a vaga foi encerrada dois dias mais depressa do que a média.
Seis semanas mais tarde, essa pessoa já tinha saído.
Ninguém na sala me conseguiu dizer se a pontuação alguma vez tinha sido verificada em relação a um resultado real — positivo ou negativo. Tinha simplesmente sido aceite, da mesma forma que confiamos num termómetro sem nunca perguntar quem o calibrou.
É por isso que a Screenz existe e é também a razão pela qual este artigo existe.
Se está a avaliar ferramentas de triagem com IA, já viu os números de precisão que os fornecedores destacam — 89% isto, 94% aquilo, “supera a análise manual”. Esses números são normalmente verdadeiros. Também costumam responder a uma pergunta diferente daquela que está realmente a fazer.
O que significa normalmente “Precisão” (e o que a Screenz mede em alternativa)
A maioria das alegações de precisão dos fornecedores de ferramentas de triagem com IA descreve até que ponto a ferramenta consegue fazer corresponder um currículo ou perfil a uma descrição de função — identificando competências, cargos e anos de experiência e, em seguida, classificando os candidatos de acordo com os critérios definidos. Isso é real, mensurável e genuinamente útil. Simplesmente não é o mesmo que prever o desempenho efetivo de alguém depois de ser contratado.
São duas perguntas diferentes:
- Precisão da correspondência: O perfil deste candidato é semelhante ao que dissemos que procurávamos?
- Validade preditiva: Uma pontuação elevada está realmente correlacionada com um desempenho forte ou com uma permanência mais longa depois de a pessoa ocupar a função?

Uma ferramenta pode ser excelente na primeira e não ter qualquer validação na segunda. A maioria do marketing dos fornecedores não faz esta distinção e a maioria dos compradores não sabe que deve perguntar — é precisamente assim que uma pontuação bem promovida acaba por ser tratada como um dogma numa reunião de análise de recrutamento.
Na Screenz, tratamos estes aspetos como duas métricas distintas, não como uma única pontuação combinada — porque é precisamente ao fundi-las que uma ferramenta de correspondência acaba por ser apresentada como uma ferramenta preditiva.
A pergunta para a qual criámos a Screenz
Na investigação, existe um nome para isto: validade preditiva — a correlação entre a pontuação de uma avaliação e uma medida independente posterior de desempenho, como as avaliações do responsável, a produtividade ou a retenção ao fim de 12 meses. É classificada de 0 (sem relação) a 1 (previsão perfeita) e, no mundo real, nada relacionado com o recrutamento se aproxima de 1.

Para contextualizar, a investigação meta-analítica sobre entrevistas estruturadas — o equivalente mais próximo e mais estudado dos atuais agentes de entrevista com IA — coloca geralmente os coeficientes de validade algures no intervalo de .28–.30, dependendo da dimensão de desempenho medida. Estes números refletem décadas de aperfeiçoamento e são considerados um resultado forte na seleção de pessoal. Estão muito longe do que um número de destaque como “94% de precisão” implica para um comprador que não domine esta diferença — e representam um patamar significativamente mais elevado do que aquele em relação ao qual a maioria dos fornecedores de ferramentas de triagem com IA está disposta a ser avaliada.
Esta é exatamente a pergunta para a qual criámos a Camada de Inteligência da Screenz, para continuar a obter respostas. Todos os candidatos realizam a mesma entrevista estruturada e específica para a função. De seguida, os candidatos são classificados com base nesses critérios, com a transcrição e o raciocínio anexados, para que um avaliador possa verificar o trabalho do modelo em vez de aceitar a pontuação sem questionar. Depois de alguém ser contratado, acompanhamos os sinais de acompanhamento e retenção em relação ao que a entrevista indicou sobre essa pessoa — e incorporamos esse padrão na forma como a lista restrita seguinte é classificada. Esse ciclo é o objetivo principal: a validade não é uma alegação que fazemos uma única vez no lançamento; é algo que o sistema continua a testar novamente face aos resultados à medida que estes surgem.

Por isso, quando um fornecedor afirma que a sua ferramenta prevê o desempenho, há uma pergunta que vai diretamente ao cerne da questão:
“Validada em relação a que resultado, medida de que forma e durante que período?”
Se a resposta honesta for “ainda não medimos isso”, tal não é automaticamente um fator de exclusão — significa apenas que está a comprar uma ferramenta de correspondência, não uma ferramenta preditiva, e que a sua dependência da pontuação em decisões difíceis deve ser ajustada em conformidade.
Want to learn more about Screenz?
Três perguntas a fazer antes de confiar numa pontuação (incluindo a Screenz)
- Validada em relação a que resultado — e quanto tempo depois da contratação?
«Prevê o sucesso» pode significar um indicador de desempenho aos 30 dias, um número de retenção aos 12 meses ou uma avaliação baseada na intuição de um gestor. Pergunte qual deles é e pergunte como foi definido o «sucesso» antes de o estudo ser realizado — não depois, quando é fácil escolher a métrica que faz o resultado parecer melhor.
- Foi validado com dados semelhantes aos seus ou foi retirado de outro contexto?
Um estudo de validade realizado junto da base de clientes mais abrangente de um fornecedor não se aplica automaticamente às suas funções, ao seu setor ou ao seu mercado de trabalho. Pergunte se as evidências incluem algo semelhante ao seu contexto — e se o fornecedor disponibiliza uma forma de validar continuamente a ferramenta com os seus próprios dados de resultados, e não apenas durante a fase comercial.

- Qual é o rácio de impacto adverso e quem o verificou?
Segundo a regra dos quatro quintos, amplamente utilizada, uma taxa de seleção de qualquer grupo inferior a 80% da taxa do grupo com a pontuação mais elevada merece ser investigada. Uma ferramenta pode ter uma validade preditiva razoável e, ainda assim, produzir um impacto díspar — são questões distintas, e um fornecedor que só consegue responder a uma delas, na realidade, não respondeu a nenhuma.
Estas não são questões hipotéticas para nós. São as três perguntas a que a Camada de Inteligência foi concebida para continuar a responder — não apenas uma vez no lançamento, mas de forma contínua à medida que chegam novos dados de resultados.
Nada disto pretende pôr em causa a IA enquanto categoria. Trata-se da diferença entre um fornecedor que lhe diz que a sua pontuação funciona e um fornecedor que lhe mostra as evidências de que funciona — para resultados importantes para a sua empresa, não apenas para os que são fáceis de promover.
Porque criámos a Screenz em torno desta questão
Vou ser direto: esta não é uma lista neutra. Criámos a Screenz em torno de um agente de IA que realiza entrevistas estruturadas — não um que apenas analisa um currículo —, o que significa que a questão da validade preditiva não é abstrata para nós. É o produto inteiro. A eficiência é fácil de comprovar e de promover: listas restritas mais rápidas, custos por contratação mais baixos. A validade dos resultados é mais difícil de desenvolver e mais lenta de comprovar, o que provavelmente explica por que razão menos fornecedores a colocam em primeiro plano.
Preferimos ser avaliados com base na questão mais difícil. Se nos perguntar «validado com base em quê?», queremos que essa seja a parte mais fácil da conversa — não a parte que é desviada para uma demonstração de funcionalidades.
Leve isto para a sua próxima conversa com um fornecedor, incluindo a Screenz
Não precisa de conhecimentos de estatística para ter esta conversa. Precisa de três perguntas e da disponibilidade para aceitar um honesto «ainda não sabemos», se essa for a resposta que obtiver. Leve as três perguntas acima ao seu fornecedor atual ou ao próximo que lhe apresentar uma pontuação, e veja se a resposta é um número e uma metodologia específicos — ou uma reafirmação confiante da alegação de precisão que já tinha recebido.
A diferença entre essas duas respostas é precisamente o objetivo.
Tem curiosidade em saber como é, na prática, uma triagem validada com base nos resultados? Veja como a Screenz o faz.


