É Possível Medir o Discernimento?

O seu painel de IA diz-lhe quantas pessoas estão a utilizar as ferramentas. Não lhe consegue dizer o que as ferramentas estão a fazer às pessoas.

Esse foi um tema recorrente em muitas das sessões a que assisti na semana passada na AI4, em Las Vegas. 

As organizações passaram dois anos a criar relatórios sobre licenças ativadas, utilizadores ativos semanalmente, instruções submetidas e horas declaradas como poupadas. Esses números respondiam a uma pergunta que a liderança colocava em 2023: será que alguém iria realmente utilizar a ferramenta? A adoção era o risco, pelo que fazia sentido medi-la.

Essa pergunta já não precisa de resposta. Mas o instrumento criado para lhe responder permaneceu em funcionamento e está agora a ser utilizado para analisar um problema que, na realidade, não foi concebido para detetar.

Uma das sessões a que assisti chamava-se "Para além da adoção: desenvolver o discernimento em IA no fluxo de trabalho". O enquadramento de Sharahn McClung foi a versão mais clara deste tema que já ouvi. As empresas medem a rapidez. Medem a utilização. Depois, partem do princípio de que houve uma melhoria. As duas primeiras são contabilizadas. A terceira é inferida.

Uma investigação publicada pela BCG em junho sugere que essa inferência está errada com frequência suficiente para ser relevante. Num estudo com 70 líderes de topo e executivos seniores, metade afirmou já estar a observar a erosão de competências nas suas próprias organizações e mais de 60% espera que esta se torne uma ameaça significativa nos próximos três a cinco anos. Apenas uma em cada dez tinha uma estratégia para toda a organização ou iniciativas específicas em curso. Um terço ainda nem sequer tinha discutido o assunto.

Se ouve o nosso podcast, provavelmente já me ouviu falar da necessidade de os líderes serem um pouco mais filosóficos nestes tempos. Mas, neste caso, a questão torna-se mais prática do que filosófica. Se quisesse saber se a IA estava a tornar as suas pessoas melhores ou piores, onde procuraria?

Comece por excluir a resposta óbvia

O instinto é perguntar-lhes.

Há uma razão para desconfiar desse instinto, e ela vem de um estudo sobre pessoas que deveriam estar mais bem posicionadas para responder.

Em julho de 2025, a METR realizou um ensaio aleatorizado com 16 programadores experientes de código aberto que trabalhavam em 246 problemas reais, em bases de código que conheciam profundamente. Antes de começarem, os programadores previram que as ferramentas de IA os tornariam cerca de 24% mais rápidos. Foram 19% mais lentos. Depois, tendo passado por toda a experiência, continuaram a estimar que tinham sido cerca de 20% mais rápidos.

Há dois aspetos deste resultado que vale a pena reter.

A METR classifica agora esta descoberta como histórica, e um acompanhamento realizado em fevereiro de 2026 encontrou alguns indícios de aumento de velocidade com modelos mais recentes. O valor específico da diminuição de velocidade pode não descrever as ferramentas que as suas equipas utilizam atualmente.

O que permanece é a segunda descoberta, que, de qualquer forma, é a mais útil. Tratava-se de profissionais especializados num contexto familiar, com resultados diretamente observáveis para eles, e a distância entre a sua perceção e o desempenho medido chegou a quase 40 pontos. Nada nos modelos melhores torna as pessoas melhores a avaliar o seu próprio desempenho.

Qualquer abordagem de medição que dependa de autoavaliação herda esse problema. Os inquéritos de envolvimento que perguntam se a IA está a ajudar produzirão respostas. As respostas serão sinceras. Serão também aproximadamente tão fiáveis como as estimativas daqueles programadores.

Duas curvas, a mesma forma

Imagine duas equipas com trajetórias de utilização idênticas. Ambas estão a subir de forma constante e ambas demonstram uma adoção saudável em todas as métricas que recolhe atualmente.

Uma equipa aprendeu quando vale a pena confiar no modelo e quando é necessário contrariá-lo. A sua capacidade está a acumular-se. A outra tem aceitado os resultados como factos durante meses. A sua capacidade está a esvair-se por baixo de uma linha ascendente.

Não existe nenhuma versão de uma métrica de utilização que distinga essas equipas.

Um documento de trabalho da Wharton de janeiro mediu a distância que realmente existe entre elas. Steven Shaw e Gideon Nave realizaram três experiências pré-registadas com cerca de 1 400 participantes, em mais de 9 000 ensaios, aleatorizando se um assistente de IA fornecia respostas corretas ou erradas através de instruções-semente ocultas.

Face a uma referência de participantes sem acesso à IA, a precisão aumentou 25 pontos percentuais quando a IA estava correta. Quando errava, a precisão descia 15 pontos abaixo da referência sem IA.

Leu bem: abaixo das pessoas que nunca tiveram a ferramenta. Nas tarefas em que o modelo não era fiável, ter acesso a ele tornou os participantes piores do que se não o tivessem de todo.

A confiança aumentou em ambas as condições, inclusive depois dos erros.

Shaw e Nave chamam a este comportamento “rendição cognitiva”, ou seja, a adoção dos resultados da IA com um escrutínio mínimo, anulando simultaneamente a intuição e a deliberação. Descrevem a cognição artificial como um terceiro sistema que funciona fora do cérebro, capaz de complementar o raciocínio humano ou de o substituir.

Este foi um estudo de laboratório que utilizou problemas de raciocínio, não funcionários a desempenharem as suas funções, e é importante manter essa distinção clara. O que estabelece é o mecanismo e a sua magnitude em condições controladas.

Os líderes da BCG descrevem o mesmo padrão a partir do interior de organizações reais. Quase 90% identificaram equipas que aceitam resultados de IA sem os submeter a testes de resistência como um sintoma de declínio de competências. Mais de metade descreveu uma erosão da responsabilidade associada a esse fenómeno. Um deles foi directo, dizendo que, quando o resultado não é positivo, a responsabilidade é atribuída à IA.

Em que se decompõe o discernimento

O discernimento parece ser o tipo de coisa que resiste à medição. A sessão de McClung foi útil porque recusou essa premissa e decompôs a palavra em actos observáveis.

Confiar numa boa resposta e prosseguir. Voltar a discutir um resultado correcto é uma forma de desperdício por si só. Uma equipa que verifica tudo duas vezes não está a exercer discernimento; está a não desenvolver nenhum. A aceitação eficiente deve fazer parte da lista de coisas que se pretende alcançar.

Substituir uma resposta errada, mas confiante. Esta é a difícil. O resultado é bem redigido, o modelo não demonstra qualquer hesitação e detectar o erro exige conhecimentos independentes suficientes para perceber que algo está errado. Este é o acto que falha primeiro e aquele que nada numa métrica de utilização consegue detectar.

Saber quando nem sequer se deve recorrer à ferramenta. A versão de McClung deste conceito foi o momento mais humano da sessão. Descreveu situações em que começou a escrever uma instrução e percebeu, a meio, que todo o raciocínio já tinha ocorrido no próprio acto de a escrever, não restando nada para fazer com a resposta recebida.

Não sei quanto a si, mas eu, pessoalmente, tenho medo de uma página em branco. Olho para ela e não sei por onde começar. E, por vezes, descubro que, quando escrevo a instrução, já fiz todo o meu processo e todo o meu raciocínio na própria instrução, e, na realidade, não preciso da ferramenta.

Cada um destes aspectos é uma decisão que uma pessoa toma antes de qualquer resultado ser entregue. Nenhum melhora por a utilização aumentar. São elementos que uma organização tem de desenvolver, e tratá-los como subprodutos da adopção é a forma de chegar à posição descrita pelos inquiridos da BCG.

Isto também explica por que razão o discernimento e a tomada de decisões apresentaram a pontuação de maior risco de perda de competências entre todas as competências analisadas no estudo, lado a lado com a compreensão e o enquadramento dos problemas, que esses mesmos líderes classificaram como a competência mais importante para o desempenho organizacional a longo prazo.

Três formas de observar o discernimento

Ordenadas pela rapidez com que poderiam ser iniciadas.

Aceitar, modificar, rejeitar.

Cada sessão de IA gera um registo do que foi perguntado, do que foi respondido e do que a pessoa fez a seguir com essa resposta. Aceitar uma resposta correcta e aceitar uma resposta errada produz dados de utilização idênticos e representa actos de discernimento opostos. A modificação é uma prova de que alguém leu o resultado e reflectiu sobre ele antes de o entregar.

Agregada ao longo de meses numa equipa, essa proporção deixa de ser uma anedota e passa a ser algo que se pode acompanhar ao longo do tempo.

As transcrições das sessões são um sinal

“Cada sessão é uma transcrição”, afirmou McClung. “Indica o que a pessoa perguntou, como respondeu, como identifica um problema, o que a IA devolveu e quando o construiu efectivamente, bem como, em tempo real, se aceitou a resposta tal como estava, se a modificou ou se rejeitou a IA. Assim, esse sinal de aceitar, modificar ou rejeitar torna o discernimento visível.

 

“Pense novamente no problema da utilização apresentado no painel de controlo. Aceitar a sua resposta correcta e aceitar uma resposta errada parecem exactamente iguais do ponto de vista da utilização. A transcrição é o que nos permite distingui-las. Assim, a modificação é a prova, registada num só lugar, de que alguém leu, reflectiu de forma crítica e protegeu o seu resultado.”

O obstáculo é o acesso. Actualmente, a maioria das funções de RH não consegue ver estes dados, e obtê-los implica uma conversa com as equipas de TI e os responsáveis pelas plataformas de IA, em vez de ser algo que se possa lançar na próxima semana. As organizações que chegarem primeiro a esse ponto serão aquelas onde a equipa de pessoas e a equipa da plataforma já comunicavam entre si.

O erro introduzido

Escolha uma tarefa real. Introduza uma falha conhecida no resultado devolvido pelo modelo, seleccionada antecipadamente. Um valor errado, um passo omitido, uma afirmação que não resiste à análise. A pessoa detecta-a antes de o resultado avançar?

A vantagem deste método em relação a qualquer teste é que funciona com resultados reais e é avaliado sempre da mesma forma. Como o erro foi seleccionado antecipadamente, não há ambiguidade na avaliação e é possível comparar um mês com o outro de forma rigorosa.

A sensibilidade é, no entanto, real. Se for mal executado, isto parece uma armadilha e destrói imediatamente a confiança. Funciona quando as equipas sabem que a prática existe, compreendem a sua razão de ser e vêem os resultados ser utilizados para o desenvolvimento, e não para fins punitivos.

Discernimento avaliativo

Duas respostas, ambas fluentes, ambas plausíveis, mas uma subtilmente errada. Será que a pessoa consegue identificar qual é e explicar porquê?

Esta é a opção mais próxima daquilo que o trabalho especializado exige e a mais dispendiosa de executar, porque construir a chave de respostas exige alguém com verdadeira experiência no domínio para criar alternativas plausíveis, mas com falhas. Seja honesto consigo próprio quanto a esse custo antes de se comprometer com ela.

As versões que já estão em funcionamento

Algumas organizações avançaram sem esperar por uma instrumentação perfeita.

Na CNIL, a autoridade francesa de proteção de dados, os gestores são responsáveis por avaliar se os funcionários conseguem questionar os resultados da IA, e não apenas utilizá-la. O envolvimento crítico tornou-se uma dimensão visível e avaliada do desempenho.

É por essa que eu começaria. Não exige novas ferramentas e transfere a questão para o sistema de avaliação de desempenho, que os RH já controlam. Também resolve um problema que a BCG identifica noutra parte da sua investigação: as taxas de certificação aumentam, enquanto a capacidade efetiva pode não acompanhar esse crescimento.

A Shell reformulou os percursos de aprendizagem dos funcionários juniores para que os recém-chegados definam o problema de forma independente, testem pressupostos e produzam uma análise de base antes de a IA intervir no trabalho. Os primeiros resultados comunicados incluíram perguntas melhores e um raciocínio mais claro por detrás das decisões.

Algumas empresas realizam exercícios de simulação de falhas da IA, introduzindo deliberadamente alucinações e imprevistos na formação, para que questionar os resultados se torne um reflexo, em vez de uma instrução. Um banco indiano realiza uma sessão estruturada de trabalho sem IA na primeira sexta-feira de cada mês, em todas as áreas.

Nada disto é exatamente medição. É a prática que a medição lhe diria se é necessária.

O problema surge tarde

Cinquenta e três por cento dos líderes inquiridos pela BCG apontaram para um desenvolvimento mais lento dos profissionais juniores.

É no trabalho analítico mais rotineiro que, tradicionalmente, se desenvolve o discernimento. A investigação, os primeiros rascunhos, a depuração, o processo moroso de decompor um problema e descobrir em que partes se errou. Ninguém aprecia essas repetições, mas todos precisam delas.

Esse trabalho é a primeira coisa que as organizações entregam à IA. E espera-se agora que as pessoas que antes aprendiam com ele tenham um desempenho sem esse apoio, em alguns casos ao nível que um dos inquiridos da BCG descreveu como o de um funcionário com cinco a dez anos de experiência.

Há, contudo, uma particularidade relacionada com a medição. Tudo o que foi referido acima deteta um declínio em relação a uma linha de base. No caso de pessoas experientes, isso funciona, porque a linha de base existe e é possível observar a sua evolução.

No caso de alguém contratado no ano passado, não existe uma linha de base. A capacidade nunca chegou a formar-se, e a sua ausência parece idêntica a um desempenho normal no início da carreira até ao momento em que é necessário tomar uma decisão sem apoio. Não está a medir uma erosão. Está a medir algo que não chegou a surgir, e nenhum dos instrumentos atuais foi concebido para isso.

O que significa que é na coorte júnior que isto tem o maior custo e surge mais tarde.

Porque é que a sequência é importante

A reformulação do trabalho é a iniciativa dos próximos dois trimestres em muitas das organizações com que falo. Inventários de tarefas, projetos-piloto com agentes, organogramas concebidos em torno daquilo que as máquinas asseguram e daquilo que as pessoas mantêm.

Essas decisões consolidam-se. Determinam quais as capacidades valorizadas e quais aquelas que é provável que as suas pessoas pratiquem durante anos, bem como quais as que deixam permanentemente de ser utilizadas.

Tomá-las com base num declínio não medido incorpora esse declínio na estrutura. Estaria a decidir o que os seres humanos devem continuar a fazer sem ter uma leitura honesta do que as suas pessoas ainda conseguem fazer e de onde as suas capacidades atrofiaram.

Não creio que o instrumento tenha de ser perfeito antes de começar. O teste com erros introduzidos poderia ser realizado no espaço de um mês na maioria das áreas. A abordagem da CNIL exige uma conversa com os gestores e uma linha num modelo de avaliação.

Antes de aprovar uma reformulação, gostaria de ter uma resposta a uma pergunta e as provas que a sustentam.

Se desligasse a IA em toda a sua equipa amanhã, as suas pessoas estariam melhor do que estavam antes de a introduzir, ou pior?