Quem Pode Discordar do Modelo?

Investigadores liderados pelo Instituto Max Planck para o Desenvolvimento Humano realizaram uma versão de uma experiência que os cientistas comportamentais utilizam há décadas. Os participantes viam no ecrã o lançamento de um dado e comunicavam o resultado. Os números mais altos pagavam mais, um cêntimo por pinta, ao longo de dez rondas.

Ao comunicarem os resultados por si próprios, 95% disseram a verdade.

Depois, os investigadores pediram a outros participantes que entregassem a comunicação dos resultados a uma máquina, variando apenas a forma como a instrução era dada. Aqueles que tinham de escrever regras explícitas, especificando o que comunicar para cada um dos seis resultados possíveis, pediram à máquina o número honesto cerca de 75% das vezes.

Aqueles que a treinaram escolhendo um conjunto de dados de exemplo pediram honestidade cerca de metade das vezes. Aqueles que definiram um objetivo, movendo um seletor de "maximizar a precisão" para "maximizar o lucro" e deixando o método ao sistema, pediram honestidade 12% das vezes no primeiro estudo e 16% num acompanhamento em que delegar era opcional.

Entre 84% e 88% das pessoas nessa última condição pediram à máquina que fizesse batota por elas, sem que nenhuma tivesse de o dizer.

O dinheiro não mudou. Os lançamentos do dado não mudaram, uma vez que todos os participantes viram a mesma sequência fixa de dez lançamentos. O que mudou foi o espaço interpretativo entre a instrução e o ato.

Os investigadores esperavam que a escrita de regras se mantivesse estável, partindo da teoria de que explicitar uma batota tem o mesmo peso moral que cometê-la. Não se manteve. A honestidade também caiu cerca de vinte pontos nesse caso. Todas as formas de delegação a degradaram, e a interface determinou em que medida.

Esta foi uma experiência em linha realizada na Prolific, com um pagamento máximo de sessenta cêntimos. A tarefa do lançamento do dado tem um longo historial de validação, prevendo comportamentos no mundo real, incluindo a evasão ao pagamento de bilhetes e práticas de venda enganosas. A comparação entre interfaces foi testada apenas neste protocolo, embora um estudo complementar que utilizou uma tarefa de evasão fiscal, em que a comunicação incorreta reduzia um donativo à Cruz Vermelha, tenha reproduzido a outra conclusão central do estudo sobre a forma como os agentes-máquina lidam com as instruções que recebem.

A distinção é importante para aquilo que a maioria das empresas está a construir neste momento. Escrever um pedido é mais próximo de escrever regras, e os pedidos desonestos feitos através de linguagem natural rondaram os 25% segundo a própria contabilidade dos participantes, e os 40% quando os avaliadores independentes avaliaram as instruções.

O salto ocorre com interfaces em que uma pessoa define um objetivo e deixa o sistema determinar o método. Um gestor que diga a um agente para maximizar o fluxo de candidatos qualificados ou reduzir o tempo de preenchimento especificou um resultado e deixou todas as decisões operacionais sobre como o alcançar ao sistema. Mas onde está o critério que alguém teria de defender?

A estrutura de responsabilização assente nessa configuração geralmente parece adequada no papel. O nome de alguém consta dela. Esse nome, no entanto, faz menos do que se poderia pensar.

Dar um Responsável Foi a Parte Fácil

Ao longo de 2025 e já este ano, as organizações fizeram o óbvio. Criaram comités de supervisão da IA, redigiram políticas de utilização aceitável e colocaram um executivo identificado no organigrama junto às palavras "governação da IA".

O inquérito Tendências Globais de Capital Humano 2026 da Deloitte, realizado em conjunto com a Oxford Economics junto de mais de 9 000 líderes empresariais e de recursos humanos em 89 países, concluiu que 64% dos inquiridos consideram a IA e a tomada de decisões muito importantes para o seu sucesso atual. Apenas 5% consideram estar na liderança nessa área.

A distância entre a preocupação e a competência nesse domínio não é explicada por uma falta de políticas. A maioria das organizações tem políticas. O que lhes falta é qualquer prova de que a autoridade que registaram é utilizada.

Pergunte a um CHRO quem é responsável pela decisão de contratação influenciada pela IA e obterá uma resposta. Pergunte quantas vezes, nos últimos seis meses, um recrutador anulou formalmente a ferramenta de triagem e o que aconteceu depois a esse recrutador, e a sala fica em silêncio.

Vale a pena fazer essa segunda pergunta porque a resposta pode ser refutada. A responsabilidade é uma afirmação. Uma anulação é um acontecimento.

O Registo Termina no Resultado

Kaan Esendemir, um arquiteto empresarial que criou fluxos de trabalho assistidos por IA em grandes empresas, identifica este padrão com maior frequência em sistemas que recomendam em vez de decidir. Assistentes virtuais, aceleradores de fluxos de trabalho, ferramentas que apresentam uma opção e deixam a decisão a cargo de uma pessoa.

O ponto em que a linha se situa entre os dois é uma negociação. Os responsáveis pelo negócio e pelo produto decidem onde termina a IA e começa uma pessoa, afirma, com a engenharia envolvida porque compreende o que o sistema consegue realisticamente fazer e onde falha. Essa parte tende a funcionar.

O que acontece depois é onde o registo começa a rarefazer-se.

A distinção parece pequena, mas determina o que uma organização pode aprender. Um resultado diz-lhe o que foi decidido. Uma discordância diz-lhe que alguém analisou uma recomendação, considerou-a errada e agiu contra ela. As empresas estão a conservar a menos útil das duas.

Uma substituição não é apenas uma exceção. É retorno que pode ajudar a melhorar o sistema e a tornar melhores as recomendações futuras.

Um registo de substituições é um diagnóstico barato que qualquer diretor de operações pode executar neste trimestre. Escolha três fluxos de trabalho em que a IA influencia uma decisão com consequências. Conte os casos documentados, nos últimos seis meses, em que uma pessoa contrariou a recomendação. Depois, analise o que aconteceu em seguida em cada caso.

Se a contagem for zero, é muito provável que uma de duas coisas seja verdade. O sistema teve um desempenho tão bom que nenhuma pessoa encontrou motivo para discordar dele durante seis meses, o que não é uma afirmação que qualquer fornecedor faça sobre o seu próprio produto. Ou a autoridade para discordar existe no papel e em mais lado nenhum.

O número não tem de ser zero para lhe dizer alguma coisa. Espanha utiliza um sistema chamado Viogén que avalia o risco de violência repetida em casos de violência doméstica, e uma auditoria externa concluiu que os agentes da polícia seguiram a sua recomendação 95% das vezes.

A Autoridade Europeia para a Proteção de Dados, citando a auditoria num documento técnico publicado em setembro passado, admite que a concordância pode refletir uma confiança justificada na ferramenta. Também levanta uma questão sobre a quantidade de juízo independente que permanece no processo.

Uma concordância de noventa e cinco por cento entre uma pessoa e um modelo significa ou que se trata de um modelo muito bom, ou que a pessoa deixou de chegar às suas próprias conclusões. Vistos de fora do registo, os dois casos parecem idênticos. Vistos de dentro dele, ao longo de seis meses, não são.

A capacidade de substituir deteriora-se antes de ser medida

Amy Centers, psicóloga organizacional e fundadora da SmartWorks Labs, descreve o problema de segunda ordem. A autoridade para substituir não fica simplesmente sem ser utilizada. O que lhe está subjacente desgasta-se.

A sua versão mais incisiva: "Quanto mais subcontratamos decisões difíceis, maior é o risco de formarmos líderes que não conseguem liderar sem uma instrução."

O mecanismo funciona num horizonte temporal mais longo do que a maioria das revisões de governação. Um gestor que deferiu para o modelo em noventa e oito recomendações consecutivas não esteve inativo. Foi eficiente. Também passou meses sem praticar aquilo que a autoridade para substituir pressupõe que ainda consegue fazer.

Isto não aparece numa revisão trimestral. Aparece na primeira vez que o modelo está confiantemente errado sobre algo com consequências, e a pessoa nominalmente responsável por detetar o erro lê o resultado, considera-o plausível e prossegue.

Centers coloca o ponto de falha no gestor, e coloca-o aí de forma enfática.

Eu começaria pela responsabilização dos gestores. A maioria das disfunções parte dos gestores e alastra-se. Demasiadas vezes, não têm apoio e não estão suficientemente desenvolvidos. Não são responsabilizados pela forma como lideram. Se não corrigirmos essa camada fulcral, todas as outras reformas, como o envolvimento, as competências e a adoção da IA, acabam por ruir.

Ela chama ao papel do gestor a articulação entre a estratégia e a experiência humana. Num fluxo de trabalho aumentado por IA, é também a única camada posicionada para detetar uma decisão errada antes de esta ganhar escala, composta por pessoas promovidas pela sua fiabilidade operacional e a quem nunca foi dito que validar resultados produzidos por máquinas passou a fazer parte do trabalho.

A automatização deixa os casos mais difíceis para os humanos

Victoria Pelletier, que anteriormente liderou funções de gestão de pessoas e transformação na Accenture e na IBM, entre outras empresas, aponta para o que a automatização faz ao trabalho que permanece.

Como ela observa, os centros de contacto fizeram esta experiência anos antes de todos os outros. Automatiza-se o seguimento das regras e, por construção, todas as chamadas que chegam a uma pessoa são aquelas que as regras não conseguiram tratar. O trabalho que fica é mais difícil do que o trabalho que foi eliminado.

A observação de Pelletier é que as definições das funções raramente acompanham a mudança. O volume diminui, a dificuldade aumenta e a descrição da função, a formação e os critérios de desempenho continuam todos a descrever o trabalho tal como existia antes. Observa que o trabalho residual «exige um nível de proficiência muito diferente em algumas das coisas que já esperamos atualmente».

Também identifica uma razão estrutural para que os direitos de decisão não sejam reconstruídos. As funções de desenho organizacional e de arquitetura de funções foram reduzidas ao longo da última década, consideradas custos gerais, partindo do pressuposto razoável de que as funções não precisariam de ser reavaliadas com frequência.

São essas as pessoas que reconstruiriam agora os direitos de decisão. Pelletier chama ao que acontece na sua ausência «a criação de funções Frankenstein».

Duas críticas à participação humana no processo

Circulam atualmente duas objeções à manutenção de uma pessoa no processo, e apontam em direções opostas.

A versão de Jurgen Appelo é que os pontos de controlo humanos obrigatórios transformam as pessoas em estrangulamentos. Todas as interações começam e terminam com uma pessoa, os sistemas nunca comunicam entre si e a operação decorre ao ritmo da pessoa mais lenta. Chama-lhe a armadilha da participação humana no processo.

É isto que Esendemir quer dizer quando me diz que não registar as substituições é «sobretudo uma decisão de desenho».

Resultados acima do processo

Os sistemas podem ser concebidos para registar essas divergências, mas as organizações normalmente dão prioridade ao resultado final, a menos que definam intencionalmente as substituições como um sinal valioso a medir.

A versão do Supervisor Europeu para a Proteção de Dados aproxima-se do inverso. No documento técnico anteriormente mencionado sobre a supervisão humana da tomada de decisões automatizada, o EDPS alerta para o perigo de assumir que a presença de uma pessoa no processo proporciona, por si só, supervisão, e defende que as organizações têm de conceber explicitamente a autoridade, as interfaces e os percursos de escalamento, para que uma pessoa possa realmente intervir.

Ambos têm razão e descrevem falhas diferentes. A pessoa de Appelo está a atrapalhar. A pessoa do EDPS está presente e não tem poder. Uma organização pode corrigir a primeira situação eliminando os pontos de controlo e, nesse processo, agravar a segunda.

O documento explica como é a falta de poder na prática. Entre 2014 e 2019, o serviço público de emprego da Polónia utilizou um algoritmo que classificava os candidatos a emprego em três categorias, e a categoria determinava o apoio que cada pessoa recebia. Os consultores de apoio aos clientes foram formalmente designados como responsáveis pela supervisão humana, com autoridade para substituir a classificação.

Tinham autoridade, mas não a conseguiam utilizar. O número de casos era demasiado elevado e a formação era insuficiente. Ninguém lhes tinha dito quando se justificava uma substituição ou como justificá-la. O sistema apresentava os resultados num formato que dificultava avaliar se uma determinada classificação se adequava à pessoa sentada do outro lado da secretária.

Depois há a parte que nada tem que ver com o desenho do sistema. Alguns gestores locais desencorajavam explicitamente as substituições e alguns proibiam-nas, porque uma substituição atraía a atenção dos níveis hierárquicos superiores.

O problema não era a insuficiência da formação dos consultores no sentido em que um orçamento de formação teria resolvido o problema. Estavam a interpretar corretamente um incentivo. Substituir o modelo criava um registo pelo qual um gestor teria de responder, enquanto segui-lo não criava absolutamente nada. Perante essas duas opções e uma carga de trabalho completa, a decisão racional é validar o que aparece no ecrã.

O EDPS expõe claramente a condição. Os operadores só podem exercer uma autoridade real sobre um sistema se não recearem consequências da sua própria organização por o utilizarem.

Esta é uma afirmação sobre gestão, não sobre design de interfaces, e é a razão pela qual a autoridade para intervir tende a ser meramente decorativa. A concessão formal é a parte fácil. O que determina se alguém a utiliza é o que acontece à pessoa que o faz.

A linguagem da Deloitte sobre o que substitui o modelo antigo é a mais precisa disponível. As ferramentas tradicionais de direitos de decisão, como a RACI, pressupõem uma autoridade estática. Com a IA, os direitos têm de ser dinâmicos, com privilégios de intervenção, vias de escalada e regras de consenso integrados no sistema, para que humanos e agentes coordenem quem decide, quando e com que base.

A Polónia tinha a maior parte disso no papel. O que não tinha era um gestor disposto a aprovar formalmente que alguém o utilizasse.

Crie as condições, não o organigrama

Quatro medidas, pela ordem em que têm de acontecer.

Classifique as decisões quanto à sua reversibilidade antes de atribuir alguém para as tomar. A distinção da Amazon entre decisões de sentido único e de dois sentidos é a versão de referência. As decisões irreversíveis recebem escrutínio e seguem vias lentas. As reversíveis avançam. A aplicação na era da IA consiste em adequar a autonomia do agente à dificuldade de anular uma decisão, e não ao seu aspeto rotineiro.

Defina o modo de delegação, não apenas a pessoa a quem delega. A conclusão do Max Planck ilustra este ponto. A delegação baseada em regras, em exemplos e em objetivos produziu pedidos mensuravelmente diferentes por parte de pessoas que, de outro modo, eram comparáveis. Qualquer fluxo de trabalho em que alguém confia a um sistema um resultado e o deixa determinar os critérios pertence à categoria de maior ambiguidade, porque é exatamente isso que é.

Registe a discordância, não apenas o resultado. A lacuna identificada por Esendemir é aquela que importa colmatar. Quando uma pessoa age contra uma recomendação, registe que o fez, o que viu e o que aconteceu a seguir. O resultado, por si só, não lhe diz nada sobre se alguém continua a exercer discernimento.

Reavalie o limite segundo um calendário. O local onde a IA decide e o local onde decide uma pessoa não é uma questão a que se responde uma única vez. Defina uma data.

Os investigadores do Max Planck terminaram com uma recomendação dirigida à pessoa que delega, e não à máquina que recebe a delegação. Devem evitar-se interfaces de delegação que facilitem alegar desconhecimento sobre a forma como a máquina irá interpretar as instruções.

Esse é um princípio de design, e pode ser ampliado desde um seletor num ecrã até um modelo operacional completo. Cada camada de abstração entre uma pessoa e uma consequência torna mais fácil conviver com essa consequência.

Daqui a seis meses, muitas organizações terão documentação. Políticas, estatutos de comissões, responsáveis identificados, formações concluídas.

Algumas terão um registo com entradas.