A IA encontrou o problema. São as suas decisões

Menos de 30% das organizações que tentam implementar IA estão a gerar retornos significativos com isso, um valor que se tem mantido teimosamente estável, mesmo com a aceleração da adoção de ferramentas.

Paul Gibbons, consultor e autor de "Adotar a IA: uma abordagem centrada nas pessoas", passou três décadas a observar implementações tecnológicas falharem pela mesma razão subjacente.

O que tende a não surgir nas análises posteriores é o seguinte: a organização nunca redesenhou a forma como tomava decisões.

Esta observação parece abstrata até analisarmos como é que o fracasso se manifesta realmente a partir do interior. Jurgen Appelo, autor de "Humano, Robô, Agente" e fundador do boletim Solo Chief, chama ao padrão mais comum teatro da produtividade.

Os executivos determinam a implementação de ferramentas de IA. As equipas aprendem a utilizá-las, os resumos multiplicam-se e os sistemas de tomada de notas passam a estar presentes em todas as reuniões. Depois, quase impercetivelmente, a organização percebe que tudo está mais rápido, mas nada mudou fundamentalmente.

Os fluxos de decisão que estão subjacentes a esses fluxos de trabalho, quem é responsável por uma decisão, que dados a fundamentam, onde é necessário o discernimento humano e onde se trata apenas de hábito, permaneceram totalmente intactos.

Appelo chama a isto a armadilha do humano no circuito: cada interação com a IA continua a começar e a terminar com um ser humano, os sistemas nunca comunicam entre si e tudo se move à velocidade do estrangulamento mais lento. Por outras palavras, as ferramentas tornaram-se mais inteligentes, mas a arquitetura não mudou.

Como é que é quando muda?

Quando a ferramenta tem um bom desempenho, mas a organização não

Carla Catelan liderou operações de aquisição de talento em grande escala durante mais de duas décadas, conduzindo equipas através de centenas de contratações anuais em empresas como a Thoughtworks, a Cognizant e a Hewlett-Packard. Quando fala sobre IA no recrutamento, não fala dela como uma ferramenta. Fala dela como um problema de conceção.

Este enquadramento resultou de uma observação conquistada com dificuldade.

Quando a Thoughtworks começou a aplicar análise preditiva ao seu funil de recrutamento, a equipa de Catelan descobriu algo inesperado. O tempo do ciclo, o número de dias entre a abertura de uma vaga e o seu preenchimento, já era bom, situando-se consistentemente entre 30 e 35 dias. A velocidade não era o problema. Por isso, a equipa procurou descobrir qual era.

Descobriram que a variabilidade nas definições das funções estava a conduzir a piores resultados de recrutamento de forma mais consistente do que a qualidade dos candidatos. As descrições de funções ambíguas, inflacionadas ou estruturadas de forma inconsistente estavam a distorcer o comportamento de aprendizagem da IA a montante, produzindo taxas de conversão mais baixas, mais rejeições numa fase avançada e um desempenho inicial mais fraco, independentemente de quem estivesse no grupo de candidatos.

O custo da ambiguidade

“Antes de trabalhar com modelos preditivos, subestimei o quanto descrições de funções ambíguas, inconsistentes ou inflacionadas podiam distorcer os resultados da contratação e o comportamento de aprendizagem dos sistemas de IA,” afirma Catelan. “Com a IA, a conceção das funções e a qualidade das descrições de funções determinam todas as decisões subsequentes.”

A solução não foi um modelo novo. A Thoughtworks reformulou as suas descrições de funções, transformando-as no que Catelan chama de "artefactos preditivos", eliminando os requisitos que estavam correlacionados com o ruído e não com o sucesso, e concentrando o sinal que entrava no modelo. A IA melhorou porque os dados de entrada da decisão melhoraram.

Essa lógica a montante — a qualidade do que entra na arquitetura de decisão determina a qualidade do que dela sai — está presente em todas as aplicações que Catelan criou.

A IA é utilizada para revelar padrões, agregar dados longitudinais e estruturar sinais quantitativos. Os seres humanos mantêm a responsabilidade pelo juízo qualitativo e pelas decisões finais. A fronteira entre ambos é explícita, não presumida.

Os projetos-piloto não escalam. A arquitetura sim.

O erro mais comum que Catelan observa nas organizações que tentam replicar este modelo é tratarem a IA como uma série de projetos-piloto, em vez de uma mudança fundamental na forma como as decisões de trabalho são tomadas.

"A maioria das empresas investe fortemente em ferramentas de IA e espera melhorias", afirma. "Mas mantém os mesmos incentivos, as mesmas estruturas hierárquicas e o mesmo baixo nível de literacia de dados entre as chefias. O resultado é que a IA acaba por ser subutilizada ou mal utilizada. Modelos poderosos produzem conhecimentos que não são considerados fiáveis, compreendidos ou utilizados.

A Thoughtworks abordou esta questão através da criação de um grupo de trabalho multifuncional especificamente dedicado à conceção de decisões com recurso a IA na aquisição de talento.

O grupo trabalha com base em objetivos explícitos ao nível do negócio:

• Aumentar em 50% as taxas de conversão ao longo do funil de contratação através da segmentação preditiva
• Reduzir em 30% as horas de entrevistas, eliminando mais cedo no processo os candidatos com baixa probabilidade.

Estes números não são aspiracionais. São o mandato.

A sequência é tão importante como os objetivos. Antes de introduzir qualquer automatização, o grupo mapeia onde são tomadas as decisões críticas, quem é responsável por elas, que dados são necessários e onde o juízo humano deve permanecer central.

Só depois de essa arquitetura estar definida é que a IA entra em cena, reforçando etapas específicas em vez de ser sobreposta a processos não examinados.

"Reconcebemos os fluxos de trabalho de decisão antes de introduzir a automatização", afirma Catelan. "Não depois."

Os 90% que a maioria das implementações ignora

Yannick Fouagou, Diretor de Operações de Pessoas e Soluções na Greenshield, chegou a uma conclusão semelhante a partir de uma perspetiva diferente. A sua formação é em engenharia eletrónica e sistemas de qualidade na indústria do petróleo e do gás, ambientes onde a integridade dos processos não é negociável e as falhas têm consequências físicas. Quando passou para as operações de pessoas, levou esse mesmo rigor para o lado humano da adoção da IA.

O que o surpreendeu foi o pouco que a tecnologia importava em comparação com a resposta humana à mesma.

Para Fouagou, a arquitetura de decisão não é apenas uma questão de conceção organizacional. É também comportamental. A sua abordagem segmenta as partes interessadas de acordo com a sua posição na curva de adoção, vai ao encontro delas nesse ponto e, em seguida, formaliza a nova forma de trabalhar em processos e documentação, para que a mudança se torne estrutural em vez de um aumento temporário de entusiasmo.

"Não nos limitamos a implementar ferramentas", afirma. "Formalizamos a nova forma de trabalhar em procedimentos operacionais normalizados e políticas para garantir a responsabilização."

Essa codificação cria um ciclo de feedback. O sistema monitoriza aquilo que os colaboradores perguntam, identifica onde falta documentação e gera recomendações para colmatar essas lacunas. A base de conhecimento aprende com os padrões das pessoas que a utilizam. É assim que se apresenta a arquitetura de decisão quando a camada comportamental está integrada desde o início, em vez de ser acrescentada posteriormente.

O ciclo do qual os líderes precisam de sair

Os profissionais que estão a trabalhar nesta questão ao nível das funções têm margem para redesenhar os processos. O problema mais difícil está no topo.

Gibbons conduziu programas de literacia em IA para equipas executivas e considerou os resultados preocupantes. Quando perguntou a um grupo de doze líderes quanta formação formal tinham concluído no ano anterior, o total foi de três dias entre todos.

"Isso simplesmente não chega", afirma.

A questão é mais estrutural do que individual. Gibbons defende que o sucesso tornou a maioria dos líderes seniores resistente ao tipo de aprendizagem que a adoção da IA exige. A sua autoridade assenta no conhecimento. A IA desestabiliza esse fundamento.

Appelo enquadra o desafio da liderança de forma diferente, mas chega ao mesmo ponto. Quando a IA supera os seres humanos na maioria das tarefas analíticas, liderar deixa de significar ter as respostas.

Não precisa de saber as respostas

“Agora, liderar significa saber que perguntas fazer, que limites estabelecer e quando intervir,” afirma. “Isso é mais difícil do que saber as respostas.”

A maioria dos executivos recebeu formação com base em modelos de gestão concebidos para condições de relativa previsibilidade. Appelo aponta especificamente para a Liderança Transformacional, um modelo que remonta à década de 1970 e pressupõe um líder que controla o fluxo de informação, aprova decisões e se encontra no centro do ciclo.

É precisamente esse modelo que a adoção da IA exige desmantelar. Os gestores que fazem parte do ciclo tornam-se estrangulamentos. O que a nova arquitetura exige são gestores acima do ciclo, que orientem, ajustem e exerçam o seu discernimento nas decisões verdadeiramente difíceis.

Gibbons chama à mudança equivalente Liderança Adaptativa. Concebida para um ritmo acelerado, para a emergência e para operar sem saber qual será o ponto de chegada.

"Não sabemos que forma os projetos-piloto irão assumir nem com que facilidade irão expandir-se", afirma Gibbons. "Os antigos paradigmas de liderança foram concebidos para uma previsibilidade que já não existe."

Construir uma arquitetura de decisão para a IA

Os profissionais acima referidos não trabalham a partir de uma metodologia comum, mas as suas abordagens seguem uma lógica consistente. Eis como aplicá-la.

Comece pela decisão, não pela ferramenta

Antes de selecionar qualquer aplicação de IA, mapeie todas as decisões significativas no fluxo de trabalho que pretende abordar. Quem é responsável por cada decisão? Que dados a fundamentam? Onde é verdadeiramente necessário o discernimento humano e onde se trata apenas de hábito?

A equipa de Catelan fez este trabalho em todo o processo de aquisição de talento antes de introduzir modelos preditivos. O mapeamento revelou que a maior fonte de erros a jusante não era o processo de seleção, mas sim as descrições de funções que o alimentavam.

Audite os dados de entrada

A IA aprende com aquilo que lhe fornece. Se os dados introduzidos num modelo forem inconsistentes, inflacionados ou estiverem mal estruturados, os resultados irão refletir isso. A reformulação das descrições de funções feita por Catelan melhorou o desempenho do modelo sem alterar o próprio modelo.

Antes de implementar IA em qualquer fluxo de trabalho, examine a qualidade e a consistência dos dados de entrada de que esse fluxo depende. Agora, os dados incorretos propagam-se mais rapidamente.

Defina objetivos ao nível do negócio, não métricas do processo

Objetivos vagos produzem resultados vagos. O grupo de trabalho de Catelan trabalha com números específicos: um aumento de 50% nas taxas de conversão do funil e uma redução de 30% nas horas de entrevistas.

Esses objetivos criam pressão para um desempenho sustentado ao nível do sistema, em vez de uma experimentação isolada. Se não consegue explicar o que um fluxo de trabalho de IA redesenhado com sucesso produz em termos de negócio, o projeto ainda não está pronto.

Defina explicitamente a fronteira entre o ser humano e a IA

Todos os processos redesenhados exigem respostas claras a duas perguntas: de que se encarrega a IA e de que se encarregam os seres humanos? O princípio de Catelan é que a IA estrutura os sinais quantitativos e apresenta os conhecimentos obtidos, enquanto os seres humanos mantêm o discernimento qualitativo e as decisões finais.

Essa fronteira deve ser documentada, partilhada e revista à medida que o sistema amadurece. Sem ela, a responsabilização torna-se difusa e os erros deixam de poder ser rastreados.

Integre a governação antes de expandir

Integre na arquitetura, desde o início, a capacidade de intervenção humana, a monitorização do enviesamento e da deriva, bem como uma responsabilização clara pelos resultados do modelo. A Fouagou codifica as alterações em políticas, em vez de as deixar como práticas informais.

A governação acrescentada posteriormente tende a surgir depois de algo já ter corrido mal.

Trate a adoção como um problema comportamental

A observação 10/90 de Fouagou é a camada que a maioria das organizações ignora por completo, conduzindo frequentemente a erros dispendiosos na medição do retorno do investimento em IA. A implementação técnica e a adoção humana não são o mesmo acontecimento.

Segmente as partes interessadas. Identifique onde é provável que surja resistência e aborde-a antes da implementação, não durante. Meça não só os ganhos de eficiência, mas também se o tempo recuperado está de facto a ser redirecionado para trabalho de maior valor.

Existe uma lacuna com a qual a maioria das organizações ainda não se confrontou. Situa-se entre as ferramentas que implementaram e a lógica de decisão que deixaram inalterada.

A perspetiva de Catelan sobre a preparação para a IA merece ser ponderada.

“Significa fazer consistentemente perguntas melhores”, diz ela. “Que sinais são importantes, onde existe incerteza e como os dados podem informar o julgamento humano.”

As ferramentas trouxeram a questão à tona. O trabalho de conceção é o que lhe dá resposta.