Lançar, Aprender, Escalar. E Depois?

Durante uma demonstração ao vivo na HumanX, na semana passada, Mati Staniszewski, cofundador da ElevenLabs, mostrou ao público um agente de serviços governamentais desenvolvido na plataforma da sua empresa.

O agente orientou um utilizador fictício durante o registo de uma empresa. Autenticou a identidade do utilizador através do WhatsApp. Obteve documentos a partir de uma conta Google associada, mudou de idioma a meio da conversa quando o utilizador mencionou funcionários que falavam espanhol e respondeu a perguntas sobre o processo de obtenção de uma licença de vendedor na Califórnia.

Depois, o utilizador perguntou sobre impostos. O agente terminou a chamada.

Não assinalou incerteza. Não encaminhou a questão. Terminou uma conversa que um utilizador real teria presumido estar a ser tratada, porque o agente não sabia que existia um departamento fiscal para o qual pudesse encaminhá-la.

Staniszewski resolveu o problema em palco em poucos minutos, ligando o agente empresarial a um agente fiscal, implementando a alteração e reiniciando o processo. O público assistiu a uma atualização de produção ao vivo a acontecer em tempo real.

O que vale a pena analisar não é o facto de o agente ter falhado. Os agentes falham. É a forma como a falha se manifestou. Nenhum aviso. Nenhum encaminhamento. Nenhum registo do que o utilizador precisava. A lacuna só se tornou visível quando um utilizador se deparou com ela.

Agora coloquemos esse cenário dentro da Revolut, que implementou agentes da ElevenLabs junto de quatro milhões de clientes em mais de 30 idiomas. Ou dentro da Deutsche Telekom, cuja rede inclui agora agentes que respondem a questões dos clientes em tempo real. O estrangulamento, afirmou Staniszewski, já não é a tecnologia. É a implementação.

Essa afirmação é simultaneamente correta e, para qualquer pessoa responsável pelo que esses agentes fazem, a frase mais importante de toda a sessão.

O modelo para o qual a governação foi concebida

Durante a maior parte dos últimos três anos, a governação da IA funcionou com base num conjunto controlável de pressupostos. Um sistema de IA apresentava uma recomendação. Um ser humano analisava-a. O ser humano assumia a responsabilidade pelo que acontecia a seguir. O modelo não era perfeito, mas era compreensível. Era possível identificar onde uma decisão tinha sido tomada e quem a tinha tomado.

Essa arquitetura está a desmoronar-se.

Navrina Singh, fundadora e CEO da Credo AI, passou seis anos a desenvolver aquilo que descreve como a categoria da governação da IA, começando na era da aprendizagem automática preditiva e operando agora profundamente na era dos agentes.

Na HumanX, descreveu a mudança central. A governação costumava dizer respeito a políticas; agora tem de abranger salvaguardas operacionais e em tempo de execução. A distinção é mais importante do que pode parecer. Uma política é algo que se redige, analisa anualmente e atualiza quando algo corre mal.

A governação em tempo de execução implica monitorizar continuamente o que um sistema de IA está efetivamente a fazer em produção, com base em critérios que podem ter de mudar à medida que o modelo subjacente evolui.

Executar em tempo real

“Não se pode fazer governação apenas uma vez. É preciso fazê-la continuamente,” afirmou Singh.

Essa mudança de políticas para a execução em tempo real corresponde diretamente à diferença entre a IA de aconselhamento e a IA agêntica. A IA de aconselhamento faz sugestões dentro de um âmbito definido. A IA agêntica toma medidas, encadeia essas medidas entre sistemas, encaminha tarefas para outros agentes e produz resultados que nenhum ser humano analisou individualmente antes de acontecerem.

A demonstração da ElevenLabs condensou tudo isto em poucos minutos. Uma interação inicial com o utilizador produziu autenticação através do WhatsApp, obtenção de documentos a partir do Google Workspace, uma mudança de idioma, uma transferência contínua entre agentes e uma chamada efetuada proativamente para oferecer um programa de subvenções. Cinco ações autónomas distintas. Nenhum ser humano aprovou cada passo. É assim que a IA agêntica se apresenta ao nível de um único caso de utilização.

À escala empresarial, a lacuna de governação torna-se algo consideravelmente mais difícil de gerir.

O cálculo dos criadores

Matt Garman, CEO da Amazon Web Services, foi direto sobre onde o valor da IA empresarial está efetivamente a acumular-se. As primeiras conquistas da IA generativa — criação de conteúdos e sumarização de documentos — estão a dar lugar a algo mais fundamental.

A implementação interna da Amazon confirma essa afirmação. A ferramenta Quick Suite da empresa dá a centenas de milhares de colaboradores acesso a agentes de IA ligados a dados empresariais no Salesforce, Workday, correio eletrónico e documentação interna.

Os programadores de software estão a registar uma produção cerca de 4,5 vezes superior com assistência de IA do que sem ela. Um agente de programação chamado Kiro resolveu recentemente um pedido de correção de um erro de um cliente e disponibilizou a solução em 25 minutos.

Estes são ganhos reais, e Garman apresentou-os sem exageros. Mas, subjacente ao argumento a favor da implementação, está uma ordem de prioridades com a qual a governação tem de lidar. Staniszewski foi explícito quanto a isso.

Lançar. Aprender. Crescer. Essa é a sequência. A governação não aparece nela, não por estar a ser ignorada, mas porque a lógica competitiva do momento atual recompensa a rapidez. A fase de u0022aprendizagemu0022 dessa sequência está a acontecer em produção, com utilizadores reais e consequências reais.

Isto não é cinismo. Garman e Staniszewski estão a descrever o funcionamento dos mercados tecnológicos quando o ritmo de melhoria das capacidades é elevado e o custo de esperar é real. Mas, para o CHRO responsável pelas decisões de IA relativas à força de trabalho, ou para o COO cujas operações estão a ser reestruturadas em torno de sistemas baseados em agentes, o cálculo é diferente. Não captam os benefícios de agir primeiro. Herdam a responsabilidade quando algo corre mal.

Uma lacuna que ninguém colmatou

A Credo AI reuniu aquilo que Singh descreve como o maior repositório mundial de riscos de IA, catalogando atualmente cerca de 1 600 categorias distintas. Dispõe de medidas de mitigação para aproximadamente 85% dessas categorias.

Os restantes 15%, aproximadamente 240 categorias de risco conhecidas, ainda não têm qualquer medida de mitigação estabelecida. Esse é o estado da governação na IA de aconselhamento. Os sistemas baseados em agentes, nos quais vários modelos interagem, transferem tarefas entre si e produzem resultados que alimentam outras decisões automatizadas, introduzem modos de falha que ainda não foram completamente caracterizados, quanto mais mitigados.

O problema mais difícil identificado por Singh é a proveniência. Num sistema multiagente, rastrear a responsabilização exige responder não só a que decisão foi tomada, mas também como. Ou seja, que agente contribuiu com o quê, que fontes de dados foram consultadas, em que ponto da cadeia teve origem um erro e como uma correção se propagaria.

A maioria dos quadros de governação foi concebida para avaliar o resultado de um modelo. Não foi criada para reconstruir o raciocínio de um sistema interligado que opera entre plataformas, modelos e fronteiras organizacionais.

Saahil Jain, CTO da You.com, que deixou de se centrar na pesquisa para consumidores para criar APIs de pesquisa destinadas a agentes de IA, apresentou a questão estrutural. Os utilizadores humanos interagem com a informação e exercem discernimento sobre aquilo que veem. Os agentes que consomem informação não têm a mesma capacidade de autocorreção.

Utilizarão essencialmente o contexto que lhes é fornecido e citá-lo-ão de uma forma que não inclui seres humanos no circuitou0022, afirmou.

A arquitetura de governação que as empresas construíram pressupõe uma revisão humana algures na cadeia. Ao longo da semana na HumanX, a expressão u0022agentes a governar agentesu0022 foi algo que ouvi repetidamente. A implementação de sistemas baseados em agentes parece estar a eliminar sistematicamente esse pressuposto, sem o substituir por algo estruturalmente equivalente.

Os quadros regulamentares não estão a colmatar a lacuna. Singh aconselhou governos nos EUA, na Europa, na Austrália e na Índia sobre governação da IA, e foi clara quanto à existência de um enorme atraso.

As regras concebidas para sistemas de aprendizagem automática anteriores não se aplicam de forma linear às arquiteturas baseadas em agentes. A Lei da IA do Colorado está a promover avaliações de impacto. Os requisitos europeus de privacidade e transparência estão a tornar-se mais rigorosos ao nível dos modelos de fronteira.

Mas o ritmo de implementação da IA agêntica está muito à frente de qualquer ciclo regulatório, e Singh espera que isso continue a verificar-se num futuro previsível.

O patamar de conformidade não é o teto

A conformidade com a SOC 2 tornou-se um requisito básico na aquisição de IA por parte das empresas. Singh descreveu clientes da Fortune 500 que, após um ano de experimentação abrangente com vários fornecedores, analisam agora minuciosamente se os seus dados estão protegidos, se os seus padrões de responsabilização estão documentados e se a introdução da sua IA na empresa cria uma exposição líquida.

De acordo com Singh, apenas cerca de 40% dos fornecedores de IA chegam à fase de produção em grandes empresas como resultado disso. A pressão da seleção é real.

Mas a conformidade com a SOC 2 e a governação da IA agêntica são coisas diferentes, e confundi-las é um dos erros mais consequentes que o mercado empresarial está atualmente a cometer.

A SOC 2 aborda a segurança e a disponibilidade. Diz algo relevante sobre a proteção e a fiabilidade dos sistemas de um fornecedor. Nada diz sobre a possibilidade de as decisões de um agente serem rastreadas, sobre a exatidão contextual dos seus resultados, sobre a adequada escalada de casos-limite ou sobre a possibilidade de o seu comportamento sofrer desvios à medida que os modelos subjacentes são atualizados sem aviso prévio.

Essas são questões de governação e exigem um tipo de infraestrutura diferente da proporcionada por uma certificação de conformidade.

Singh explicou como essa infraestrutura funciona na prática: equipas de governação que incluem cientistas de dados, especialistas em risco e privacidade e especialistas em comportamento, não apenas pessoal de segurança. Organizações de verificação independentes, incluindo uma norma emergente denominada AIUC, que testam sistemas de IA agêntica face a critérios estabelecidos através de entidades externas. Monitorização contínua em tempo de execução, e não apenas avaliação antes da implementação.

A Credo AI lançou recentemente uma MCP de governação, atualmente em versão beta, concebida para integrar as salvaguardas nas fases iniciais do próprio processo de desenvolvimento, dando aos construtores a capacidade de incorporar a lógica de governação no momento da construção, em vez de a acrescentarem posteriormente.

A direção é a certa. Saber se a adoção avançará suficientemente depressa para ter importância é uma questão separada.

A questão da responsabilização

Garman descreve a transformação da IA na Amazon com um otimismo específico. Equipas de vendas a passarem a maior parte do tempo com os clientes em vez de tratarem da administração do funil de vendas, programadores de software libertados de listas de pendências acumuladas ao longo de anos, produtos lançados mais rapidamente e com maior capacidade de resposta ao que os utilizadores realmente pretendem. Os ganhos são reais. A lógica é sólida.

Mas, integrada na visão da implementação da IA agêntica, está uma questão à qual os quadros de governação ainda não responderam de forma clara. Quando um agente de IA toma uma medida que prejudica alguém, quem é responsável?

O agente de voz que termina uma chamada no momento errado, deixando sem apoio um utilizador que precisava de ajuda. A IA financeira que sinaliza alguém incorretamente e afeta o seu acesso ao crédito. O agente de triagem de recursos humanos que atribui menor prioridade a um candidato com base em critérios que codificam preconceitos históricos. A plataforma de benefícios que recusa automaticamente um pedido sem qualquer análise humana antes de a decisão chegar ao requerente.

Em cada caso, um agente atuou. Em cada caso, um ser humano desencadeou a ação. Em cada caso, a cadeia entre a decisão e a consequência é mais longa e difusa do que qualquer quadro de governação existente foi concebido para mapear.

A observação de Singh sobre esperar merece ser levada a sério para além da lógica empresarial que estava a apresentar.

"Muitas empresas, quando falamos com elas, dizem: vamos esperar que aconteça um incidente e, depois, se for necessário, investimos na governação da IA", afirmou. "Nessa altura, tornar-se-ão irrelevantes."

Esse é um argumento competitivo. Existe também um argumento mais difícil. À medida que a IA agêntica entra na administração de benefícios, na avaliação do desempenho, no planeamento da força de trabalho, nas finanças dos clientes e na admissão clínica, as pessoas que recebem os resultados dessas decisões têm interesses legítimos na forma como essas decisões são tomadas e em quem responde quando estão erradas.

Os quadros de governação calibrados para a IA enquanto consultora não são adequados para a IA enquanto agente. Os construtores sabem disso. Ainda assim, estão a implementá-la. A janela para integrar a responsabilização nestes sistemas antes de os fluxos de trabalho se reorganizarem em torno deles não permanecerá aberta indefinidamente.