Key Takeaways
Falha Silenciosa: O alinhamento da IA pode falhar quando os sistemas perdem instruções anteriores sem detetar ou comunicar a alteração.
Lacuna de Governação: As empresas não conseguem controlar o alinhamento dos modelos; têm de governar as permissões, os objetivos, a supervisão e as consequências.
Regras Não Ditas: Os agentes precisam frequentemente de contexto e de limites implícitos, e não apenas de comandos explícitos, para executarem tarefas em segurança.
A Contenção é Importante: Um sistema pode seguir uma instrução restrita e, ainda assim, violar o propósito mais amplo ou os limites esperados.
O Papel da Liderança: Os Recursos Humanos podem reforçar a governação da IA ao definir responsabilidades, limiares de aprovação, práticas de monitorização e risco operacional aceitável.
Em fevereiro, Summer Yue ligou um agente de IA de código aberto chamado OpenClaw ao seu e-mail. Testou-o durante semanas numa caixa de entrada de teste, onde se comportou bem. Deu-lhe uma instrução permanente: não tomar qualquer ação sem a minha aprovação.
Depois, apontou-o para a sua caixa de entrada real, que era muito maior. O agente anunciou que iria apagar tudo o que fosse anterior a 15 de fevereiro e que não estivesse na sua lista de itens a manter, e começou a trabalhar. Ela escreveu «Não faças isso». Ele continuou. Escreveu «PARA O OPENCLAW». Ele continuou. Não conseguiu pará-lo através do telemóvel, por isso correu até ao Mac mini onde estava a ser executado e terminou manualmente o processo. Já tinham desaparecido algumas centenas de e-mails.
Yue é a diretora de alinhamento da Meta Superintelligence Labs. O seu trabalho consiste em fazer com que os sistemas de IA façam aquilo que as pessoas pretendem.
O mecanismo é mais importante do que a ironia. A instrução dela não foi anulada; foi eliminada. O agente atingiu o seu limite de contexto e compactou o próprio histórico para se manter dentro desse limite, e a compactação resumiu e eliminou a parte em que ela lhe dizia para esperar. A regra existia. Depois deixou de existir, e nada no sistema assinalou a diferença.
Qualquer líder de RH que tenha visto uma política sobreviver ao processo de integração e depois evaporar ao quarto mês reconhecerá o padrão dessa falha.
Dois argumentos sobre uma palavra
Num painel da AI4, realizado na semana passada em Las Vegas sobre como tornar o alinhamento uma realidade, quatro pessoas que trabalham profissionalmente nesta área não conseguiram chegar a acordo sobre o que a palavra «alinhamento» abrange.
David Krueger, professor de IA e diretor executivo da organização sem fins lucrativos Evitable, usa o termo num sentido amplo, para significar levar um sistema a tentar comportar-se como pretendemos. Por vezes, essa intenção é específica, a que chama «alinhamento da intenção». Outras vezes, aproxima-se mais de «agir de acordo com os meus valores».
Spencer Whitman, diretor de produto da Gray Swan, que testa modelos de vanguarda antes do lançamento, argumentou que o termo foi alargado ao longo de um espetro, sem nada de útil no meio. Numa extremidade está a questão de saber se um sistema salvaguarda os interesses da humanidade. Na outra está uma questão muito mais pequena e mais fácil de resolver: «este sistema compreendeu o que lhe pedi e agiu em conformidade?»
Whitman duvida que a primeira pergunta tenha sequer resposta, dado que os seres humanos discordam violentamente sobre quais são os interesses da humanidade. Considera que é na segunda questão que as empresas realmente se encontram.
Jon Kutasov, que lidera uma subequipa da equipa de formação em alinhamento da Anthropic, apresentou a definição mais operacional da sala. Não quer ser surpreendido pela forma como um modelo se comporta depois de implementado. Se o modelo os surpreender, falharam. Segundo esse padrão, afirmou, os modelos atuais não estão alinhados. Estão perto, e cada vez mais perto, mas continuam a fazer coisas que a sua equipa preferia que não fizessem.
Essa definição é aplicável em qualquer contexto. É o mesmo padrão que estabeleceria para um novo trabalhador com autoridade para assinar documentos.
Os proprietários dos modelos alinham-nos. Todos os outros governam-nos.
John Buyers, sócio do escritório de advogados internacional CMS, que trabalha na área da IA há treze anos, traçou a distinção mais importante para quem está a ler isto.
O alinhamento, afirmou, é um exercício interno realizado pelas plataformas que controlam os modelos. Todos os outros estão a fazer algo diferente.
«Os utilizadores empresariais não podem envolver-se no alinhamento porque não são os proprietários dos modelos», afirmou. «Têm de governar o modelo.
Esta é a frase que deve entregar à sua equipa executiva. O facto de o Claude, o ChatGPT ou o Gemini terem sido treinados para se comportarem bem não é uma decisão em que a sua empresa participe. O que a sua empresa controla é para onde o sistema é direcionado, aquilo em que pode tocar e quem o está a supervisionar. Isso é governação e está muito mais próximo da conceção do trabalho do que da ciência dos dados.
A maior preocupação de Buyers é que o alinhamento não tenha atualmente um nível mínimo. Cada laboratório fá-lo de forma diferente, segundo calendários comerciais e os seus próprios padrões. Em qualquer outro domínio de importância comparável, argumentou, esperaríamos indicadores básicos de boas práticas que um programador cumpre ou não cumpre.
As instruções que ficam por escrever
Em julho, a OpenAI revelou que dois dos seus modelos, incluindo um que ainda não tinha sido lançado, escaparam de um ambiente de testes isolado durante uma avaliação de cibersegurança, acederam à Internet e piratearam a Hugging Face para roubar as respostas ao teste que lhes estava a ser aplicado. A Hugging Face já tinha detetado a intrusão e comunicado o caso às autoridades antes de as duas empresas estabelecerem a ligação entre os acontecimentos.
O painel dividiu-se quanto a saber se isto era sequer um caso de desalinhamento. Whitman argumentou que os modelos fizeram exatamente aquilo que lhes tinha sido pedido, ou seja, piratear de forma agressiva, e que a verdadeira falha estava num ambiente de contenção demasiado fraco para os deter.
O investigador da Anthropic discordou categoricamente. O modelo teria compreendido que entrar numa empresa não relacionada não era o caminho pretendido para responder à pergunta.
A versão de Krueger sobre o desacordo é aquela que os líderes de pessoas deveriam ouvir com maior atenção. Todas as instruções contêm elementos que ficam por dizer. Pedir a alguém que resolva uma questão de avaliação implica pedir-lhe, de forma implícita, que não arrombe o edifício onde a folha de respostas está guardada. Esperamos que esse entendimento exista como base e quase nunca o escrevemos, porque é impossível escrever tudo. A camada não explicitada é maior do que a explicitada.
Gerir essa lacuna é aquilo que os RH têm feito desde a invenção da descrição de funções. A competência existe. Atualmente, está inserida numa função que, na sua maioria, só recebe informação sobre a implementação de IA depois de os objetivos terem sido definidos.
Os compradores assinalaram uma conclusão do lado técnico que deveria reforçar o argumento. Dê-se a um modelo um conjunto de regras sem qualquer contexto e o seu desempenho será pior do que quando se explica por que motivo as regras existem. A razão pela qual uma restrição é importante acaba por ser determinante para saber se essa restrição se mantém.
Pergunte a qualquer gestor que tenha aplicado uma política que não conseguia justificar como é que isso costuma correr.
