Key Takeaways
Classificação do risco: O Pentágono classificou a Anthropic como um risco para a segurança nacional, uma estreia histórica para uma empresa norte-americana.
Lacunas regulamentares: A ausência de regulamentação federal sobre a utilização da IA torna mais complexos os limites legais da vigilância e das decisões autónomas.
Falha de governação: O Pentágono e a Anthropic não estabeleceram uma autoridade decisória clara sobre as operações de IA, o que levou a uma crise.
Prevalência da utilização de IA: Cerca de 78% dos trabalhadores utilizam ferramentas de IA sem aprovação da organização, o que suscita preocupações quanto à responsabilização.
Modelo operacional: Uma governação eficaz deve centrar-se na autoridade decisória ao nível do fluxo de trabalho, e não apenas na documentação das políticas.
Na passada sexta-feira, o Pentágono designou a Anthropic, fabricante do modelo de IA Claude, como um risco para a cadeia de fornecimento da segurança nacional. Esta designação, normalmente reservada a adversários estrangeiros, como empresas russas de cibersegurança e fornecedores chineses de chips, nunca tinha sido aplicada a uma empresa americana.
Enquanto a Anthropic manteve a sua posição, a OpenAI avançou para reivindicar o contrato da Anthropic.
O conflito começou meses antes, quando a Anthropic assinou um contrato de 200 milhões de dólares para implementar o Claude em redes militares classificadas. A Anthropic estabeleceu duas linhas vermelhas: nada de vigilância em massa de cidadãos americanos e nada de armas totalmente autónomas que disparem sem intervenção humana.
O Pentágono exigiu utilização sem restrições para qualquer finalidade legal.
Parece razoável, excepto pelo facto de não existirem leis federais que regulamentem a vigilância por IA. Não existe nenhuma regulamentação que defina limites para a selecção algorítmica de alvos. Nem um quadro jurídico para a tomada de decisões autónoma.
«Qualquer utilização legal», na ausência de uma lei, significa que tudo é permitido.
Nenhuma das partes criou um mecanismo para resolver o desacordo antes de este se agravar, e o secretário da Defesa, Pete Hegseth, deu a Dario Amodei, CEO da Anthropic, um ultimato de três dias para cumprir as exigências ou enfrentar consequências.
Amodei não cedeu. Numa entrevista à CBS News, poucas horas depois da inclusão na lista negra, descreveu as medidas como «retaliatórias e punitivas» e afirmou que a Anthropic tinha proposto continuar a apoiar as forças armadas durante uma transição para um concorrente.
Também identificou aquela que deveria ser a principal preocupação de qualquer pessoa que implemente IA em ambientes de alto risco: «A tecnologia está a avançar tão rapidamente que não acompanha a legislação.»
De volta aos negócios
A maior parte da cobertura apresentou esta situação como uma história política. Segurança versus defesa. Um CEO de tecnologia contra um secretário da Defesa. Há uma versão desta história que diz respeito à ética das armas autónomas, e essa história é importante.
Mas há uma versão que deveria fazer parar para pensar qualquer COO e CHRO, porque a falha subjacente às manchetes é estrutural, não política.
O Pentágono integrou a IA em operações classificadas sem resolver quem tinha autoridade sobre a forma como essa IA poderia ser utilizada. A Anthropic partiu do princípio de que as suas linhas vermelhas seriam respeitadas. O Pentágono partiu do princípio de que essas linhas vermelhas não se aplicariam depois de adquirir a tecnologia. Ninguém concebeu a arquitectura de governação para lidar com um desacordo antes de este se transformar numa crise.
Esta sequência está a desenrolar-se actualmente nas empresas, a uma escala que a maioria dos líderes não compreende plenamente.
Das redes classificadas ao seu organograma
Vários estudos estimam que cerca de 78% dos trabalhadores utilizam ferramentas de IA que nunca foram aprovadas pelo seu empregador. Por outras palavras, a IA já está integrada na forma como as decisões são tomadas na maioria das organizações, quer alguém a tenha concebido para isso ou não.
Um CHRO poderá descobrir que a IA está a redigir descrições de funções, a analisar currículos e a gerar linguagem para avaliações de desempenho em toda a empresa, sem que exista um responsável definido por nenhum desses resultados.
Um COO poderá constatar que as previsões de procura, as recomendações de preços e as avaliações de fornecedores estão a ser influenciadas por modelos que ninguém na liderança aprovou formalmente para utilização em produção.
Alguns líderes começaram a criar estratégias de governação da IA para gerir esta situação. Mohammed Chahdi, COO do Muse Group, descreve um quadro que o seu conselho de administração utiliza para separar a IA operacional das apostas experimentais.
Antes de algo passar a fazer parte das nossas operações principais, esperamos que a administração teste rigorosamente a fiabilidade e a profundidade de cada aplicação de IA antes de esta conquistar um lugar no modelo operacional.
Esse limiar, a linha entre «estamos a testar isto» e «isto influencia agora decisões reais», é precisamente o que a maioria das organizações ainda não definiu.
A questão que paira sobre tudo isto é a mesma que rompeu a relação entre o Pentágono e a Anthropic: quem tem autoridade para decidir o que a IA faz depois de ser integrada em fluxos de trabalho críticos?
Na maioria das empresas, a resposta honesta é: ninguém. Os direitos de decisão foram concebidos para um mundo em que os seres humanos produziam análises e tomavam a decisão final. Agora, a IA produz análises, redige recomendações e, em muitos casos, molda a decisão antes de um ser humano a rever.
A estrutura de responsabilização não acompanhou esta evolução, e a tecnologia continua a acumular avanços. A METR, uma organização de investigação em IA sediada em Berkeley, concluiu que o horizonte de conclusão de tarefas dos modelos de IA de vanguarda tem duplicado aproximadamente a cada sete meses. Esse ritmo não espera que os modelos de governação amadureçam.
Os contratos não governam. Os sistemas operativos governam.
Na maioria das organizações, o impulso é responder com uma política. Poderá:
- Redigir um documento sobre utilização aceitável
- Estabelecer um comité de aprovação
- Criar um ciclo de revisão.
A política é necessária. Mas a política aborda a camada superficial. O Pentágono tinha um contrato, que incluía termos. Presumivelmente, esses termos foram analisados por advogados. E, ainda assim, acabou num confronto público porque o contrato nunca resolveu quem controlava, em última instância, a forma como a IA era utilizada na prática.
Amodei foi direto ao ponto quando lhe perguntaram por que razão a Anthropic, uma empresa privada, deveria ter mais influência do que o Pentágono sobre a utilização militar da IA. A resposta não foi sobre ética em abstrato. Foi sobre limites de capacidade.
O nosso modelo tem uma personalidade. É capaz de fazer determinadas coisas. É capaz de fazer determinadas coisas de forma fiável. É capaz de não fazer determinadas coisas de forma fiável.
Esta é uma afirmação sobre a diferença entre aquilo que a IA consegue produzir e aquilo que um ser humano precisa de verificar. A mesma diferença existe em todas as organizações que executam fluxos de trabalho aumentados por IA. Quando um modelo redige uma recomendação de preços, alguém tem de assumir a responsabilidade por determinar se essa recomendação é válida para este cliente, este mercado e este momento.
Quando a IA seleciona candidatos, alguém tem de assumir a responsabilidade por determinar se os critérios estão a produzir resultados justos e rigorosos. Quando a IA gera um resumo de conformidade, alguém tem de assumir a responsabilidade pela exatidão daquilo que é enviado aos reguladores.
Uma governação que funcione num contexto de aceleração assemelha-se menos a um manual de políticas e mais a um sistema operativo. A autoridade de decisão tem de ser definida ao nível do fluxo de trabalho. Os pontos de intervenção humana têm de ser concebidos nos fluxos de trabalho de IA em produção, e não presumidos como existentes. As alterações aos modelos têm de ser tratadas como alterações ao sistema, com testes e aprovação explícita antes da implementação.
Onde reside a verdadeira falha
Na sua entrevista à CBS, Amodei abordou algo que se aplica muito para além do contexto militar. Ao falar sobre armas autónomas, afirmou:
"Suponha que tenho um exército de 10 milhões de drones, todos coordenados por uma pessoa ou por um pequeno grupo de pessoas. Penso que é fácil perceber que existem problemas de responsabilização nesse caso."
Substitua os drones por fluxos de trabalho aumentados por IA numa empresa de média dimensão. Substitua a pessoa por um gestor que foi promovido pela sua eficiência operacional num ambiente estável e que agora supervisiona uma combinação de trabalho produzido por seres humanos e por máquinas, sem formação sobre como distinguir entre resultados de IA fluentes e resultados de IA corretos.
É para aí que caminhamos se não formos intencionais. Gestores que supervisionam implicitamente decisões aumentadas por IA sem lhes ser dito que isso faz parte das suas funções, sem sistemas de desempenho que tenham em conta o rigor da validação e sem vias de escalamento claras para quando algo parece estar errado.
Se surgir um padrão de contratação enviesado na seleção baseada em IA daqui a seis meses, ou se um erro de preços se propagar por milhares de contas, a falha não será técnica. Será o facto de ninguém ter assumido a responsabilidade pela supervisão.
O Pentágono presumiu que poderia integrar o Claude em operações classificadas e resolver os limites mais tarde. A Anthropic presumiu que as suas linhas vermelhas contratuais seriam respeitadas sem um mecanismo para as fazer cumprir. Ambos estavam errados.
O resultado foi uma rutura pública, uma designação para inclusão numa lista negra normalmente dirigida a adversários estrangeiros e uma corrida para substituir um modelo que oficiais militares fardados descreveram como essencial.
A maioria das organizações não enfrentará consequências tão dramáticas. Mas a falha estrutural será familiar. A IA é integrada. As decisões passam por ela. Ninguém definiu claramente quem é responsável pelos resultados, quem tem autoridade para intervir ou o que acontece quando algo falha. E, quando a questão se torna urgente, já é demasiado tarde para lhe responder com calma.
Se é diretor de recursos humanos ou diretor de operações e está a ler isto, o Pentágono acabou de realizar a experiência por si. O custo de descobrir o que acontece quando as questões de governação mais consequentes são adiadas foi uma relação rompida, uma lacuna na segurança nacional e uma corrida que não precisava de ter acontecido. A sua versão dessa experiência será mais discreta. Não será mais barata.
