El Descalabro Anthropic-Pentágono Mostró a Cada CEO lo que Sucede Cuando Nadie se Hace Responsable de las Decisiones de IA
Designación de Riesgo: El Pentágono designó a Anthropic como un riesgo para la seguridad nacional, un hecho histórico para una empresa estadounidense.
Vacíos Regulatorios: La falta de regulaciones federales sobre el uso de IA complica los límites legales para la vigilancia y las decisiones autónomas.
Fallo de Gobernanza: El Pentágono y Anthropic no establecieron una autoridad clara de decisión sobre las operaciones de IA, lo que condujo a una crisis.
Prevalencia del Uso de IA: Aproximadamente el 78% de los empleados utilizan herramientas de IA sin la aprobación de la organización, lo que genera preocupaciones de responsabilidad.
Marco Operativo: La gobernanza efectiva debe centrarse en la autoridad de decisión a nivel de flujo de trabajo, no solo en la documentación de políticas.
El pasado viernes, el Pentágono designó a Anthropic, creador del modelo de IA Claude, como un riesgo para la cadena de suministro de la seguridad nacional. La designación, normalmente reservada para adversarios extranjeros como empresas de ciberseguridad rusas y proveedores chinos de chips, nunca había sido aplicada a una empresa estadounidense.
Mientras Anthropic mantenía su postura, OpenAI intervino para reclamar el contrato de Anthropic.
La disputa comenzó meses antes, cuando Anthropic firmó un contrato de $200 millones para implementar Claude en redes militares clasificadas. Anthropic trazó dos líneas rojas: no vigilancia masiva de estadounidenses, no armas totalmente autónomas que disparen sin intervención humana.
Sigue leyendo—y sigue liderando de manera más inteligente
Crea una cuenta gratuita para terminar este artículo y unirte a una comunidad de líderes visionarios que están desbloqueando herramientas, guías prácticas e ideas para prosperar en la era de la IA.
Have an account? Log In
El Pentágono exigió uso sin restricciones para cualquier propósito legal.
Parece razonable, salvo por el hecho de que no existen leyes federales que rijan la vigilancia mediante IA. No hay regulación que defina límites para la orientación algorítmica. No existe un marco legal para la toma de decisiones autónoma.
"Todo uso legal" en ausencia de ley significa que todo está permitido.
Ninguna de las partes creó un mecanismo para resolver el desacuerdo antes de que escalara, y el Secretario de Defensa Pete Hegseth dio al CEO de Anthropic, Dario Amodei, un ultimátum de tres días para cumplir o enfrentar consecuencias.
Amodei no cedió. En una entrevista con CBS News horas después de la inclusión en la lista negra, describió las acciones como "represalias y punitivas", y dijo que Anthropic se había ofrecido a seguir apoyando al ejército durante una transición a un competidor.
También identificó lo que debería ser la preocupación central para cualquiera que implemente IA en entornos de alto riesgo: "La tecnología avanza tan rápido que está desincronizada con la ley."
De vuelta al negocio
La mayoría de las coberturas han enmarcado esto como una historia política. Seguridad frente a defensa. Un CEO tecnológico contra un secretario de defensa. Existe una versión de esto que trata sobre la ética de las armas autónomas, y esa historia importa.
Pero hay una versión que debería hacer reflexionar a todos los COO y CHRO, porque el fallo subyacente a los titulares es estructural, no político.
El Pentágono integró IA en operaciones clasificadas sin resolver quién tenía autoridad sobre su uso. Anthropic asumió que sus líneas rojas se mantendrían. El Pentágono asumió que esas líneas no aplicarían una vez adquirida la tecnología. Nadie diseñó la arquitectura de gobernanza para manejar un desacuerdo antes de que se convirtiera en crisis.
Esa secuencia se está repitiendo ahora mismo en las empresas a una escala que la mayoría de los líderes no alcanza a comprender por completo.
De redes clasificadas a tu organigrama
Varios estudios estiman que alrededor del 78% de los empleados usan herramientas de IA que su empleador nunca aprobó. En otras palabras, la IA ya está integrada en la toma de decisiones en la mayoría de las organizaciones, hayan sido diseñadas para ello o no.
Un CHRO podría descubrir que la IA está redactando descripciones de puestos, cribando currículums y generando redacción de retroalimentación de desempeño en toda la empresa sin un responsable definido para ninguno de esos resultados.
Un COO podría descubrir que las previsiones de demanda, recomendaciones de precios y evaluaciones de proveedores están siendo determinadas por modelos que nadie en la dirección aprobó formalmente para su uso en producción.
Algunos líderes han comenzado a construir estrategias de gobernanza de IA para gestionar esto. Mohammed Chahdi, COO de Muse Group, describe un marco que su junta utiliza para separar la IA operativa de las apuestas experimentales.
Antes de que algo se convierta en parte de nuestras operaciones principales, esperamos que la dirección ponga a prueba la fiabilidad y profundidad de cada aplicación de IA antes de que gane un lugar en el modelo operativo.
Ese umbral, la línea entre "estamos probando esto" y "esto ahora influye en decisiones reales", es exactamente lo que la mayoría de organizaciones no ha definido.
La pregunta que subyace en todo esto es la misma que rompió la relación entre el Pentágono y Anthropic: ¿quién tiene autoridad de decisión sobre lo que hace la IA una vez que se integra en flujos de trabajo críticos?
En la mayoría de las empresas, la respuesta honesta es nadie. Los derechos de decisión se diseñaron para un mundo donde los humanos producían el análisis y los humanos tomaban la decisión final. Ahora la IA produce análisis, redacta recomendaciones y, en muchos casos, moldea la decisión antes de que un humano la revise.
La estructura de responsabilidad no se ha puesto al día, y la tecnología sigue avanzando exponencialmente. METR, una organización de investigación en IA con sede en Berkeley, descubrió que el horizonte de finalización de tareas para los modelos de IA más avanzados ha estado duplicándose aproximadamente cada siete meses. Ese ritmo no espera a que los marcos de gobernanza maduren.
Los Contratos No Gobiernan. Los Sistemas Operativos Sí.
El instinto en la mayoría de las organizaciones es responder con políticas. Podrías:
- Redactar un documento de uso aceptable
- Establecer un comité de aprobación
- Crear un ciclo de revisión.
La política es necesaria. Pero la política aborda la capa superficial. El Pentágono tenía un contrato, que tenía términos. Presumiblemente hicieron que abogados revisaran esos términos. Y aún así terminaron en un enfrentamiento público porque el contrato nunca resolvió quién finalmente controlaba cómo se usaba la IA en la práctica.
Amodei señaló esto directamente cuando le preguntaron por qué Anthropic, una empresa privada, debería tener más peso que el Pentágono sobre el uso militar de la IA. Su respuesta no fue sobre la ética en abstracto. Se trataba de los límites de capacidad.
Nuestro modelo tiene una personalidad. Es capaz de ciertas cosas. Es capaz de hacer ciertas cosas de forma fiable. Es capaz de no hacer ciertas cosas de forma fiable.
Esa es una declaración sobre la brecha entre lo que la IA puede producir y lo que un humano necesita verificar. Esa misma brecha existe en cada organización que ejecuta flujos de trabajo aumentados por IA. Cuando un modelo redacta una recomendación de precios, alguien debe asumir la responsabilidad de si esa recomendación es válida para este cliente, este mercado, este momento.
Cuando la IA evalúa candidatos, alguien debe asumir la responsabilidad de si los criterios están generando resultados justos y precisos. Cuando la IA genera un resumen de cumplimiento, alguien debe hacerse cargo de la precisión de lo que se entrega a los reguladores.
La gobernanza que funciona bajo aceleración se parece menos a un manual de políticas y más a un sistema operativo. La autoridad de decisión debe asignarse a nivel de flujo de trabajo. Los puntos de intervención humana deben diseñarse en los flujos de trabajo de IA en producción, no asumirse. Los cambios en el modelo deben tratarse como cambios en el sistema, con pruebas y aprobación explícita antes de su implementación.
Dónde Reside el Verdadero Fracaso
Amodei planteó algo en su entrevista con CBS que trasciende mucho el contexto militar. Hablando de armas autónomas, dijo:
"Supongamos que tengo un ejército de 10 millones de drones todos coordinados por una sola persona o un pequeño grupo de personas. Creo que es fácil ver que ahí existen problemas de responsabilidad."
Cambia los drones por flujos de trabajo aumentados con IA en una empresa mediana. Cambia la única persona por un gerente que fue ascendido por eficiencia operativa en un entorno estable y ahora supervisa una mezcla de trabajo humano y generado por máquinas sin capacitación sobre cómo distinguir entre salida fluida de IA y salida correcta de IA.
A eso es a lo que nos dirigimos si no somos intencionales. Gerentes supervisando implícitamente decisiones aumentadas por IA sin que se les haya dicho que eso es parte de su trabajo, sin sistemas de desempeño que consideren la disciplina de validación y sin rutas de escalamiento claras para cuando algo parece estar mal.
Si dentro de seis meses emerge un patrón de contrataciones sesgado debido al filtrado por IA, o si un error de precios se escala a miles de cuentas, el fallo no será técnico. Será que nadie asumió la supervisión.
El Pentágono supuso que podía integrar Claude en operaciones clasificadas y delimitar los límites después. Anthropic supuso que sus líneas rojas contractuales serían respetadas sin un mecanismo para hacerlas cumplir. Ambos estaban equivocados.
El resultado fue una ruptura pública, una designación de lista negra normalmente destinada a adversarios extranjeros, y una carrera para sustituir un modelo que oficiales militares uniformados describieron como esencial.
La mayoría de las organizaciones no enfrentará consecuencias tan dramáticas. Pero el fallo estructural será familiar. La IA se integra. Las decisiones fluyen a través de ella. Nadie definió claramente quién es propietario de los resultados, quién tiene autoridad para anular, o qué sucede cuando algo falla. Y para cuando la pregunta se vuelve urgente, ya es demasiado tarde para responderla tranquilamente.
Si eres CHRO o COO y estás leyendo esto, el Pentágono ya hizo el experimento por ti. El costo de descubrir qué ocurre cuando las preguntas de gobernanza más importantes se posponen fue una relación rota, una brecha de seguridad nacional y un caos que no tenía por qué ocurrir. Tu versión de ese experimento será más silenciosa. No será más barata.
