El fiasco Anthropic-Pentágono mostró a todos los CEO lo que ocurre cuando nadie asume la responsabilidad de las decisiones de IA
Designación de riesgo: El Pentágono designó a Anthropic como un riesgo para la seguridad nacional, algo inédito en una empresa estadounidense.
Vacíos normativos: La falta de regulaciones federales sobre el uso de la IA complica los límites legales para la vigilancia y las decisiones autónomas.
Fracaso de gobernanza: El Pentágono y Anthropic no lograron establecer una autoridad de decisión clara sobre operaciones de IA, lo que condujo a una crisis.
Prevalencia del uso de IA: Aproximadamente el 78% de los empleados utiliza herramientas de IA sin aprobación organizacional, aumentando las preocupaciones sobre la rendición de cuentas.
Marco operativo: La gobernanza efectiva debe centrarse en la autoridad de decisión a nivel de flujo de trabajo, no solo en la documentación de políticas.
El pasado viernes, el Pentágono designó a Anthropic, creador del modelo de IA Claude, como un riesgo para la cadena de suministro de la seguridad nacional. Esta designación, normalmente reservada para adversarios extranjeros como empresas rusas de ciberseguridad y proveedores chinos de chips, nunca se había aplicado a una empresa estadounidense.
Mientras Anthropic mantenía su postura, OpenAI intervino para reclamar el contrato de Anthropic.
La disputa comenzó meses antes, cuando Anthropic firmó un contrato de 200 millones de dólares para desplegar Claude en redes militares clasificadas. Anthropic trazó dos líneas rojas: no vigilancia masiva de estadounidenses, no armas totalmente autónomas que disparen sin intervención humana.
Keep Reading—and Keep Leading Smarter
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
El Pentágono exigió uso irrestricto para cualquier propósito legal.
Parece razonable, excepto por el hecho de que no existen leyes federales que regulen la vigilancia mediante IA. No hay regulación que defina límites para la orientación algorítmica. No existe un marco legal para la toma de decisiones autónoma.
"Todo uso legal" en ausencia de ley significa que todo está permitido.
Ninguna de las partes construyó un mecanismo para resolver el desacuerdo antes de que escalara, y el Secretario de Defensa, Pete Hegseth, le dio al CEO de Anthropic, Dario Amodei, un ultimátum de tres días para cumplir o enfrentar las consecuencias.
Amodei no cedió. En una entrevista con CBS News horas después de la inclusión en la lista negra, describió las acciones como "represalias y punitivas", y dijo que Anthropic había ofrecido seguir apoyando al ejército durante una transición hacia un competidor.
También identificó lo que debería ser la preocupación central para cualquiera que despliegue IA en entornos de alto riesgo: "La tecnología avanza tan rápido que está desfasada respecto a la ley."
De vuelta al negocio
La mayoría de la cobertura ha enmarcado esto como una historia política. Seguridad contra defensa. Un CEO tecnológico contra un secretario de defensa. Existe una versión de esto que trata sobre la ética de las armas autónomas, y esa historia importa.
Pero hay una versión que debería hacer reflexionar a cada COO y CHRO, porque el fallo subyacente que está tras los titulares es estructural, no político.
El Pentágono integró IA en operaciones clasificadas sin resolver quién tenía autoridad sobre cómo se podía usar esa IA. Anthropic asumió que sus líneas rojas se respetarían. El Pentágono asumió que esas líneas rojas no aplicarían una vez adquirida la tecnología. Nadie diseñó la arquitectura de gobernanza para gestionar un desacuerdo antes de que se convirtiera en crisis.
Esa secuencia se está repitiendo en empresas en este momento a una escala que la mayoría de los líderes no comprende del todo.
De redes clasificadas al organigrama de tu empresa
Múltiples estudios estiman que alrededor del 78% de los empleados utilizan herramientas de IA que su empleador nunca ha aprobado. En otras palabras, la IA ya está integrada en la toma de decisiones en la mayoría de las organizaciones, se haya planificado o no.
Un CHRO podría descubrir que la IA está redactando descripciones de puestos, filtrando currículums y generando lenguaje para retroalimentación de desempeño en toda la empresa sin un responsable definido para ninguno de esos resultados.
Un COO podría encontrar que las previsiones de demanda, recomendaciones de precios y evaluaciones de proveedores están siendo influenciadas por modelos que ningún líder aprobó formalmente para su uso en producción.
Algunos líderes han comenzado a construir estrategias de gobernanza de IA para gestionar esto. Mohammed Chahdi, COO en Muse Group, describe un marco que su junta utiliza para separar la IA operacional de las apuestas experimentales.
Antes de que algo pase a formar parte de nuestras operaciones principales, esperamos que la dirección ponga a prueba la fiabilidad y profundidad de cada aplicación de IA antes de que obtenga un lugar en el modelo operativo.
Ese umbral, la línea entre "estamos probando esto" y "esto ahora influye en decisiones reales", es exactamente lo que la mayoría de las organizaciones no ha definido.
La pregunta que sobrevuela todo esto es la misma que rompió la relación Pentágono-Anthropic: ¿quién tiene la autoridad de decisión sobre lo que hace la IA una vez que está integrada en procesos críticos?
En la mayoría de las empresas, la respuesta honesta es nadie. Los derechos de decisión fueron diseñados para un mundo en el que los humanos producían análisis y los humanos tomaban la decisión final. Ahora, la IA produce análisis, redacta recomendaciones y, en muchos casos, configura la decisión antes de que un humano la revise.
La estructura de rendición de cuentas no se ha puesto al día, y la tecnología sigue avanzando rápidamente. METR, una organización de investigación en IA con sede en Berkeley, descubrió que el horizonte de finalización de tareas para los modelos de IA de vanguardia se ha duplicado aproximadamente cada siete meses. Ese ritmo no espera a que los marcos de gobernanza maduren.
Los contratos no gobiernan. Los sistemas operativos sí.
El instinto en la mayoría de las organizaciones es responder con políticas. Estas podrían:
- Redactar un documento de uso aceptable
- Establecer un comité de aprobación
- Crear un ciclo de revisión.
La política es necesaria. Pero la política aborda la capa superficial. El Pentágono tenía un contrato, con cláusulas. Presumiblemente, tuvo abogados revisando esos términos. Y aun así, terminó en un enfrentamiento público porque el contrato nunca resolvió quién controlaba en última instancia cómo se usaba la IA en la práctica.
Amodei expuso este punto directamente cuando le preguntaron por qué Anthropic, una empresa privada, debería tener más voz que el Pentágono sobre el uso militar de la IA. Su respuesta no fue sobre la ética en abstracto. Fue sobre los límites de las capacidades.
Nuestro modelo tiene una personalidad. Es capaz de hacer ciertas cosas. Puede hacer ciertas cosas de forma fiable. Puede no hacer ciertas cosas de forma fiable.
Esa es una afirmación sobre la brecha entre lo que la IA puede producir y lo que un humano necesita verificar. Esa misma brecha existe en todas las organizaciones que utilizan flujos de trabajo aumentados por IA. Cuando un modelo elabora una recomendación de precios, alguien debe asumir la responsabilidad de si esa recomendación es válida para este cliente, este mercado, este momento.
Cuando la IA selecciona candidatos, alguien debe asumir la responsabilidad de si los criterios están produciendo resultados justos y precisos. Cuando la IA genera un resumen de cumplimiento, alguien debe asumir la responsabilidad de la exactitud de lo que se comunica a los reguladores.
La gobernanza que funciona bajo aceleración se parece menos a un manual de políticas y más a un sistema operativo. La autoridad de decisión debe ser asignada a nivel de flujo de trabajo. Los puntos de intervención humana deben ser diseñados en los flujos de trabajo productivos con IA, no asumir que ya existen. Los cambios en los modelos deben tratarse como cambios de sistema, con pruebas y aprobación explícita antes de la implementación.
Dónde reside el verdadero fallo
Amodei planteó algo en su entrevista con CBS que trasciende ampliamente el contexto militar. Hablando sobre armas autónomas, dijo:
"Supongamos que tengo un ejército de 10 millones de drones todos coordinados por una persona o un pequeño grupo. Creo que es fácil ver que hay problemas de responsabilidad allí."
Cambie drones por flujos de trabajo aumentados por IA en una empresa mediana. Cambie esa única persona por un gerente que fue ascendido por su eficiencia operativa en un entorno estable y que ahora supervisa una combinación de trabajo humano y generado por máquina sin formación sobre cómo distinguir entre salida fluida de IA y salida correcta de IA.
Ahí es a donde llegaremos si no somos intencionales. Directivos supervisando implícitamente decisiones aumentadas por IA sin saber que eso forma parte de su trabajo, sin sistemas de desempeño que tengan en cuenta la disciplina de validación y sin rutas claras de escalamiento para cuando algo parezca anómalo.
Si dentro de seis meses surge un patrón de contratación sesgado por el filtrado con IA, o un error de precios se multiplica en miles de cuentas, el fallo no será técnico. Será que nadie se hizo responsable de la supervisión.
El Pentágono asumió que podía integrar Claude en operaciones clasificadas y resolver los límites más tarde. Anthropic asumió que sus líneas rojas contractuales serían respetadas sin un mecanismo para hacerlas cumplir. Ambos se equivocaron.
El resultado fue una ruptura pública, una designación de lista negra normalmente reservada para adversarios extranjeros y una carrera para sustituir un modelo que oficiales militares uniformados describieron como esencial.
La mayoría de las organizaciones no enfrentarán consecuencias tan dramáticas. Pero el fallo estructural será familiar. La IA se incorpora. Las decisiones fluyen a través de ella. Nadie definió claramente quién es responsable del resultado, quién tiene autoridad de anulación o qué pasa cuando algo falla. Y para cuando la pregunta se vuelve urgente, ya es demasiado tarde para responderla con calma.
Si eres CHRO o COO y estás leyendo esto, el Pentágono ya ha hecho el experimento por ti. El coste de descubrir qué ocurre cuando las preguntas de gobernanza más importantes se posponen fue una relación rota, una brecha en la seguridad nacional y una agitación que no era necesaria. Tu versión de ese experimento será más silenciosa. No será más barata.
