Desplegar, Aprender, Escalar. ¿Y Después?
Cambio en la Gobernanza: La gobernanza de la IA debe evolucionar de la política al monitoreo en tiempo real a medida que la IA agéntica toma acciones autónomas.
Prioridad en el Despliegue: AWS da prioridad al despliegue rápido de la IA sobre la gobernanza, enfocándose en el aprendizaje y la escalabilidad en producción.
Riesgos No Mitigados: Credo AI cataloga 1.600 riesgos de IA, con el 15% sin mitigar, lo que plantea preocupaciones de gobernanza para la IA agéntica.
Brechas de Responsabilidad: Los marcos de gobernanza actuales tienen dificultades para asignar responsabilidad por las acciones de los agentes de IA que afectan a los usuarios.
Durante una demostración en vivo en HumanX la semana pasada, Mati Staniszewski, cofundador de ElevenLabs, guió a la audiencia a través de un agente de servicios gubernamentales construido sobre la plataforma de su empresa.
El agente guió a un usuario ficticio durante el registro comercial. Autenticó su identidad a través de WhatsApp. Extrajo documentos de una cuenta de Google vinculada, cambió de idioma a mitad de conversación cuando el usuario mencionó empleados que hablan español, y respondió preguntas sobre el proceso para obtener la licencia de vendedor en California.
Luego, el usuario preguntó sobre impuestos. El agente finalizó la llamada.
Keep Reading—and Keep Leading Smarter
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
No indicó incertidumbre. No escaló la consulta. Terminó una conversación que un usuario real habría asumido que estaba siendo gestionada, porque el agente no sabía que existía un departamento fiscal al que redirigir.
Staniszewski solucionó el problema en el escenario en unos minutos, conectando el agente de negocios con un agente fiscal, aplicando el cambio y reiniciando. La audiencia vio una actualización de producción en tiempo real.
Lo que merece la pena analizar no es que el agente fallara. Los agentes fallan. Es cómo fue el fallo. Sin advertencia. Sin transferencia de la solicitud. Sin registro de lo que necesitaba el usuario. El vacío sólo se hizo visible cuando el usuario se topó con él.
Ahora coloque ese escenario dentro de Revolut, que ha desplegado agentes de ElevenLabs en más de cuatro millones de clientes y en más de 30 idiomas. O dentro de Deutsche Telekom, cuya red ahora incluye agentes que atienden consultas de clientes en tiempo real. El cuello de botella, dijo Staniszewski, ya no es la tecnología. Es la implementación.
Esa afirmación es tanto precisa como, para quienes son responsables de lo que hacen esos agentes, la frase más importante de toda la sesión.
El Modelo para el que se Creó la Gobernanza
Durante la mayor parte de los últimos tres años, la gobernanza de la IA empresarial operó basada en un conjunto de supuestos manejables. Un sistema de IA brindaba una recomendación. Un humano la revisaba. El humano asumía la responsabilidad de lo que ocurría después. El modelo no era perfecto, pero era comprensible. Se podía señalar dónde se tomó la decisión y quién la tomó.
Esa arquitectura se está desmoronando.
Navrina Singh, fundadora y directora ejecutiva de Credo AI, ha dedicado seis años a construir lo que ella define como la categoría de gobernanza de IA, comenzando en la era de aprendizaje automático predictivo y ahora funcionando de lleno en la era de los agentes.
En HumanX, describió el cambio central. Antes, la gobernanza era cuestión de políticas; ahora debe ser de límites operativos y en tiempo de ejecución. La distinción importa más de lo que parece. Una política es algo que se redacta, se revisa anualmente y se actualiza cuando algo falla.
La gobernanza en tiempo de ejecución significa monitorear lo que realmente hace un sistema de IA, en producción, de forma continua, según criterios que pueden necesitar cambiar a medida que evoluciona el modelo subyacente.
Ese giro de la política a la operación en tiempo real se refleja exactamente en la diferencia entre IA de asesoramiento y IA agentiva. La IA de asesoramiento realiza sugerencias dentro de un ámbito definido. La IA agentiva toma acciones, encadena esas acciones entre sistemas, transfiere tareas a otros agentes y produce resultados que ningún humano revisó previamente.
La demostración de ElevenLabs comprimía eso en unos minutos. Una sola interacción inicial produjo autenticación vía WhatsApp, recuperación de documentos de Google Workspace, un cambio de idioma, una transferencia fluida entre agentes y una llamada proactiva ofreciendo un programa de subvenciones. Cinco acciones autónomas distintas. Ningún humano autorizó cada paso. Así es la IA agentiva al nivel de un solo caso de uso.
A escala empresarial, la brecha en gobernanza se convierte en algo considerablemente más difícil de gestionar.
El Cálculo de los Creadores
Matt Garman, director ejecutivo de Amazon Web Services, fue directo sobre dónde realmente se está acumulando el valor de la IA empresarial. Los primeros éxitos de la IA generativa, como la creación de contenido y la síntesis de documentos, dejan paso a algo más fundamental.
«Los agentes son la manera en que la mayoría de las empresas y la mayoría de las compañías van a obtener la mayor parte de su valor de la IA.»
El despliegue interno de Amazon respalda esa afirmación. La herramienta Quick Suite de la compañía da acceso a cientos de miles de empleados a agentes de IA conectados a datos empresariales en Salesforce, Workday, correo electrónico y documentación interna.
Los desarrolladores de software están viendo aproximadamente 4,5 veces más producción con la asistencia de IA que sin ella. Un agente de programación llamado Kiro resolvió recientemente una solicitud de corrección de errores de un cliente y realizó el arreglo en 25 minutos.
Estos son logros reales, y Garman los presentó sin inflarlos. Pero, dentro del argumento a favor del despliegue, hay un orden de prioridades con el que la gobernanza debe lidiar. Staniszewski fue explícito al respecto.
«El cuello de botella ya no es la tecnología. Es el despliegue. Las empresas que lanzan, que aprenden y escalan rápidamente son las que van a ganar.»
Lanzar. Aprender. Escalar. Ese es el orden. La gobernanza no aparece ahí, no porque esté siendo ignorada, sino porque la lógica competitiva del momento premia la velocidad. La fase de "aprender" en esa secuencia está ocurriendo en producción, con usuarios reales, y enfrentando consecuencias reales.
Esto no es cinismo. Garman y Staniszewski están describiendo cómo funcionan los mercados tecnológicos cuando la tasa de mejora de capacidades es alta y el costo de esperar es real. Pero para el CHRO responsable de la toma de decisiones de IA para el personal, o para el COO cuyas operaciones están siendo reestructuradas en torno a sistemas agénticos, el cálculo es diferente. No recogen los beneficios de moverse primero. Heredan la responsabilidad cuando algo sale mal.
Una brecha que nadie ha cerrado
Credo AI ha reunido lo que Singh describe como el mayor repositorio del mundo de riesgos de IA, catalogando actualmente unas 1.600 categorías distintas. Tienen mitigaciones para aproximadamente el 85% de ellas.
El 15 por ciento restante, aproximadamente 240 categorías de riesgos conocidas, aún no tienen una mitigación establecida. Ese es el estado de la gobernanza en las IAs de asesoría. Los sistemas agénticos, donde varios modelos interactúan, delegan tareas y generan salidas que alimentan otras decisiones automatizadas, introducen modos de fallo que no se han caracterizado completamente, y mucho menos mitigado.
El problema más difícil que Singh identificó es la procedencia. En un sistema multiagente, rastrear la responsabilidad requiere responder no solo qué decisión se tomó, sino cómo. Es decir, qué agente contribuyó con qué, qué fuentes de datos se consultaron, dónde se originó un error en la cadena y cómo se propagaría una corrección.
La mayoría de los marcos de gobernanza se diseñaron para evaluar la salida de un modelo. No fueron creados para reconstruir el razonamiento de un sistema interconectado que opera entre plataformas, modelos y límites organizacionales.
Saahil Jain, CTO de You.com, empresa que pasó de la búsqueda de consumidores a la creación de APIs de búsqueda para agentes de IA, planteó el problema estructural. Los usuarios humanos interactúan con la información y ejercen juicio sobre lo que ven. Los agentes que consumen información no tienen la misma capacidad de autocorrección.
"Básicamente, utilizarán el contexto que se les proporcione y lo citarán de una manera que no incluya a humanos en el proceso", afirmó.
La arquitectura de gobernanza que las empresas han construido asume una revisión humana en alguna parte de la cadena. Durante la semana en HumanX, la frase "agentes gobernando agentes" fue algo que escuché una y otra vez. El despliegue agéntico, al parecer, está eliminando sistemáticamente esa suposición, sin reemplazarla por nada estructuralmente equivalente.
Los marcos regulatorios no están cerrando la brecha. Singh ha asesorado a gobiernos en EE.UU., Europa, Australia e India sobre la gobernanza de la IA, y habló con claridad sobre la existencia de un enorme rezago.
Las reglas diseñadas para sistemas anteriores de aprendizaje automático no se adaptan bien a las arquitecturas agénticas. La Ley de IA de Colorado enfatiza las evaluaciones de impacto. Los requisitos europeos de privacidad y transparencia se están endureciendo a nivel de modelos fronterizos.
Pero el ritmo del despliegue agente está muy por delante de cualquier ciclo regulatorio, y Singh espera que esto siga siendo así en el futuro previsible.
El piso del cumplimiento no es el techo
El cumplimiento SOC 2 se ha convertido en un requisito básico en la adquisición de IA empresarial. Singh describió cómo los clientes de Fortune 500, después de un año de amplia experimentación con múltiples proveedores, ahora examinan minuciosamente a los proveedores para ver si sus datos están protegidos, si sus estándares de responsabilidad están documentados, y si introducir su IA en la empresa supone una exposición neta.
Según Singh, solo alrededor del 40% de los proveedores de IA llegan a producción en grandes empresas como resultado. La presión de selección es real.
Pero el cumplimiento SOC 2 y la gobernanza agente son cosas diferentes, y confundirlas es uno de los errores más importantes que actualmente está cometiendo el mercado empresarial.
SOC 2 aborda la seguridad y la disponibilidad. Dice algo significativo sobre si los sistemas de un proveedor están protegidos y son confiables. No dice nada sobre si las decisiones de un agente son rastreables, si sus resultados son contextualmente precisos, si eleva adecuadamente los casos atípicos o si su comportamiento cambia a medida que los modelos subyacentes se actualizan sin previo aviso.
Esas son cuestiones de gobernanza, y requieren un tipo de infraestructura diferente a la que proporciona una certificación de cumplimiento.
Singh explicó cómo se ve esa infraestructura en la práctica: equipos de gobernanza que incluyen científicos de datos, especialistas en riesgos y privacidad, y expertos en comportamiento, no solo personal de seguridad. Organizaciones de verificación independientes, incluido un estándar emergente llamado AIUC, que prueban los sistemas agentes contra criterios establecidos a través de partes externas. Monitoreo continuo en tiempo de ejecución, no solo evaluación previa al despliegue.
Credo AI lanzó recientemente una MCP de gobernanza, actualmente en beta, diseñada para llevar límites preventivos hacia arriba, al propio proceso de desarrollo, proporcionando a los desarrolladores la capacidad de incorporar lógica de gobernanza en el momento de la construcción en lugar de añadirla después.
La dirección es la correcta. Si la adopción avanza lo suficientemente rápido como para marcar la diferencia, es otra cuestión.
La cuestión de la responsabilidad
Garman describe la transformación de la IA en Amazon con un optimismo específico. Equipos de ventas pasando la mayor parte de su tiempo con clientes en lugar de en la administración de la cartera, desarrolladores de software eliminando retrasos de años, productos que se lanzan más rápido y respondiendo mejor a lo que los usuarios realmente quieren. Las ganancias son reales. La lógica es sólida.
Pero dentro de la imagen del despliegue agente hay una cuestión que los marcos de gobernanza no han respondido claramente. Cuando un agente de IA realiza una acción que perjudica a alguien, ¿quién es responsable?
El agente de voz que termina una llamada en el momento equivocado, dejando a un usuario varado que necesitaba ayuda. La IA financiera que señala a alguien incorrectamente y afecta su acceso al crédito. El agente de selección de RRHH que desprioriza a un candidato basándose en criterios que codifican sesgos históricos. La plataforma de beneficios que rechaza automáticamente una reclamación sin revisión humana antes de que la decisión llegue al solicitante.
En cada caso, un agente actuó. En cada caso, un humano lo puso en marcha. En cada caso, la cadena entre la decisión y la consecuencia es más larga y difusa que cualquier cosa que los marcos de gobernanza existentes estén diseñados para mapear.
La observación de Singh sobre esperar merece ser tomada en serio más allá de la lógica empresarial que estaba ofreciendo.
"Muchas empresas, cuando les hablamos, dicen 'esperemos a que ocurra un incidente, y entonces si tenemos que invertir en gobernanza de IA'," dijo. "Para entonces, habrán dejado de ser relevantes."
Esa es una razón competitiva. Pero hay otra más importante. A medida que la IA agente llega a la administración de beneficios, la evaluación del rendimiento, la planificación de la plantilla, las finanzas del cliente y la admisión clínica, las personas al final de esas decisiones tienen un interés legítimo en cómo se toman esas decisiones y quién responde cuando se equivocan.
Los marcos de gobernanza calibrados para la IA como asesor no son adecuados para la IA como actor. Los desarrolladores lo saben. Aun así, están implementando. La ventana para incorporar la responsabilidad en estos sistemas antes de que los flujos de trabajo se reorganicen en torno a ellos no estará abierta indefinidamente.
