Por qué los marcos tradicionales de gestión de riesgos de la IA están fallando

David Rice: Una directiva legal en una empresa Fortune 500 lo expresó así: su empresa no estaba incendiada, pero sentía que todos llevaban un lanzallamas. Así están la mayoría de las organizaciones ahora mismo: conscientes del riesgo, sin saber dónde apuntar la manguera, y el peligro no viene de fuera. Es el impulso interno que nadie sabe cómo frenar.

En el programa de hoy, converso con Reid Blackman, autor de El Reto de la Pesadilla Ética, sobre por qué los marcos tradicionales de gobernanza no están preparados para lo que está ocurriendo ahora. Tus empleados ya usan IA de maneras que no habías previsto. No puedes predecir cómo utilizarán los agentes de IA y la única palanca que la mayoría de líderes sabe accionar es restringir el acceso, lo que no es realmente una solución.

Reid plantea un punto que corta mucho ruido alrededor de esto. Avanzar rápido y tomarse en serio la ética de la IA no es una dicotomía. Las empresas que lo tratan como una elección binaria están generando justamente los fracasos catastróficos de confianza que intentan evitar. Y no necesitas construir un programa comprensivo de ética de IA de la noche a la mañana.

Puedes empezar a nivel de proyecto, dos o tres equipos, un piloto de diez semanas, incluso solo una conversación honesta sobre de dónde podrían venir las pesadillas. Así que, ¿cuál es la primera pregunta que merece la pena plantear en tu organización? ¿Qué tal si preguntamos: nos hemos detenido a identificar cuáles podrían ser las pesadillas éticas, reputacionales y legales de cómo estamos adoptando la IA?

La mayoría de las organizaciones, siendo honestas, responderán que no, y ahí es donde debes empezar. Así que hoy cubriremos por qué la gobernanza de riesgos tradicional no está equipada para la IA generativa ni para los agentes. Qué hace que la IA agente sea un tipo de reto de gobernanza fundamentalmente diferente, por qué la velocidad y la ética no son una dicotomía, y cuánto cuesta realmente avanzar rápido y romper cosas. Y finalmente, cómo poner en marcha el reto de la pesadilla ética a nivel de proyecto.

Soy David Rice, y esto es People Managing People. Y si tu organización aún no se ha detenido a preguntar qué podría salir mal y a quién podría perjudicar, esta conversación te muestra por qué esa pregunta no puede esperar mucho más. Vamos allá.

Muy bien, Reid. Bienvenido al programa. Me alegra tenerte aquí.

Reid Blackman: Gracias por invitarme.

David Rice: Sí, tengo el libro aquí. Me gusta el libro. Creo que es una buena lectura para cualquiera que esté pensando en los desafíos éticos de la IA.

Reid Blackman: No es lo mío, pero me alegro de que te guste.

David Rice: Describes a una directiva legal en el texto, hablando en una empresa Fortune 500 que dijo que su compañía no estaba incendiada, pero sentía que todos llevaban un lanzallamas, lo cual me gusta.

Reid Blackman: Sí, sí, fue una cita literal.

David Rice: Es una imagen impactante, ¿no? Porque captura exactamente cómo se sienten muchos líderes ahora. Son conscientes del riesgo, pero no están seguros de dónde dirigir la manguera en esto de la IA. Así que me da curiosidad, según tu opinión, ¿cuál es la razón estructural por la que la mayoría de las organizaciones están en esa posición?

¿Y por qué la gobernanza tradicional de riesgos no soluciona esa brecha?

Reid Blackman: Es una gran pregunta. Bien, la razón por la cual se sienten así es porque hay muchas razones. Una de las principales es que no saben qué tipo de líos pueden hacer sus empleados. Porque la cuestión con la IA generativa y los agentes de IA, de los que podemos hablar, es que pueden utilizarse en muchos contextos, por mucha gente y para muchos propósitos que no puedes predecir.

Simplemente no puedes predecir todas las maneras en las que se usará la herramienta. Y, además, sabes que estas cosas pueden incurrir en comportamientos que violen la privacidad, pueden ser sesgadas o discriminatorias de varios modos, pueden alucinar o inventar información. Así que hay muchos—Hay firmas legales, las Big Four de contabilidad, salieron en las noticias por entregar trabajos a clientes con materiales generados por IA que eran fabricados.

Así que, cuando unes el hecho de que hay muchas formas en que la IA puede salir mal, combinado con que no puedes predecir todas las maneras en que tus empleados la van a usar, por supuesto que te vas a poner nervioso; todos llevan lanzallamas ahora. Si quieres la respuesta de por qué el enfoque estándar ya no funciona, pero hago una pausa aquí un segundo.

David Rice: Lo que me llama la atención sobre la imagen es que pone el peligro en manos de quienes supuestamente dirigen, ¿cierto? No es una amenaza externa. Es ese impulso interno que nadie sabe cómo frenar en este punto. Creo que eso es, de hecho, además, un problema de liderazgo y cultura del que hablamos todo el tiempo, ¿cierto?

Es, tanto como un problema de gobernanza.

Reid Blackman: El único modo que conocen para frenar es restringiendo el acceso y no usando las herramientas. Así que pueden prohibir cosas—

David Rice: Lo cual no es realmente una solución.

Reid Blackman: No. Con suerte es solo una medida temporal. Y esto empeora con la IA agente. Cuando pides a los empleados: “Oigan, usen estos últimos sistemas agentes, empleen Claude Code,” o algo similar, y “Creen su propio agente, creen su propio asistente, su propio panel de control,” ahora las cosas se salen de control, porque nadie sabe qué podrán hacer ni para qué lo van a usar ni cómo lo incorporarán en sus flujos de trabajo.

¿Van a poner los controles adecuados? ¿Van a saber cuáles son los riesgos? ¿Cómo ejercerán su criterio profesional en este contexto tan difuso?

David Rice: Es muy complicado, ¿verdad? Agente tal vez es distinto por cómo se construye, pero creo que, cuando pensamos en los LLMs y la IA generativa en el trabajo, lo interesante de la analogía del lanzallamas es que RRHH entra a la sala y el artefacto ya está encendido y rociando por todas partes.

Porque todos ya están adaptando, usando e incorporándola a sus flujos de trabajo de maneras que ni sabes ni has pensado. Así que tratar de controlar eso es todo un reto. Y luego llegas con esto de “Vamos a hacer algo personalizado, ¿qué?”

Es un momento interesante. Me da curiosidad, porque esto es una elección, ¿no? Lo implementamos de formas distintas, pero ¿quién en el C-Suite tiene autoridad para pisar el freno y decir: “La presión por acelerar no viene de aquí”?

Ahora viene de todos lados. Lo sienten la junta, inversores, ejecutivos, competencia. ¿Quién asume ese momento para decir: “Esperen. Hay que frenar. Preguntar algunas cosas éticas aquí”?

Reid Blackman: Sí, sí.

David Rice: Puede parecer que limita tu carrera, pero queremos hacerlo responsablemente.

Reid Blackman: Déjame definir rápido qué es un agente de IA para ayudar al público, porque hacia allá vamos.

Como yo lo entiendo, y seguro que no soy el único, un agente de IA suele tener en el centro un LLM, como un chatbot con el que se interactúa, y debe cumplir dos condiciones para ser un agente. Primero, tiene que estar conectado a otras herramientas. Así que conectas tu LLM a Internet, y quizá también a bases de datos empresariales o software como el CRM.

Quizás también a otras IAs. Así que la primera condición es acceso a distintas bases de datos, software y otras IAs. La segunda es que exhiba un cierto grado de autonomía, es decir, le das el objetivo que quieres. En vez de decir “Ve a esta base de datos, toma esta información, pásala por la IA número dos, haz una búsqueda…” eso es tedioso. Lo ideal es decir: “Envíale un email a mis 5 mejores clientes diciendo tal cosa según tal criterio”. Y el agente, entre comillas, “decide” qué herramientas usar, qué búsquedas hacer, qué bases de datos consultar, qué otras IAs consultar, a qué software vincularse.

Como decide por sí solo cómo perseguir los fines que le marcas, es autónomo respecto a los medios. Así que, si tu LLM cumple con esas dos condiciones, tienes un agente de IA.

Y empiezas a entender la complejidad, porque el agente varía según el contexto. ¿Quién lo usa? ¿A qué herramientas lo conectaron? ¿A qué datos y a qué otros software accede? ¿En qué orden usa las herramientas?

¿Qué decisiones está autorizado a tomar? Y así sucesivamente. Múltiple complejidad. Así que no solo no puedes predecir cómo la gente usará los LLMs solos, con los agentes es todavía más impredecible. Habiendo aclarado eso, olvidé tu pregunta original.

David Rice: El segundo punto era por qué la gobernanza de riesgos tradicional no cierra esa brecha. Creo que lo abordas desde la complejidad, ¿no?

Reid Blackman: Sí …

David Rice: Los agentes de IA: ni siquiera tenemos descripciones claras de puesto en algunos casos, aparecen desviaciones y se ven haciendo cosas que nunca planeamos.

Así que, sí, la complejidad y la falta de sofisticación tecnológica tendrán que avanzar mucho más. Pero dime tú.

Reid Blackman: Es todo eso. Al pensar en cómo era la gobernanza tradicional de IA—y te lo digo como alguien que ha practicado la IA responsable—llevo 8 años asesorando grandes organizaciones en gobernanza de IA o ética de IA, y hay problemas. Y no solo yo, también mis colegas y competidores lo han notado. Mi primer libro defendía ese enfoque estándar de gobernanza de IA.

Y hay varias cosas que ya no funcionan. Está roto. Uno, es muy de arriba abajo y basado en políticas, y en una gran organización sabes cuánto cuesta aprobar una política. Para que el directorio apruebe algo a nivel global, mínimo un año.

En algunos sitios dos años. Es muy lento. Lo más rápido que vi fue 9 meses, por gente muy competente. Pero la tecnología avanza más rápido. Esa empresa Fortune 500 que mencionabas, la de los lanzallamas, ella comparaba la IA tradicional con la generativa, reescribieron la política, etc.

Era robustísima, la más robusta que hemos pasado a un cliente. Estaba entusiasmado. Pero al implementarla, tras publicar la política, a nadie le importa. Nadie se levanta queriendo leer la política nueva.

Tienes que hacer una campaña de concienciación. Quizá 3 personas estén interesadas, pero en general debes adaptarla a cada departamento, puesto y flujo de trabajo.

Es un proceso de meses o años. Y justo cuando lo hacíamos con ese cliente, ¡sale la IA agente! Ahora la política es obsoleta y hay que volver al directorio y la C-Suite para aprobar otra… Y ves que esto es eterno. Y eso solo por la IA.

Podríamos hablar luego de computadoras cuánticas o blockchain: el entorno tecnológico se complica rápido y el enfoque de políticas arriba-abajo es lentísimo. Luego el otro punto: la complejidad de los agentes IA. Los procedimientos derivan de la política y aseguran el cumplimiento.

Digamos que tienes 20 procedimientos. Con agentes de IA, por su complejidad, quizá 10 sí correspondan a tu contexto, los otros 10 sean irrelevantes, y habrá 10 más que ni contemplaste pero resultan cruciales según cómo lo uses.

Ese modelo de suponer que sabemos todos los controles y procedimientos necesarios está roto frente a la complejidad de la IA agente.

David Rice: Acabas de decir algo interesante.

Es suponer que conocemos todos los riesgos, complejidades y roles. Sabemos que no es así, ¿cierto?

Reid Blackman: Sí, 100%.

David Rice: Vi que datos de incidentes de IA del repositorio MIT muestran que los fallos verificados casi se triplicaron de 2021 a 2025, y eso es solo lo reportado, ¿no?

Reid Blackman: Sí …

David Rice: Muchos directorios tratan la ética en IA como un checklist; muchos lo ven solo como un tema de IT. Pero ¿en qué momento esa actitud se convierte en responsabilidad fiduciaria? ¿Cómo luce la rendición de cuentas real cuando un sistema de IA provoca daño grave?

Reid Blackman: Mi respuesta a esto ha cambiado con los años. Antes, la gente que considero excesivamente comercial en este tema siempre decían: “La ética de IA no te frena, te hace ir más rápido, como los frenos del coche”.

Siempre pensé: eso es falso. Ojalá fuera cierto, vendería más, pero simplemente no lo es. Pero eso cambia con la IA agente. Ahora sí lo creo. Porque es obvio que los agentes pueden descontrolarse.

Con la IA tipo agente, generan emails, documentos, etcétera, y puede haber desvíos. Pero cuando creas sistemas que toman decisiones a velocidades y escalas imposibles para humanos, usando muchos softwares a la vez, parece peligroso, rápido. No hay que ser tecnólogo para verlo. Autonomía y tanto poder, más acceso a datos—y probablemente clientes—. Así que, más que frenos, ahora pienso en el volante.

Si no sabes cómo manejar los agentes, todo se va de lado. Así que los agentes han hecho tan obvio esto que más líderes senior, especialmente del C-Suite no ligados a tecnología—antes solo eran responsables de datos, CIOs, análisis—ahora son CHRO, COOs, hasta CEOs y CMOs quienes admiten: “Esto está loco”.

David Rice: Es interesante, porque no es solo un problema legal; desde RRHH lo vemos como cultural y de confianza.

Pero también hay un riesgo para la continuidad del negocio. Entonces, ¿debe el chief people officer ser el que levante la alerta antes que legal? Miremos casos como Workday y demandas a Eightfold, eso no es tecnología marginal, es el mainstream de RRHH. Surge la pregunta sobre responsabilidad por adoptar esas herramientas de proveedores. Y sobre la brecha entre lo que el directorio dice sobre gobernanza de IA y lo que realmente saben.

Reid Blackman: No tienen ni idea.

David Rice: ¿Tienen el conocimiento necesario para siquiera… No … hacer las preguntas correctas?

Reid Blackman: No, cuando hablo con directorios, me sorprende lo poco que saben. Honestamente, aún es el primer día. Directorios de grandes Fortune 500 no crecieron con Internet ni computadoras personales. Suelen ser mayores y saben muy poco sobre IA. Muchos, incluso, se sienten intimidados. Piensan que es un tema de IT, de científicos de datos.

No son tecnólogos y parece muy complicado. Como no saben programar o matemáticas, lo dejan a otros. Esa distancia es desastrosa, especialmente ahora. Porque mucha gente celebra que la IA y la IA generativa y agente democratizan la IA, la ponen en manos de todos. Y es genial. Yo, aunque me centro en las pesadillas éticas de la IA, no soy escéptico: me encanta la IA y la uso a diario. Pero si vamos a democratizarla, que hay que hacerlo para sacar todo el partido, debemos hablar y pensar en los riesgos de modo no intimidante. Hay que bajar la barrera para tener debates significativos sobre riesgos y cómo evitarlos.

David Rice: Sí. Llevamos apenas de seis meses a un año con la gente de RRHH sintiéndose suficientemente cómoda para usarla y obtener algo útil. Recuerdo charlas con gente diciendo: “No estoy cualificado para usarla”. Estaban en RRHH, y desafié ese discurso. Veíamos el potencial de lo que podrían construir, pero era intimidante al principio. Imagino que para los directorios igual, muchos llegaron sin absorber tecnología naturalmente.

Reid Blackman: Sí. Sí, totalmente. Dos cosas. Cuento corta: di una charla general para una Fortune 500 de biotecnología, explicando sobre IA, riesgos y sesgos. Puse de ejemplo IA usando para RRHH, quizás filtrando currículums. Una de cumplimiento legal tecleó en el chat: “Dejar claro: la política prohíbe cualquier IA en reclutamiento”. Se lo tomó muy a pecho.

He visto esa reacción de “no usar IA en RRHH”. Segundo: el enfoque estándar, al ser tan de políticas y arriba-abajo, requiere que alguien del C-Suite del lado técnico lidere porque son los únicos cómodos. Si alguien lidera, es el CIO, el jefe de seguridad o datos. RRHH casi nunca. Pero RRHH suele ser de los primeros donde se implementa porque manejan datos sensibles y decisiones críticas.

Ahora necesitamos soluciones rápidas y escalables. Y lo que propongo en mi libro es que se pueda empezar en cualquier lugar. El chief product officer puede plantear: “¿Cómo se ve la gobernanza IA en producto?” Que el CHRO diga: “¿Cómo se ve en RRHH? No sé lo que hacen en otros lados, pero no podemos esperar la política global. Nos toca resolver cómo evitar pesadillas propias”.

Eso como posición neutral. Ahora, mi opinión es: necesitamos que jefes de departamento se unan para identificar pesadillas éticas, reputacionales y legales propias. ¿Qué recursos necesita RRHH para evitarlas? ¿Cómo entrenamos al personal para usar esos recursos eficazmente?

Eso debe implementarse rápido, sin esperar a legal.

David Rice: Sí, coincido. El marco tradicional de IA responsable está hecho para sistemas predecibles, y decías en el libro que ya está obsoleto y pocos lo han notado.

Me interesa la psicología organizacional detrás de ese rezago, ¿es negación, presión de velocidad o que quienes marcan la estrategia realmente no entienden lo que lanzan?

Reid Blackman: Sobre el rezago, hay muchas formas de responder. Trabajamos con clientes donde algunos son éxitos, otros no tanto.

Diferentes organizaciones se topan con diferentes muros en diferentes fases. Con un banco, por ejemplo, el jefe de innovación en IA construye un programa responsable, y el departamento de gestión de riesgos de modelos dice: “¿Ustedes están haciendo qué? Eso es nuestro terreno”. Y surge pelea política… Otro ejemplo: apruebas la política, pero en implementación, el jefe del área dice: “¿Eso quieren hacer? Yo no quiero”. Así que aunque consigas la política, topas con otro muro porque, por ejemplo, si es IT, dirán: “Eso aquí no sucede”.

Todo eso enlentece; tienes que lograr aceptación. Un colega me dijo: “Al final, no les importa la ética”. Y yo creo que no es la cuestión. Por lo general tratas con buena gente que quiere hacer lo correcto. También por la marca y la reputación. Muchos quieren evitar riesgos reputacionales.

Pero uno de los problemas es que todo recae sobre el jefe de datos o información para impulsar un cambio organizacional enorme, pero ellos son tecnólogos, no aprendieron a conectar con el resto de C-Suite, RRHH, COO… Así que nunca se les enseñó a orquestar esos cambios. Así que ahí está la causa del rezago: esa dependencia del enfoque tradicional dificulta alinear a los ejecutivos para aplicar políticas, integrar en los flujos de trabajo, etc.

David Rice: Es interesante, porque como todo cambio tecnológico, al adelantar la respuesta institucional, hay marcos que “sirven para algo” y los seguimos usando aunque los supuestos base ya no sean vigentes.

Hay una dimensión humana: los líderes que construyeron esos marcos—quizás para IA generativa o predictiva—lo hicieron de buena fe y pusieron su credibilidad allí. Hay ego, identidad, y aceptar que hay que desecharlo les resulta incómodo.

Así que hay un problema humano en una conversación técnica. Pero para todos los CHRO y COO escuchando esto: si su sistema de gobernanza fue diseñado antes de los sistemas agentes, pronto quedará obsoleto.

No los está protegiendo ya. Y no es una crítica: es la realidad de la velocidad del cambio. Nadie puede mantener sus capacidades al ritmo de cambio, y ocurre igual con las políticas.

Reid Blackman: Ya lo he dicho: he sido practicante y asesor en ese enfoque estándar. Lo implanté en varias organizaciones con mi equipo, lo escribí en mi primer libro. Pero si quieren usar, digamos, los capítulos 4 y 7 como pasto para encender la fogata—adelante. Era válido antes. No diría que estuviera mal entonces, pero sí que no lo “future-proofeamos” lo suficiente.

No sabíamos que vendría ChatGPT, ni los agentes de IA, hasta febrero de 2024. El viejo enfoque servía para IA estrecha, por eso escribí el libro. Pero no está preparado para el mundo agente. Olvídense.

David Rice: Yo pensaba en 2022, y si hablabas de IA yo decía: “Para eso hay que ser científico de datos”.

Hoy pasa de todo, lo usa todo el mundo, y cada vez será más complejo y estará en más manos haciendo cosas imprevisibles.

Así que sí,

Reid Blackman: Así es, y resalta la importancia de la comunicación clara. Ahora, todos intentan entender la IA, usarla, o están curiosos. Pero los científicos de datos no saben comunicar con RRHH, ni viceversa. RRHH tampoco sabe cómo hablar con producto. Y con toda esta complejidad, si no podemos comunicarnos con claridad sobre este panorama, tener lenguajes diferentes lo empeora todo.

Así que el reto es: ¿cómo creamos un lenguaje común para hablar de esto? Es necesario no solo para entender el contexto, sino para colaborar.

Parte del punto de los agentes es que pueden operar entre áreas y funciones; cruzan departamentos, lo que obliga a la colaboración en su desarrollo y control. Así que necesitamos un lenguaje para colaborar sobre cómo evitamos lo realmente malo.

Por eso el libro se llama El Reto de la Pesadilla Ética: todos entienden qué es una pesadilla. No es técnico ni argot. Es: “¿Cuáles son los escenarios pesadilla aquí?”. La gente de RRHH puede responder. Sería una pesadilla si usamos la IA para excluir sistemáticamente a mujeres mayores de 40 años, por ejemplo.

Pueden decir cuáles serían esas pesadillas. Y si solo pregunto: ¿Cuáles son las pesadillas? Sabrán identificar. Así RRHH puede decirle al científico de datos: “Nos gusta lo que haces, pero nos preocupa este posible desastre”.

Al hablar de pesadillas, hablamos de resultados concretos a evitar, no de procedimientos o principios abstractos como la minimización de datos, etc. Eso es muy técnico y RRHH se perderá. Olvida eso: enfoquémonos en lo realmente malo. ¿Cómo aseguramos que no pasará?

David Rice: Mencionas los escenarios de pesadilla, y el libro pide a los líderes imaginar los peores resultados plausibles antes de que ocurran. Suena obvio, pero claramente no es lo habitual.

¿Qué ocurre en esas sesiones que los líderes no esperan? ¿Y cómo es un ejercicio realista para saber cuánto conoce la organización su stack de IA?

Reid Blackman: No lo conocen. Lo de las pesadillas es revelador para mucha gente. Es obvio: ¿cómo no empezar por ahí?

Personalmente, no empecé por eso por dos razones. Mi formación es de ética y filósofo; solemos hablar del bien y lo correcto, no tanto de las pesadillas. Y desde un enfoque de riesgos, se trata siempre de procedimientos. Así que, aunque es obvio, ni los éticos ni los de riesgos pensamos en partir de los peores casos.

Y pese a que en otras ingenierías sí es habitual: al diseñar aviones, se buscan los fallos posibles y se arreglan. Pero en IA, no era lo común. Por eso cuando diseñé El Reto de la Pesadilla Ética, donde el paso 1 es identificar las pesadillas éticas para tu organización y la IA, me pareció obvio cuando por fin lo formulé. Vi que en otras ingenierías ya se hacía y me sentí validado.

En las conversaciones a nivel de directorio solía empezarse por los valores, nunca por las pesadillas. “Somos por la equidad, transparencia, privacidad…” Un listado genérico de valores éticos. Y ahí todos se preguntan qué significa, nadie lo sabe. Así que, para plasmar esos valores, se traducen en procedimientos: para equidad, revisas sesgos; para transparencia, aseguras comunicar al usuario que trata con una IA, etc.

Todo se vuelve procedimiento. Y la charla termina en: ¿vamos a seguir estos procedimientos o no? A nivel de C-Suite o directorio, eso es aburrido y técnico. Pero todo lo que se puede hacer con los valores es eso: ¿cómo concretas qué es la equidad para IA? Hay infinidad de respuestas y todas se contradicen. Mal punto de partida.

Pero al preguntar: “¿Cuáles son las pesadillas?” tienen mucho más claro a qué se refieren. “Sería una pesadilla porque… los inversores se enfadarían…” Saben describir lo realmente negativo. Eso es lo que me gusta de lo de las pesadillas: todo el mundo lo entiende y es más fácil lograr alineación. Hablamos antes de eso. Es mucho más sencillo lograrlo sobre desastres a evitar que sobre lo ideal a lograr.

No es perfecto, pero hay menos fricción.

David Rice: Además, motiva. Transmite urgencia real. Nadie dice: “Vamos ya a implantar estos procedimientos porque me emociona realizar el valor de la equidad”.

Reid Blackman: Nadie lo hace. A nadie le importa. Pero al pensar en las pesadillas y su probabilidad y cómo podríamos encontrarlas, entonces sí: eso sí nos quita el sueño en el buen sentido. Ahora sí: hagamos algo ya.

David Rice: Lo bueno de hablar de las pesadillas es que da una vía estructurada para acercarse a la honestidad intelectual, o por lo menos a una forma de ella. Porque en la charla de valores, pides significado y la gente solo te mira…

Reid Blackman: Sí.

David Rice: Las organizaciones no son muy buenas en ese nivel de honestidad cuando ya hay inercia e inversión. Nadie quiere ser quien diga: “Esto está bien, pero, ¿y si pasa esto?”. Reconocer el daño real incomoda. Pero alguien debe decirlo. Siempre hablamos de seguridad psicológica, pero también debe haber para imaginar los peores escenarios, y eso requiere una cultura donde se puedan decir esas cosas incómodas sin que te tachen de negativo o agorero.

Por eso me parece genial que tu proceso funcione también como diagnóstico cultural.

Reid Blackman: Sí, es una buena manera de verlo. Además, creo que ayuda a construir esa cultura ética. No necesita mucha seguridad psicológica extra: simplemente, “así trabajamos aquí”. Quiero resaltar parte de la solución: el Reto de la Pesadilla Ética consiste en tres preguntas. La primera: ¿Cuáles son las pesadillas éticas de tu organización relacionadas con IA? ¿Qué recursos tienes para evitarlas? ¿Cómo entrenarás a tu equipo para usar esos recursos eficazmente?

Son muy flexibles y puedes plantearlas en todos los niveles: para una solución concreta: ¿cuáles son las pesadillas aquí? ¿Qué recursos y entrenamiento? O escalarlo a nivel de área (RRHH, por ejemplo) o incluso empresa entera. Esa portabilidad me gusta.

Después, hay que asegurarse de que todos estén entrenados en esas tres preguntas y en los conceptos clave: qué es IA, cuáles son los riesgos e incluso la idea de “pesadilla ética”. Pueden ser sesgos, alucinaciones, fallos en cascada en agentes, etc. Y se les da el marco de tres preguntas.

Luego, en adquisición de software o desarrollo interno, entra el equipo ENC (Equipo del Reto de Pesadilla Ética). Su misión: responder esas tres preguntas. Será multidisciplinario: alguien de RRHH, alguien de datos, tal vez legal y riesgos, y mejor aún, alguien del proveedor externo para saber qué recursos caen en sus manos y cuáles en las nuestras.

Si tiras solo a expertos juntos diciendo “resuelvan”, no servirá. Por eso en el libro presento el método de siete pasos: un formulario para priorizar pesadillas según probabilidad e impacto, obtienes un “puntaje de pesadilla”, y así priorizas su prevención.

Puedes formar equipos ENC donde haga falta, lo que resuelve el problema de escalabilidad de las políticas. Si RRHH es el área de IA, un ENC de RRHH; si marketing no la usa, pues no. Igual para soluciones según su riesgo. Eso permite implementar de forma rápida.

Además, establecer estos equipos genera una capacidad organizacional para evitar pesadillas: mientras más se sepa el lenguaje y se formen equipos ENC, mayor capacidad tienes para prevenir desastres a escala. Y eso sí afecta a la cultura organizacional.

David Rice: Desde el punto de vista de People Operations, esto debe suceder antes del despliegue y no tras el incidente.

Pero hablo con muchos líderes de RRHH que viven reaccionando, no anticipando. Quisiera tu consejo sobre cómo construir esa anticipación en el proceso, cuando nunca se ha cultivado ese hábito.

Reid Blackman: Varias cosas. Cuando se trata de equipos ENC a nivel de proyecto, su misión es pensar proactivamente qué puede salir mal antes de que ocurra. Eso incluye crear herramientas para monitorear la IA tras el lanzamiento, pues no basta con lanzarla y olvidarse: hay que vigilar, y deben definir cómo hacerlo para esa solución concreta.

El otro frente de acción proactiva es el equipo ENC a nivel departamento—digamos, RRHH/CHRO. Al responder las tres preguntas, no solo esperan a que algo falle, sino diseñan estrategias ahora para evitarlas. También redefinen su rol: no solo cumplen reglas, sino resuelven problemas, lo cual es mucho más eficaz.

Así, pasan de cascada de reglas a cascada de capacitación y capacitación habilitadora. No solo dan reglas, sino entrenamiento, inventario de pesadillas y estrategias para evitarlas, incluso talleres periódicos. Todo es proactivo y orientado a la solución.

David Rice: La IA agente cambia el cálculo de riesgos en formas que la mayoría de líderes aún no han asimilado. Los sistemas ya no solo responden: inician acciones, encadenan decisiones y actúan en nombre de la organización. Así que, para un COO o CHRO, ahora trabajan junto a agentes autónomos y la rendición de cuentas cambia. ¿Qué implica cuando algo sale mal? ¿Quién es responsable?

Reid Blackman: Los equipos ENC son la primera línea. Pero en cuanto a la rendición de cuentas, no es obvia la respuesta.

Es como en un accidente de helicóptero: ¿de quién es la culpa? ¿Fallo de diseño, de fabricación, de mantenimiento, del piloto, del control de tráfico aéreo..? Son muchos posibles responsables porque participaron muchos equipos. Y lo mismo con agentes de IA. Aunque los veamos como entidades, son un conjunto de herramientas conectadas.

¿Falló porque el componente X externo falló? ¿O por el LLM de base—de Google, Microsoft, OpenAI, Anthropic—? Esos modelos se modifican por desarrolladores internos, ¿es su culpa? No hay respuesta general, igual que con los helicópteros.

David Rice: El cambio agente resulta inquietante porque elimina el punto humano de decisión donde solíamos ubicar la responsabilidad.

Reid Blackman: Se puede responsabilizar al que autorizó el despliegue, claro, pero es fundamentalmente impredecible y pueden surgir problemas no razonablemente previsibles. No es justo culpar si no era previsible.

David Rice: Y muchas organizaciones ni siquiera saben con qué trabajan sus empleados. Si ignoran que trabajan junto a IA o son evaluados por ella, hay un tema de transparencia y consentimiento que va más allá de cumplimiento. Esto afecta la confianza y el compromiso. Adoptarla así es echar gasolina al fuego. Sorprende que ocurra justo ahora.

Reid Blackman: Diré una cosa más: a los ejecutivos les da miedo hablar de riesgos con sus empleados. Temen que si hablan de peligros, no la adoptarán. Un directivo de gobierno de IA en un banco Fortune 500 me dijo: “Me gusta la palabra pesadillas, pero quizá a algunos no les guste; es demasiado negativa. ¿Podemos cambiarla?” Entiendo su postura, pero es errónea por dos motivos. Primero, no solucionas problemas ignorándolos. No puedes decir: “Todo está bien” y esperar que funcione. Tienes que nombrar el problema para solucionarlo. Segundo, desde un punto de vista psicológico, la gente ya está ansiosa porque no entiende la IA. Sabe sobre sesgos, alucinaciones, pero no sabe bien cómo funcionan y eso genera ansiedad. No vas a aumentar la adopción ocultando riesgos, sino reconociéndolos y mostrando cómo afrontarlos de forma alineada con el criterio profesional. Eso es más efectivo y realista que negar la existencia de pesadillas.

David Rice: Me cuentas eso de que a algunos no les gusta la palabra pesadilla, y pienso que debemos dejar de suavizar el lenguaje para hacerlo “más digerible”. Es un mal hábito cultural. A veces cambiamos un término y no aporta nada a la discusión real. Aceptar la realidad con lenguaje directo nos ayuda a abordarla verdaderamente.

Reid Blackman: Exacto. O sea, ¿preferimos desastre? ¿Catástrofe? ¿De qué hablamos aquí?

David Rice: Yo vengo de filosofía, donde se aborda el asunto de frente, con lenguaje claro y directo. No todo es sonrisas. Aunque la IA es increíble, no hace falta fingir siempre felicidad; hay cosas preocupantes.

David Rice: Siempre me río en las redes sociales; hay cosas graciosas allí. Pero también reconozco que puede ser terrible y ha convertido el discurso público en una pesadilla. Es necesario ver la realidad como es.

Reid Blackman: Sí, a veces tratamos a los empleados como a niños. Soy padre, intento no infantilizarlos, aunque con niños pequeños a veces proteges ciertos temas, pero a los empleados los sobreprotegemos: “Se asustan, no digas cosas fuertes sobre IA”. Son adultos, están bien.

David Rice: Ya han usado nuevas tecnologías antes. Si no les das una guía útil, lo resolverán como puedan—y quizás no te guste el resultado.

Reid Blackman: Sí. Con la IA generativa recién salida, muchas políticas fueron “prohibido usar IA”. ¿Eso funciona con adolescentes? No. El primer impulso del empleado fue usar chatgpt.com.

David Rice: Lo primero que hicieron fue abrir chatgpt.com. Por supuesto.

Reid Blackman: Prepárate para las consecuencias…

David Rice: Sostienes que las pesadillas éticas rara vez provienen de mala intención, y eso es cierto. Nacen de gente bienintencionada que avanza rápido en sistemas que no entienden o no fueron diseñados para ir tan rápido. Una verdad incómoda para líderes enfocados en velocidad y ventaja competitiva, afectados también los trabajadores. ¿Cómo le argumentas a un CEO que cree que el mayor riesgo es quedarse atrás y quiere ver productividad y todos avanzando rápido?

Reid Blackman: No hay contradicción. Antes dudaba del discurso de “la gobernanza ética es el freno del coche”, pero ahora, viendo lo fácil que los agentes se pueden descontrolar, si vas a moverte rápido, forma bien a tu gente. ¿Avanzar sin educarles bien en riesgos? Es absurdo y peligroso. Si no lo entienden, entonces no comprenden cuán fácil es que la IA salga mal. Hay que enseñarles los posibles desvíos y cómo ejercer juicio profesional: así podrán avanzar más rápido—it’s sentido común.

David Rice: Esto es un giro clave para líderes: la narrativa de que el fallo ético en IA es solo de los que hacen “trampas” es falsa. Lo que tu libro destaca es que esto ocurre en organizaciones bienintencionadas que se mueven más rápido de lo que su juicio puede acomodar. Eso cambia la estrategia de prevención.

Reid Blackman: Exacto. Avanzan más rápido que el juicio humano.

David Rice: No se trata de instalar reglas. Es de construir capacidad en la organización de pausar en los momentos clave. En una cultura obsesionada por la velocidad, eso supone ir contra corriente.

Reid Blackman: Así es. Así es como surge el “avanzar rápido y romper cosas”: para algunos solo cuentan el dinero y pueden asumir el daño, como Meta. Pero no todos pueden. Si de verdad te importa tu marca, deberías ir con más cabeza.

David Rice: Cuestionas la dicotomía velocidad vs ética: es falsa.

Reid Blackman: Sí. Y de hecho, uso la IA a diario para mil cosas. Y soy el tipo ético. Y porque sé detectar posibles problemas y verificar la información, tengo cuidado y eso me permite usar mucho la IA. Es falso que debas elegir entre rapidez y ética.

David Rice: Siempre desafío el “avanza y rompe cosas”. El verdadero riesgo es un fallo público catastrófico de confianza que retrase el negocio años. Preferiría: “Avanza a velocidad normal y mejora el mundo”.

Reid Blackman: Muchos me preguntan por qué las empresas deben hacer esto, y buscan una razón universal para convencer a todos. Eso no existe. No voy a convencer a Zuckerberg. Meta sobrevivió a Cambridge Analytica, cualquier otra empresa no lo habría hecho. Pero la mayoría no es así, y hay muchísimas razones para no moverse rápido y romper todo. No es solo por ética. También porque tu marca no resistirá. Las razones saltan a la vista.

David Rice: Si un líder del C-Suite está asintiendo ante todo esto, reconoce el riesgo y sabe que sus marcos actuales no bastan, ¿cómo debe ser la primera charla seria interna y quién debe estar en la sala?

Reid Blackman: No necesita mucha gente en la sala. El Reto de la Pesadilla Ética puede comenzar a nivel departamento, división o proyecto. La gran pregunta es: ¿Nos hemos detenido a identificar las pesadillas éticas, reputacionales y legales que podrían traer nuestra adopción IA? Si la respuesta es sí, genial—pero apostaría que será no. Si eso no los mueve, nada lo hará.

David Rice: Volviendo a lo que hablamos: me gusta la idea de empezar incluso a nivel de proyecto. Porque muchos sienten el peso del tema y no saben por dónde empezar. Pero lo que describes es permiso para empezar pequeño. No tienes que crear un programa de ética de IA de golpe: basta con tener una conversación honesta sobre la situación del negocio.

Reid Blackman: Ahora con nuestros clientes algo que nunca podíamos hacer bajo el modelo estándar: pilotar el Reto de la Pesadilla Ética. Damos el entrenamiento, seleccionamos dos o tres equipos—pueden ser a nivel proyecto o internos al área—y probamos el método con ellos en un piloto de 10 semanas. Si no funciona o no se necesita, se termina. Es una acción pequeñísima: dos equipos, a ver qué pasa. Si funciona y hay que escalar, se hace. Si no, no. Escalas donde lo necesitas, no con un gran esfuerzo desde el inicio. No es como diseñar una política global durante un año y luego probar: eso no existe. Hay que empezar pequeño.

David Rice: Excelente, Reid. Gracias por estar hoy en el programa. Fue genial la charla.

Reid Blackman: Igualmente. Gracias por invitarme.

David Rice: Bueno, oyentes, echen un vistazo al libro de Reid Blackman, El Reto de la Pesadilla Ética. Léalo con atención. Hay muchas preguntas y temas importantes que debemos plantearnos.

Si no lo han hecho, vayan a peoplemanagingpeople.com/subscribe y apúntense a la newsletter. Así recibirán este pódcast y todo lo que creamos directamente en su bandeja de entrada.

Y hasta la próxima, hagamos hábito preguntar: “¿Qué podría salir mal aquí y a quién podría hacer daño?” en vez de “¿Qué tan rápido podemos lanzar esto?” Hasta la próxima.