¿Quién Puede Discrepar del Modelo?
Riesgos en la Delegación: La delegación de IA basada en objetivos reduce drásticamente la honestidad, permitiendo que los sistemas determinen los métodos tras objetivos empresariales aparentemente aceptables.
Brecha de Responsabilidad: Las políticas de gobernanza de IA designan líderes responsables, pero los registros de anulación revelan si realmente existe la autoridad para decidir en la práctica.
Evidencia de Anulación: Registrar desacuerdos humanos con las recomendaciones de la IA expone autoridad no utilizada, sistemas débiles y resistencia organizacional al desafío.
Decaimiento del Juicio: Aceptar repetidamente recomendaciones de máquinas puede erosionar las habilidades de toma de decisiones de los directivos antes de que las organizaciones reconozcan la debilidad resultante.
Diseño Práctico: Una supervisión humana efectiva requiere clasificación de decisiones reversibles, modos explícitos de delegación, registros de desacuerdo y protección social para las anulaciones.
Investigadores liderados por el Instituto Max Planck para el Desarrollo Humano realizaron una versión de un experimento que los científicos del comportamiento han utilizado durante décadas. Los participantes observaban lanzar un dado en pantalla y reportaban el resultado. Los números más altos pagaban más, un centavo por punto, durante diez rondas.
Al reportar por sí mismos, el 95% dijo la verdad.
Luego, los investigadores hicieron que otros participantes entregaran el reporte a una máquina, variando solo en cómo se daba la instrucción. Aquellos que tuvieron que escribir reglas explícitas, especificando qué reportar para cada uno de los seis posibles resultados, pidieron a la máquina el número honesto aproximadamente el 75% de las veces.
Sigue leyendo—y sigue liderando de manera más inteligente
Crea una cuenta gratuita para terminar este artículo y unirte a una comunidad de líderes visionarios que están desbloqueando herramientas, guías prácticas e ideas para prosperar en la era de la IA.
Have an account? Log In
Quienes la entrenaron eligiendo un conjunto de datos de ejemplo pidieron honestidad en aproximadamente la mitad de las ocasiones. Aquellos que fijaron un objetivo, moviendo un dial de "maximizar precisión" hacia "maximizar ganancia" y dejando el método al sistema, pidieron honestidad el 12% de las veces en el primer estudio y el 16% en un seguimiento en el que delegar era opcional.
Entre el 84 y el 88% de las personas en esa última condición pidieron a la máquina que hiciera trampa por ellos, sin que ninguno tuviera que decirlo explícitamente.
El dinero no cambió. Las tiradas de dado no cambiaron, ya que cada participante veía la misma secuencia fija de diez. Lo que cambió fue cuánto margen interpretativo había entre la instrucción y el acto.
Los investigadores esperaban que la redacción de reglas se mantuviera constante, bajo la teoría de que detallar una trampa tiene el mismo peso moral que cometerla. Pero no se mantuvo. Allí también la honestidad cayó unos veinte puntos. Toda forma de delegación la degradó, y la interfaz determinó en qué medida.
Este fue un experimento en línea realizado en Prolific, con un pago máximo de sesenta centavos. La tarea de lanzar el dado tiene un largo historial de validación, prediciendo comportamientos reales como evadir el pago del transporte público y prácticas de ventas engañosas. La comparación de interfaces se probó solo en este protocolo, aunque un estudio complementario empleando una tarea de evasión fiscal, en la que el falseo de informes reducía una donación a la Cruz Roja, reprodujo el otro hallazgo central del estudio sobre cómo los agentes automáticos manejan las instrucciones que reciben.
La distinción importa para lo que la mayoría de las empresas están construyendo ahora mismo. Escribir un prompt es parecido a redactar reglas, y las solicitudes deshonestas hechas a través del lenguaje natural rondaron el 25% según los propios participantes, y el 40% cuando evaluadores independientes juzgaron las instrucciones.
El salto ocurre con interfaces en las que una persona fija un objetivo y deja que el sistema determine el método. Un gerente que le dice a un agente que maximice el pipeline calificado o reduzca el tiempo de cobertura ha especificado un resultado y dejado todo juicio operativo sobre el cómo al sistema. Pero, ¿dónde está el criterio que alguien tendría que defender?
La estructura de responsabilidad que se asienta sobre ese arreglo suele verse bien en el papel. Alguien aparece como responsable. Sin embargo, ese nombre hace menos de lo que uno podría pensar.
Nombrar un Responsable Fue la Parte Fácil
Durante 2025 y hasta este año, las organizaciones hicieron lo obvio. Establecieron comités de supervisión de IA, redactaron políticas de uso aceptable y pusieron a un ejecutivo con nombre propio en el organigrama junto a las palabras "gobernanza de IA".
La encuesta de Tendencias Globales de Capital Humano 2026 de Deloitte, realizada con Oxford Economics en más de 9,000 líderes empresariales y de RRHH en 89 países, halló que el 64% de los encuestados considera la IA y la toma de decisiones como muy importante para su éxito actual. Solo el 5% se considera líder en la materia.
La distancia entre la preocupación y la competencia no se explica por la falta de políticas. La mayoría de las organizaciones tiene políticas. Lo que les falta es alguna evidencia de que la autoridad que escribieron realmente se utilice.
Si le preguntas a un CHRO quién es responsable de la decisión de contratación influida por IA, obtendrás una respuesta. Pregunta cuántas veces en los últimos seis meses un reclutador anuló formalmente la herramienta de selección y qué pasó luego con ese reclutador, y la sala se queda en silencio.
Esa segunda pregunta vale la pena porque la respuesta es falsable. La propiedad es una declaración. La anulación es un hecho.
El Registro se Detiene en el Resultado
Kaan Esendemir, un arquitecto empresarial que ha construido flujos de trabajo asistidos por IA en una empresa Fortune 50, observa el patrón con mayor frecuencia en sistemas que recomiendan en vez de decidir. Asistentes virtuales, aceleradores de flujo de trabajo, herramientas que muestran una opción y dejan la decisión a una persona.
Dónde se traza la línea entre esos dos casos es una negociación. Los responsables de negocio y producto deciden dónde termina la IA y comienza la persona, dice él, con ingeniería involucrada porque entienden lo que el sistema puede hacer realmente y dónde falla. Esa parte suele funcionar.
Lo que ocurre después es donde el registro se vuelve escaso.
Cuando alguien invalida el sistema, normalmente se registra el resultado final, pero el desacuerdo en sí no siempre se registra como un dato propio.
La diferencia parece pequeña, pero determina lo que una organización puede aprender. Un resultado te dice qué se decidió. Un desacuerdo te indica que una persona vio una recomendación, la consideró incorrecta y actuó en contra. Las empresas están guardando el menos útil de los dos datos.
Una invalidación no es solo una excepción. Es una retroalimentación que puede ayudar a mejorar el sistema y hacer que las recomendaciones futuras sean mejores.
Un registro de invalidaciones es una herramienta de diagnóstico económica que cualquier COO puede aplicar este trimestre. Elija tres flujos de trabajo donde la IA influya en una decisión relevante. Cuente las instancias documentadas en los últimos seis meses donde un humano fue en contra de la recomendación. Luego, lea qué ocurrió después en cada caso.
Si el recuento es cero, probablemente es cierta una de dos opciones. O bien el sistema ha funcionado tan bien que ningún humano encontró razones para discrepar durante medio año, lo cual no es una afirmación que ningún proveedor haga sobre su propio producto. O la autoridad para discrepar existe solo en el papel y en ningún otro lado.
El número no tiene que ser cero para decirte algo. España utiliza un sistema llamado Viogén que puntúa el riesgo de reincidencia en casos de violencia de género, y una auditoría externa descubrió que los agentes de policía siguieron su recomendación el 95% de las veces.
El Supervisor Europeo de Protección de Datos, citando la auditoría en un informe técnico en septiembre pasado, admite que la concordancia puede reflejar una confianza justificada en la herramienta. También plantea la cuestión de cuánta independencia de criterio queda en el proceso.
Un 95% de concordancia entre una persona y un modelo es o bien un modelo muy bueno, o bien una persona que ha dejado de llegar a conclusiones propias. Desde fuera del registro, esas dos situaciones parecen idénticas. Desde dentro, a lo largo de seis meses, no lo son.
La capacidad de invalidar se deteriora antes de ser medida
Amy Centers, psicóloga organizacional y fundadora de SmartWorks Labs, describe el problema de segundo orden. La autoridad de invalidar no solo queda sin usar. Lo que hay detrás se erosiona.
Es un poco como cómo el GPS ha erosionado nuestro sentido de la orientación. Con el tiempo, delegar el juicio creo que empezará a erosionar la brújula interna y la intuición de un líder, y ahí hay un peligro real, porque entonces las organizaciones pueden volverse técnicamente eficientes pero vacías moralmente.
Su versión más tajante: “Cuanto más delegamos las decisiones difíciles, más riesgo corremos de crear líderes que no puedan liderar sin una orden”.
El mecanismo ocurre en un plazo más largo que la mayoría de revisiones de gobernanza. Un directivo que haya autorizado el modelo en noventa y ocho recomendaciones seguidas no ha estado ocioso. Ha sido eficiente. Pero también ha pasado meses sin practicar aquello que la autoridad de invalidar asume que aún puede hacer.
Esto no aparece en una revisión trimestral. Surge la primera vez que el modelo se equivoca con seguridad sobre algo relevante, y la persona nominalmente responsable de detectarlo lee el resultado, lo encuentra plausible y sigue adelante.
Centers sitúa el punto de fallo en el gerente, y lo hace de manera enfática.
Yo empezaría por la responsabilidad del gerente. Gran parte de las disfunciones se derivan de los directivos. Con demasiada frecuencia están poco apoyados, poco formados. No se les hace responsables de su liderazgo. Si no arreglas esa capa bisagra, cualquier otra reforma como el compromiso, las habilidades o la adopción de IA, todo se derrumba.
Ella llama al puesto de gerente la bisagra entre la estrategia y la experiencia humana. En un flujo de trabajo aumentado por IA, también es la única capa lista para detectar un error antes de que escale, compuesta por personas ascendidas por su fiabilidad operativa y a quienes nunca se les dijo que validar la salida de la máquina ahora forma parte del trabajo.
La automatización deja a los humanos con los casos más difíciles
Victoria Pelletier, quien ha liderado previamente funciones de gestión de personas y transformación en Accenture e IBM, entre otras, señala lo que la automatización hace con el trabajo que queda.
Son esas habilidades humanas, innovación, resolución de problemas y cosas como la empatía. Cuando dices ¿qué es lo que queda? Piensa en un centro de contacto. Ese fue el primer lugar donde hubo algún tipo de automatización. Para cuando hablas con un agente humano, es una excepción. No siguió las reglas de la política o el código que el agente de IA podía seguir. Así que necesitas a alguien que pueda analizar esa situación.
Como señala ella, los centros de contacto realizaron este experimento años antes que los demás. Automatiza las tareas basadas en reglas y cada llamada que llega a una persona es, por definición, aquella que las reglas no pudieron resolver. El trabajo que queda es más difícil que el que fue retirado.
Pelletier indica que las definiciones de los roles rara vez se ajustan. El volumen baja, la dificultad aumenta y la descripción del puesto, la formación y los criterios de rendimiento siguen describiendo el empleo como existía antes. Señala que el trabajo residual "requiere un nivel de competencia muy diferente en algunas de las cosas que ya esperamos hoy".
También identifica una razón estructural por la que los derechos de decisión no se reconstruyen. Las funciones de diseño organizacional y arquitectura de puestos se recortaron en la última década como gasto general, bajo la razonable suposición de que los roles no necesitarían reevaluarse frecuentemente.
Esas son las personas que reconstruirían ahora los derechos de decisión. Pelletier llama a lo que ocurre en su ausencia el "Frankenstein de puestos".
Dos críticas al humano en el proceso
Actualmente circulan dos objeciones sobre mantener a un humano en el proceso, y señalan direcciones opuestas.
La versión de Jurgen Appelo es que los controles humanos obligatorios convierten a las personas en cuellos de botella. Cada interacción comienza y termina con una persona, los sistemas nunca se comunican entre sí y la operación funciona al ritmo de quien sea más lento. Él lo denomina la trampa del humano en el camino.
La versión del Supervisor Europeo de Protección de Datos es prácticamente la contraria. En el informe técnico mencionado antes sobre la supervisión humana en la toma de decisiones automatizada, la EDPS advierte que no hay que asumir que un humano en el proceso provee verdadera supervisión, y argumenta que las organizaciones deben diseñar explícitamente la autoridad, las interfaces y las vías de escalamiento para que una persona pueda intervenir realmente.
Ambas posturas son correctas y describen fallos distintos. El humano de Appelo es un estorbo. El humano de la EDPS está presente pero es impotente. Una organización puede arreglar lo primero eliminando controles, pero así empeora lo segundo.
El informe explica cómo se ve esa impotencia en la práctica. Entre 2014 y 2019, el servicio público de empleo de Polonia ejecutó un algoritmo que clasificaba a los buscadores de empleo en tres categorías, y cada una determinaba el apoyo que recibía la persona. Los asesores de clientes estaban formalmente designados como la supervisión humana, con autoridad para anular la clasificación.
Tenían la autoridad y no podían usarla. Las cargas de trabajo eran demasiado elevadas y la formación insuficiente. Nadie les había indicado cuándo justificar o proceder a una anulación. El sistema presentaba sus resultados en una forma que dificultaba evaluar si la clasificación correspondía con la persona al otro lado del escritorio.
Luego viene la parte que no tiene que ver con el diseño del sistema. Algunos directivos locales desaconsejaban o incluso prohibían los cambios, ya que anular el resultado llamaba la atención de la dirección superior.
Los asesores no estaban insuficientemente formados en el sentido de que un presupuesto para formación hubiera solucionado el problema. Simplemente interpretaban correctamente el incentivo. Anular el modelo creaba un registro por el que un gerente tendría que responder, seguirlo no generaba ningún informe. Dadas esas dos opciones y una carga de trabajo elevada, lo racional era firmar lo que decía la pantalla.
La EDPS lo expone de forma clara: los operadores solo pueden ejercer verdadera autoridad sobre un sistema si no temen consecuencias de su propia organización por hacerlo.
Eso es una cuestión de gestión, no de diseño de las interfaces, y es la razón por la que la autoridad de anulación suele ser decorativa. El otorgamiento formal es lo fácil; lo que determina si alguien lo usa es lo que le ocurre a quien lo hace.
El lenguaje de Deloitte sobre lo que reemplaza al modelo anterior es lo más preciso disponible. Las herramientas heredadas para la toma de decisiones como RACI presuponen una autoridad estática. Con IA, los derechos deben ser dinámicos, con privilegios de anulación, vías de escalamiento y reglas de consenso integradas en el sistema para que humanos y agentes coordinen quién decide, cuándo y bajo qué criterios.
Polonia tenía la mayoría de eso en papel. Lo que no tenía era un gerente dispuesto a aprobar que alguien lo utilizara.
Construye las condiciones, no el gráfico
Cuatro pasos, en el orden en que deben ocurrir.
Clasifica las decisiones según su reversibilidad antes de asignar a alguien para tomarlas. La distinción entre puertas de una sola vía y de dos vías de Amazon es la versión de referencia. Las decisiones irreversibles reciben mayor análisis y rutas más lentas. Las reversibles se mueven más rápido. La aplicación en la era de la IA consiste en ajustar la autonomía del agente a cuán difícil es revertir una decisión, en lugar de lo rutinaria que parezca.
Nombra el modo de delegación, no solo a la persona delegada. El hallazgo del Max Planck lo ilustra. Delegar basado en reglas, en ejemplos o en objetivos produce solicitudes mediblemente diferentes de personas que por lo demás son comparables. Cualquier flujo de trabajo donde alguien entrega a un sistema un resultado y le permite determinar los criterios, pertenece a la categoría de mayor ambigüedad, porque eso es lo que es.
Captura el desacuerdo, no solo el resultado. La brecha de Esendemir es la que hay que cerrar. Cuando una persona va en contra de una recomendación, registra que lo hizo, qué observó y qué sucedió después. El resultado por sí solo no te dice si alguien sigue haciendo juicios.
Revisa el límite según un calendario. Dónde decide la IA y dónde decide una persona no es una cuestión que se responde una sola vez. Ponle una fecha.
Los investigadores de Max Planck terminaron con una recomendación dirigida a la persona que delega más que a la máquina que la recibe. Se deben evitar las interfaces de delegación que facilitan alegar desconocimiento sobre cómo la máquina interpretará tus instrucciones.
Ese es un principio de diseño y escala desde un dial en una pantalla hasta todo un modelo operativo. Cada capa de abstracción entre una persona y una consecuencia hace más fácil sobrellevar esa consecuencia.
Dentro de seis meses, muchas organizaciones tendrán documentación. Políticas, estatutos de comités, responsables nombrados, capacitaciones completadas.
Unas pocas tendrán un registro con entradas anotadas.
