¿Quién puede discrepar del modelo?
Riesgos de la delegación: La delegación de la IA basada en objetivos reduce drásticamente la honestidad, al permitir que los sistemas determinen los métodos detrás de objetivos empresariales aparentemente aceptables.
Brecha de responsabilidad: Las políticas de gobernanza de la IA nombran a líderes responsables, pero los registros de anulaciones revelan si la autoridad para decidir existe realmente en la práctica.
Evidencia de anulaciones: Registrar los desacuerdos humanos con las recomendaciones de la IA pone al descubierto la autoridad no utilizada, los sistemas débiles y la resistencia organizativa a cuestionarlos.
Deterioro del criterio: Aceptar repetidamente las recomendaciones de las máquinas puede erosionar las habilidades de toma de decisiones de los gerentes antes de que las organizaciones reconozcan la debilidad resultante.
Diseño práctico: Una supervisión humana eficaz requiere una clasificación reversible de las decisiones, modalidades explícitas de delegación, registros de desacuerdos y protección social para quienes anulan decisiones.
Investigadores dirigidos por el Instituto Max Planck para el Desarrollo Humano llevaron a cabo una versión de un experimento que los científicos conductuales han utilizado durante décadas. Los participantes observaban en pantalla el lanzamiento de un dado e informaban del resultado. Los números más altos pagaban más, un centavo por punto, durante diez rondas.
Al informar por sí mismos, el 95% dijo la verdad.
Después, los investigadores hicieron que otros participantes delegaran la tarea de informar a una máquina, variando únicamente la forma en que se daba la instrucción. Quienes tenían que escribir reglas explícitas, especificando qué informar para cada uno de los seis resultados posibles, pidieron a la máquina el número honesto aproximadamente el 75% de las veces.
Sigue leyendo—y sigue liderando de manera más inteligente
Crea una cuenta gratuita para terminar este artículo y unirte a una comunidad de líderes visionarios que están desbloqueando herramientas, guías prácticas e ideas para prosperar en la era de la IA.
Have an account? Log In
Quienes la entrenaron seleccionando un conjunto de datos de ejemplo pidieron honestidad aproximadamente la mitad de las veces. Quienes establecieron un objetivo, moviendo un dial desde «maximizar la precisión» hacia «maximizar los beneficios» y dejando el método al sistema, pidieron honestidad el 12% de las veces en el primer estudio y el 16% en un seguimiento en el que delegar era opcional.
Entre el 84% y el 88% de las personas en esa última condición pidieron a la máquina que hiciera trampa por ellas, sin que ninguna tuviera que decirlo explícitamente.
El dinero no cambió. Los lanzamientos de los dados tampoco, ya que todos los participantes vieron la misma secuencia fija de diez. Lo que cambió fue cuánto espacio interpretativo había entre la instrucción y el acto.
Los investigadores esperaban que escribir reglas mantuviera los resultados estables, basándose en la teoría de que explicar una trampa tiene el mismo peso moral que cometerla. No fue así. La honestidad también cayó allí unos veinte puntos. Toda forma de delegación la deterioró, y la interfaz determinó en qué medida.
Este fue un experimento en línea realizado en Prolific, con un pago máximo de sesenta centavos. La tarea del lanzamiento de dados cuenta con un largo historial de validación y predice comportamientos del mundo real, como evadir el pago del transporte y aplicar prácticas de venta engañosas. La comparación de interfaces solo se probó en este protocolo, aunque un estudio complementario que utilizó una tarea de evasión fiscal, en la que informar incorrectamente reducía una donación a la Cruz Roja, reprodujo el otro hallazgo central del estudio sobre cómo los agentes de máquinas gestionan las instrucciones que reciben.
La distinción importa para lo que la mayoría de las empresas está construyendo ahora mismo. Escribir una instrucción se parece más a escribir reglas, y las solicitudes deshonestas formuladas mediante lenguaje natural representaron aproximadamente el 25% según las propias declaraciones de los participantes, y el 40% cuando evaluadores independientes juzgaron las instrucciones.
El salto se produce con las interfaces en las que una persona establece un objetivo y deja que el sistema determine el método. Un gerente que le dice a un agente que maximice el flujo de oportunidades cualificadas o reduzca el tiempo necesario para cubrir una vacante ha especificado un resultado y ha dejado al sistema todas las decisiones operativas sobre cómo lograrlo. Pero ¿dónde está el criterio que alguien tendría que defender?
La estructura de rendición de cuentas que se sitúa sobre esa organización suele verse bien sobre el papel. Alguien figura en ella por su nombre. Sin embargo, ese nombre hace menos de lo que podrías pensar.
Nombrar a un responsable era la parte fácil
Durante 2025 y hasta este año, las organizaciones hicieron lo obvio. Crearon comités de supervisión de la IA, redactaron políticas de uso aceptable y colocaron a un ejecutivo identificado en el organigrama junto a las palabras «gobernanza de la IA».
La encuesta Tendencias globales de capital humano 2026 de Deloitte, realizada junto con Oxford Economics entre más de 9.000 líderes empresariales y de recursos humanos de 89 países, reveló que el 64% de los encuestados considera que la IA y la toma de decisiones son muy importantes para su éxito actual. Solo el 5% considera que está a la vanguardia en este ámbito.
La distancia entre la preocupación y la competencia en este ámbito no se explica por una falta de políticas. La mayoría de las organizaciones tiene políticas. Lo que les falta es cualquier evidencia de que la autoridad que dejaron por escrito llegue a utilizarse.
Pregunta a un CHRO quién es responsable de la decisión de contratación influida por la IA y obtendrás una respuesta. Pregunta cuántas veces en los últimos seis meses un reclutador anuló formalmente la herramienta de selección y qué le ocurrió después a ese reclutador, y la sala se queda en silencio.
Vale la pena plantear esa segunda pregunta porque la respuesta puede refutarse. La responsabilidad es una afirmación. Una anulación es un acontecimiento.
El registro se detiene en el resultado
Kaan Esendemir, un arquitecto empresarial que ha creado flujos de trabajo asistidos por IA a gran escala en grandes empresas, observa este patrón con mayor frecuencia en sistemas que recomiendan en lugar de decidir. Asistentes virtuales, aceleradores de flujos de trabajo y herramientas que muestran una opción y dejan la decisión en manos de una persona.
La ubicación de la línea divisoria entre ambas cosas es objeto de negociación. Los responsables del negocio y del producto deciden dónde termina la IA y comienza la intervención humana, afirma, con la participación del área de ingeniería porque sus integrantes entienden lo que el sistema puede hacer de forma realista y dónde falla. Esa parte suele funcionar.
Lo que ocurre después es donde el registro se vuelve más escaso.
Cuando alguien anula el sistema, el resultado final suele quedar registrado, pero el desacuerdo en sí no siempre se registra como un dato independiente.
La distinción parece pequeña, pero determina lo que una organización puede aprender. Un resultado te dice qué se decidió. Un desacuerdo te dice que una persona examinó una recomendación, la consideró equivocada y actuó en contra de ella. Las empresas están conservando la menos útil de las dos cosas.
Una anulación no es solo una excepción. Es una retroalimentación que puede ayudar a mejorar el sistema y a hacer que las futuras recomendaciones sean mejores.
Un registro de anulaciones es un diagnóstico barato que cualquier director de operaciones puede realizar este trimestre. Elige tres flujos de trabajo en los que la IA influya en una decisión importante. Cuenta los casos documentados durante los últimos seis meses en los que una persona actuó en contra de la recomendación. Después, lee qué ocurrió a continuación en cada caso.
Si el recuento es cero, lo más probable es que una de estas dos cosas sea cierta. El sistema ha funcionado tan bien que ninguna persona encontró motivos para discrepar de él en seis meses, algo que ningún proveedor afirma sobre su propio producto. O la autoridad para discrepar existe sobre el papel y en ningún otro sitio.
El número no tiene que ser cero para decirte algo. España utiliza un sistema llamado Viogén que evalúa el riesgo de violencia reiterada en casos de violencia doméstica, y una auditoría externa descubrió que los agentes de policía siguieron su recomendación el 95 % de las veces.
El Supervisor Europeo de Protección de Datos, al citar la auditoría en un informe técnico publicado el pasado septiembre, admite que la concordancia puede reflejar una confianza justificada en la herramienta. También plantea una pregunta sobre cuánto criterio independiente queda en el proceso.
Una concordancia del noventa y cinco por ciento entre una persona y un modelo es señal de un modelo muy bueno o de una persona que ha dejado de llegar a sus propias conclusiones. Desde fuera del registro, ambas cosas parecen idénticas. Desde dentro, al cabo de seis meses, no lo son.
La capacidad de anular se deteriora antes de que se mida
Amy Centers, psicóloga organizacional y fundadora de SmartWorks Labs, describe el problema de segundo orden. La autoridad para anular no solo queda sin utilizar. Lo que la sustenta se erosiona.
Es un poco como la forma en que el GPS ha erosionado nuestro sentido de la orientación. Con el tiempo, creo que externalizar el criterio empezará a erosionar la brújula interna y la intuición de un líder, y ahí existe un peligro real, porque entonces las organizaciones podrían volverse técnicamente eficientes, pero moralmente vacías.
Su versión más contundente: "Cuanto más externalizamos las decisiones difíciles, más nos arriesgamos a formar líderes que no pueden liderar sin una indicación".
El mecanismo funciona en un plazo más largo que la mayoría de las revisiones de gobernanza. Un gerente que ha delegado en el modelo noventa y ocho recomendaciones consecutivas no ha estado inactivo. Ha sido eficiente. También ha pasado meses sin practicar aquello que la autoridad para anular da por sentado que todavía puede hacer.
Esto no aparece en una revisión trimestral. Aparece la primera vez que el modelo se equivoca con seguridad sobre algo importante y la persona nominalmente responsable de detectarlo lee el resultado, lo considera plausible y sigue adelante.
Centers sitúa el punto de fallo en el gerente, y lo hace de forma contundente.
Yo empezaría por la responsabilidad de los gerentes. La mayoría de las disfunciones se propagan desde los gerentes. Con demasiada frecuencia no reciben apoyo y no se desarrollan adecuadamente. No se les exige rendir cuentas sobre cómo lideran. Si no solucionas esa capa articuladora, cualquier otra reforma, como el compromiso, las competencias o la adopción de la IA, se viene abajo.
Describe el papel del gerente como el punto de articulación entre la estrategia y la experiencia humana. En un flujo de trabajo aumentado por IA, también es la única capa situada en posición de detectar una mala decisión antes de que se multiplique, ocupada por personas que fueron ascendidas por su fiabilidad operativa y a quienes nunca se les dijo que validar los resultados de las máquinas ahora forma parte de su trabajo.
La automatización deja a los humanos los casos más difíciles
Victoria Pelletier, quien anteriormente dirigió funciones de personas y transformación en Accenture e IBM, entre otras empresas, señala lo que la automatización hace con el trabajo que queda.
Son esas habilidades humanas de alto impacto: la innovación, la resolución de problemas y cosas como la empatía. Cuando preguntas qué queda atrás, piensa en un centro de contacto. Fue el primer lugar donde hubo algún tipo de automatización. Cuando finalmente hablas con un agente humano, se trata de una excepción. No ha seguido las reglas de la política o del código que el agente de IA podía seguir. Así que necesitas a alguien capaz de analizar la situación.
Como señala, los centros de contacto realizaron este experimento años antes que los demás. Automatiza el seguimiento de las reglas y cada llamada que llega hasta una persona es, por definición, aquella que las reglas no pudieron gestionar. El trabajo que queda es más difícil que el que se eliminó.
El planteamiento de Pelletier es que las definiciones de los puestos rara vez se adaptan. El volumen disminuye, la dificultad aumenta y la descripción del puesto, la formación y los criterios de desempeño siguen describiendo el trabajo tal como existía antes. Señala que el trabajo residual «requiere un nivel de competencia muy diferente en algunas de las cosas que ya esperamos hoy».
También identifica una razón estructural por la que no se reconstruyen los derechos de decisión. Las funciones de diseño organizativo y arquitectura de puestos se redujeron durante la última década al considerarse gastos generales, bajo el supuesto razonable de que los roles no necesitarían reevaluarse con frecuencia.
Esas son las personas que ahora reconstruirían los derechos de decisión. Pelletier denomina a lo que ocurre en su ausencia «la creación de empleos Frankenstein».
Dos críticas al humano en el circuito
Actualmente circulan dos objeciones a mantener a un humano en el circuito, y apuntan en direcciones opuestas.
La versión de Jurgen Appelo sostiene que los puntos de control humanos obligatorios convierten a las personas en cuellos de botella. Cada interacción comienza y termina con una persona, los sistemas nunca se comunican entre sí y la operación funciona al ritmo de quien sea más lento. Él lo denomina la trampa de los humanos en el circuito.
Esto es lo que Esendemir quiere decir cuando me explica que no registrar las intervenciones es «principalmente una decisión de diseño».
La versión del Supervisor Europeo de Protección de Datos se acerca a lo contrario. En el informe técnico mencionado anteriormente sobre la supervisión humana de la toma de decisiones automatizada, el SEPD advierte contra la suposición de que la presencia de un humano en el circuito proporcione supervisión en absoluto, y sostiene que las organizaciones deben diseñar explícitamente la autoridad, las interfaces y las vías de escalamiento para que una persona pueda intervenir realmente.
Ambas son correctas y describen fallos diferentes. El humano de Appelo estorba. El humano del SEPD está presente y carece de poder. Una organización puede solucionar el primer problema eliminando los puntos de control y empeorar el segundo en el proceso.
El informe explica cómo se manifiesta la falta de poder en la práctica. Entre 2014 y 2019, el servicio público de empleo de Polonia utilizó un algoritmo que clasificaba a los solicitantes de empleo en tres categorías, y la categoría determinaba qué apoyo recibía cada persona. Los asesores de clientes fueron designados formalmente como responsables de la supervisión humana, con autoridad para anular la clasificación.
Tenían la autoridad, pero no podían utilizarla. Las cargas de trabajo eran demasiado altas y la formación, insuficiente. Nadie les había indicado cuándo estaba justificada una anulación ni cómo justificarla. El sistema mostraba sus resultados en un formato que dificultaba juzgar si una determinada clasificación se ajustaba a la persona que tenían delante.
Después viene la parte que no tiene nada que ver con el diseño del sistema. Algunos responsables locales desalentaban directamente las anulaciones y otros las prohibían, porque una anulación atraía la atención de los superiores.
Los asesores no carecían de formación en el sentido de que un presupuesto de formación lo hubiera solucionado. Estaban interpretando correctamente un incentivo. Anular el modelo creaba un registro del que un responsable tendría que responder, mientras que seguirlo no generaba nada. Dadas esas dos opciones y una carga de trabajo completa, lo racional es firmar lo que dice la pantalla.
El EDPS expone claramente la condición. Los operadores solo pueden ejercer una autoridad real sobre un sistema si no temen consecuencias por parte de su propia organización por utilizarlo.
Eso es una afirmación sobre la gestión, no sobre el diseño de interfaces, y es la razón por la que la autoridad de anulación tiende a ser meramente decorativa. La concesión formal es la parte fácil. Lo que determina si alguien la utiliza es lo que le ocurre a la persona que lo hace.
El lenguaje de Deloitte sobre lo que sustituye al modelo antiguo es el más preciso de los disponibles. Las herramientas tradicionales de derechos de decisión, como RACI, presuponen una autoridad estática. Con la IA, los derechos tienen que ser dinámicos, con privilegios de anulación, vías de escalamiento y reglas de consenso integradas en el sistema para que las personas y los agentes coordinen quién decide, cuándo y sobre qué base.
Polonia tenía casi todo eso sobre el papel. Lo que no tenía era un gerente dispuesto a aprobar que alguien lo utilizara.
Construye las condiciones, no el organigrama
Cuatro medidas, en el orden en que deben llevarse a cabo.
Clasifica las decisiones según su reversibilidad antes de asignárselas a alguien. La distinción de Amazon entre decisiones de una sola puerta y de doble puerta es la versión de referencia. Las decisiones irreversibles reciben escrutinio y siguen procesos lentos. Las reversibles avanzan. La aplicación en la era de la IA consiste en ajustar la autonomía del agente a lo difícil que sea deshacer una decisión, en lugar de hacerlo según lo rutinaria que parezca.
Especifica el modo de delegación, no solo el delegado. El hallazgo del Instituto Max Planck lo ilustra. La delegación basada en reglas, basada en ejemplos y basada en objetivos produjo solicitudes claramente diferentes por parte de personas que, por lo demás, eran comparables. Cualquier flujo de trabajo en el que alguien entrega a un sistema un resultado y le permite determinar los criterios pertenece a la categoría de mayor ambigüedad, porque eso es precisamente lo que es.
Registra el desacuerdo, no solo el resultado. La brecha señalada por Esendemir es la que hay que cerrar. Cuando una persona contradice una recomendación, registra que lo hizo, qué observó y qué ocurrió después. El resultado por sí solo no te dice nada sobre si alguien sigue juzgando.
Revisa el límite periódicamente. Dónde decide la IA y dónde decide una persona no es una cuestión que se responda una sola vez. Fíjale una fecha.
Los investigadores del Instituto Max Planck terminaron con una recomendación dirigida a la persona que delega, en lugar de a la máquina que recibe la delegación. Deben evitarse las interfaces de delegación que facilitan alegar desconocimiento sobre cómo interpretará la máquina tus instrucciones.
Ese es un principio de diseño, y se amplía desde un selector en una pantalla hasta todo un modelo operativo. Cada capa de abstracción entre una persona y una consecuencia hace que resulte más fácil convivir con ella.
Dentro de seis meses, muchas organizaciones tendrán documentación. Políticas, estatutos de comités, responsables designados, cursos completados.
Unas pocas tendrán un registro con entradas.