¿Se Puede Medir el Juicio?
Ceguera métrica: Las métricas de uso muestran la adopción de la IA, pero no pueden revelar si los empleados están mejorando, empeorando o renunciando a su juicio.
Autoevaluación: Los empleados suelen juzgar mal el impacto de la IA en su desempeño, por lo que las encuestas y los beneficios autoinformados no son pruebas fiables.
Señales de juicio: El juicio asistido por IA se puede medir a través de patrones de aceptación, modificación o rechazo, errores intencionados y evaluaciones de respuestas plausibles y competitivas.
Riesgo junior: La IA puede impedir que empleados junior practiquen el trabajo fundamental, demorando el desarrollo de capacidades y ocultando debilidades hasta decisiones críticas.
Primero el diseño: Las organizaciones deben medir la capacidad humana antes de rediseñar el trabajo, o la automatización puede consolidar permanentemente el deterioro de habilidades no reconocido.
Tu panel de control de IA te dice cuántas personas están usando las herramientas. No puede decirte qué les están haciendo esas herramientas.
Esa fue una idea recurrente en muchas de las sesiones a las que asistí la semana pasada en el AI4 en Las Vegas.
Las organizaciones han pasado dos años creando informes sobre asientos activados, usuarios activos semanales, prompts enviados, horas reportadas como ahorradas. Esas cifras respondían a una pregunta que la dirección planteó en 2023: si realmente alguien iba a usar la herramienta. La adopción era el riesgo, por lo que medir la adopción tenía sentido.
Sigue leyendo—y sigue liderando de manera más inteligente
Crea una cuenta gratuita para terminar este artículo y unirte a una comunidad de líderes visionarios que están desbloqueando herramientas, guías prácticas e ideas para prosperar en la era de la IA.
Have an account? Log In
Esa pregunta ya no necesita respuesta. Pero el instrumento construido para responderla sigue en su lugar, y ahora apunta a un problema que en realidad no está diseñado para detectar.
Una de las sesiones a las que asistí se llamaba "Más allá de la adopción: desarrollando el juicio con IA en el flujo de trabajo". El planteamiento de Sharahn McClung fue la versión más clara de esto que he escuchado. Las empresas miden la velocidad. Miden el uso. Luego asumen que hay mejora. Las dos primeras se cuentan. La tercera se infiere.
Una investigación publicada por BCG en junio sugiere que la inferencia falla lo suficiente como para ser relevante. En un estudio con 70 directivos y ejecutivos de alto nivel, la mitad dijo que ya observan una erosión de habilidades dentro de sus organizaciones, y más del 60% espera que se convierta en una amenaza importante en tres a cinco años. Solo uno de cada diez tenía una estrategia organizacional o iniciativas específicas en marcha. Un tercio ni siquiera lo había discutido.
Si escuchas nuestro pódcast, probablemente me hayas oído hablar sobre la necesidad de que los líderes sean un poco más filosóficos en estos tiempos. Pero aquí la pregunta se vuelve más práctica que filosófica. Si quisieras saber si la IA está mejorando o empeorando a tu equipo, ¿dónde buscarías?
Empieza descartando la respuesta obvia
El instinto es preguntarles.
Hay una razón para desconfiar de ese instinto, y proviene de un estudio realizado con personas que deberían haber estado en la mejor posición para responder.
En julio de 2025, METR realizó un ensayo aleatorizado con 16 desarrolladores experimentados de código abierto trabajando en 246 problemas reales en bases de código que conocían a fondo. Antes de empezar, los desarrolladores predijeron que las herramientas de IA los harían aproximadamente un 24% más rápidos. Fueron un 19% más lentos. Después, habiendo pasado por toda la experiencia, seguían estimando que habían sido cerca de un 20% más rápidos.
Dos cosas de ese resultado valen la pena destacar.
Ahora METR califica el hallazgo como histórico, y un seguimiento en febrero de 2026 encontró cierta evidencia de mejora de velocidad en modelos más recientes. El número de lentitud específico puede que no describa a las herramientas que usan hoy tus equipos.
Lo que permanece es el segundo hallazgo, que de todos modos es el más útil. Eran profesionales expertos en terreno conocido con el resultado directamente observable por ellos, y la diferencia entre su percepción y el rendimiento medido alcanzó cerca de 40 puntos. Nada sobre modelos mejores hace que las personas sean mejores para leer su propio desempeño.
Cualquier método de medición que pase por el autoinforme hereda ese problema. Las encuestas de compromiso que preguntan si la IA está ayudando producirán respuestas. Las respuestas serán sinceras. Pero serán aproximadamente tan fiables como las estimaciones de esos desarrolladores.
Dos curvas, la misma forma
Imagina dos equipos con trayectorias de uso idénticas. Ambos creciendo de manera constante, ambos mostrando una adopción saludable en todas las métricas que recoges actualmente.
Un equipo ha aprendido cuándo vale la pena confiar en el modelo y cuándo hay que corregirlo. Su capacidad se multiplica. El otro lleva meses aceptando los resultados como hechos. Su capacidad se desvanece bajo una línea creciente.
No existe una versión de una métrica de uso que separe a esos equipos.
Un working paper de Wharton de enero midió cuán alejados estaban realmente. Steven Shaw y Gideon Nave realizaron tres experimentos preregistrados con unos 1.400 participantes en más de 9.000 pruebas, aleatorizando si un asistente de IA daba respuestas correctas o erróneas mediante prompts ocultos.
En comparación con una línea base de participantes sin acceso a IA, la precisión aumentó 25 puntos porcentuales cuando la IA acertaba. Cuando se equivocaba, la precisión caía 15 puntos por debajo de la línea base sin IA.
Leíste bien, por debajo de las personas que nunca tuvieron la herramienta. En las tareas en las que el modelo no era confiable, tener acceso a él empeoraba el desempeño de los participantes en comparación con no tenerlo.
La confianza aumentaba en ambas condiciones, incluso tras cometer errores.
Shaw y Nave llaman a este comportamiento “rendición cognitiva”: adoptar resultados de IA con mínima revisión, superponiendo tanto la intuición como la deliberación. Plantean la cognición artificial como un tercer sistema fuera del cerebro, que puede suplementar o sustituir el razonamiento humano.
Esto fue un estudio de laboratorio utilizando problemas de razonamiento, no empleados realizando su trabajo, y esa distinción vale la pena mantenerla clara. Lo que establece es el mecanismo y su magnitud bajo condiciones controladas.
Los líderes de BCG describen el mismo patrón dentro de organizaciones reales. Casi el 90% identificó que los equipos aceptando la salida de IA sin pruebas de estrés es un síntoma de declive de capacidades. Más de la mitad describió que la responsabilidad se erosiona junto con esto. Uno de ellos lo expresó de manera contundente, diciendo que cuando el resultado no es positivo, la responsabilidad se atribuye a la IA.
En qué se descompone el juicio
El juicio suena como algo que se resiste a ser medido. La sesión de McClung fue útil porque rechazó ese supuesto y desglosó la palabra en actos observables.
Confiar en una buena respuesta y seguir adelante. Volver a debatir una salida correcta es una forma de desperdicio en sí misma. Un equipo que verifica todo dos veces no está ejercitando el juicio, está fallando en desarrollarlo. La aceptación eficiente debe estar en la lista de cosas que se desean.
Corregir una respuesta incorrecta pero confiada. Esta es la difícil. La salida es convincente, el modelo no muestra dudas, y detectar el error requiere suficiente conocimiento independiente para notar que algo está mal. Este es el acto que falla primero y el que nada en una métrica de uso puede ver.
Saber cuándo no debe recurrirse a la herramienta. La versión de McClung de esto fue el momento más humano de la sesión. Ella describió cómo, en ocasiones, escribiendo un prompt, se da cuenta a mitad de camino que todo el pensamiento ya ocurrió durante la redacción, dejando sin valor la respuesta que llegue.
No sé ustedes, pero personalmente tengo miedo a la hoja en blanco. La miro y no sé por dónde empezar. Y a veces me doy cuenta de que, al momento de escribir el prompt, ya hice todo mi proceso y todo mi pensamiento en el prompt, y realmente no necesito la herramienta.
Cada uno de estos es una decisión que una persona toma antes de que salga cualquier resultado. Ninguno de ellos mejora porque aumente el uso. Son insumos que una organización debe desarrollar, y tratarlos como subproductos de la adopción es cómo se llega a la situación que describen los encuestados de BCG.
Esto también explica por qué el juicio y la toma de decisiones obtuvieron la puntuación de mayor riesgo de pérdida de habilidades de todo el estudio, junto con la comprensión y definición de problemas, que esos mismos líderes calificaron como la habilidad más importante para el desempeño organizacional a largo plazo.
Tres formas de observar el juicio
Ordenadas según cuán pronto se podría comenzar.
Aceptar, modificar, rechazar.
Cada sesión de IA genera un registro de lo que se preguntó, lo que la IA devolvió y lo que la persona hizo después. Aceptar una respuesta correcta y aceptar una incorrecta producen datos de uso idénticos y representan actos de juicio opuestos. Modificar es evidencia de que alguien leyó el resultado y reflexionó sobre él antes de publicarlo.
Agregado a lo largo de un equipo durante meses, esa proporción deja de ser anecdótica y se convierte en algo que se puede analizar en tendencia.
El obstáculo es el acceso. La mayoría de los departamentos de RRHH no puede ver estos datos actualmente, y acceder a ellos requiere una conversación con TI y los responsables de la plataforma de IA, más que algo que puedas implementar la próxima semana. Las organizaciones que lleguen primero serán aquellas donde el equipo de personas y el de plataforma ya estaban en diálogo.
El error sembrado
Toma una tarea real. Planta un defecto conocido en lo que el modelo devuelve, elegido de antemano. Una cifra equivocada, un paso omitido, una afirmación que no es cierta. ¿La persona lo detecta antes de que siga avanzando?
La fortaleza de esto frente a cualquier prueba es que se aplica a entregables reales y siempre se califica de la misma manera. Como el error fue seleccionado de antemano, no hay ambigüedad en la evaluación y puedes comparar un mes con otro de forma precisa.
Sin embargo, la sensibilidad es real. Si se implementa mal, esto se percibe como una trampa y destruye la confianza de inmediato. Funciona cuando los equipos saben que la práctica existe, comprenden el porqué y ven que los resultados se usan para desarrollo y no de manera punitiva.
Juicio evaluativo
Dos respuestas, ambas fluidas, ambas plausibles, una sutilmente incorrecta. ¿Puede la persona identificar cuál es y explicar por qué?
Esto es lo más parecido a lo que exige el trabajo experto y lo más costoso de implementar, porque construir la clave de respuestas requiere que alguien con auténtica experiencia en el campo cree alternativas plausibles pero defectuosas. Sé honesto contigo mismo acerca de ese coste antes de comprometerte con ello.
Las versiones que ya están en marcha
Algunas organizaciones ya han avanzado sin esperar una instrumentación perfecta.
En CNIL, la autoridad francesa de protección de datos, los gerentes son responsables de evaluar si los empleados pueden cuestionar los resultados de la IA, no solo operarlos. La implicación crítica pasó a ser una dimensión visible y evaluada del desempeño.
Esa es la que primero tomaría prestada. No requiere nuevas herramientas y traslada la cuestión al sistema de desempeño, que ya es responsabilidad de RRHH. También resuelve un problema que BCG identifica en otra parte de su investigación, que es que las tasas de certificación aumentan mientras que la capacidad real puede que no.
Shell reconstruyó las rutas de aprendizaje para sus empleados junior para que las personas nuevas definan el problema de manera independiente, prueben sus suposiciones y produzcan un análisis básico antes de que la IA intervenga en el trabajo. Los primeros resultados reportados incluían mejores preguntas y razonamientos más claros detrás de las decisiones.
Algunas empresas realizan simulacros de fallo de IA, introduciendo deliberadamente alucinaciones y situaciones inesperadas en las capacitaciones para que cuestionar los resultados se vuelva un reflejo más que una instrucción. Un banco indio lleva a cabo una sesión estructurada de trabajo sin IA el primer viernes de cada mes en todas sus áreas.
Ninguna de estas son medición exactamente. Son la práctica que la medición te diría si necesitas.
El problema llega tarde
El 53% de los líderes encuestados por BCG señaló que el talento junior se desarrolla más lentamente.
El trabajo analítico inicial es donde, tradicionalmente, se desarrolla el juicio. La investigación, los primeros borradores, el depurado, el lento trabajo de descomponer un problema y descubrir qué partes hiciste mal. Nadie disfruta de esas repeticiones, pero todos las necesitan.
Ese trabajo es lo primero que las organizaciones entregan a la IA. Y se espera que las personas que solían aprender de ello ahora actúen sin ese proceso, en algunos casos al nivel que uno de los encuestados de BCG describió como lo que haría un empleado con cinco a diez años de experiencia.
Sin embargo, hay aquí una complicación en la medición. Todo lo anterior detecta una disminución con respecto a una línea base. En personas experimentadas, eso funciona, porque la línea base existe y puedes observar cómo varía.
En alguien contratado el año pasado, no hay línea base. La capacidad nunca se formó, y su ausencia es idéntica al desempeño normal de alguien al inicio de su carrera hasta el momento en que necesitas que tomen una decisión sin apoyo. No estás midiendo erosión. Estás midiendo algo que no llegó a aparecer, y ninguno de los instrumentos actuales está diseñado para eso.
Lo que significa que el grupo junior es donde más cuesta esto y se manifiesta más tarde.
Por qué el orden importa
El rediseño del trabajo es la iniciativa de los próximos dos trimestres en muchas organizaciones con las que hablo. Inventarios de tareas, proyectos piloto con agentes, organigramas que dibujan qué tareas mantienen las máquinas y cuáles conservan las personas.
Esas decisiones se consolidan. Determinan qué habilidades se valoran y cuáles es probable que tus empleados sigan practicando durante años, y cuáles caen en desuso permanentemente.
Tomarlas sobre una disminución no medida incorpora esa declinación en la estructura. Estarías decidiendo qué deben seguir haciendo los humanos sin una evaluación honesta de qué pueden seguir haciendo tus empleados y dónde han perdido capacidades.
No creo que el instrumento deba ser perfecto antes de empezar. La prueba de error introducido podría funcionar en menos de un mes en la mayoría de las áreas. El enfoque de CNIL solo necesita una conversación con los gerentes y una línea en la plantilla de revisión.
Lo que querría, antes de aprobar un rediseño, es una respuesta a una pregunta y la evidencia detrás de ella.
Si mañana apagaras la IA en tu equipo, ¿serían tus empleados mejores que antes de adoptarla, o peores?
