¿Se Puede Medir el Juicio?
Ceguera métrica: Las métricas de uso muestran la adopción de la IA, pero no pueden revelar si los empleados están mejorando, empeorando o renunciando a su juicio.
Autoevaluación: Los empleados a menudo juzgan mal el impacto de la IA en su desempeño, lo que hace que las encuestas y los beneficios autoinformados sean evidencia poco confiable.
Señales de juicio: El juicio con IA se vuelve medible a través de patrones de aceptar, modificar, rechazar, errores intencionados y evaluaciones de respuestas plausibles y competidoras.
Riesgo junior: La IA puede impedir que los empleados junior practiquen el trabajo fundamental, retrasando el desarrollo de sus capacidades y ocultando debilidades hasta que llegan decisiones críticas.
Primero el diseño: Las organizaciones deben medir la capacidad humana antes de rediseñar el trabajo, o la automatización puede consolidar permanentemente una disminución de habilidades no reconocida.
Tu panel de control de IA te dice cuántas personas están usando las herramientas. No puede decirte qué les están haciendo esas herramientas.
Esa fue una idea recurrente en muchas de las sesiones a las que asistí la semana pasada en AI4 en Las Vegas.
Las organizaciones llevan dos años construyendo reportes sobre asientos activados, usuarios activos semanales, indicaciones enviadas, horas reportadas ahorradas. Esas cifras respondían a una pregunta que la dirección hacía en 2023: si alguien realmente usaría la herramienta. La adopción era el riesgo, así que medir la adopción tenía sentido.
Sigue leyendo—y sigue liderando de manera más inteligente
Crea una cuenta gratuita para terminar este artículo y unirte a una comunidad de líderes visionarios que están desbloqueando herramientas, guías prácticas e ideas para prosperar en la era de la IA.
Have an account? Log In
Esa pregunta ya no necesita respuesta. Pero el instrumento construido para responderla siguió presente, y ahora está enfocado en un problema que en realidad no está diseñado para ver.
Una de las sesiones a las que asistí se llamaba "Más allá de la adopción: Construyendo juicio con IA en el flujo de trabajo". El enfoque de Sharahn McClung fue la versión más clara de esto que he escuchado. Las empresas miden la velocidad. Miden el uso. Luego asumen mejora. Los dos primeros se cuentan. El tercero se infiere.
La investigación publicada por BCG en junio sugiere que la inferencia es errónea con suficiente frecuencia como para importar. En un estudio con 70 líderes de alto nivel y ejecutivos senior, la mitad dijo que ya están viendo que las habilidades se están erosionando dentro de sus propias organizaciones, y más del 60% espera que sea una amenaza importante en tres a cinco años. Solo uno de cada diez tenía una estrategia en toda la organización o iniciativas específicas en marcha. Un tercio ni siquiera lo había discutido.
Si escuchas nuestro pódcast, probablemente me hayas oído hablar sobre la necesidad de que los líderes tengan una visión un poco más filosófica en estos tiempos. Pero aquí, la pregunta se vuelve más práctica que filosófica. Si quisieras saber si la IA está haciendo que tu gente sea mejor o peor, ¿dónde mirarías?
Empieza descartando la respuesta obvia
El instinto es preguntarles.
Existe una razón para desconfiar de ese instinto, y proviene de un estudio con personas que deberían haber estado en la mejor posición para responder.
En julio de 2025, METR realizó un ensayo aleatorio con 16 desarrolladores experimentados de código abierto trabajando en 246 problemas reales en bases de código que conocían íntimamente. Antes de empezar, los desarrolladores predijeron que las herramientas de IA los harían aproximadamente un 24% más rápidos. Fueron un 19% más lentos. Después, habiendo experimentado todo el proceso, aún estimaron que habían sido alrededor de un 20% más rápidos.
Hay dos cosas sobre ese resultado que vale la pena recordar.
Ahora METR cataloga el hallazgo como histórico, y un seguimiento en febrero de 2026 encontró alguna evidencia de aumento de velocidad con modelos más recientes. El número concreto de lentitud puede que no describa las herramientas que tus equipos usan hoy.
Lo que permanece es el segundo hallazgo, que es el más útil de todos modos. Estos eran profesionales expertos en terreno conocido, con el resultado directamente observable por ellos, y la distancia entre su percepción y su rendimiento medido fue de casi 40 puntos. Ningún modelo mejor hace que la gente sea mejor evaluando su propio desempeño.
Cualquier enfoque de medición que pase por la autoevaluación hereda ese problema. Las encuestas de compromiso que preguntan si la IA está ayudando generarán respuestas. Las respuestas serán sinceras. También serán aproximadamente tan fiables como las estimaciones de esos desarrolladores.
Dos curvas, misma forma
Imagina dos equipos con trayectorias de uso idénticas. Ambos suben de forma constante, ambos muestran una adopción saludable en cada métrica que recoges actualmente.
Un equipo ha aprendido cuándo merece la pena confiar en el modelo y cuándo debe ser cuestionado. Su capacidad se está multiplicando. El otro ha estado aceptando los resultados como hechos durante meses. Su capacidad se está agotando bajo una línea que sigue subiendo.
No existe una versión de una métrica de uso que separe a esos equipos.
Un informe de trabajo de Wharton de enero midió cuán distantes están realmente. Steven Shaw y Gideon Nave hicieron tres experimentos preinscritos con unos 1,400 participantes en más de 9,000 pruebas, aleatorizando si un asistente de IA daba respuestas correctas o erróneas mediante indicaciones ocultas.
En comparación con los participantes sin acceso a IA, la precisión aumentó 25 puntos porcentuales cuando la IA acertaba. Cuando fallaba, la precisión caía 15 puntos por debajo del grupo sin IA.
Leíste bien, por debajo de las personas que nunca tuvieron la herramienta. En las tareas donde el modelo era poco confiable, el acceso terminaba empeorando el resultado respecto a no contar con IA.
La confianza aumentó en ambos casos, incluso después de errores.
Shaw y Nave llaman a este comportamiento "rendición cognitiva", es decir, adoptar las respuestas de la IA con mínima revisión, dejando de lado la intuición y la deliberación. Ellos enmarcan la cognición artificial como un tercer sistema que opera fuera del cerebro, que puede complementar o sustituir el razonamiento humano.
Este fue un estudio de laboratorio usando problemas de razonamiento, no empleados realizando su trabajo, y ese matiz vale la pena tenerlo claro. Lo que establece es el mecanismo y su magnitud bajo condiciones controladas.
Los líderes de BCG describen el mismo patrón dentro de organizaciones reales. Casi el 90% identificó a los equipos que aceptan la salida de IA sin realizar pruebas rigurosas como un síntoma de deterioro de la capacidad. Más de la mitad describió que la responsabilidad se erosiona junto con eso. Uno de ellos lo dijo sin rodeos, afirmando que, cuando el resultado no es positivo, se le atribuye la responsabilidad a la IA.
En qué se descompone el juicio
El juicio suena como algo que se resiste a la medición. La sesión de McClung fue útil porque rechazó ese supuesto y dividió la palabra en actos observables.
Confiar en una buena respuesta y continuar. Re-analizar una salida correcta es una forma propia de desperdicio. Un equipo que verifica todo dos veces no está ejerciendo juicio; está fallando en desarrollar alguno. La aceptación eficiente debería estar en la lista de cosas que uno desea.
Corregir una respuesta errónea pero segura. La difícil. El resultado suena bien, el modelo no muestra dudas, y detectar el error exige suficiente conocimiento independiente para notar que algo no cuadra. Este es el acto que falla primero y el que nada en una métrica de uso puede detectar.
Saber cuándo ni siquiera recurrir a la herramienta. La versión de McClung de esto fue el momento más humano de la sesión. Explicó que a veces redactaba un prompt y se daba cuenta, a mitad de camino, de que todo el pensamiento ya había ocurrido al escribirlo, sin nada por hacer con la respuesta que devolvía la IA.
No sé ustedes, pero yo personalmente tengo miedo a la página en blanco. La miro y no sé por dónde empezar. Y a veces descubro que para cuando termino de escribir el prompt, ya he hecho todo mi proceso y todo mi razonamiento en el prompt, y en realidad no necesito la herramienta.
Cada una de estas es una decisión que una persona toma antes de que salga cualquier resultado. Ninguna mejora porque aumente el uso. Son insumos que una organización debe construir, y tratarlos como subproductos de la adopción es cómo se llega a la situación que describen los encuestados de BCG.
Esto también explica por qué el juicio y la toma de decisiones recibieron la puntuación de mayor riesgo de desprofesionalización de cualquier habilidad en su estudio, junto al entendimiento y la formulación de problemas, que esos mismos líderes calificaron como la habilidad más importante para el desempeño organizacional a largo plazo.
Tres maneras de ver el juicio
Ordenadas según lo pronto que se podrían poner en práctica.
Aceptar, modificar, rechazar.
Cada sesión de IA genera un registro de lo que se preguntó, lo que devolvió y lo que la persona hizo después. Aceptar una respuesta correcta y aceptar una incorrecta genera datos de uso idénticos y representan actos opuestos de juicio. Modificar es evidencia de que alguien leyó la salida y la pensó antes de liberarla.
Agregado en un equipo durante meses, esa proporción deja de ser anecdótica y se convierte en una tendencia medible.
El obstáculo es el acceso. La mayoría de las áreas de RRHH actualmente no pueden ver estos datos, y obtenerlos implica conversar con IT y los responsables de la plataforma de IA más que lanzar algo la semana próxima. Las organizaciones que lleguen primero serán aquellas donde el equipo de personas y el de plataforma ya estaban en contacto.
El error sembrado
Toma una tarea real. Plantea un defecto conocido en lo que devuelve el modelo, elegido de antemano. Una cifra incorrecta, un paso omitido, una afirmación que no se sostiene. ¿La persona lo detecta antes de que avance?
La fortaleza de esto frente a cualquier prueba es que se basa en entregables reales y se puntúa siempre igual. Como el error fue seleccionado antes, no hay ambigüedad en la evaluación y puedes comparar un mes con otro sin problemas.
Sin embargo, la sensibilidad debe cuidarse. Mal implementado, esto parece una trampa y envenena la confianza de inmediato. Funciona cuando los equipos saben que existe la práctica, comprenden por qué y ven que los resultados se utilizan para el desarrollo y no de manera punitiva.
Juicio evaluativo
Dos respuestas, ambas fluidas, ambas plausibles, pero una sutilmente incorrecta. ¿Puede la persona identificar cuál es y explicar por qué?
Esto es lo más parecido a lo que exige el trabajo experto y es lo más caro de implementar, porque construir la clave de respuestas requiere que alguien con genuina experiencia en el dominio elabore alternativas plausibles pero defectuosas. Sé honesto contigo mismo sobre ese coste antes de comprometerte con ello.
Las Versiones Que Ya Están en Marcha
Algunas organizaciones se han movido sin esperar a una instrumentación perfecta.
En CNIL, la autoridad francesa de protección de datos, los gestores son responsables de evaluar si los empleados pueden cuestionar los resultados de la IA, no solo operarlos. La implicación crítica se convirtió en una dimensión visible y evaluada del desempeño.
Esa es la que tomaría prestada primero. No requiere nuevas herramientas y traslada la cuestión al sistema de desempeño, que RRHH ya gestiona. También resuelve un problema identificado por BCG en su investigación, que es que las tasas de certificación aumentan mientras que la verdadera capacidad puede que no.
Shell reconstruyó sus rutas de aprendizaje para empleados junior, de modo que las nuevas personas formulen independientemente el problema, pongan a prueba sus supuestos y produzcan un análisis básico antes de que la IA intervenga en el trabajo. Los primeros resultados reportados incluyeron mejores preguntas y razonamientos más claros detrás de las decisiones.
Algunas empresas realizan simulacros de fallo de IA, introduciendo deliberadamente alucinaciones y giros inesperados en la formación para que el cuestionamiento de los resultados se convierta en un reflejo y no en una instrucción. Un banco indio realiza una sesión estructurada de trabajo sin IA el primer viernes de cada mes en todas las funciones.
Ninguna de estas acciones es exactamente medición. Son la práctica que la medición te diría si necesitas.
El Problema Llega Tarde
El cincuenta y tres por ciento de los líderes encuestados por BCG señaló que el talento junior se desarrolla más lentamente.
El trabajo analítico básico es donde, tradicionalmente, se desarrolla el juicio. La investigación, los primeros borradores, la depuración, el laborioso negocio de descomponer un problema y descubrir en qué partes te has equivocado. Nadie disfruta de esas repeticiones, pero todos las necesitan.
Ese trabajo es lo primero que las organizaciones entregan a la IA. Y se espera que las personas que antes aprendían de ello ahora desempeñen sin ello, en algunos casos, al nivel que uno de los encuestados de BCG describió como el de un empleado de cinco a diez años de experiencia.
Sin embargo, hay un matiz en la medición aquí. Todo lo anterior detecta un declive respecto a una línea base. En personas con experiencia, eso funciona, porque la línea base existe y se puede observar su evolución.
En alguien contratado el año pasado, no hay línea base. La capacidad nunca se formó y su ausencia se parece a un desempeño normal de inicio de carrera hasta el momento en que necesitas que tomen una decisión sin apoyo. No estás midiendo erosión. Estás midiendo algo que no llegó a surgir, y ninguno de los instrumentos actuales está diseñado para eso.
Lo que significa que la cohorte junior es donde esto cuesta más y se manifiesta más tarde.
Por Qué el Orden Importa
El rediseño del trabajo es la iniciativa de los próximos dos trimestres en muchas organizaciones con las que hablo. Inventarios de tareas, pilotos de agentes, organigramas dibujados en función de lo que las máquinas gestionan y lo que las personas conservan.
Esas decisiones se consolidan. Determinan qué capacidades se valoran, cuáles es probable que sigan desarrollando tus empleados durante años y cuáles caen en desuso permanentemente.
Tomarlas sobre un declive no medido implica incorporar ese declive en la estructura. Estarías decidiendo qué deben seguir haciendo los humanos sin tener una referencia honesta de lo que realmente pueden hacer y dónde han perdido capacidad.
No creo que el instrumento deba ser perfecto para empezar. La prueba de error intencionado podría implementarse en un mes en la mayoría de las funciones. El enfoque de CNIL solo necesita una conversación con los gestores y una línea en la plantilla de evaluación.
Lo que querría, antes de aprobar un rediseño, es la respuesta a una pregunta y la evidencia que la respalde.
Si mañana desconectaras la IA en tu equipo, ¿tu gente sería mejor que antes de introducirla o peor?
