Por qué la supervisión humana no basta para mantener controlada la IA

David Rice: Hablamos de la toma de decisiones asistida por IA como si la humanidad nunca se hubiera enfrentado antes a algo parecido. Claire Maiers lleva más de una década estudiando a personas que trabajan junto a sistemas predictivos, y afirma que hemos olvidado la lección más importante: el contexto. En el programa de hoy, hablo con Claire sobre qué es realmente diferente esta vez, y no es la existencia de recomendaciones de las máquinas.

Las hemos tenido durante años en la policía, en las decisiones sobre libertad condicional, en la contratación, en Netflix, en todas partes. Lo diferente es la autoridad cultural que tiene esta versión. El lenguaje parece más elaborado que los números. El diseño conversacional hace que un sistema parezca un compañero, incluso una autoridad, y eso hace que sea más difícil abordarlo con una mirada crítica, a menos que lo hagamos deliberadamente.

El argumento de Claire llega a un punto con el que las organizaciones todavía no están lidiando plenamente. La IA ha hecho innegable que las organizaciones son sistemas sociotécnicos. Los actores ya no son solo personas, y eso significa que los responsables de personas tienen que tomar una decisión real: no si se utilizará la IA, sino hasta qué punto se integrará y hacia qué visión están construyendo.

Seguir a la mayoría es el camino fácil. También es la forma de acabar con miles de decisiones asistidas por IA, individualmente razonables, que transforman quién es contratado, quién asciende y qué se recompensa, sin que nadie haya decidido conscientemente que así es como debe funcionar la empresa. Por eso hoy hablaremos de por qué el contexto, y no solo la cultura, es la pieza que falta en la mayoría de las conversaciones sobre IA; qué hicimos mal con los macrodatos hace una década y si lo estamos repitiendo; por qué la IA generativa tiene una autoridad persuasiva mayor que los sistemas anteriores de apoyo a las decisiones; y qué significa tratar el diseño organizativo con la misma seriedad que el propio modelo de negocio.

Soy David Rice. Esto es People Managing People, y si tu organización ha estado adoptando IA sin que nadie establezca la visión que hay detrás, esta conversación explica por qué se trata de un problema de diseño organizativo, no solo tecnológico. Empecemos.

Conoce Teamflect, la plataforma de gestión del rendimiento y compromiso de los empleados mejor valorada, creada para Microsoft Teams. Más de 1.000 organizaciones confían en ella: es fácil de usar y, al mismo tiempo, ofrece una solución de nivel empresarial. Visita Teamflect.com para obtener más información.

Claire, bienvenida al programa. Es un placer tenerte aquí.

Claire Maiers: Muchas gracias. Me hace mucha ilusión nuestra conversación de hoy.

David Rice: Quería comenzar esta conversación señalando que existe una tendencia a tratar la toma de decisiones asistida por IA como algo a lo que la humanidad nunca se había enfrentado.

Pero tú has estudiado a personas que trabajaban junto a sistemas predictivos mucho antes de que tuviéramos IA generativa. Me gustaría saber qué aprendimos entonces que quizá hemos olvidado, y qué es realmente diferente esta vez.

Claire Maiers: Sí, creo que muchas cosas son diferentes, pero lo que se mantiene igual es que llevamos bastante tiempo trabajando en distintos ámbitos con datos, alguna forma de predicción o una recomendación que sale de un sistema que en gran medida funciona como una caja negra, de forma parecida a cómo la IA generativa lo es para la mayoría de los usuarios.

Eso es similar. Y creo que la lección que hemos aprendido durante la última década o más, al observar a personas que utilizan esos sistemas como apoyo para tomar decisiones, es que el contexto importa mucho. Y siento que esa es la parte que se ha olvidado en muchas conversaciones. Por supuesto, hablamos de cultura, pero creo que el contexto va más allá de la cultura, o al menos puede dividirse en distintos componentes que podemos tener en cuenta cuando pensamos en el diseño organizativo.

Creo que cada vez se ve a más gente hablar del contexto en términos más amplios. Pero cuando hablo de contexto, quiero decir que las personas no utilizan estos sistemas en un vacío, como quizá se pensó cuando fueron diseñados. Los utilizan en una organización concreta que tiene normas.

Proceden de una orientación profesional determinada. Operan dentro de una cultura concreta, que también importa, y creo que la parte de la cultura que importa es cómo evaluamos la verdad, qué consideramos conocimiento y, por tanto, cómo interpretamos y qué hacemos con los resultados de esos sistemas. Así que creo que se trata del contexto, del papel que desempeña el contexto en la forma en que esos sistemas se aplican a decisiones reales.

Eso es lo que no se tiene en cuenta tanto como me gustaría.

David Rice: Has mencionado la verdad y comprender mejor el conocimiento, y creo que, como sucede con cada generación tecnológica, parece llegar con la promesa de sustituir los aspectos humanos desordenados, especialmente el criterio, por algo más objetivo.

Creo que lo diferente ahora quizá no sea tanto la existencia de recomendaciones de las máquinas como su accesibilidad y su capacidad persuasiva. ¿Sabes a qué me refiero? Ahora hacen un trabajo realmente bueno al hacer que parezca una explicación válida, como si todo hubiera sido razonado. Resulta muy convincente en muchos sentidos.

Nos ayuda a superar ese «Esto es subjetivo», porque procede de una fuente que hemos considerado casi omnisciente. ¿Hay errores que cometimos con los sistemas anteriores de apoyo a las decisiones y que ves que estamos empezando a repetir?

Claire Maiers: Es una pregunta muy interesante. Lo que he observado es que, a menudo, en los mejores casos, ha existido una moderación humana de los resultados de esos sistemas de toma de decisiones.

Por supuesto, hemos visto casos en los que las cosas han salido mal. Si pensamos en el uso de análisis predictivos en la policía, en las predicciones de reincidencia o en si las personas van a obtener la libertad condicional, hemos visto una dependencia excesiva de sistemas que quizá son demasiado rígidos para tener en cuenta la realidad humana. Ese fue uno de los grandes temores cuando se produjo todo el entusiasmo en torno a los macrodatos, que creo que fue la última iteración de esto.

Estos ciclos avanzan muy deprisa ahora, pero hace unos diez o quince años los macrodatos se celebraban como la posibilidad de responder por fin a preguntas para las que antes teníamos que depender de la subjetividad humana. Ahora podíamos conocer la verdad, procesar conjuntos de datos lo bastante grandes como para saber qué estaba ocurriendo en el mundo y, por tanto, tener capacidad predictiva.

Pero enseguida vimos que eso se volvía contra nosotros en sistemas excesivamente rígidos que no podían tener en cuenta la realidad humana. No estoy segura de que ese sea exactamente el riesgo aquí. También podría serlo, pero lo que más me preocupa son las diferencias entre lo que ocurrió con la proliferación de los macrodatos y lo que está sucediendo con esta versión actual de la IA, concretamente con la IA generativa.

La autoridad cultural que lleva consigo la IA tiene mucho más peso, por diversas razones. Una de ellas es la forma, que ya has anticipado. El hecho de que hablemos de resultados expresados en lenguaje, en lugar de números, hace que parezcan más elaborados. Además, los sistemas están diseñados intencionadamente para parecer conversacionales, como has dicho: hacen que parezcan un compañero, un amigo o una autoridad. Eso, por sí solo, desde una perspectiva psicológica, hace que nos resulte más difícil abordarlos con una mirada crítica y cuestionadora, a menos que lo hagamos de manera muy intencionada.

También creo que la escala es diferente. Incluso con la ciencia de datos y los macrodatos, aunque aparecieran artículos sobre ello en The New York Times y The Atlantic, la mayoría de las personas no interactuaba con esa tecnología a diario. La tecnología les afectaba a diario, lo supieran o no, a través de la publicidad, de todas las plataformas con las que interactuamos y de las decisiones que tomaban nuestros gobiernos, pero la escala era mucho menor si pensamos en las personas que utilizaban la tecnología cada día y en los problemas a los que podía aplicarse.

Seguía siendo necesario tener un acceso diferente a la infraestructura y algún tipo de formación en ciencia de datos para construir las herramientas. Además, todavía existía la expectativa de que había expertos utilizando las herramientas creadas por la ciencia de datos.

Y creo que la estructura, o la red, también es diferente. Junto con esa escala de quién la utiliza y para qué, está ocurriendo algo interesante: las grandes empresas tecnológicas tienen mucha credibilidad en nuestra cultura. Puede que la gente también las cuestione, pero poseen tanto poder material como poder simbólico.

Eso también es diferente. Algo que nos modera un poco es que no veo el mismo entusiasmo en el discurso público general sobre la IA que vimos con los macrodatos. Hay mucho más escepticismo, lo cual creo que es saludable. Pero todos esos elementos combinados otorgan a los resultados de la IA un tipo de autoridad cultural muy distinto, un simbolismo diferente.

Parto de una formación en la que me pregunto cómo sabemos lo que sabemos. Mi formación tampoco presupone que las herramientas que utilizamos para crear conocimiento sean la única manera de hacerlo, ni necesariamente la mejor. Y, sea cual sea tu opinión sobre la forma de producir conocimiento, eso afecta a cómo recibes los resultados de estos sistemas de IA.

La verdad es que existe mucha más autoridad cultural y epistémica vinculada a los resultados de estos sistemas por las diferencias en su forma, estructura y escala. Por eso creo que es mucho más difícil acercarse a esos resultados con una mirada interpretativa y crítica que a un número que salía de un sistema de caja negra respaldado por macrodatos y algoritmos predictivos.

David Rice: Es curioso, porque después de nuestra conversación previa estuve pensando en todo aquello de los macrodatos. Me vino a la cabeza que todo el mundo decía que eran el petróleo del siglo XXI y cosas por el estilo. Recuerdo haber hablado con personas que decían: «¿Quién quiere saber todo eso? ¿Qué vas a hacer con ello?». Ahora nadie dice eso porque sabe qué vas a hacer con los datos. Creo que estamos en un momento en el que muchas personas que vivieron esa experiencia, o que han visto cómo se recopilaban y utilizaban sus datos, miran esta tecnología y dicen: «Sé exactamente adónde va esto».

Aunque en realidad no sepan exactamente adónde va, da la sensación de que sí, y eso influye en cómo piensan sobre esta nueva tecnología. Sin embargo, como mencionabas, habla contigo, utiliza lenguaje y parece completamente diferente.

Un modelo predictivo solía darte una puntuación o quizá una probabilidad, pero ahora puede explicarse, recomendar una línea de actuación y presentar un argumento persuasivo sobre por qué tiene razón.

También me interesa saber qué ocurre con el criterio humano cuando produce esa información. Si empezamos a confiar más en ella, cuestionamos nuestras propias decisiones de forma diferente. Antes pensábamos: «Aquí está la información y tengo que interpretarla». ¿Cómo debemos pensar de forma distinta sobre cómo nos cuestionamos a nosotros mismos y cómo cuestionamos a la máquina cuando nos habla?

Claire Maiers: Voy a darle la vuelta a la pregunta y decir que deberíamos pensar en los resultados que queremos y, a partir de ahí, diseñar el sistema de manera que nos permita hacer el tipo de razonamiento que queremos hacer.

También quiero decir que no estoy en contra de la IA. Tiene aplicaciones increíbles. Me entusiasman muchas de las cosas que puede ofrecer y deberíamos emplearla en aquellos casos en los que realmente aporte valor a la experiencia humana. Pero no hay ninguna razón para que el sistema tenga que presentar la información del modo en que la mayoría experimentamos ChatGPT, Claude o herramientas similares.

Por ejemplo, soy usuaria de Claude y he observado que me ofrece recomendaciones incluso cuando digo explícitamente: «No me digas qué hacer. Solo quiero una serie de preguntas que me ayuden a avanzar en mi razonamiento». Es casi como una persona que no puede evitar decirte lo entusiasmada que está con todas las ideas que tiene.

Podemos elegir mejorar ese sistema. Podemos pedir a sus productores y creadores que lo hagan de otra manera. En otras formas de tomar decisiones tenemos que participar en actividades que obligan a nuestro cerebro a seguir determinados pasos, activar conexiones neuronales y realizar otros tipos de procesamiento y aprendizaje que no son necesarios cuando somos lectores pasivos de algo.

Hay investigaciones muy buenas que demuestran que tomar notas es aprender. Cuando tomas notas estás aprendiendo y procesando información porque obligas a tu cerebro a categorizar, establecer asociaciones y simplificar. Estás haciendo mucho trabajo para procesar la información.

No eres simplemente un anotador pasivo. El ejemplo más sencillo es el de las reuniones: cuando tenemos una herramienta de IA que toma notas y eso sustituye a tomar nuestras propias notas durante la reunión, nuestro cerebro no ha hecho el trabajo. Por eso no salimos de esa reunión en el mismo estado mental ni con las mismas conclusiones que cuando tomamos notas.

Eso no significa que no haya motivos para tomar notas y utilizar la IA para elaborar un resumen. Diría que muchos de esos motivos probablemente estén relacionados con el cumplimiento normativo, la documentación o la alimentación de futuros sistemas de IA, más que con la finalidad principal de disponer de algo útil que consultar. Lo valioso es el acto de tomar notas, no simplemente tenerlas.

Por eso defendería el diseño de un sistema basado en la comprensión de la toma de decisiones humana que siga obligando al cerebro a recorrer esos pasos.

David Rice: Es un gran ejemplo. Me encanta el de tomar notas porque pienso en ello constantemente. Desde la llegada de las herramientas de IA para tomar notas, ha habido reuniones de las que he salido pensando: «¿De qué iba esa reunión?», porque no estaba tan implicado.

Claire Maiers: Sí. Y la verdad es que a veces no queremos implicarnos. Pensar es difícil. Generar ideas y procesar información consume energía. Creo que existe una diferencia entre saber qué es fácil y saber qué es mejor. Yo diría que sales mucho mejor de una reunión en la que te has implicado de verdad.

Además, probablemente estés en mejor posición para ayudar a tu organización. Hay algo más difícil de describir en nuestro estado mental que se beneficia de obligarnos a prestar atención, aunque resulte más difícil.

David Rice: Antes, cuando tomaba mis propias notas y pasaba de una reunión a otra durante el día, era más probable que pensara: «Un momento, lo que están hablando conecta con lo que escuché antes», y empezaba a establecer conexiones que quizá las personas presentes no podían hacer porque no habían estado en las mismas reuniones. Ahora puedo estar involucrado de forma pasiva en la conversación: hablo cuando escucho mi nombre y poco más.

Empiezas a pensar: «En realidad debería haber dicho algo, pero ya es demasiado tarde. El momento ha pasado. Ahora tengo que hacer un esfuerzo adicional para volver a conectar todo y explicar el contexto a las personas implicadas, en lugar de hacerlo en el momento». Es un momento interesante para analizar en exceso todas tus pequeñas interacciones, no solo con la tecnología sino también con tu trabajo, porque está cambiando la forma en que te relacionas con él.

Claire Maiers: Totalmente.

David Rice: En el entorno clínico que estudiaste, lo interesante no era si la máquina o el médico realizaban mejor una tarea. Los profesionales aprendieron dónde encajaba la máquina dentro de un proceso de decisión mucho más amplio. ¿Puedes explicarnos todo aquello y dar a los oyentes algo de contexto sobre ese caso? ¿Qué permitió que esa relación se desarrollara sin que las personas siguieran ciegamente al sistema o lo descartaran, como hacen muchas otras?

Claire Maiers: Esto ocurrió hace unos diez años. La investigación no es reciente, pero sigue siendo aplicable. Durante mi tesis estudié cómo la ciencia de datos estaba cambiando nuestra comprensión de lo que significaba saber. Para ello realicé varios estudios de caso. Uno de ellos se desarrolló en el ámbito médico, donde tuve la extraordinaria oportunidad de observar a científicos de datos colaborar con médicos durante aproximadamente un año en una tecnología que predecía si los pacientes iban a desarrollar sepsis.

La sepsis es un síndrome muy grave. Puede ser difícil de identificar y extremadamente difícil de tratar, y es responsable de un número muy elevado de muertes en los hospitales. Este grupo desarrolló una tecnología capaz de controlar la frecuencia cardíaca y, a partir de esos datos, predecir la probabilidad de que un bebé ingresado en la unidad de cuidados intensivos neonatales desarrollara sepsis.

En la práctica, el sistema consistía en un monitor situado junto a la cama con una puntuación predictiva sobre la probabilidad de que el bebé desarrollara sepsis en las siguientes veinticuatro horas. También mostraba un historial, creo que de siete días, con las puntuaciones de los siete días anteriores.

Lo interesante fue que el sistema no se trataba como algo determinante, y eso es muy importante. La experiencia y los conocimientos de las enfermeras y los médicos seguían influyendo en la decisión de tratar o no la sepsis. Resultaba sorprendente porque, en la medicina estadounidense actual, la medicina basada en la evidencia tiene una importancia enorme.

Los médicos prefieren, con razón, pruebas reales de enfermedad y suelen orientarse hacia los datos cuantificados como aquello que representa la verdad, frente a cualquier otra presentación clínica. Esto se complica porque hay enfermedades como la sepsis que a veces solo se manifiestan clínicamente: el paciente parece enfermo, pero no se dispone de una prueba concreta que actúe como referencia absoluta.

Lo importante era que la puntuación no determinaba la decisión. Los médicos no recetaban antibióticos siempre que la puntuación fuera alta. La predicción podía indicar que era muy probable que el bebé desarrollara sepsis en las siguientes veinticuatro horas, pero había varios factores que lo impedían.

Uno de ellos era la realidad corporal de los pacientes. Los bebés estaban enfermos o no lo estaban, independientemente de lo que indicara el monitor. Eso daba a médicos y enfermeras la oportunidad de aprender, con el tiempo, cómo respondía el sistema ante determinados pacientes o ante ciertos grupos de pacientes, y comprobar que la predicción no siempre indicaba directamente la presencia de sepsis, porque podían observar la diferencia entre la predicción y la realidad.

En el ámbito empresarial, cuando hablamos de aplicar IA en el trabajo, normalmente no disponemos de ese tipo de contexto. No hacemos ensayos controlados aleatorizados en los que adquirimos una empresa y, al mismo tiempo, vivimos el futuro alternativo en el que no la adquirimos para comparar los resultados. No tenemos esa realidad que nos permita moderar la toma de decisiones y, por tanto, tampoco tenemos una realidad que modere las decisiones respaldadas por IA.

Otra cosa importante es que existía un proceso de toma de decisiones muy estructurado, explícito y diseñado deliberadamente para decidir los tratamientos. No solo había un proceso, sino que se podía explicar. En la mayoría de nuestras organizaciones no contamos con algo así.

Cuando se toma una decisión sobre un tratamiento, la enfermera primero examina al paciente, recopila todos los datos y, posiblemente, un residente hace lo mismo. Se solicitan pruebas específicas para obtener información adicional y después se celebra una reunión con el médico responsable y otras personas, quizá radiólogos y otros especialistas, que aportan sus opiniones. Finalmente, el médico responsable toma la decisión.

Si queremos ser intencionados en nuestras decisiones cuando utilizamos sistemas respaldados por IA que nos ofrecen recomendaciones, necesitamos un proceso estructurado y explícito similar, adaptado al tipo de decisiones que estamos tomando. Eso permitirá aprender y observar con el tiempo cómo pueden fallar esas decisiones, y también incorporar salvaguardas.

Hay otro aspecto que quiero mencionar: el código ético importa. En medicina, todo el mundo está alineado con el mismo resultado. Cuando una enfermera cuestiona la decisión de un médico y le planta cara, se entiende que lo hace porque todos persiguen el mismo objetivo: la salud del paciente.

En muchas organizaciones es muy difícil alinear a las personas hacia un mismo resultado. La política y muchos otros factores interfieren, pero un código ético puede contribuir a alinear a las personas en torno a un objetivo compartido o a una carta organizativa.

David Rice: Me gusta lo que has dicho sobre el código ético porque, como señalabas, en el ejemplo médico todo el mundo persigue lo mismo: mantener sanos a los pacientes.

En cambio, si hablamos de cómo gastar el presupuesto de marketing, hay muchas filosofías y opiniones distintas. Podemos tener el mismo objetivo, pero defender con pasión formas muy diferentes de alcanzarlo. Ya sabemos que cuanto más delegamos en la tecnología, más probable es que esta sortee las reglas y haga lo necesario para completar la tarea.

El código ético será cada vez más importante. En el ejemplo médico no tienen que elegir entre la experiencia, lo que observan y el modelo: todo se combina, y aprenden a asignar el peso adecuado a cada fuente según el contexto.

Estamos viviendo un momento en el que muchas personas que obtienen mejores resultados con la IA ya tenían una sólida base de experiencia a la que recurrir, y eso hacía que su criterio fuera bueno para evaluar a la máquina. Pero dentro de diez años quizá sea completamente diferente, cuando esta tecnología sea algo estándar. ¿Te preocupa la capacidad de las personas para asignar peso a estos resultados y entender qué deberían aceptar y qué no?

Claire Maiers: Probablemente esto sea lo que más me preocupa: la forma en que todo nuestro mercado está orientado hacia el valor y los beneficios a corto plazo. Se está alertando de que podríamos enfrentarnos a una escasez de talento o de experiencia, de personas que sepan interpretar la máquina y cuestionarla.

Comparto esa preocupación. Una solución que he visto es adoptar un modelo de residencia o aprendizaje, sustituyendo la experiencia que antes se adquiría de otra manera. No pretendo tener todas las respuestas, pero me gustaría que se pensara en cómo diseñar los sistemas de otra forma y aplicar la IA de manera más precisa para que las personas sigan teniendo oportunidades de desarrollar experiencia.

También hay que pensar en el modelo de negocio que acompañará a todo esto. Si el modelo de residencia es el camino para seguir ofreciendo experiencia, pero operamos en una economía impulsada por empresas cotizadas que tienen que demostrar crecimiento de beneficios e ingresos cada trimestre o cada semestre, será muy difícil encontrar un modelo que permita reservar espacio para esa residencia.

No digo que sea imposible. Hay innovadores y emprendedores muy capaces que podrían encontrar la forma, pero el riesgo es que el modelo de residencia se perciba únicamente como un centro de costes. En ciclos de corto plazo, eso será lo primero que desaparezca, por muy buenas que sean las intenciones.

David Rice: La mala noticia es que quizá las empresas tengan que hacer algo contrario a la lógica del beneficio. Eso nunca suele acabar bien.

A medida que la IA hace que el conocimiento organizativo sea más fácil de buscar, medir y sintetizar, ¿corremos el riesgo de privilegiar el conocimiento que resulta más fácil de ver para la máquina? ¿Qué ocurre con la experiencia, la intuición y ese contexto que las personas conocen, pero que no necesariamente pueden documentar o expresar por completo?

Claire Maiers: La respuesta está en la pregunta: sí, existe ese riesgo. Gran parte de la forma en que funcionan bien las organizaciones no está documentada. Pienso a menudo en el organigrama formal: cómo se supone que deben hacerse las cosas, quién es supuestamente responsable o tiene autoridad en un ámbito, frente a cómo se desarrollan realmente las cosas.

Ambos aspectos suelen estar desconectados. Uno representa cómo creemos que funcionará y el otro cómo funciona en realidad. Las personas que se desenvuelven bien en las organizaciones suelen saber cómo funcionan las cosas en la práctica, no solo lo que aparece en el organigrama.

Las organizaciones saludables y eficaces suelen estar más alineadas en esos dos aspectos o se sienten cómodas dejando que gran parte del trabajo se realice a través de canales, relaciones y responsabilidades informales. Eso será muy difícil de sustituir con IA, o de capturar en un repositorio de conocimiento con el que la IA pueda trabajar.

Por ejemplo, en un trabajo anterior, cuando intentaba hacer crecer las áreas de negocio de las que era responsable, solía trabajar desde la cocina principal porque estaba junto al equipo de desarrollo de negocio. Pasaba varias horas allí cada mañana para estar cerca del equipo.

Eso significaba que recibía todo tipo de comunicaciones informales, fuera de los canales oficiales, que me ayudaban a ayudar al negocio. No sé cómo se replica eso con IA. Se pueden instalar micrófonos en toda la organización y grabar todas las reuniones. Quizá eso proporcione información e identifique la estructura organizativa real, pero no sé si puede hacer el trabajo que realizan las personas a través de esos canales informales para ayudar a cumplir la misión.

David Rice: Es un gran riesgo. Vivimos un momento en el que la confianza está en mínimos históricos. Hay que tener cuidado con ideas como poner cámaras y micrófonos en todas partes. Preferiría intentar recrear esa proximidad y esos momentos en los que la información surge de forma natural. Hay ideas interesantes para hacerlo, pero no sé si realmente funcionan.

Claire Maiers: Hay una cita que dice algo parecido a: «La tecnología no es ni buena ni mala, ni tampoco neutral».

Creo que estamos en un momento en el que quienes no ocupamos explícitamente el asiento del conductor de estas tecnologías, si queremos futuros buenos para nosotros y para los demás, tenemos que alzar la voz y generar el impulso suficiente para que las tecnologías se utilicen de una forma que añada valor a la experiencia humana, en lugar de restárselo.

No estoy defendiendo cámaras y micrófonos en todas las habitaciones, pasillos y zonas de descanso. Pero corremos un riesgo si no decimos explícitamente que no vamos a hacer ciertas cosas o que solo diseñaremos sistemas que mejoren la experiencia humana. Si no protegemos eso de manera explícita, corremos el riesgo de acabar degradando la experiencia humana.

David Rice: Si intentamos defender el conocimiento tácito que alguien ha acumulado con el tiempo, la pregunta es cómo preservar un papel legítimo para la intuición y la experiencia sin crear una excusa para ignorar las pruebas cuando contradicen aquello que creemos.

Claire Maiers: Has dado en el clavo. En el caso del que hablaba, la medicina basada en la evidencia es importante precisamente porque corrige un periodo de excesiva subjetividad y riesgo en el que las personas no seguían las pruebas.

¿Cuándo se convierte la intuición en sesgo? Creo que todo depende de diseñar el contexto y especificar los usos para los que se emplea la tecnología. El problema es que no se puede diseñar un único contexto que sirva para todo. Depende de la misión de la organización, del sector, de la escala y del tamaño de la organización.

Todo tiene que ajustarse a su finalidad, lo que puede hacer que la tarea parezca abrumadora, porque tenemos que responder a la pregunta de cómo diseñar un sistema sociotécnico completo y saludable para las personas que trabajan en él.

David Rice: A las empresas les gusta decir: «La IA informa las decisiones; las personas las toman». Pero esa frase no me dice si un empleado se siente realmente autorizado a rechazar lo que recomienda el sistema. ¿Cómo se empodera a las personas para hacerlo? ¿Qué tiene que ser cierto sobre la cultura para que la supervisión humana sea algo más que un eslogan de gobernanza?

Claire Maiers: Me encanta esta pregunta porque es muy importante. No quiero fingir que tengo todas las respuestas, pero sí algunas ideas. Una de ellas es que los resultados deben estar por encima de todo. Una organización con normas claras entiende que todos forman parte del mismo equipo y avanzan hacia un resultado bien definido.

Algunas organizaciones dicen que gana la mejor idea, independientemente de quién la proponga: puede venir del personal de limpieza o del director general. Una buena idea es una buena idea. Es parecido a una organización y una cultura alineadas con los resultados, que conceden permiso para cuestionar porque no te consideran desleal, problemático o político. Estás intentando alcanzar el mismo objetivo.

Otro aspecto más complicado es la responsabilidad. El problema es que entra en el terreno de la responsabilidad jurídica. Durante décadas, los académicos han discutido quién responde por las decisiones algorítmicas. El ejemplo más sencillo es el de los vehículos automatizados: si un vehículo autónomo mata a alguien, ¿quién es responsable? ¿Los ingenieros de software que lo programaron? ¿Los directivos de las empresas? ¿La máquina?

Esto importa porque, si la prioridad máxima es la comodidad y evitar conflictos en el trabajo, y sabes que no se te considerará responsable porque puedes decir que la decisión la tomó la IA, resulta mucho más fácil pasar por alto las decisiones que estás aprobando como persona integrada en el proceso.

Cuando existe una responsabilidad real para esa persona, se fuerza otro nivel de atención. El problema es que estamos creando sistemas complejos, obligando a alguien a utilizarlos y después trasladando la responsabilidad al individuo. No digo necesariamente que debamos responsabilizar legalmente a las personas por las decisiones. Probablemente la responsabilidad debería permanecer en el nivel organizativo o en el nivel de la herramienta que utiliza la organización.

Pero si queremos que la participación humana funcione, la persona tiene que sentir algún grado de responsabilidad y propiedad sobre la decisión.

David Rice: Es difícil. La participación humana puede ser meramente ceremonial. Si tu cultura convierte en la opción profesional más segura aceptar lo que dice la máquina, aprendes rápidamente qué quiere realmente la organización. Si anular la recomendación significa asumir personalmente las consecuencias cuando te equivocas, pero no recibir ningún reconocimiento cuando aciertas, la decisión está automatizada en la práctica.

Claire Maiers: Exacto. No es una respuesta completa sobre la cultura que necesitamos en las organizaciones, pero estamos empezando a ver cómo encajan las piezas.

David Rice: Antes de la entrevista hiciste una comparación que me pareció interesante: no evalúas algo presentado por un analista junior del mismo modo que evalúas algo presentado por un jefe de gabinete con quien llevas años trabajando. Calibras la confianza en función de la persona, la tarea y su experiencia. ¿Podría funcionar de la misma manera nuestra relación con la IA?

Claire Maiers: En cierto modo, sí. Trabajé con un director general que hablaba de la diferencia entre confianza cognitiva y confianza afectiva, y creo que aquí se aplica.

Cuando comparas a un analista junior con un jefe de gabinete con quien tienes una larga historia, intervienen varios tipos de confianza. La confianza cognitiva responde a si crees que la persona tiene capacidad para hacer bien su trabajo. La confianza afectiva responde a si crees que tiene en cuenta tus intereses.

Con el analista junior cuestionas más la confianza cognitiva porque tiene poca experiencia y está aprendiendo. Tampoco tienes el mismo nivel de confianza afectiva que con alguien con quien has trabajado durante cinco años y con quien has construido una relación.

Eso importa porque, al confiar en una recomendación, no solo hay que calibrar de dónde procede, sino también para qué se utilizará y cuál es el riesgo de aceptarla. Un director general que debe tomar una decisión de alto riesgo examinará con mucha más atención cómo se elaboró el análisis y quién lo produjo que cuando se trata de algo reversible y de menor importancia.

Además, sé que un jefe de gabinete con quien he trabajado durante cinco años examinará con mucho más cuidado cualquier asunto de gran importancia que me presente. También calibrará su propio trabajo y comprobará las cosas con más detalle cuanto mayor sea el riesgo de la decisión.

No creo que la mayoría de los sistemas de IA haga eso. Podemos compararlos, pedir recomendaciones a distintos motores o solicitar que adopten la postura contraria. Podemos incorporar mecanismos que los obliguen a trabajar más y comprobar si existe coherencia entre las recomendaciones, pero nunca tendremos confianza afectiva en un sistema de IA.

Como no existe esa relación y, en general, el sistema trata la mayoría de las tareas de forma similar, no calibra el nivel de riesgo. Se puede aprender a calibrar la propia interpretación y experiencia con un sistema bien construido y diseñado para una finalidad concreta, pero eso es mucho pedir.

No deberías introducir decisiones estratégicas en una ventana de chat personal y aleatoria de Claude que no hayas diseñado específicamente para lo que intentas hacer, y después confiar en su recomendación. Así que mi respuesta es sí y no.

David Rice: Hay distintas formas de utilizarla. Pienso en decisiones que he tenido que tomar y que implicaban muchos factores y determinaban lo que haríamos durante el año siguiente. No recurro a la IA solo para evaluar lo que se ha hecho en el pasado. Intento crear algo específico para el asunto, como un proyecto en Claude, y darle todo el contexto posible sobre por qué la decisión es tan importante y qué intento conseguir.

Después introduzco mi razonamiento y le digo: «Esto es lo que estoy pensando. Desafíame como lo haría mi director general. Hazme preguntas que pongan a prueba mi argumento». Así puedo pensar en ello de antemano. En ese sentido puede ser una herramienta muy potente y útil. Pero no confiaría en ella para hacer el análisis y decirme simplemente: «Deberías elegir esta opción».

Claire Maiers: Cuando hiciste ese trabajo, ¿en qué punto del continuo dirías que el resultado te ayudó a expresar lo que ya pensabas frente a hacerte pensar en algo nuevo o cambiar de opinión?

David Rice: Probablemente tuvo que pasar otra capa antes de que realmente cambiara algo. Me hacía pensar: «Quizá tenga razón en eso» o «Es un buen argumento». No era la primera respuesta. La primera respuesta me hacía pensar que quizá no había explicado bien el contexto o que necesitaba darle otra capa de información sobre por qué había ocurrido algo, por qué era importante para el negocio o por qué lo veíamos como una posibilidad.

Normalmente, en las primeras respuestas encuentro fallos en su lógica: no entiende algo lo bastante bien como para comprender de dónde vengo. Después empiezas a preguntarte: «¿Estoy explicándolo demasiado? Si estuviera hablando con una persona, ¿dedicaría tiempo a explicar esto o lo dejaría pasar?». Terminas hablando con la herramienta de otra manera, porque cuando te dice algo que no parece tener sentido en contexto, piensas que debes de haber omitido información.

Claire Maiers: Lo interesante es que te obliga a exteriorizar y concretar tu pensamiento. Hay mucha investigación sobre cómo se producen la innovación, la creatividad y los descubrimientos científicos, y casi nunca suceden en aislamiento. Ocurren en conversación y en interacción social. En la medida en que la IA puede simular eso para ayudarte a desarrollar tu propio razonamiento, es un caso de uso muy interesante.

David Rice: Ahí es donde he encontrado más valor hasta ahora. Valor real, no simplemente la posibilidad de hacer más cosas. Puede haber algo de valor en eso, pero es limitado en términos de lo que realmente obtienes.

Si la IA se integra en las decisiones cotidianas que tomamos todos, o en recursos humanos —quién es contratado, cómo se evalúa el rendimiento, qué inversiones se realizan y qué se pide priorizar a los directivos—, ¿seguimos hablando de personas que utilizan una herramienta? Parece que hablamos de cambiar la forma en que sabemos lo que sabemos, y eso supone un cambio enorme. ¿Qué responsabilidad crea para los responsables de personas?

Claire Maiers: Me encanta esa formulación. Tu pregunta indica que las organizaciones son algo más que la suma de sus partes. La IA ha dejado claro que resulta útil ver las organizaciones como sistemas sociotécnicos. Eso significa que los únicos actores de una organización no son las personas; también lo es la tecnología.

Esto ya era cierto en muchas organizaciones antes de la IA, pero es difícil negarlo en un mundo en el que agentes de IA toman decisiones y actúan dentro de una organización. Los responsables de personas tienen al menos una gran cuestión que decidir: dónde trazar la línea y cuál es la visión para la organización.

No debemos asumir que es inevitable que la IA se integre en nuestras prácticas de contratación. Hay presiones del mercado difíciles de resistir, como el aumento del número de candidaturas que reciben las organizaciones, que hace tentador utilizar filtros de IA. Pero ningún líder ni ninguna organización tiene que seguir a la mayoría.

La primera decisión es hasta qué punto queremos integrar la IA. No se trata necesariamente de aumentar la productividad, sino de mejorar la calidad: la calidad de lo que vendemos o ofrecemos y también la calidad de la experiencia organizativa.

La primera responsabilidad es establecer la visión y trazar la línea. Después viene el diseño del contexto. Crear una cultura saludable dentro de una organización requiere un gran esfuerzo inicial, pero durante mucho tiempo ese trabajo ha sido el que sostiene la misión y la rentabilidad de una organización.

Hay que preguntar qué se puede automatizar y qué decisiones pueden automatizarse en el contexto en el que trabajamos sin poner en peligro a consumidores y empleados. También hay que preguntarse qué debemos hacer para crear una organización en la que las personas puedan expresar sus preocupaciones, rechazar decisiones y pensar de forma crítica.

No quiero presentar esto como una tarea pequeña. Es una tarea enorme, especialmente si no existe una base de confianza, una misión bien articulada, empleados orientados hacia esa misión o una cultura que anime a las personas a hablar.

Hay que establecer una visión y trabajar hacia atrás desde ella. ¿Qué contexto integral necesitamos crear? También necesitamos que los líderes coordinen su trabajo entre organizaciones. Las organizaciones tienden a parecerse entre sí y a hacer lo mismo que sus vecinas. Este trabajo será más fácil si, al menos dentro de cada sector, las organizaciones colaboran para crear un contexto que fomente una aplicación saludable de la IA y contribuya al florecimiento humano.

David Rice: Me gusta la idea de establecer la visión y construir el contexto. A una escala suficiente, miles de decisiones asistidas por IA, cada una razonable por separado, acabarán dando forma al comportamiento organizativo: qué se recompensa, quién asciende y muchas otras cosas.

Pero si nadie decide conscientemente que así es como debe funcionar la empresa, no creo que sea una buena situación. Cuando ya no hablamos solo de adoptar tecnología, estamos ante una cuestión de diseño organizativo.

Claire Maiers: Esto es diseño organizativo, sí. Y a menudo queda relegado. La alta dirección puede centrarse en cuál es el modelo de negocio y olvidar que la organización es el motor que permite alcanzarlo. Necesita tanta atención como el modelo de negocio. El modelo operativo también necesita tanta atención.

David Rice: Ha sido una conversación estupenda. Gracias por acompañarnos.

Claire Maiers: Ha sido muy divertido e inspirador. Muchas gracias.

David Rice: Oyentes, hasta la próxima. Si aún no lo habéis hecho, visitad peoplemanagingpeople.com/subscribe o /ai-signal y suscribíos a nuestros boletines. Encontraréis AI Signal y nuestro boletín habitual de resumen.

Recibiréis en vuestra bandeja de entrada todas las novedades de peoplemanagingpeople.com, incluidas las conversaciones de este pódcast. Hasta la próxima: estableced la visión y construid el contexto. Nos vemos.

Realiza evaluaciones del rendimiento e incorpora información sobre el compromiso de los empleados a tu herramienta de IA favorita. Conecta Teamflect con ChatGPT, Claude o cualquier modelo de lenguaje de gran tamaño para revisar objetivos, redactar evaluaciones, analizar comentarios, crear tareas y mucho más, todo mediante un sencillo chat. Prueba Teamflect gratis ahora.