Lo que tus agentes no pueden terminar sin ti
Cambio fundamental: Upwork ahora vende la entrega de trabajo, donde los sistemas combinan personas y máquinas para lograr resultados en lugar de cubrir puestos.
Límites de la evaluación comparativa: La evaluación comparativa de automatización de Upwork probó trabajos seleccionados de baja complejidad, por lo que sus resultados no pueden representar la mayor parte del trabajo de la plataforma.
Valor humano: La retroalimentación humana mejoró la finalización por parte de los agentes, pero requirió mucho más tiempo y nunca produjo resultados fiables en todos los trabajos.
Brecha de verificación: La automatización funciona mejor cuando los resultados tienen comprobaciones objetivas; el trabajo que depende mucho del criterio y requiere colaboración entre distintas funciones aún necesita una persona responsable que se haga cargo.
Prueba empresarial: Mide la automatización según los resultados aceptados, calcula la revisión de expertos como parte de la producción y protege los puestos de nivel intermedio que desarrollan el criterio del futuro.
Upwork ha dejado de llamarse un mercado de talento. Ahora, el término es «plataforma de entrega de trabajo», y el cambio va más allá del posicionamiento.
En un mercado, un cliente contrata a una persona. En una plataforma de entrega de trabajo, un cliente define un resultado y el sistema decide qué combinación de personas y máquinas lo produce.
Andrew Rabinovich, quien dirige la IA en Upwork, describe la unidad que se compra como algo más pequeño que un trabajo y más pequeño que un puesto. Dos décadas de datos de la plataforma, afirmó en AI4, sugieren que la enorme variedad de trabajo publicado en Upwork se descompone en aproximadamente entre 500 y 1.000 tareas recurrentes. Las llama «unidades atómicas de trabajo», funciones base que se recombinan para formar cualquier encargo que un cliente pueda publicar.
Sigue leyendo—y sigue liderando de manera más inteligente
Crea una cuenta gratuita para terminar este artículo y unirte a una comunidad de líderes visionarios que están desbloqueando herramientas, guías prácticas e ideas para prosperar en la era de la IA.
Have an account? Log In
Una empresa que pretende vender trabajo descompuesto asume una obligación. Tiene que saber qué partes descompuestas puede completar una máquina por sí sola, y tiene que saberlo con suficiente precisión como para respaldar la respuesta con dinero.
Por eso, Upwork ejecutó trabajos reales de clientes mediante una prueba de referencia, publicó los resultados como el Índice de productividad humana y de agentes y documentó la metodología en un artículo publicado a través de arXiv en diciembre.
El hallazgo principal es lo que completaron los agentes. El hallazgo más útil es cuánto cuesta conseguir que lo completen y quién termina asumiendo ese coste.
El trabajo más favorable para la automatización
La metodología merece más atención que los resultados, porque establece el límite de lo que estos pueden significar.
Upwork seleccionó 322 trabajos reales ya publicados por clientes de pago y ya completados y aceptados por ellos, realizados por trabajadores autónomos humanos. Trabajadores autónomos expertos redactaron una rúbrica para cada uno, con entre 5 y 20 criterios de aceptación, clasificados como críticos, importantes, opcionales y posibles problemas. Un trabajo se consideraba completo solo si se cumplían todos los criterios críticos e importantes.
Tres modelos realizaron el trabajo: Claude, Gemini y GPT-5.
Los criterios de selección son el punto en el que un directivo debería detenerse. Los trabajos se limitaron a contratos de precio fijo, con un único hito y un alcance claramente definido. Las duraciones iban de nueve horas a más de 100 días, por lo que no eran uniformemente microtareas. Se excluyeron los trabajos abiertos y complejos con el argumento declarado de que los agentes no tenían ninguna posibilidad razonable de completarlos.
Upwork describe esa categoría excluida como la gran mayoría de lo que se realiza en la plataforma.
Hay otra limitación importante para cualquiera que esté a punto de descartar los resultados. Los agentes se mantuvieron deliberadamente básicos. Cada uno leía la publicación del trabajo y los archivos adjuntos, elaboraba un plan, producía un entregable y se detenía. No podían buscar en la web, acceder a datos externos ni utilizar herramientas adicionales, y no recibieron entrenamiento sobre el tipo de tarea.
Como consecuencia, los autores señalan que los hallazgos no son representativos de sistemas con muchas herramientas y describen sus propias cifras como estimaciones conservadoras.
Por tanto, cada cifra que aparece a continuación se midió sobre el trabajo más sencillo disponible, después de eliminar de antemano los casos difíciles, utilizando agentes despojados de las herramientas que realmente implementan la mayoría de las empresas.
La asistencia administrativa es más difícil de lo que parece
Trabajando solos, los agentes cumplieron todos los criterios en entre el 4 % y el 68 % de los trabajos, según la categoría y el modelo. El desarrollo web y de software se situó en la parte superior. La ciencia de datos le siguió de cerca.
La asistencia administrativa quedó última de media entre los tres modelos, con una puntuación del 6 % en dos de ellos.
Ese orden contradice directamente la forma en que se secuencian la mayoría de las hojas de ruta de automatización. El trabajo administrativo se aborda primero, partiendo de la suposición razonable a primera vista de que es lo más sencillo del edificio.
La prueba de referencia sugiere que la facilidad para describir algo y la facilidad para verificarlo son propiedades independientes, y solo la segunda predice si un agente puede completar el trabajo.
El propio planteamiento de Rabinovich muestra lo fácil que es adoptar esa suposición. Cuando le preguntaron por el efecto sobre los trabajadores autónomos, describió los trabajos de bajo nivel, como crear logotipos y escribir resúmenes de cosas, como tareas que ya se han automatizado por completo. La prueba de referencia de su empresa puntuó la redacción entre el 4 % y el 51 %, según el modelo, con Gemini en la parte inferior de ese intervalo. La intuición y la medición apuntan en direcciones distintas.
Añadir una ronda de comentarios de expertos mejoró la finalización general de todos los modelos. Claude pasó del 39,8 % al 51,2 % en tareas de baja complejidad después de una sola intervención humana. Gemini pasó del 19,9 % al 32,3 %. GPT-5 pasó del 19,6 % al 33,5 %. En términos absolutos, eso supone una mejora de entre 11 y 14 puntos porcentuales gracias a una sola intervención humana.
Upwork presenta la parte superior del rango relativo como un incremento de hasta el 70 %, lo cual es una operación aritmética correcta sobre la baja línea base de GPT-5 y merece leerse junto con las cifras absolutas.
El comportamiento por categoría fue desigual. La finalización de tareas de ciencia de datos de Claude pasó del 64 % al 93 %. La redacción de Gemini pasó del 4 % al 16 %. La ciencia de datos de Gemini no cambió en absoluto.
Nada alcanzó el 100 %. Ni siquiera en el trabajo más sencillo disponible y con un experto guiándolo.
La verificación es la parte que no hemos resuelto
Rabinovich sitúa la proporción cualitativa del trabajo en la plataforma por encima del 90 %, y es directo sobre lo que eso significa para la evaluación. El trabajo determinista lleva incorporada su propia comprobación. Una traducción puede ser verificada por otro modelo. El código compila y supera las pruebas, o no lo hace. Para todo lo demás, la única verificación disponible es una persona con criterio que examine el resultado y decida si es bueno o no.
Lo describió como un problema en gran medida no resuelto, y fue más allá.
Resuelve la validación fiable de resultados cualitativos y, más o menos, habrás resuelto la IA.
Los autores del estudio son cuidadosos con respecto a lo que sus propias cifras demuestran sobre este punto. No realizaron segundos intentos comparables realizados únicamente por agentes en los trabajos que habían fallado, lo que significa que la mejora no puede separarse del efecto de permitir simplemente que el modelo lo intentara de nuevo. Esa es su declaración, incluida en sus limitaciones.
Lo que establece el punto de referencia es más limitado de lo que sugiere el planteamiento de Upwork. Un segundo intento después de recibir comentarios de un experto supera a un primer intento. No se ha medido qué parte corresponde a los comentarios y qué parte al nuevo intento.
El límite máximo es el hallazgo más sólido. En condiciones seleccionadas para favorecer el éxito del agente, aproximadamente uno de cada cinco trabajos que inicialmente habían fallado fue rescatado mediante un segundo intento guiado por una persona, y la finalización llegó como máximo al 51 % con el modelo más potente. Las ejecuciones guiadas por personas también tardaron unas cuatro veces más: 14,5 minutos frente a 3,6.
La propia decisión de producto de Upwork apunta en la misma dirección. UMA, el sistema de IA insignia de la empresa, se creó como un agente de orquestación en lugar de como un trabajador. Interpreta la intención, la descompone, dirige las partes a personas o máquinas y comprueba el resultado. No realiza la tarea.
Una empresa con todos los incentivos comerciales para vender una ejecución autónoma diseñó su sistema central partiendo de la suposición de que una persona permanece involucrada en el trabajo.
Dos preguntas antes de financiar un flujo de trabajo
Hay dos preguntas clave que es importante plantearse sobre lo que se quiere que hagan los agentes.
¿Se puede comprobar el resultado con algo objetivo? Un conjunto de pruebas, una conciliación, una regla de cumplimiento o una cifra que coincide o no coincide.
¿El trabajo se mantiene dentro de una sola función y un solo formato? ¿O pasa del backend al frontend, luego al texto y después a la aprobación de la marca antes de que alguien pueda darlo por terminado?
Comprobación objetiva más trabajo autónomo es el ámbito al que pertenecen los agentes autónomos. Fináncialo, mídelo y amplíalo.
Comprobación objetiva más trabajo interfuncional suele significar que las piezas se pueden automatizar, pero no las conexiones entre ellas. Automatiza los componentes y mantén a una persona responsable de las transferencias.
Basado en el criterio más autónomo es el cuadrante que produjo los mayores incrementos del punto de referencia, y es el que se presupuesta de forma equivocada. Más información a continuación.
Basado en el criterio más interfuncional es donde los agentes fallaron en todas las categorías que probó Upwork. Trátalo como trabajo humano con asistencia de IA y deja de prometer una cifra de reducción de personal para ello.
El propio modelo económico de Upwork llega aproximadamente al mismo punto. El trabajo realizado solo por agentes gana en tareas de bajo valor donde el coste del fallo es pequeño, la colaboración gana en el punto intermedio y la ejecución completamente humana gana en trabajos de alto valor donde un resultado deficiente cuesta más de lo que ahorra la automatización.
El trabajo que Upwork eligió mostrar
La página de HAPI incluye cinco trabajos de muestra con entregables que se pueden descargar. Uno es una tarea de generación de clientes potenciales. Hay que filtrar una hoja de cálculo de aplicaciones móviles para quedarse con las que tienen su sede en Estados Unidos, encontrar entre dos y cuatro contactos de marketing en cada una y completar nueve columnas con nombre.
Objetivamente comprobable. Una sola función, un solo formato. Los criterios de la rúbrica son visibles en la página y ninguno de ellos requiere buen gusto.
Ambos entregables fueron marcados como fallidos en la evaluación. El agente trabajando por su cuenta falló. El agente trabajando con un experto, guiado por un profesional independiente, también falló.
Upwork publicó eso en su propia página de marketing, junto a una afirmación de que la colaboración aumenta la finalización hasta en un 70 %. Hay que reconocerle a la empresa la transparencia y luego extraer la lección, porque ese trabajo se parece mucho a lo que las empresas ya están asignando a un agente.
¿La persona adecuada interviene en el proceso?
Todas las presentaciones de los proveedores venden la intervención humana en el proceso como una función de seguridad. Lee los criterios de evaluación y surge una pregunta diferente.
Todos los evaluadores de Upwork tenían una puntuación de éxito laboral del 100 %, con el estado Mejor valorado o Mejor valorado Plus. En conjunto, habían ganado más de 1 millón de dólares en la plataforma a lo largo de más de 96.000 horas.
Eso representa la cima de un mercado global de talento. También es la única población de evaluadores que se puso a prueba. El estudio señala que el equipo no perfiló la experiencia de los evaluadores ni estudió cómo los antecedentes de un evaluador modifican el valor de sus comentarios. No hubo una condición con evaluadores júnior.
Por tanto, cada cifra del estudio describe el mejor escenario posible para la supervisión humana, y nadie ha medido el efecto de asignar ese papel a quien tuviera disponibilidad.
Ese es mi argumento, no el del estudio de referencia, y conlleva dos consecuencias que la mayoría de los planes de fuerza laboral no han calculado.
La primera es que la revisión es capacidad productiva, no un coste indirecto. En el cuadrante basado en el criterio, el experto no es un punto de control añadido a un proceso automatizado. El experto es el elemento que convierte un borrador en algo que se puede entregar, y la diferencia de tiempo de cuatro veces entre ambas condiciones es el coste de ese elemento.
Si la clasificas como supervisión, subestimas el flujo de trabajo y exageras los ahorros. Las cuentas que justificaron la inversión dejan de describir el proceso que realmente construiste.
La segunda consecuencia es más lenta y peor. Todo plan que reduzca los puestos de nivel intermedio para financiar el gasto en IA también está recortando la población que, en tres años, llegará a tener la suficiente experiencia para contradecir a un modelo.
El criterio experto no es una credencial, sino un residuo. Se acumula haciendo el trabajo, mal al principio, mientras alguien con más experiencia te corrige. Automatiza los primeros peldaños y conservarás a los revisores de hoy, pero eliminarás el mecanismo que produce a los de mañana.
Eso es un problema de liderazgo antes que de dotación de personal, y corresponde a quien firma el caso de negocio de la automatización.
Si los agentes se convierten en compradores, el criterio es el producto
La interpretación de Rabinovich sobre el rumbo que tomará este mercado es que los agentes se conviertan en una fuente de demanda, en lugar de ser únicamente una fuente de oferta. Un modelo que trabaja en una tarea que no puede verificar, ya sea una pregunta médica, una recomendación de restaurante o cualquier otra cosa basada en el gusto, contrata a una persona en tiempo real para que la compruebe. La persona no entrega el proyecto, simplemente valida el resultado.
Eso lo dice un ejecutivo de una plataforma al describir el potencial de crecimiento de su propia empresa, y debe valorarse como tal.
La implicación para la fuerza laboral se mantiene independientemente de que el mecanismo llegue a adoptar esa forma. Si la verificación es la contribución humana duradera, entonces los puestos que conservan su valor se definen por el criterio sobre la calidad del resultado, no por el volumen de producción.
Actualmente, esos puestos están dispersos entre niveles de experiencia, familias profesionales y centros de costes que a menudo no se han mapeado, lo que significa que la mayoría de las organizaciones no puede decir quiénes los ocupan ni cuánto costaría reemplazarlos.
Cuatro acciones
Entonces, ¿qué puedes hacer para evaluar si estás preparado para empezar a delegar tareas en agentes para que completen al menos una parte del trabajo?
- Extrae diez resultados de tu flujo de trabajo más automatizado y muéstraselos a quien solía encargarse de ese trabajo. Pregunta cuántos habría enviado a un cliente sin cambios. Esa cifra es tu tasa real de automatización.
- Para cada flujo de trabajo automatizado, identifica a la persona con autoridad para rechazar el resultado. Después, comprueba si puede ejercerla sin escalar el asunto.
- Reclasifica el tiempo de revisión en los flujos de trabajo que se encuentren en el cuadrante del criterio. Trasládalo de supervisión a producción y vuelve a ejecutar el caso de negocio.
- Lee tus contratos con los proveedores para comprobar qué significa finalización. La aceptación puntuada según una rúbrica frente a cada criterio y la expresión «tarea intentada» son afirmaciones diferentes, y solo una de ellas es lo que midió el estudio de referencia.
