Lo que tus agentes no pueden terminar sin ti
Cambio fundamental: Upwork ahora vende la entrega de trabajo, donde los sistemas combinan personas y máquinas para lograr resultados en lugar de cubrir puestos.
Límites de la evaluación comparativa: La evaluación comparativa de automatización de Upwork probó trabajos seleccionados y de baja complejidad, por lo que sus resultados no pueden representar la mayor parte del trabajo de la plataforma.
Valor humano: Los comentarios humanos mejoraron la finalización por parte de los agentes, pero requirieron mucho más tiempo y nunca produjeron un éxito fiable en todos los trabajos.
Brecha de verificación: La automatización funciona mejor cuando los resultados cuentan con comprobaciones objetivas; el trabajo que depende del criterio y que abarca varias funciones aún necesita la responsabilidad directa de una persona.
Prueba empresarial: Mide la automatización por los resultados aceptados, considera la revisión experta como parte de la producción y protege los puestos de nivel intermedio que desarrollan el criterio futuro.
Upwork ha dejado de llamarse un mercado de talento. Ahora, el término es «plataforma de entrega de trabajo», y el cambio va más allá del posicionamiento.
En un mercado, un cliente contrata a una persona. En una plataforma de entrega de trabajo, un cliente define un resultado y el sistema decide qué combinación de personas y máquinas lo produce.
Andrew Rabinovich, quien dirige el área de IA en Upwork, describe la unidad que se compra como algo más pequeño que un trabajo y más pequeño que un puesto. Dos décadas de datos de la plataforma, afirmó en AI4, sugieren que la enorme variedad de trabajos publicados en Upwork se descompone en aproximadamente entre 500 y 1.000 tareas recurrentes. Las llama «unidades atómicas de trabajo», funciones básicas que se recombinan en cualquier encargo que un cliente pueda publicar.
Sigue leyendo—y sigue liderando de manera más inteligente
Crea una cuenta gratuita para terminar este artículo y unirte a una comunidad de líderes visionarios que están desbloqueando herramientas, guías prácticas e ideas para prosperar en la era de la IA.
Have an account? Log In
Una empresa que pretende vender trabajo descompuesto hereda una obligación. Tiene que saber qué piezas descompuestas puede terminar una máquina por sí sola, y debe saberlo con la suficiente precisión como para respaldar esa respuesta con dinero.
Por eso, Upwork sometió trabajos reales de clientes a una evaluación comparativa, publicó los resultados como el Índice de productividad Humano+Agente y documentó la metodología en un artículo publicado a través de arXiv en diciembre.
El hallazgo principal es lo que terminaron los agentes. El hallazgo más útil es cuánto cuesta lograr que lo terminen y quién acaba asumiendo ese coste.
El trabajo más favorable para la automatización
La metodología merece más atención que los resultados, porque establece el límite de lo que estos pueden significar.
Upwork seleccionó 322 trabajos reales que ya habían sido publicados por clientes de pago y completados con aceptación del cliente por trabajadores independientes humanos. Trabajadores independientes expertos redactaron una rúbrica para cada uno, con entre 5 y 20 criterios de aceptación, clasificados como críticos, importantes, opcionales y riesgos. Un trabajo contaba como completado únicamente si se superaban todos los criterios críticos e importantes.
Tres modelos realizaron el trabajo: Claude, Gemini y GPT-5.
Los criterios de selección son el punto en el que un ejecutivo debería detenerse. Los trabajos se limitaron a contratos de precio fijo, con un único hito y un alcance claramente definido. Las duraciones iban de nueve horas a más de 100 días, por lo que no eran uniformemente microtareas. Se excluyeron los trabajos abiertos y complejos con el argumento declarado de que los agentes no tenían ninguna posibilidad razonable de completarlos.
Upwork describe esa categoría excluida como la gran mayoría de lo que se realiza en la plataforma.
Hay otra limitación importante para cualquiera que esté a punto de descartar los resultados. Los agentes se mantuvieron deliberadamente básicos. Cada uno leía la publicación del trabajo y los archivos adjuntos, elaboraba un plan, producía un entregable y se detenía. No realizaban búsquedas en la web, no tenían acceso a datos externos, no disponían de herramientas adicionales ni habían sido entrenados en el tipo de tarea.
Como resultado, los autores señalan que los hallazgos no son representativos de sistemas con abundantes herramientas y describen sus propias cifras como estimaciones conservadoras.
Por tanto, cada cifra que aparece a continuación se midió sobre el trabajo más sencillo disponible, después de eliminar de antemano los casos difíciles y utilizando agentes despojados de las herramientas que realmente implementan la mayoría de las empresas.
El soporte administrativo es más difícil de lo que parece
Trabajando por sí solos, los agentes superaron todos los criterios en entre el 4 % y el 68 % de los trabajos, dependiendo de la categoría y del modelo. El desarrollo web y de software se situó en la parte superior. La ciencia de datos le siguió de cerca.
El soporte administrativo quedó último de media entre los tres modelos, con una puntuación del 6 % en dos de ellos.
Ese orden contradice directamente la forma en que se secuencian la mayoría de las hojas de ruta de automatización. El trabajo administrativo se suele abordar primero, partiendo de la suposición razonable de que es lo más sencillo de la organización.
La evaluación comparativa sugiere que ser fácil de describir y ser fácil de verificar son propiedades distintas, y solo la segunda predice si un agente puede terminar el trabajo.
El propio planteamiento de Rabinovich muestra lo fácil que es hacer esa suposición. Cuando le preguntaron por el efecto en los trabajadores independientes, describió los trabajos de bajo nivel, como crear logotipos y redactar resúmenes, como actividades que ya se habían automatizado por completo. La evaluación comparativa de su empresa obtuvo para la redacción una puntuación de entre el 4 % y el 51 %, dependiendo del modelo, con Gemini en la parte inferior de ese rango. La intuición y la medición apuntan en direcciones distintas.
Añadir una ronda de comentarios de expertos elevó la finalización general de todos los modelos. Claude pasó del 39,8 % al 51,2 % en tareas de baja complejidad después de una sola intervención humana. Gemini pasó del 19,9 % al 32,3 %. GPT-5 pasó del 19,6 % al 33,5 %. En términos absolutos, eso supone una mejora de entre 11 y 14 puntos porcentuales gracias a una única intervención humana.
Upwork presenta la parte superior del rango relativo como un incremento de hasta el 70 %, lo cual es una operación aritmética precisa sobre la baja línea base de GPT-5 y merece leerse junto con las cifras absolutas.
El movimiento a nivel de categoría fue desigual. La finalización de tareas de ciencia de datos de Claude pasó del 64 % al 93 %. La redacción de Gemini pasó del 4 % al 16 %. La ciencia de datos de Gemini no cambió en absoluto.
Nada alcanzó el 100 %. Ni siquiera en el trabajo más sencillo disponible, con un experto guiándolo.
La verificación es la parte que no hemos resuelto
Rabinovich sitúa la proporción cualitativa del trabajo en la plataforma por encima del 90 %, y es directo sobre lo que eso significa para la evaluación. El trabajo determinista lleva incorporada su propia comprobación. Una traducción puede ser verificada por otro modelo. El código compila y supera las pruebas, o no lo hace. Para todo lo demás, la única verificación disponible consiste en que una persona con criterio examine el resultado y decida si es bueno o no.
Lo describió como algo en gran medida no resuelto, y fue más allá.
Resuelve la validación fiable de los resultados cualitativos y habrás resuelto, más o menos, la IA.
Los autores del estudio son cuidadosos con respecto a lo que sus propias cifras demuestran sobre este punto. No realizaron segundos intentos comparables exclusivamente con agentes en los trabajos que fallaron, lo que significa que la mejora no puede separarse del efecto de permitir simplemente que el modelo lo intente de nuevo. Esa es su declaración, incluida en sus limitaciones.
Lo que establece el punto de referencia es más limitado de lo que sugiere el planteamiento de Upwork. Un segundo intento después de recibir comentarios de un experto supera a un primer intento. No se ha medido cuánto corresponde a los comentarios y cuánto al reintento.
El techo es el hallazgo duradero. En condiciones seleccionadas para favorecer el éxito del agente, aproximadamente uno de cada cinco trabajos que fallaron inicialmente fue recuperado mediante un segundo intento guiado por una persona, y la finalización alcanzó un máximo del 51 % con el modelo más potente. Las ejecuciones guiadas por personas también tardaron unas cuatro veces más: 14,5 minutos frente a 3,6.
La propia decisión de producto de Upwork apunta en la misma dirección. UMA, el sistema de IA insignia de la empresa, se diseñó como un agente de orquestación y no como un trabajador. Interpreta la intención, la descompone, dirige las partes a personas o máquinas y comprueba el resultado. No realiza la tarea.
Una empresa con todos los incentivos comerciales para vender una ejecución autónoma diseñó su sistema central en torno al supuesto de que una persona permanece involucrada en el trabajo.
Dos preguntas antes de financiar un flujo de trabajo
Hay dos preguntas clave que es importante plantearse sobre lo que se quiere que hagan los agentes.
¿Se puede comprobar el resultado con algo objetivo? Un conjunto de pruebas, una conciliación, una norma de cumplimiento o una cifra que coincide o no.
¿El trabajo se mantiene dentro de una sola función y un solo formato? ¿O pasa de la parte administrativa a la interfaz, luego a los textos y después a la aprobación de marca antes de que alguien pueda darlo por terminado?
Comprobación objetiva más trabajo autónomo es donde deben estar los agentes autónomos. Fináncialo, mídelo y amplíalo.
Comprobación objetiva más trabajo interfuncional normalmente significa que las piezas se pueden automatizar, pero no las conexiones entre ellas. Automatiza los componentes y mantén a una persona responsable de las transferencias.
Basado en el criterio más autónomo es el cuadrante que produjo los mayores incrementos del punto de referencia, y es aquel al que se asigna mal el presupuesto. Más sobre esto a continuación.
Basado en el criterio más trabajo interfuncional es donde los agentes fallaron en todas las categorías que probó Upwork. Trátalo como trabajo humano con asistencia de IA y deja de prometer una cifra de puestos de trabajo para ello.
El propio modelado económico de Upwork llega aproximadamente al mismo punto. El agente por sí solo gana en tareas de poco valor donde el coste del fallo es reducido, la colaboración gana en el punto intermedio y la ejecución completamente humana gana en trabajos de alto valor donde un resultado deficiente cuesta más de lo que ahorra la automatización.
El trabajo que Upwork eligió mostrar
La página de HAPI incluye cinco trabajos de muestra con entregables que se pueden descargar. Uno es una tarea de generación de clientes potenciales. Filtrar una hoja de cálculo de aplicaciones móviles para quedarse con las que tienen su sede en Estados Unidos, encontrar entre dos y cuatro contactos de mercadotecnia en cada una y completar nueve columnas con nombre.
Comprobable objetivamente. Una sola función, un solo formato. Los criterios de evaluación son visibles en la página y ninguno de ellos requiere criterio subjetivo.
Ambos entregables no superaron la evaluación. El agente trabajando solo falló. El agente trabajando con un experto, un profesional independiente que lo guiaba, también falló.
Upwork publicó eso en su propia página de marketing, junto a una afirmación de que la colaboración aumenta la finalización hasta un 70 %. Hay que reconocerle a la empresa que lo haya divulgado y luego extraer la lección, porque ese trabajo se parece mucho a lo que las empresas ya están asignando a un agente.
¿La persona adecuada supervisando?
Todos los materiales de los proveedores presentan a la persona supervisora como una función de seguridad. Lee los criterios de evaluación y surge una pregunta diferente.
Todos los evaluadores de Upwork tenían una puntuación de éxito laboral del 100 %, con el estado Top Rated o Top Rated Plus. En conjunto, habían ganado más de 1 millón de dólares en la plataforma a lo largo de más de 96.000 horas.
Ese es el extremo superior de un mercado global de talento. También es la única población de evaluadores que se puso a prueba. El estudio señala que el equipo no perfiló la experiencia de los evaluadores ni estudió cómo los antecedentes de un evaluador modifican el valor de sus comentarios. No hubo una condición con evaluadores júnior.
Por tanto, cada cifra del estudio describe el mejor escenario posible para la supervisión humana, mientras que nadie ha medido el efecto de asignar ese papel a quienquiera que tuviera disponibilidad.
Ese es mi argumento, no el del estudio comparativo, y conlleva dos consecuencias que la mayoría de los planes de personal no han presupuestado.
La primera es que la revisión es capacidad productiva, no un gasto general. En el cuadrante basado en el criterio, el experto no es un punto de control añadido a un proceso automatizado. El experto es el elemento que convierte un borrador en algo listo para entregar, y la diferencia de tiempo de cuatro veces entre ambas condiciones es el coste de ese elemento.
Si la clasificas como supervisión, subestimas el flujo de trabajo y exageras los ahorros. Las cuentas que justificaron la inversión dejan de describir el proceso que realmente construiste.
La segunda consecuencia es más lenta y peor. Todo plan que reduzca los puestos de nivel intermedio para financiar el gasto en AI también está recortando la población que, en tres años, alcanza suficiente experiencia para invalidar la decisión de un modelo.
El criterio experto no es una credencial, sino un residuo. Se acumula haciendo el trabajo, mal al principio, mientras alguien con más experiencia te corrige. Automatiza los peldaños iniciales y conservas a los revisores de hoy, pero eliminas el mecanismo que produce a los de mañana.
Eso es un problema de liderazgo antes que de personal, y corresponde a quien firma el caso de negocio de la automatización.
Si los agentes se convierten en compradores, el criterio es el producto
La interpretación de Rabinovich sobre el rumbo de este mercado es que los agentes se convierten en una fuente de demanda, en lugar de ser únicamente una fuente de oferta. Un modelo que trabaja en una tarea que no puede verificar —una pregunta médica, una recomendación de restaurante o cualquier otra cosa basada en el gusto— contrata a una persona en tiempo real para comprobarla. La persona no entrega el proyecto; simplemente valida el resultado.
Eso lo dice un ejecutivo de la plataforma al describir el potencial de crecimiento de su propia empresa, y debe valorarse como tal.
La consecuencia para la fuerza laboral se mantiene independientemente de que el mecanismo adopte esa forma. Si la verificación es la contribución humana duradera, entonces los puestos que conservan valor se definen por el criterio sobre la calidad del resultado, no por el volumen de producción.
Actualmente, esos puestos están dispersos entre niveles de experiencia, familias profesionales y centros de costes que a menudo no se han mapeado, lo que significa que la mayoría de las organizaciones no pueden decir quiénes los ocupan ni cuánto costaría sustituirlos.
Cuatro medidas
Entonces, ¿qué puedes hacer para evaluar si estás preparado para empezar a delegar tareas a los agentes y que completen al menos parte del trabajo?
- Extrae diez resultados de tu flujo de trabajo más automatizado y muéstraselos a quien antes se encargaba de ese trabajo. Pregunta cuántos habría enviado a un cliente sin cambios. Esa cifra es tu verdadera tasa de automatización.
- Para cada flujo de trabajo automatizado, identifica a la persona con autoridad para rechazar el resultado. Después, comprueba si puede ejercerla sin escalar el asunto.
- Reclasifica el tiempo de revisión en los flujos de trabajo que se encuentren en el cuadrante del criterio. Pásalo de supervisión a producción y vuelve a calcular el caso de negocio.
- Lee en tus contratos con proveedores qué significa finalización. La aceptación puntuada según cada criterio y la afirmación de que se ha «intentado realizar la tarea» son declaraciones diferentes, y solo una de ellas es lo que midió el estudio comparativo.