Cosa i tuoi agenti non possono portare a termine senza di te
Cambiamento fondamentale: Upwork ora vende la realizzazione del lavoro, in cui i sistemi combinano persone e macchine per ottenere risultati invece di ricoprire ruoli.
Limiti del benchmark: Il benchmark sull'automazione di Upwork ha testato attività selezionate e a bassa complessità, quindi i suoi risultati non possono rappresentare la maggior parte del lavoro sulla piattaforma.
Valore umano: Il feedback umano ha migliorato il completamento da parte degli agenti, ma ha richiesto molto più tempo e non ha mai prodotto risultati affidabili per tutte le attività.
Divario nella verifica: L'automazione funziona meglio quando i risultati possono essere sottoposti a controlli oggettivi; il lavoro che richiede molto giudizio e coinvolge più funzioni ha ancora bisogno di una responsabilità umana ben definita.
Verifica aziendale: Misura l'automazione in base ai risultati accettati, considera la revisione degli esperti come parte della produzione e proteggi i ruoli di livello intermedio che sviluppano il giudizio futuro.
Upwork ha smesso di definirsi un marketplace di talenti. Ora il termine è «piattaforma per l'erogazione del lavoro» e il cambiamento va oltre il semplice posizionamento.
In un marketplace, un cliente assume una persona. Su una piattaforma per l'erogazione del lavoro, un cliente indica un risultato e il sistema decide quale combinazione di persone e macchine sia in grado di produrlo.
Andrew Rabinovich, che dirige il settore dell'IA presso Upwork, descrive l'unità acquistata come qualcosa di più piccolo di un lavoro e di un ruolo. Due decenni di dati della piattaforma, ha dichiarato ad AI4, suggeriscono che l'enorme varietà di lavori pubblicati su Upwork si scomponga in circa 500-1.000 attività ricorrenti. Le definisce «unità atomiche di lavoro», funzioni di base che si ricombinano in qualsiasi incarico un cliente possa pubblicare.
Continua a leggere—e continua a guidare con intelligenza
Crea un account gratuito per terminare la lettura e unirti a una community di leader lungimiranti che sbloccano strumenti, playbook e approfondimenti per prosperare nell'era dell'IA.
Have an account? Log In
Un'azienda che intende vendere lavoro scomposto eredita un obbligo. Deve sapere quali parti scomposte una macchina può completare autonomamente e deve saperlo con una precisione sufficiente per investire denaro sulla base di questa risposta.
Perciò Upwork ha sottoposto lavori reali di clienti a un benchmark, ha pubblicato i risultati come Indice di produttività umano-agente e ha documentato la metodologia in un articolo pubblicato tramite arXiv a dicembre.
Il risultato principale riguarda ciò che gli agenti hanno portato a termine. Quello più utile riguarda il costo necessario per far sì che lo portino a termine e chi, alla fine, sostenga quel costo.
Il lavoro più favorevole all'automazione
La metodologia merita più attenzione dei risultati, perché stabilisce il limite superiore di ciò che i risultati possono significare.
Upwork ha selezionato 322 lavori reali già pubblicati da clienti paganti e già completati con l'accettazione del cliente da freelance umani. Freelance esperti hanno redatto una griglia di valutazione per ciascuno, con un numero di criteri di accettazione compreso tra 5 e 20, suddivisi in critici, importanti, opzionali e criticità da evitare. Un lavoro veniva considerato completato solo se superava ogni criterio critico e importante.
Tre modelli hanno eseguito il lavoro: Claude, Gemini e GPT-5.
I criteri di selezione sono il punto su cui un dirigente dovrebbe soffermarsi. I lavori erano limitati a contratti a prezzo fisso, con una singola milestone e un ambito chiaramente definito. La durata variava da nove ore a più di 100 giorni, quindi non si trattava uniformemente di micro-attività. Il lavoro aperto e complesso è stato escluso sulla base del fatto dichiarato che gli agenti non avevano ragionevoli possibilità di portarlo a termine.
Upwork descrive la categoria esclusa come la stragrande maggioranza di ciò che viene svolto sulla piattaforma.
Un altro vincolo è importante per chiunque stia per liquidare i risultati. Gli agenti sono stati mantenuti deliberatamente basilari. Ognuno leggeva l'annuncio del lavoro e gli eventuali allegati, elaborava un piano, produceva un risultato e si fermava. Nessuna ricerca sul web, nessun accesso a dati esterni, nessuno strumento aggiuntivo e nessun addestramento sul tipo di attività.
Di conseguenza, gli autori osservano che i risultati non sono rappresentativi dei sistemi ricchi di strumenti e descrivono i propri numeri come stime conservative.
Ogni dato riportato di seguito è stato quindi misurato sul lavoro più semplice disponibile, dopo aver rimosso in anticipo i casi difficili e utilizzando agenti privati degli strumenti che la maggior parte delle aziende effettivamente implementa.
Il supporto amministrativo è più difficile di quanto sembri
Lavorando da soli, gli agenti hanno superato ogni criterio in una percentuale di lavori compresa tra il 4% e il 68%, a seconda della categoria e del modello. Lo sviluppo web e software si è collocato in cima. La data science lo ha seguito da vicino.
Il supporto amministrativo si è classificato ultimo in media tra i tre modelli, con un punteggio del 6% in due di essi.
Questo ordine contrasta direttamente con il modo in cui vengono generalmente sequenziate le roadmap di automazione. Il lavoro amministrativo viene preso di mira per primo, sulla base dell'ipotesi, apparentemente ragionevole, che sia l'attività più semplice dell'organizzazione.
Il benchmark suggerisce che la facilità di descrizione e la facilità di verifica sono proprietà distinte e che solo la seconda predice se un agente sia in grado di completare il lavoro.
La stessa impostazione di Rabinovich mostra quanto sia facile formulare questa ipotesi. Alla domanda sull'effetto sui freelance, ha descritto i lavori di basso livello, come creare loghi e scrivere riassunti di contenuti, come attività già completamente automatizzate. Il benchmark della sua azienda ha assegnato alla scrittura un punteggio compreso tra il 4% e il 51%, a seconda del modello, con Gemini in fondo a questo intervallo. L'intuizione e la misurazione indicano direzioni diverse.
L'aggiunta di un ciclo di feedback da parte di esperti ha aumentato il completamento complessivo per ogni modello. Claude è passato dal 39,8% al 51,2% nelle attività a bassa complessità dopo un solo intervento umano. Gemini è passato dal 19,9% al 32,3%. GPT-5 è passato dal 19,6% al 33,5%. In termini assoluti, si tratta di un miglioramento compreso tra 11 e 14 punti percentuali grazie a un singolo intervento umano.
Upwork presenta la parte alta dell'intervallo relativo come un aumento fino al 70%, un calcolo aritmetico accurato sulla base bassa di GPT-5 e che vale la pena leggere insieme ai dati assoluti.
L'andamento a livello di categoria è stato disomogeneo. Il completamento di attività di data science da parte di Claude è passato dal 64% al 93%. La scrittura di Gemini è passata dal 4% al 16%. Le attività di data science di Gemini non sono cambiate affatto.
Nulla ha raggiunto il 100%. Nemmeno nel lavoro più semplice disponibile, con un esperto a guidarlo.
La verifica è la parte che non abbiamo risolto
Rabinovich colloca la quota qualitativa del lavoro sulla piattaforma oltre il 90% ed è diretto su ciò che questo implica per la valutazione. Il lavoro deterministico porta con sé il proprio controllo. Una traduzione può essere verificata da un altro modello. Il codice o compila e supera i test, oppure non lo fa. Per tutto il resto, l'unica verifica disponibile consiste in una persona dotata di capacità di giudizio che esamina il risultato e decide se è valido.
Lo ha descritto come un problema in gran parte irrisolto, andando anche oltre.
Risolvete la validazione affidabile dei risultati qualitativi e avrete più o meno risolto l’IA.
Gli autori del documento sono prudenti riguardo a ciò che i loro stessi numeri dimostrano su questo punto. Non hanno eseguito un secondo tentativo controllato effettuato esclusivamente dall'agente sui lavori che avevano fallito, il che significa che il miglioramento non può essere separato dall'effetto del semplice fatto di consentire al modello di riprovare. Questa è la loro dichiarazione, riportata tra i limiti dello studio.
Ciò che il benchmark dimostra è più circoscritto di quanto suggerisca la presentazione di Upwork. Un secondo tentativo dopo il feedback di un esperto supera un primo tentativo. Non è stato misurato quanto di questo risultato dipenda dal feedback e quanto dal nuovo tentativo.
Il limite massimo è il risultato più duraturo. In condizioni selezionate per favorire il successo dell'agente, circa un lavoro inizialmente fallito su cinque è stato recuperato da un secondo tentativo guidato da una persona, e il completamento si è fermato al 51% per il modello più efficace. Le esecuzioni guidate da una persona hanno inoltre richiesto circa quattro volte più tempo: 14,5 minuti contro 3,6.
Anche la decisione di prodotto di Upwork va nella stessa direzione. UMA, il principale sistema di IA dell'azienda, è stato concepito come agente di orchestrazione anziché come esecutore. Interpreta l'intento, lo scompone, assegna le parti a persone o macchine e controlla il risultato. Non svolge l'attività.
Un'azienda con ogni incentivo commerciale a vendere l'esecuzione autonoma ha progettato il proprio sistema centrale partendo dal presupposto che una persona rimanga coinvolta nel lavoro.
Due domande da porsi prima di finanziare un flusso di lavoro
Ci sono due domande fondamentali da porsi riguardo a ciò che si vuole far fare agli agenti.
Il risultato può essere verificato rispetto a qualcosa di oggettivo? Una suite di test, una riconciliazione, una regola di conformità, un numero che o corrisponde oppure no.
Il lavoro rimane all'interno di un'unica funzione e di un unico formato? Oppure passa dal backend al frontend, poi ai testi e infine all'approvazione del marchio prima che qualcuno possa dichiararlo concluso?
Verifica oggettiva più lavoro autonomo è l'ambito in cui rientrano gli agenti autonomi. Finanzialo, misuralo, amplialo.
Verifica oggettiva più lavoro interfunzionale di solito significa che i singoli componenti sono automatizzabili, ma non i punti di raccordo. Automatizza i componenti e lascia a una persona la responsabilità dei passaggi di consegna.
Basato sul giudizio più autonomo è il quadrante che ha prodotto i maggiori incrementi del benchmark, ed è quello a cui viene assegnato il budget in modo errato. Ne parleremo più avanti.
Basato sul giudizio più interfunzionale è l'ambito in cui gli agenti hanno fallito in ogni categoria testata da Upwork. Consideralo lavoro umano con assistenza dell'IA e smetti di promettere un numero di dipendenti per svolgerlo.
Anche il modello economico di Upwork arriva più o meno alla stessa conclusione. L'esecuzione affidata esclusivamente all'agente prevale nelle attività di scarso valore, dove il costo dell'errore è ridotto; la collaborazione prevale nella fascia intermedia; l'esecuzione interamente umana prevale nei lavori di alto valore, dove un risultato negativo costa più di quanto faccia risparmiare l'automazione.
Il lavoro che Upwork ha scelto di mostrare
La pagina HAPI include cinque lavori di esempio con risultati scaricabili. Uno è un'attività di generazione di lead. Filtrare un foglio di calcolo di app mobili per conservare quelle con sede negli Stati Uniti, trovare da due a quattro contatti di marketing per ciascuna e compilare nove colonne denominate.
Verificabile oggettivamente. Una sola funzione, un solo formato. I criteri della griglia di valutazione sono visibili sulla pagina e nessuno di essi richiede gusto personale.
Entrambi i risultati hanno ricevuto una valutazione negativa. L'agente che lavorava da solo ha fallito. Anche il libero professionista che lavorava con un esperto e lo guidava ha fallito.
Upwork lo ha riportato sulla propria pagina di marketing, accanto a una dichiarazione secondo cui la collaborazione aumenta il completamento fino al 70%. Riconosciamo all'azienda il merito della trasparenza, poi traiamone la lezione, perché quel lavoro è molto simile a ciò che le aziende stanno già affidando a un agente.
La persona giusta nel ciclo?
Ogni presentazione commerciale dei fornitori vende l'intervento umano come funzionalità di sicurezza. Leggendo i criteri di valutazione emerge una domanda diversa.
Tutti i valutatori di Upwork avevano ottenuto un Job Success Score del 100% e lo status Top Rated o Top Rated Plus. Complessivamente avevano guadagnato oltre 1 milione di dollari sulla piattaforma, lavorando per più di 96.000 ore.
Questo rappresenta il vertice di un mercato globale dei talenti. È anche l'unica popolazione di valutatori sottoposta al test. Il documento osserva che il team non ha analizzato le competenze dei valutatori né studiato in che modo il background di un valutatore modifichi il valore del suo feedback. Non esisteva una condizione con valutatori junior.
Quindi ogni numero dello studio descrive il caso migliore per la supervisione umana, mentre l'effetto di affidare quel ruolo a chiunque avesse disponibilità non è stato misurato da nessuno.
Questa è la mia argomentazione, non quella del benchmark, e comporta due conseguenze che la maggior parte dei piani per la forza lavoro non ha quantificato.
La prima è che la revisione rappresenta capacità produttiva, non costi generali. Nel quadrante basato sul giudizio, l'esperto non è un controllo aggiunto a un processo automatizzato. L'esperto è l'input che trasforma una bozza in qualcosa di pronto per essere consegnato, e la differenza di tempo di quattro volte tra le due condizioni è il costo di quell'input.
Se la classificate come supervisione, sottostimate il flusso di lavoro e sovrastimate i risparmi. I calcoli che hanno giustificato l'investimento smettono di descrivere il processo che avete effettivamente costruito.
La seconda conseguenza è più lenta e peggiore. Ogni piano che riduce i ruoli di livello intermedio per finanziare la spesa per l'AI sta anche riducendo la popolazione che, tra tre anni, diventerà abbastanza senior da contraddire un modello.
Il giudizio degli esperti non è una credenziale, è un residuo. Si accumula svolgendo il lavoro, inizialmente male, mentre qualcuno con più esperienza vi corregge. Automatizzate i gradini iniziali e conserverete i valutatori di oggi, eliminando però il meccanismo che produce quelli di domani.
Questo è un problema di leadership prima ancora che di organico, e spetta a chi firma il progetto aziendale di automazione.
Se gli agenti diventano acquirenti, il giudizio è il prodotto
Secondo Rabinovich, il mercato si dirigerà verso un modello in cui gli agenti diventano una fonte di domanda, non soltanto di offerta. Un modello che svolge un'attività che non è in grado di verificare, una domanda medica, una raccomandazione di ristorante o qualsiasi altra cosa basata sul gusto, assume in tempo reale un essere umano che la controlli. L'essere umano non realizza il progetto, si limita a convalidare il risultato.
Questa è la descrizione che un dirigente della piattaforma fa delle prospettive della propria azienda e dovrebbe essere valutata di conseguenza.
L'implicazione per la forza lavoro resta valida indipendentemente dal fatto che il meccanismo si concretizzi in questa forma. Se la verifica è il contributo umano duraturo, allora i ruoli che mantengono il loro valore sono definiti dal giudizio sulla qualità dei risultati, non dal volume della produzione.
Oggi questi ruoli sono distribuiti tra diversi livelli di anzianità, famiglie professionali e centri di costo che spesso non vengono mappati; di conseguenza, la maggior parte delle organizzazioni non sa dire chi li ricopra né quanto costerebbe sostituirli.
Quattro mosse
Che cosa potete fare, quindi, per valutare se siete pronti a iniziare ad affidare agli agenti il completamento di almeno una parte del lavoro?
- Prendete dieci risultati dal vostro flusso di lavoro più automatizzato e sottoponeteli a chi era precedentemente responsabile di quel lavoro. Chiedete quanti ne avrebbe inviati a un cliente senza modificarli. Quel numero è il vostro tasso reale di automazione.
- Per ogni flusso di lavoro automatizzato, indicate la persona autorizzata a rifiutare il risultato. Verificate poi se può esercitare tale autorità senza dover ricorrere a un livello superiore.
- Riclassificate il tempo di revisione nei flussi di lavoro che rientrano nel quadrante basato sul giudizio. Spostatelo dalla supervisione alla produzione e ricalcolate il progetto aziendale.
- Leggete nei contratti con i fornitori che cosa si intende per completamento. L'accettazione valutata secondo una griglia rispetto a ogni criterio e la dicitura "attività tentata" sono affermazioni diverse, e solo una di esse corrisponde a ciò che ha misurato il benchmark.