Was Ihre Agenten ohne Sie nicht fertigstellen können
Grundlegender Wandel: Upwork verkauft inzwischen die Erbringung von Arbeit, bei der Systeme Menschen und Maschinen kombinieren, um Ergebnisse zu erzielen, anstatt Rollen zu besetzen.
Grenzen des Benchmarks: Der Automatisierungsbenchmark von Upwork prüfte ausgewählte Aufgaben mit geringer Komplexität, daher können seine Ergebnisse nicht die meisten Arbeiten auf der Plattform repräsentieren.
Menschlicher Mehrwert: Menschliches Feedback verbesserte die Fertigstellung durch Agenten, erforderte jedoch erheblich mehr Zeit und führte nie zu verlässlichem Erfolg bei allen Aufgaben.
Verifizierungslücke: Automatisierung funktioniert am besten, wenn Ergebnisse objektiv überprüft werden können; urteilsintensive, funktionsübergreifende Arbeit benötigt weiterhin verantwortliche menschliche Zuständigkeit.
Geschäftliche Prüfung: Messen Sie Automatisierung anhand akzeptierter Ergebnisse, kalkulieren Sie die fachkundige Prüfung als Teil der Produktion ein und schützen Sie Positionen auf mittlerer Ebene, in denen künftiges Urteilsvermögen entwickelt wird.
Upwork bezeichnet sich nicht mehr als Talent-Marktplatz. Jetzt lautet der Begriff „Plattform für Arbeitsabwicklung“, und der Wandel geht über eine bloße Positionierung hinaus.
Auf einem Marktplatz stellt ein Kunde eine Person ein. Auf einer Plattform für Arbeitsabwicklung benennt ein Kunde ein Ergebnis, und das System entscheidet, welche Kombination aus Menschen und Maschinen es hervorbringt.
Andrew Rabinovich, der bei Upwork den Bereich KI leitet, beschreibt die gekaufte Einheit als etwas, das kleiner ist als ein Auftrag und kleiner als eine Rolle. Zwei Jahrzehnte Plattformdaten, so sagte er auf der AI4, deuten darauf hin, dass sich die enorme Vielfalt der auf Upwork veröffentlichten Arbeiten in etwa 500 bis 1.000 wiederkehrende Aufgaben zerlegen lässt. Er nennt sie „atomare Arbeitseinheiten“, Basisfunktionen, die sich zu jedem Auftrag kombinieren lassen, den ein Kunde einstellen könnte.
Lesen Sie weiter – und führen Sie weiterhin intelligenter
Erstellen Sie ein kostenloses Konto, um diesen Beitrag fertigzulesen und Teil einer Community zukunftsorientierter Führungskräfte zu werden, die Werkzeuge, Leitfäden und Einblicke für den Erfolg im Zeitalter der KI erschließen.
Have an account? Log In
Ein Unternehmen, das zerlegte Arbeit verkaufen will, übernimmt eine Verpflichtung. Es muss wissen, welche zerlegten Teile eine Maschine selbstständig erledigen kann, und zwar mit ausreichender Präzision, um diese Einschätzung finanziell zu untermauern.
Also ließ Upwork echte Kundenaufträge durch einen Benchmark laufen, veröffentlichte die Ergebnisse als Produktivitätsindex Mensch+Agent und dokumentierte die Methodik in einer über arXiv veröffentlichten Studie im Dezember.
Die wichtigste Erkenntnis ist, was die Agenten erledigten. Die nützlichere Erkenntnis ist, was es kostet, sie dazu zu bringen, es zu erledigen, und wem diese Kosten letztlich entstehen.
Die für Automatisierung am besten geeignete Arbeit
Die Methodik verdient mehr Aufmerksamkeit als die Ergebnisse, denn sie setzt die Obergrenze dafür, was die Ergebnisse bedeuten können.
Upwork wählte 322 echte Aufträge aus, die bereits von zahlenden Kunden veröffentlicht und von menschlichen Freelancern bis zur Abnahme durch den Kunden abgeschlossen worden waren. Experten-Freelancer erstellten für jeden Auftrag eine Bewertungsmatrix mit 5 bis 20 Abnahmekriterien, eingeteilt in kritisch, wichtig, optional und Fehlerquelle. Ein Auftrag galt nur dann als abgeschlossen, wenn jedes kritische und wichtige Kriterium erfüllt war.
Drei Modelle führten die Arbeit aus: Claude, Gemini und GPT-5.
Bei den Auswahlkriterien sollte eine Führungskraft genauer hinsehen. Die Aufträge waren auf Verträge mit Festpreis und einem einzigen Meilenstein sowie klar definiertem Umfang beschränkt. Die Dauer reichte von neun Stunden bis zu mehr als 100 Tagen, es handelte sich also nicht durchgehend um Mikroaufgaben. Offene und komplexe Arbeiten wurden mit der Begründung ausgeschlossen, dass Agenten dabei keine realistische Erfolgschance hätten.
Upwork beschreibt diese ausgeschlossene Kategorie als die überwältigende Mehrheit dessen, was auf der Plattform abgewickelt wird.
Eine weitere Einschränkung ist für alle wichtig, die die Ergebnisse vorschnell abtun möchten. Die Agenten wurden bewusst einfach gehalten. Jeder las die Auftragsbeschreibung und etwaige Anhänge, erstellte einen Plan, produzierte ein Ergebnis und stoppte. Keine Websuche, kein Zugriff auf externe Daten, keine zusätzlichen Werkzeuge und kein Training auf den Aufgabentyp.
Daher weisen die Autoren darauf hin, dass die Ergebnisse nicht repräsentativ für Systeme mit umfangreichen Werkzeugen sind, und bezeichnen ihre eigenen Zahlen als konservative Schätzungen.
Jede nachfolgende Zahl wurde also anhand der am leichtesten zu bearbeitenden verfügbaren Arbeit gemessen, wobei schwierige Fälle im Vorfeld entfernt wurden und Agenten zum Einsatz kamen, denen die Werkzeuge entzogen waren, die die meisten Unternehmen tatsächlich einsetzen.
Administrative Unterstützung ist schwieriger, als sie aussieht
Allein arbeitend erfüllten die Agenten je nach Kategorie und Modell bei 4 bis 68 % der Aufträge jedes Kriterium. Web- und Softwareentwicklung lagen an der Spitze. Datenwissenschaft folgte dicht dahinter.
Administrative Unterstützung belegte bei allen drei Modellen im Durchschnitt den letzten Platz und erzielte bei zwei von ihnen 6 %.
Diese Reihenfolge steht direkt im Widerspruch dazu, wie die meisten Automatisierungs-Roadmaps priorisiert werden. Administrative Arbeit wird zuerst ins Visier genommen, basierend auf der plausibel klingenden Annahme, dass sie die einfachste Aufgabe im Unternehmen sei.
Der Benchmark legt nahe, dass einfach zu beschreiben und einfach zu überprüfen zwei verschiedene Eigenschaften sind und nur die zweite vorhersagt, ob ein Agent den Auftrag abschließen kann.
Rabinovichs eigene Einordnung zeigt, wie leicht diese Annahme entsteht. Auf die Auswirkungen auf Freelancer angesprochen, beschrieb er einfache Arbeiten – Logos erstellen, Zusammenfassungen schreiben – als bereits vollständig automatisiert. Der Benchmark seines Unternehmens bewertete das Schreiben je nach Modell mit 4 bis 51 %, wobei Gemini am unteren Ende dieser Spanne lag. Intuition und Messung weisen in unterschiedliche Richtungen.
Eine Runde Expertenfeedback erhöhte die Gesamterfolgsquote bei jedem Modell. Claude stieg bei Aufgaben mit geringer Komplexität nach nur einem menschlichen Eingriff von 39,8 % auf 51,2 %. Gemini stieg von 19,9 % auf 32,3 %. GPT-5 stieg von 19,6 % auf 33,5 %. In absoluten Zahlen entspricht das einer Verbesserung um 11 bis 14 Prozentpunkte durch die einmalige Einbindung eines Menschen.
Upwork bezeichnet das obere Ende der relativen Spanne als Steigerung von bis zu 70 %, was bei GPT-5s niedriger Ausgangsbasis rechnerisch korrekt ist und zusammen mit den absoluten Zahlen gelesen werden sollte.
Die Entwicklung auf Kategorieebene war uneinheitlich. Claudes Abschlussquote bei Datenwissenschaft stieg von 64 % auf 93 %. Geminis Textverfassung stieg von 4 % auf 16 %. Geminis Leistung bei Datenwissenschaft veränderte sich überhaupt nicht.
Nichts erreichte 100 %. Nicht einmal bei der einfachsten verfügbaren Arbeit und unter Anleitung eines Experten.
Die Überprüfung ist der Teil, den wir noch nicht gelöst haben
Rabinovich beziffert den qualitativen Anteil der Arbeit auf der Plattform auf über 90 %, und er spricht offen darüber, was das für die Bewertung bedeutet. Deterministische Arbeit bringt ihre eigene Überprüfung mit sich. Eine Übersetzung kann von einem anderen Modell überprüft werden. Code kompiliert entweder und besteht die Tests, oder er tut es nicht. Für alles andere besteht die einzige verfügbare Überprüfung darin, dass eine urteilsfähige Person das Ergebnis betrachtet und entscheidet, ob es gut ist.
Er beschrieb dies als weitgehend ungelöst und ging noch weiter.
Lösen Sie die zuverlässige Validierung qualitativer Ergebnisse, dann haben Sie die KI mehr oder weniger gelöst.
Die Autoren des Papiers sind vorsichtig, was ihre eigenen Zahlen zu diesem Punkt belegen. Sie führten keine vergleichbaren zweiten Versuche ausschließlich durch Agenten bei den Aufträgen durch, die gescheitert waren. Das bedeutet, dass sich die Verbesserung nicht vom Effekt trennen lässt, dem Modell einfach einen weiteren Versuch zu ermöglichen. Diese Einschränkung legen sie in ihren Limitationen offen.
Was der Benchmark belegt, ist enger gefasst, als die Darstellung von Upwork vermuten lässt. Ein zweiter Durchlauf nach Feedback von Experten ist erfolgreicher als ein erster Durchlauf. Wie viel davon auf das Feedback und wie viel auf den erneuten Versuch entfällt, wurde nicht gemessen.
Die entscheidende Erkenntnis ist die Obergrenze. Unter Bedingungen, die auf den Erfolg des Agenten zugeschnitten waren, wurde ungefähr einer von fünf zunächst gescheiterten Aufträgen durch einen zweiten, von Menschen angeleiteten Versuch gerettet, und die Abschlussquote erreichte beim stärksten Modell höchstens 51 %. Die von Menschen angeleiteten Durchläufe dauerten außerdem etwa viermal so lange: 14,5 Minuten gegenüber 3,6 Minuten.
Auch Upworks eigene Produktentscheidung weist in dieselbe Richtung. UMA, das zentrale KI-System des Unternehmens, wurde als Orchestrierungsagent und nicht als Ausführender entwickelt. Es interpretiert Absichten, zerlegt sie, leitet Teilaufgaben an Menschen oder Maschinen weiter und überprüft das Ergebnis. Es erledigt die Aufgabe nicht selbst.
Ein Unternehmen, das jedes wirtschaftliche Interesse daran hat, autonome Ausführung zu verkaufen, hat sein zentrales System auf der Annahme aufgebaut, dass ein Mensch an der Arbeit beteiligt bleibt.
Zwei Fragen, bevor Sie einen Arbeitsablauf finanzieren
Es gibt zwei zentrale Fragen, die Sie sich dazu stellen sollten, was die Agenten erledigen sollen.
Kann das Ergebnis anhand etwas Objektivem überprüft werden? Eine Testsuite, ein Abgleich, eine Compliance-Regel oder eine Zahl, die entweder übereinstimmt oder nicht.
Bleibt die Arbeit innerhalb einer Funktion und eines Formats? Oder wechselt sie vom Backend über das Frontend und Texte bis zur Markenfreigabe, bevor sie jemand als abgeschlossen bezeichnen kann?
Objektive Überprüfung plus in sich geschlossene Arbeit ist der Bereich, in den autonome Agenten gehören. Finanzieren Sie sie, messen Sie sie und bauen Sie sie aus.
Objektive Überprüfung plus funktionsübergreifende Arbeit bedeutet meist, dass die einzelnen Bestandteile automatisierbar sind, nicht aber die Übergänge. Automatisieren Sie die Komponenten und lassen Sie eine Person die Übergaben verantworten.
Urteilsbasierte Arbeit plus in sich geschlossene Aufgaben ist der Quadrant, der die größten Verbesserungen im Benchmark hervorbrachte und bei dem Budgets falsch zugewiesen werden. Mehr dazu weiter unten.
Urteilsbasierte Arbeit plus funktionsübergreifende Aufgaben ist der Bereich, in dem Agenten in jeder von Upwork getesteten Kategorie scheiterten. Behandeln Sie sie als menschliche Arbeit mit KI-Unterstützung und hören Sie auf, dafür eine konkrete Zahl zum Personalabbau zu versprechen.
Auch Upworks eigene Wirtschaftsmodelle kommen ungefähr zum gleichen Ergebnis. Der Einsatz ausschließlich von Agenten lohnt sich bei Aufgaben mit geringem Wert, bei denen die Kosten eines Fehlers niedrig sind; Zusammenarbeit gewinnt im mittleren Bereich, und die vollständige Ausführung durch Menschen gewinnt bei hochwertiger Arbeit, bei der ein schlechtes Ergebnis mehr kostet, als die Automatisierung einspart.
Der Auftrag, den Upwork ausgewählt hat
Die HAPI-Seite enthält fünf Beispielaufträge mit herunterladbaren Ergebnissen. Einer davon ist eine Aufgabe zur Lead-Generierung. Filtern Sie eine Tabelle mit mobilen Apps auf diejenigen mit Hauptsitz in den USA, finden Sie für jede zwei bis vier Marketingkontakte und füllen Sie neun benannte Spalten aus.
Objektiv überprüfbar. Eine Funktion, ein Format. Die Kriterien der Bewertungsmatrix sind auf der Seite sichtbar, und keines davon erfordert persönlichen Geschmack.
Beide Ergebnisse wurden bei der Bewertung als nicht bestanden eingestuft. Der allein arbeitende Agent scheiterte. Auch der mit einem Experten arbeitende Agent, den ein freiberuflicher Mitarbeiter anleitete, scheiterte.
Upwork veröffentlichte das auf einer eigenen Marketingseite, neben der Behauptung, dass Zusammenarbeit die Abschlussquote um bis zu 70 % steigere. Man sollte dem Unternehmen Anerkennung für diese Offenlegung zollen und dann die Lehre daraus ziehen, denn diese Aufgabe entspricht sehr genau der Arbeit, die Unternehmen bereits an einen Agenten übergeben.
Die richtige Person im Prozess?
Jede Präsentation eines Anbieters verkauft den Menschen im Prozess als Sicherheitsfunktion. Liest man die Kriterien der Bewerter, tritt eine andere Frage hervor.
Alle Bewerter von Upwork hatten eine Erfolgsbewertung von 100 % sowie den Status „Top bewertet“ oder „Top bewertet Plus“. Zusammen hatten sie auf der Plattform über 1 Million Dollar in mehr als 96.000 Stunden verdient.
Das ist die Spitze eines globalen Talentmarktplatzes. Es ist zugleich die einzige getestete Gruppe von Bewertern. In der Studie wird angemerkt, dass das Team weder die Fachkenntnisse der Bewerter erfasst noch untersucht hat, wie der Hintergrund eines Bewerters den Wert seines Feedbacks verändert. Eine Bedingung mit Nachwuchskräften gab es nicht.
Jede Zahl der Studie beschreibt also einen bestmöglichen Fall für menschliche Kontrolle, während der Effekt, wenn diese Rolle mit einer beliebigen verfügbaren Person besetzt wird, von niemandem gemessen wurde.
Das ist mein Argument und nicht das der Benchmark, und es hat zwei Konsequenzen, die in den meisten Personalplanungen nicht eingepreist sind.
Die erste ist, dass Prüfung Produktionskapazität und kein Gemeinkostenblock ist. Im Quadranten der urteilsbasierten Aufgaben ist der Experte kein Kontrollpunkt, der nachträglich an einen automatisierten Prozess angefügt wird. Der Experte ist der Input, der einen Entwurf in etwas zur Veröffentlichung Geeignetes verwandelt, und der vierfache Zeitaufwand zwischen den beiden Bedingungen zeigt, was dieser Input kostet.
Ordnet man das als Kontrolle ein, unterschätzt man den Arbeitsablauf und überschätzt zugleich die Einsparungen. Die Rechnung, die die Investition rechtfertigt, beschreibt dann nicht mehr den Prozess, den man tatsächlich aufgebaut hat.
Die zweite Konsequenz ist langsamer und folgenreicher. Jeder Plan, der Positionen auf mittlerer Ebene ausdünnt, um KI-Ausgaben zu finanzieren, verringert zugleich die Gruppe derjenigen, die in drei Jahren erfahren genug wären, ein Modell zu überstimmen.
Expertenurteil ist kein Zertifikat, sondern ein Rückstand aus Erfahrung. Es entsteht dadurch, dass man die Arbeit erledigt, anfangs schlecht, und von jemandem mit mehr Erfahrung korrigiert wird. Automatisiert man die Einstiegsstufen, behält man die heutigen Prüfer, beseitigt aber den Mechanismus, der die morgigen hervorbringt.
Das ist zuerst ein Führungsproblem und erst danach ein Personalproblem, und es fällt in die Verantwortung der Person, die die Wirtschaftlichkeitsrechnung für die Automatisierung unterschreibt.
Wenn Agenten zu Käufern werden, ist Urteilsvermögen das Produkt
Rabinovichs Einschätzung, wohin sich dieser Markt als Nächstes entwickelt, lautet, dass Agenten zu einer Quelle der Nachfrage und nicht nur des Angebots werden. Ein Modell, das eine Aufgabe bearbeitet, die es nicht überprüfen kann – eine medizinische Frage, eine Restaurantempfehlung oder irgendetwas, das auf Geschmack beruht –, beauftragt in Echtzeit einen Menschen mit der Prüfung. Der Mensch liefert das Projekt nicht, sondern validiert lediglich das Ergebnis.
Das ist die Beschreibung des Vorstands eines Plattformunternehmens vom eigenen Wachstumspotenzial, und sie sollte entsprechend gewichtet werden.
Die Konsequenz für die Belegschaft bleibt unabhängig davon bestehen, ob dieser Mechanismus tatsächlich in dieser Form umgesetzt wird. Wenn Überprüfung der dauerhafte menschliche Beitrag ist, werden wertvolle Rollen durch das Urteil über die Qualität des Ergebnisses und nicht durch das Produktionsvolumen definiert.
Diese Rollen sind derzeit über verschiedene Hierarchieebenen, Berufsgruppen und Kostenstellen verstreut und werden häufig nicht erfasst. Das bedeutet, dass die meisten Organisationen weder sagen können, um welche Rollen es sich handelt, noch was es kosten würde, sie zu ersetzen.
Vier Schritte
Was können Sie also tun, um zu beurteilen, ob Sie bereit sind, Agenten zumindest einen Teil der Arbeit zur Erledigung zu überlassen?
- Nehmen Sie zehn Ergebnisse aus Ihrem am stärksten automatisierten Arbeitsablauf und legen Sie sie der Person vor, die früher für diese Arbeit verantwortlich war. Fragen Sie, wie viele davon sie unverändert an einen Kunden geschickt hätte. Diese Zahl ist Ihre tatsächliche Automatisierungsquote.
- Benennen Sie für jeden automatisierten Arbeitsablauf die Person, die befugt ist, das Ergebnis abzulehnen. Prüfen Sie anschließend, ob sie diese Befugnis ohne Eskalation ausüben kann.
- Ordnen Sie die Prüfzeit in Arbeitsabläufen, die in den Quadranten der urteilsbasierten Aufgaben fallen, neu ein. Verschieben Sie sie von der Kontrolle in die Produktion und berechnen Sie die Wirtschaftlichkeitsrechnung erneut.
- Lesen Sie in Ihren Verträgen mit Anbietern nach, was „Abschluss“ bedeutet. Eine anhand einer Bewertungsmatrix gemessene Annahme, die jedes Kriterium erfüllt, und die Aussage „Aufgabe versucht“ sind unterschiedliche Behauptungen – und nur eine davon entspricht dem, was die Benchmark gemessen hat.