Was Ihre Agenten ohne Sie nicht fertigstellen können
Zentraler Wandel: Upwork verkauft inzwischen die Erbringung von Arbeit, bei der Systeme Menschen und Maschinen miteinander verbinden, um Ergebnisse zu erzielen, statt Rollen zu besetzen.
Grenzen des Benchmarks: Der Automatisierungsbenchmark von Upwork testete ausgewählte Aufgaben mit geringer Komplexität, daher können seine Ergebnisse nicht die Mehrheit der Arbeiten auf der Plattform repräsentieren.
Menschlicher Wert: Menschliches Feedback verbesserte die Fertigstellung durch Agenten, erforderte jedoch erheblich mehr Zeit und führte nie bei allen Aufgaben zu zuverlässig erfolgreichen Ergebnissen.
Verifizierungslücke: Automatisierung funktioniert am besten, wenn Ergebnisse objektiv geprüft werden können; urteilsintensive, funktionsübergreifende Arbeit benötigt weiterhin eine verantwortliche menschliche Zuständigkeit.
Geschäftliche Prüfung: Messen Sie Automatisierung anhand akzeptierter Ergebnisse, kalkulieren Sie die Prüfung durch Experten als Teil der Produktion ein und schützen Sie mittlere Rollen, in denen sich zukünftiges Urteilsvermögen entwickelt.
Upwork bezeichnet sich nicht mehr als Marktplatz für Talente. Nun lautet der Begriff „Plattform für Arbeitsabwicklung“, und der Wandel ist mehr als nur eine Positionierungsfrage.
Auf einem Marktplatz stellt ein Kunde eine Person ein. Auf einer Plattform für Arbeitsabwicklung beschreibt ein Kunde ein Ergebnis, und das System entscheidet, welche Kombination aus Menschen und Maschinen dieses Ergebnis hervorbringt.
Andrew Rabinovich, der bei Upwork den Bereich KI leitet, beschreibt die erworbene Einheit als etwas, das kleiner ist als ein Auftrag und kleiner als eine Rolle. Zwei Jahrzehnte Plattformdaten deuteten darauf hin, sagte er auf der AI4, dass sich die enorme Vielfalt der auf Upwork veröffentlichten Arbeit in etwa 500 bis 1.000 wiederkehrende Aufgaben zerlegen lässt. Er nennt sie „atomare Arbeitseinheiten“, also Basisfunktionen, die sich zu jedem Auftrag kombinieren lassen, den ein Kunde einstellen könnte.
Lesen Sie weiter – und führen Sie weiterhin intelligenter
Erstellen Sie ein kostenloses Konto, um diesen Beitrag fertigzulesen und Teil einer Community zukunftsorientierter Führungskräfte zu werden, die Werkzeuge, Leitfäden und Einblicke für den Erfolg im Zeitalter der KI erschließen.
Have an account? Log In
Ein Unternehmen, das zerlegte Arbeit verkaufen will, übernimmt eine Verpflichtung. Es muss wissen, welche zerlegten Bestandteile eine Maschine selbstständig abschließen kann, und zwar mit ausreichender Genauigkeit, um Geld auf diese Einschätzung zu setzen.
Also ließ Upwork echte Kundenaufträge durch einen Vergleichstest laufen, veröffentlichte die Ergebnisse als Produktivitätsindex Mensch+Agent und dokumentierte die Methodik in einer im Dezember über arXiv veröffentlichten Studie.
Die wichtigste Erkenntnis ist, was die Agenten abschlossen. Die nützlichere Erkenntnis ist, was es kostet, sie dazu zu bringen, es abzuschließen, und bei wem diese Kosten letztlich anfallen.
Die für Automatisierung am besten geeignete Arbeit
Die Methodik verdient mehr Aufmerksamkeit als die Ergebnisse, weil sie die Obergrenze dessen festlegt, was die Ergebnisse aussagen können.
Upwork wählte 322 echte Aufträge aus, die bereits von zahlenden Kunden veröffentlicht und von menschlichen Freelancern bis zur Abnahme durch den Kunden abgeschlossen worden waren. Erfahrene Freelancer verfassten für jeden Auftrag ein Bewertungsraster mit 5 bis 20 Abnahmekriterien, eingeteilt in kritisch, wichtig, optional und Fehlerquelle. Ein Auftrag galt nur dann als abgeschlossen, wenn jedes kritische und wichtige Kriterium erfüllt war.
Drei Modelle führten die Arbeit aus: Claude, Gemini und GPT-5.
Bei den Auswahlkriterien sollte eine Führungskraft genauer hinsehen. Die Aufträge waren auf Festpreisverträge mit einem einzigen Meilenstein und klar definiertem Umfang beschränkt. Die Dauer reichte von neun Stunden bis zu mehr als 100 Tagen, es handelte sich also nicht durchgehend um Mikrotätigkeiten. Offene und komplexe Arbeit wurde mit der Begründung ausgeschlossen, dass Agenten dabei keine realistische Erfolgschance hätten.
Upwork beschreibt diese ausgeschlossene Kategorie als die überwältigende Mehrheit dessen, was auf der Plattform abgewickelt wird.
Eine weitere Einschränkung ist für alle wichtig, die die Ergebnisse vorschnell abtun wollen. Die Agenten wurden bewusst einfach gehalten. Jeder las die Auftragsbeschreibung und etwaige Anhänge, erstellte einen Plan, lieferte ein Ergebnis und stoppte. Keine Websuche, kein Zugriff auf externe Daten, keine zusätzlichen Werkzeuge und kein Training für den jeweiligen Aufgabentyp.
Daher weisen die Autoren darauf hin, dass die Ergebnisse nicht repräsentativ für Systeme mit umfangreicher Werkzeugausstattung sind, und bezeichnen ihre eigenen Zahlen als konservative Schätzungen.
Jede der folgenden Zahlen wurde also anhand der am leichtesten zu bearbeitenden verfügbaren Arbeit ermittelt, nachdem die schwierigen Fälle im Voraus entfernt worden waren, und mit Agenten, denen die Werkzeuge vorenthalten wurden, die die meisten Unternehmen tatsächlich einsetzen.
Verwaltungsunterstützung ist schwieriger, als sie aussieht
Allein arbeitend erfüllten die Agenten je nach Kategorie und Modell bei 4 bis 68 % der Aufträge jedes Kriterium. Web- und Softwareentwicklung lagen an der Spitze. Datenwissenschaft folgte dicht dahinter.
Die Verwaltungsunterstützung belegte im Durchschnitt über alle drei Modelle den letzten Platz und erreichte bei zwei von ihnen 6 %.
Diese Reihenfolge steht in direktem Gegensatz dazu, wie die meisten Automatisierungsfahrpläne aufgebaut werden. Verwaltungsarbeit wird zuerst ins Visier genommen, basierend auf der plausibel klingenden Annahme, dass sie die einfachste Tätigkeit im Unternehmen ist.
Der Vergleichstest legt nahe, dass die einfache Beschreibung und die einfache Überprüfung einer Aufgabe voneinander unabhängige Eigenschaften sind und nur die zweite vorhersagt, ob ein Agent den Auftrag abschließen kann.
Rabinovichs eigene Darstellung zeigt, wie leicht diese Annahme entsteht. Auf die Auswirkungen auf Freelancer angesprochen, beschrieb er einfache Arbeiten – Logos erstellen, Zusammenfassungen von Dingen schreiben – als bereits vollständig automatisiert. Der Vergleichstest seines Unternehmens bewertete das Schreiben je nach Modell mit 4 bis 51 %, wobei Gemini am unteren Ende dieser Spanne lag. Intuition und Messung weisen in unterschiedliche Richtungen.
Eine Runde Expertenfeedback erhöhte die Gesamtabschlussquote bei jedem Modell. Claude stieg bei Aufgaben mit geringer Komplexität nach nur einem menschlichen Eingriff von 39,8 % auf 51,2 %. Gemini stieg von 19,9 % auf 32,3 %. GPT-5 stieg von 19,6 % auf 33,5 %. In absoluten Zahlen entspricht das einer Verbesserung um 11 bis 14 Prozentpunkte durch die einmalige Beteiligung eines Menschen.
Upwork bezeichnet das obere Ende der relativen Spanne als Steigerung von bis zu 70 %, was bei der niedrigen Ausgangsbasis von GPT-5 rechnerisch korrekt ist und zusammen mit den absoluten Zahlen betrachtet werden sollte.
Die Entwicklung auf Kategorieebene war uneinheitlich. Claudes Abschlussquote in der Datenanalyse stieg von 64 % auf 93 %. Geminis Schreibquote stieg von 4 % auf 16 %. Geminis Datenanalyse veränderte sich überhaupt nicht.
Nichts erreichte 100 %. Nicht einmal bei der einfachsten verfügbaren Arbeit und unter Anleitung eines Experten.
Die Überprüfung ist der Teil, den wir noch nicht gelöst haben
Rabinovich beziffert den qualitativen Anteil der Arbeit auf der Plattform auf über 90 %, und er spricht offen darüber, was das für die Bewertung bedeutet. Deterministische Arbeit bringt ihre eigene Überprüfung mit sich. Eine Übersetzung kann von einem anderen Modell überprüft werden. Code kompiliert entweder und besteht die Tests, oder er tut es nicht. Für alles andere besteht die einzige verfügbare Überprüfung darin, dass eine urteilsfähige Person das Ergebnis betrachtet und entscheidet, ob es gut ist.
Er beschrieb dies als weitgehend ungelöst und ging noch weiter.
Lösen Sie die zuverlässige Validierung qualitativer Ergebnisse, dann haben Sie die KI mehr oder weniger gelöst.
Die Autoren der Studie gehen vorsichtig damit um, was ihre eigenen Zahlen in diesem Punkt belegen. Sie führten keine vergleichbaren zweiten Versuche ausschließlich durch den Agenten bei den Aufträgen durch, die fehlgeschlagen waren. Das bedeutet, dass sich die Verbesserung nicht vom Effekt trennen lässt, das Modell einfach noch einmal versuchen zu lassen. Diese Einschränkung haben sie in ihrem Abschnitt zu den Limitationen offengelegt.
Was der Benchmark belegt, ist enger gefasst, als die Darstellung von Upwork vermuten lässt. Ein zweiter Durchlauf nach Expertenfeedback ist erfolgreicher als ein erster Durchlauf. Wie viel davon auf das Feedback und wie viel auf den erneuten Versuch entfällt, wurde nicht gemessen.
Die entscheidende Erkenntnis ist die Obergrenze. Unter Bedingungen, die auf den Erfolg des Agenten ausgerichtet waren, wurde etwa einer von fünf zunächst fehlgeschlagenen Aufträgen durch einen zweiten, von Menschen angeleiteten Versuch gerettet, und die Abschlussquote erreichte beim stärksten Modell höchstens 51 %. Die von Menschen angeleiteten Durchläufe dauerten außerdem etwa viermal so lange: 14,5 Minuten gegenüber 3,6 Minuten.
Auch Upworks eigene Produktentscheidung weist in dieselbe Richtung. UMA, das zentrale KI-System des Unternehmens, wurde als Orchestrierungsagent und nicht als Arbeitskraft entwickelt. Es interpretiert Absichten, zerlegt sie, leitet Teile an Menschen oder Maschinen weiter und überprüft das Ergebnis. Es erledigt die Aufgabe nicht selbst.
Ein Unternehmen, das jeden kommerziellen Anreiz hat, autonome Ausführung zu verkaufen, hat sein zentrales System auf der Annahme aufgebaut, dass ein Mensch an der Arbeit beteiligt bleibt.
Zwei Fragen, bevor Sie einen Arbeitsablauf finanzieren
Es gibt zwei wichtige Fragen, die Sie dazu stellen sollten, was die Agenten erledigen sollen.
Kann das Ergebnis anhand etwas Objektivem überprüft werden? Eine Testsuite, ein Abgleich, eine Compliance-Regel oder eine Zahl, die entweder übereinstimmt oder nicht.
Bleibt die Arbeit innerhalb einer Funktion und eines Formats? Oder wechselt sie vom Backend über das Frontend und Texte bis zur Markenfreigabe, bevor sie als abgeschlossen gelten kann?
Objektive Überprüfung plus abgeschlossene Einzelaufgabe ist der Bereich, in dem autonome Agenten eingesetzt werden sollten. Finanzieren Sie sie, messen Sie sie und weiten Sie ihren Einsatz aus.
Objektive Überprüfung plus funktionsübergreifende Arbeit bedeutet meist, dass die einzelnen Bestandteile automatisierbar sind, nicht aber die Übergänge. Automatisieren Sie die Komponenten und lassen Sie eine Person die Übergaben verantworten.
Urteilsbasierte Arbeit plus abgeschlossene Einzelaufgabe ist der Quadrant, in dem der Benchmark die größten Steigerungen hervorbrachte, und zugleich derjenige, der falsch budgetiert wird. Mehr dazu weiter unten.
Urteilsbasierte Arbeit plus funktionsübergreifende Arbeit ist der Bereich, in dem Agenten in jeder von Upwork getesteten Kategorie versagten. Behandeln Sie sie als menschliche Arbeit mit KI-Unterstützung und hören Sie auf, dafür eine bestimmte Zahl eingesparter Stellen zu versprechen.
Auch Upworks eigene Wirtschaftsmodelle kommen ungefähr zum selben Ergebnis. Der reine Agenteneinsatz gewinnt bei Aufgaben mit geringem Wert, bei denen die Kosten eines Fehlschlags gering sind; Zusammenarbeit gewinnt im Mittelfeld; und die vollständige Ausführung durch Menschen gewinnt bei hochwertigen Aufgaben, bei denen ein fehlerhaftes Ergebnis mehr kostet, als die Automatisierung einspart.
Der Auftrag, den Upwork ausgewählt hat
Die HAPI-Seite enthält fünf Beispielaufträge mit herunterladbaren Ergebnissen. Einer davon ist eine Aufgabe zur Leadgenerierung. Filtern Sie eine Tabelle mit mobilen Apps so, dass nur die Apps mit Hauptsitz in den USA übrig bleiben, finden Sie für jede davon zwei bis vier Marketingkontakte und füllen Sie neun benannte Spalten aus.
Objektiv überprüfbar. Eine Funktion, ein Format. Die Kriterien der Bewertungsmatrix sind auf der Seite sichtbar, und keines davon erfordert Geschmack.
Beide Ergebnisse wurden als nicht bestanden bewertet. Der allein arbeitende Agent ist gescheitert. Auch der mit einem Experten arbeitende Agent, den ein freiberuflicher Mitarbeiter anleitete, ist gescheitert.
Upwork hat das auf seiner eigenen Marketingseite neben der Aussage veröffentlicht, dass Zusammenarbeit die Abschlussquote um bis zu 70 % steigert. Man sollte dem Unternehmen Anerkennung für die Offenlegung zollen und dann die Lehre daraus ziehen, denn dieser Auftrag kommt der Arbeit, die Unternehmen bereits an einen Agenten übergeben, sehr nahe.
Die richtige Person im Prozess?
Jede Präsentation eines Anbieters verkauft den Menschen im Prozess als Sicherheitsfunktion. Liest man die Kriterien der Bewertung, stellt sich eine andere Frage.
Alle Prüfer von Upwork hatten einen Job-Erfolgswert von 100 % sowie den Status „Top bewertet“ oder „Top bewertet Plus“. Zusammen hatten sie auf der Plattform über 1 Million US-Dollar in mehr als 96.000 Stunden verdient.
Das ist die Spitze eines globalen Talentmarkts. Zugleich ist es die einzige getestete Gruppe von Prüfern. In der Studie wird angemerkt, dass das Team weder die Expertise der Bewerter erfasst noch untersucht hat, wie der Hintergrund eines Prüfers den Wert seines Feedbacks verändert. Eine Bedingung mit Nachwuchskräften gab es nicht.
Somit beschreibt jede Zahl der Studie einen bestmöglichen Fall für menschliche Kontrolle, während der Effekt, jemanden mit verfügbaren Kapazitäten für diese Rolle einzusetzen, von niemandem gemessen wird.
Das ist eher meine Argumentation als die des Vergleichsmaßstabs, und sie hat zwei Konsequenzen, die in den meisten Personalplänen nicht berücksichtigt wurden.
Die erste ist, dass Prüfung Produktionskapazität und kein Gemeinkostenfaktor ist. Im Quadranten, in dem Urteilsvermögen entscheidend ist, ist der Experte kein Kontrollpunkt, der nachträglich an einen automatisierten Prozess angebaut wird. Der Experte ist der Beitrag, der aus einem Entwurf etwas macht, das ausgeliefert werden kann, und der vierfache Zeitunterschied zwischen den beiden Bedingungen zeigt, was dieser Beitrag kostet.
Ordnet man dies der Kontrolle zu, unterschätzt man den Arbeitsablauf und überschätzt zugleich die Einsparungen. Die Wirtschaftlichkeitsrechnung, die die Investition rechtfertigt, beschreibt dann nicht mehr den Prozess, den man tatsächlich aufgebaut hat.
Die zweite Konsequenz ist langsamer und gravierender. Jeder Plan, der mittlere Hierarchieebenen ausdünnt, um Ausgaben für KI zu finanzieren, verringert zugleich die Gruppe, aus der in drei Jahren genügend Seniorität entsteht, um ein Modell zu überstimmen.
Fachliches Urteilsvermögen ist keine Qualifikation, sondern ein Rückstand. Es sammelt sich an, indem man die Arbeit zunächst schlecht erledigt und von jemandem mit mehr Erfahrung korrigiert wird. Automatisiert man die Einstiegsebenen, behält man die heutigen Prüfer, beseitigt aber den Mechanismus, der die morgigen hervorbringt.
Das ist zunächst ein Führungsproblem und erst danach ein Personalproblem, und es fällt in die Verantwortung derjenigen Person, die die Wirtschaftlichkeitsrechnung für die Automatisierung unterschreibt.
Wenn Agenten zu Käufern werden, ist Urteilsvermögen das Produkt
Rabinovichs Einschätzung, wohin sich dieser Markt als Nächstes entwickelt, lautet, dass Agenten zu einer Nachfragequelle und nicht nur zu einer Angebotsquelle werden. Ein Modell, das eine Aufgabe bearbeitet, die es nicht überprüfen kann – eine medizinische Frage, eine Restaurantempfehlung oder irgendetwas, das auf Geschmack beruht –, beauftragt in Echtzeit einen Menschen mit der Prüfung. Der Mensch liefert das Projekt nicht aus, sondern validiert lediglich das Ergebnis.
Das ist die Beschreibung des eigenen Wachstumspotenzials eines Plattformmanagers und sollte entsprechend bewertet werden.
Die Konsequenz für die Belegschaft bleibt unabhängig davon bestehen, ob der Mechanismus in dieser Form eintritt. Wenn Überprüfung der dauerhafte menschliche Beitrag ist, dann werden die wertvollen Rollen durch das Urteilsvermögen über die Qualität des Ergebnisses und nicht durch das Produktionsvolumen definiert.
Diese Rollen sind derzeit über verschiedene Hierarchieebenen, Berufsfamilien und Kostenstellen verstreut und werden häufig nicht erfasst. Das bedeutet, dass die meisten Organisationen nicht sagen können, wer diese Personen sind oder was es kosten würde, sie zu ersetzen.
Vier Schritte
Was können Sie also tun, um zu beurteilen, ob Sie bereit sind, Agenten zumindest einen Teil der Arbeit zur Erledigung zu übergeben?
- Entnehmen Sie zehn Ergebnisse aus Ihrem am stärksten automatisierten Arbeitsablauf und legen Sie sie der Person vor, die früher für diese Arbeit verantwortlich war. Fragen Sie, wie viele davon sie unverändert an einen Kunden geschickt hätte. Diese Zahl ist Ihre tatsächliche Automatisierungsquote.
- Benennen Sie für jeden automatisierten Arbeitsablauf die Person, die befugt ist, das Ergebnis abzulehnen. Prüfen Sie anschließend, ob sie diese Befugnis ausüben kann, ohne den Vorgang eskalieren zu müssen.
- Ordnen Sie die Prüfzeit in Arbeitsabläufen, die in den Quadranten des Urteilsvermögens fallen, neu ein. Verschieben Sie sie von der Kontrolle in die Produktion und berechnen Sie die Wirtschaftlichkeitsrechnung erneut.
- Lesen Sie in Ihren Anbieter-Verträgen nach, was „Abschluss“ bedeutet. Eine anhand einer Bewertungsmatrix an jedem Kriterium gemessene Abnahme und die Aussage „Aufgabe versucht“ sind unterschiedliche Behauptungen, und nur eine davon entspricht dem, was der Vergleichsmaßstab gemessen hat.
