Wer darf dem Modell widersprechen?
Risiken der Delegation: Eine zielbasierte Delegation an KI schränkt die Ehrlichkeit stark ein, da Systeme die Methoden hinter scheinbar akzeptablen Geschäftszielen bestimmen können.
Verantwortungslücke: Richtlinien zur KI-Governance benennen verantwortliche Führungskräfte, doch Aufzeichnungen über Überstimmungen zeigen, ob Entscheidungsbefugnis in der Praxis tatsächlich besteht.
Belege für Überstimmungen: Die Aufzeichnung menschlicher Meinungsverschiedenheiten mit KI-Empfehlungen macht ungenutzte Befugnisse, schwache Systeme und den organisatorischen Widerstand gegen Widerspruch sichtbar.
Verfall des Urteilsvermögens: Die wiederholte Annahme von Maschinenempfehlungen kann die Entscheidungsfähigkeit von Führungskräften aushöhlen, bevor Organisationen die daraus entstehende Schwäche erkennen.
Praktische Gestaltung: Wirksame menschliche Aufsicht erfordert eine umkehrbare Klassifizierung von Entscheidungen, ausdrücklich festgelegte Delegationsmodi, Protokolle für Meinungsverschiedenheiten und sozialen Schutz für Überstimmungen.
Forscher unter der Leitung des Max-Planck-Instituts für Bildungsforschung führten eine Variante eines Experiments durch, das Verhaltenswissenschaftler seit Jahrzehnten verwenden. Die Teilnehmer sahen auf dem Bildschirm einen Würfelwurf und gaben das Ergebnis an. Höhere Zahlen wurden über zehn Runden besser bezahlt, und zwar mit einem Cent pro Augenpunkt.
Wenn sie das Ergebnis für sich selbst meldeten, sagten 95 % die Wahrheit.
Dann ließen die Forscher andere Teilnehmer die Meldung an eine Maschine übergeben und variierten dabei nur die Art und Weise, wie die Anweisung erteilt wurde. Diejenigen, die ausdrückliche Regeln schreiben mussten, in denen sie für jedes der sechs möglichen Ergebnisse festlegten, was zu melden war, wiesen die Maschine in etwa 75 % der Fälle an, die ehrliche Zahl zu nennen.
Lesen Sie weiter – und führen Sie weiterhin intelligenter
Erstellen Sie ein kostenloses Konto, um diesen Beitrag fertigzulesen und Teil einer Community zukunftsorientierter Führungskräfte zu werden, die Werkzeuge, Leitfäden und Einblicke für den Erfolg im Zeitalter der KI erschließen.
Have an account? Log In
Diejenigen, die sie durch die Auswahl eines Beispieldatensatzes trainierten, baten sie etwa in der Hälfte der Fälle um Ehrlichkeit. Diejenigen, die ein Ziel festlegten, indem sie ein Stellrad von „Genauigkeit maximieren“ in Richtung „Profit maximieren“ bewegten und die Methode dem System überließen, wiesen die Maschine in der ersten Studie in 12 % der Fälle zur Ehrlichkeit an; in einer Folgestudie, in der die Delegation optional war, waren es 16 %.
Zwischen 84 und 88 % der Personen in dieser letzten Gruppe baten die Maschine, für sie zu betrügen, ohne dass eine von ihnen dies ausdrücklich sagen musste.
Das Geld änderte sich nicht. Die Würfelwürfe änderten sich nicht, da jeder Teilnehmer dieselbe festgelegte Abfolge von zehn Würfen sah. Was sich änderte, war der Interpretationsspielraum zwischen der Anweisung und der Handlung.
Die Forscher hatten erwartet, dass das Schreiben von Regeln stabil bleiben würde, nach der Annahme, dass die ausdrückliche Formulierung eines Betrugs moralisch genauso schwer wiegt wie dessen Begehung. Das war nicht der Fall. Auch dort sank die Ehrlichkeit um etwa zwanzig Prozentpunkte. Jede Form der Delegation beeinträchtigte sie, und die Benutzeroberfläche bestimmte, in welchem Maß.
Dies war ein Online-Experiment, das auf Prolific durchgeführt wurde, mit einer maximalen Auszahlung von sechzig Cent. Die Würfelwurf-Aufgabe verfügt über eine lange Validierungsgeschichte und sagt reales Verhalten voraus, darunter das Umgehen von Fahrpreisen und irreführende Verkaufspraktiken. Der Vergleich der Benutzeroberflächen wurde nur in diesem Versuchsaufbau getestet, doch eine Begleitstudie mit einer Steuerhinterziehungsaufgabe, bei der falsche Angaben eine Spende an das Rote Kreuz verringerten, bestätigte die andere zentrale Erkenntnis der Studie darüber, wie Maschinenagenten mit den ihnen erteilten Anweisungen umgehen.
Der Unterschied ist für das relevant, was die meisten Unternehmen derzeit aufbauen. Einen Prompt zu schreiben, kommt dem Verfassen von Regeln näher, und unehrliche Anfragen in natürlicher Sprache machten nach eigener Einschätzung der Teilnehmer etwa 25 % aus; wenn unabhängige Bewerter die Anweisungen beurteilten, waren es 40 %.
Der Anstieg tritt bei Benutzeroberflächen auf, bei denen eine Person ein Ziel festlegt und das System die Methode bestimmen lässt. Ein Manager, der einen Agenten anweist, die qualifizierte Pipeline zu maximieren oder die Zeit bis zur Besetzung einer Stelle zu verkürzen, hat ein Ergebnis vorgegeben und jede operative Entscheidung darüber, wie dieses erreicht werden soll, dem System überlassen. Doch wo ist das Kriterium, das jemand verteidigen müsste?
Die Verantwortungsstruktur, die auf dieser Anordnung aufsitzt, sieht auf dem Papier normalerweise gut aus. Ein Name steht darauf. Dieser Name bewirkt jedoch weniger, als man vielleicht denkt.
Einen Verantwortlichen zu benennen, war der einfache Teil
Im Jahr 2025 und bis in dieses Jahr hinein taten Organisationen das Naheliegende. Sie richteten Ausschüsse zur KI-Aufsicht ein, verfassten Richtlinien zur akzeptablen Nutzung und setzten eine namentlich genannte Führungskraft neben die Worte „KI-Governance“ ins Organigramm.
Die von Deloitte gemeinsam mit Oxford Economics durchgeführte Umfrage zu den Globalen Trends im Humankapital 2026 unter mehr als 9.000 Wirtschafts- und HR-Führungskräften in 89 Ländern ergab, dass 64 % der Befragten KI und Entscheidungsfindung als sehr wichtig für ihren derzeitigen Erfolg betrachten. Nur 5 % sehen sich dabei als führend an.
Der Abstand zwischen Sorge und Kompetenz lässt sich dort nicht durch einen Mangel an Richtlinien erklären. Die meisten Organisationen haben Richtlinien. Was ihnen fehlt, sind Belege dafür, dass die von ihnen festgeschriebene Entscheidungsbefugnis tatsächlich genutzt wird.
Fragt man einen CHRO, wer für die von KI beeinflusste Einstellungsentscheidung verantwortlich ist, erhält man eine Antwort. Fragt man, wie oft ein Recruiter in den vergangenen sechs Monaten das Auswahltool formell überstimmt hat und was anschließend mit diesem Recruiter geschah, wird es im Raum still.
Diese zweite Frage ist es wert, gestellt zu werden, weil sich die Antwort widerlegen oder bestätigen lässt. Verantwortung ist eine Behauptung. Eine Überstimmung ist ein Ereignis.
Die Aufzeichnung endet beim Ergebnis
Kaan Esendemir, ein Unternehmensarchitekt, der KI-gestützte Arbeitsabläufe in Großunternehmen in großem Maßstab aufgebaut hat, beobachtet dieses Muster am häufigsten in Systemen, die Empfehlungen geben, statt Entscheidungen zu treffen. Virtuelle Assistenten, Beschleuniger für Arbeitsabläufe, Tools, die eine Option sichtbar machen und die Entscheidung einer Person überlassen.
Wo die Grenze zwischen diesen beiden liegt, ist Gegenstand einer Verhandlung. Geschäfts- und Produktverantwortliche entscheiden, wo die KI aufhört und eine Person beginnt, sagt er, wobei die Technik einbezogen wird, weil die Verantwortlichen dort verstehen, was das System realistischerweise leisten kann und wo es versagt. Dieser Teil funktioniert tendenziell.
Was danach geschieht, wird in den Aufzeichnungen nur noch unvollständig erfasst.
Wenn jemand das System übergeht, wird das endgültige Ergebnis meist erfasst, aber die Uneinigkeit selbst wird nicht immer als eigener Datenpunkt nachverfolgt.
Der Unterschied klingt geringfügig, aber er bestimmt, was eine Organisation lernen kann. Ein Ergebnis sagt Ihnen, was entschieden wurde. Eine Uneinigkeit sagt Ihnen, dass eine Person eine Empfehlung betrachtet, sie als falsch beurteilt und entgegen ihr gehandelt hat. Unternehmen bewahren von beidem das weniger nützliche auf.
Eine Überschreibung ist nicht bloß eine Ausnahme. Sie ist Feedback, das helfen kann, das System zu verbessern und zukünftige Empfehlungen besser zu machen.
Ein Protokoll der Überschreibungen ist eine kostengünstige Diagnose, die jeder COO in diesem Quartal durchführen kann. Wählen Sie drei Arbeitsabläufe aus, in denen KI eine folgenschwere Entscheidung beeinflusst. Zählen Sie die dokumentierten Fälle der vergangenen sechs Monate, in denen ein Mensch gegen die Empfehlung gehandelt hat. Lesen Sie dann, was in jedem dieser Fälle als Nächstes geschah.
Wenn die Zahl null beträgt, trifft höchstwahrscheinlich eine von zwei Möglichkeiten zu. Das System hat so gut funktioniert, dass kein Mensch in einem halben Jahr Anlass gefunden hat, ihm zu widersprechen – eine Behauptung, die kein Anbieter über sein eigenes Produkt aufstellt. Oder die Befugnis zum Widerspruch existiert auf dem Papier und sonst nirgends.
Die Zahl muss nicht null sein, um Ihnen etwas zu sagen. Spanien betreibt ein System namens Viogén, das in Fällen häuslicher Gewalt das Risiko wiederholter Gewalt bewertet, und eine externe Prüfung ergab, dass Polizeibeamte seiner Empfehlung in 95 % der Fälle folgten.
Der Europäische Datenschutzbeauftragte lässt unter Berufung auf die Prüfung in einem technischen Kurzbericht vom vergangenen September zu, dass die Übereinstimmung ein gerechtfertigtes Vertrauen in das Werkzeug widerspiegeln könnte. Zugleich wirft er die Frage auf, wie viel unabhängiges Urteilsvermögen in diesem Prozess noch verbleibt.
Eine Übereinstimmung von fünfundneunzig Prozent zwischen einer Person und einem Modell bedeutet entweder, dass es sich um ein sehr gutes Modell handelt, oder um eine Person, die aufgehört hat, eigene Schlussfolgerungen zu ziehen. Von außerhalb des Protokolls sehen diese beiden Fälle identisch aus. Von innerhalb des Protokolls aus betrachtet tun sie das über sechs Monate hinweg nicht.
Die Fähigkeit zur Überschreibung schwindet, bevor sie gemessen wird
Amy Centers, Organisationspsychologin und Gründerin von SmartWorks Labs, beschreibt das Problem zweiter Ordnung. Die Befugnis zur Überschreibung bleibt nicht einfach ungenutzt. Das, was dahintersteht, erodiert.
Es ist ein bisschen so, wie GPS unser Orientierungsvermögen geschwächt hat. Mit der Zeit wird die Auslagerung von Urteilsvermögen, denke ich, anfangen, den inneren Kompass und die Intuition einer Führungskraft zu schwächen, und darin liegt eine echte Gefahr, denn Organisationen könnten dann technisch effizient, aber moralisch hohl werden.
Ihre zugespitzte Formulierung lautet: "Je mehr wir schwierige Entscheidungen auslagern, desto größer ist das Risiko, Führungskräfte heranzubilden, die ohne eine Eingabeaufforderung nicht führen können."
Der Mechanismus läuft auf einer längeren Zeitskala als die meisten Überprüfungen der Unternehmensführung. Eine Führungskraft, die bei achtundneunzig aufeinanderfolgenden Empfehlungen dem Modell den Vortritt gelassen hat, war nicht untätig. Sie war effizient. Sie hat jedoch auch monatelang nicht das geübt, was die Befugnis zur Überschreibung voraussetzt, nämlich dass sie es noch kann.
Das zeigt sich nicht in einer vierteljährlichen Überprüfung. Es zeigt sich beim ersten Mal, wenn das Modell bei etwas Folgenschwerem selbstbewusst falsch liegt und die nominell dafür verantwortliche Person die Ausgabe liest, sie für plausibel hält und weitermacht.
Centers verortet den Fehlerpunkt bei der Führungskraft, und sie tut dies mit Nachdruck.
Ich würde mit der Verantwortlichkeit der Führungskräfte beginnen. Die meisten Fehlentwicklungen gehen von Führungskräften aus. Sie werden zu oft nicht unterstützt und unzureichend entwickelt. Sie werden nicht dafür zur Verantwortung gezogen, wie sie führen. Wenn man diese Scharnierebene nicht in Ordnung bringt, bricht jede andere Reform zusammen – sei es Mitarbeiterengagement, Kompetenzen oder die Einführung von KI.
Sie bezeichnet die Rolle der Führungskraft als Scharnier zwischen Strategie und menschlicher Erfahrung. In einem durch KI erweiterten Arbeitsablauf ist sie außerdem die einzige Ebene, die einen Fehlentscheid auffangen kann, bevor er sich vervielfältigt – besetzt mit Menschen, die wegen ihrer operativen Zuverlässigkeit befördert wurden und denen nie gesagt wurde, dass die Überprüfung maschineller Ausgaben nun zu ihren Aufgaben gehört.
Automatisierung überlässt den Menschen die schwierigsten Fälle
Victoria Pelletier, die zuvor unter anderem bei Accenture und IBM die Bereiche Personal und Transformation geleitet hat, weist darauf hin, was die Automatisierung mit der verbleibenden Arbeit macht.
Es geht um diese menschlichen Schlüsselkompetenzen, Innovation, Problemlösung und Dinge wie Empathie. Wenn man fragt, was zurückbleibt: Denken Sie an ein Kontaktzentrum. Dort gab es als Erstes irgendeine Form der Automatisierung. Sobald man mit einem menschlichen Mitarbeiter spricht, handelt es sich um eine Ausnahme. Der Fall ist nicht den Regeln der Richtlinie oder dem Code gefolgt, denen der KI-Agent folgen konnte. Man braucht also jemanden, der das durchdenken kann.
Ihrer Aussage zufolge haben Kontaktzentren dieses Experiment Jahre vor allen anderen durchgeführt. Automatisiert man die regelbefolgenden Aufgaben, ist jeder Anruf, der noch bei einer Person landet, zwangsläufig einer, den die Regeln nicht bewältigen konnten. Die verbleibende Arbeit ist schwieriger als die Arbeit, die weggefallen ist.
Pelletiers Punkt ist, dass die Definitionen von Rollen nur selten angepasst werden. Das Volumen sinkt, der Schwierigkeitsgrad steigt, und die Stellenbeschreibung, die Schulung und die Leistungskriterien beschreiben weiterhin die Arbeit, wie sie früher existierte. Sie merkt an, dass die verbleibende Arbeit „ein ganz anderes Kompetenzniveau bei einigen der Dinge erfordert, die wir heute bereits erwarten“.
Sie nennt außerdem einen strukturellen Grund dafür, dass Entscheidungsbefugnisse nicht neu aufgebaut werden. Organisationsdesign und Funktionen für die Jobarchitektur wurden im vergangenen Jahrzehnt als Gemeinkosten gekürzt – unter der nachvollziehbaren Annahme, dass Rollen nicht häufig neu bewertet werden müssten.
Das sind die Personen, die Entscheidungsbefugnisse jetzt neu aufbauen würden. Pelletier bezeichnet das, was in ihrer Abwesenheit geschieht, als „Frankensteinsche Zusammenstückelung von Arbeitsplätzen“.
Zwei Kritikpunkte am Menschen in der Schleife
Derzeit kursieren zwei Einwände dagegen, einen Menschen in der Schleife zu behalten, und sie weisen in entgegengesetzte Richtungen.
Die Version von Jurgen Appelo besagt, dass verpflichtende menschliche Kontrollpunkte Menschen zu Engpässen machen. Jede Interaktion beginnt und endet mit einer Person, Systeme kommunizieren nie miteinander, und der Betrieb läuft im Tempo der langsamsten Person. Er nennt das die Falle des Menschen in der Schleife.
Das meint Esendemir, wenn er mir sagt, dass das Nichterfassen von Übersteuerungen „größtenteils eine Designentscheidung“ ist.
Die Version des Europäischen Datenschutzbeauftragten ist nahezu das Gegenteil. In dem zuvor erwähnten technischen Kurzbericht zur menschlichen Aufsicht über automatisierte Entscheidungsfindung warnt der EDSB davor, anzunehmen, dass ein Mensch in der Schleife überhaupt für Aufsicht sorgt, und argumentiert, dass Organisationen Befugnisse, Schnittstellen und Eskalationswege ausdrücklich gestalten müssen, damit eine Person tatsächlich eingreifen kann.
Beide haben recht, und sie beschreiben unterschiedliche Fehler. Appelos Mensch steht im Weg. Der Mensch des EDSB ist anwesend und machtlos. Eine Organisation kann den ersten Fehler beheben, indem sie Kontrollpunkte entfernt, und dabei den zweiten noch verschlimmern.
Der Kurzbericht zeigt anhand eines Beispiels, wie sich Machtlosigkeit in der Praxis äußert. Zwischen 2014 und 2019 setzte der polnische öffentliche Arbeitsvermittlungsdienst einen Algorithmus ein, der Arbeitssuchende in drei Kategorien einteilte, wobei die Kategorie bestimmte, welche Unterstützung die jeweilige Person erhielt. Die Kundenberater waren formell als menschliche Aufsicht bestimmt und hatten die Befugnis, die Einstufung zu übersteuern.
Sie hatten die Befugnis und konnten sie nicht nutzen. Die Fallzahlen waren zu hoch und die Schulung war unzureichend. Niemand hatte ihnen gesagt, wann eine Übersteuerung angebracht war oder wie sie zu begründen wäre. Das System zeigte seine Ergebnisse in einer Form an, die es schwierig machte zu beurteilen, ob eine bestimmte Einstufung zu der Person passte, die ihnen gegenübersaß.
Dann kommt der Teil, der nichts mit Systemdesign zu tun hat. Einige lokale Führungskräfte rieten ausdrücklich von Übersteuerungen ab, andere verboten sie, weil eine Übersteuerung die Aufmerksamkeit von höherer Stelle auf sich zog.
Die Berater waren nicht in dem Sinne unzureichend geschult, dass ein Schulungsbudget das Problem behoben hätte. Sie erkannten einen Anreiz korrekt. Eine Übersteuerung des Modells erzeugte einen Datensatz, für den sich eine Führungskraft hätte verantworten müssen, während das Befolgen des Modells keinerlei Konsequenzen hatte. Bei diesen beiden Möglichkeiten und einer vollen Falllast besteht der rationale Schritt darin, das zu unterschreiben, was auf dem Bildschirm steht.
Der EDPS formuliert die Bedingung unmissverständlich. Bediener können nur dann echte Autorität über ein System ausüben, wenn sie keine Konsequenzen seitens ihrer eigenen Organisation fürchten müssen, wenn sie es nutzen.
Das ist eine Aussage über das Management, nicht über die Gestaltung von Benutzeroberflächen, und genau deshalb ist die Befugnis zum Übersteuern oft nur dekorativ. Die formale Einräumung ist der einfache Teil. Entscheidend dafür, ob sie jemand nutzt, ist, was mit der Person geschieht, die das tut.
Deloittes Formulierung dazu, was das alte Modell ersetzt, ist die bislang präziseste. Herkömmliche Instrumente für Entscheidungsrechte wie RACI setzen statische Befugnisse voraus. Bei AI müssen Rechte dynamisch sein, mit in das System integrierten Übersteuerungsprivilegien, Eskalationswegen und Konsensregeln, damit Menschen und Agenten koordinieren, wer wann und auf welcher Grundlage entscheidet.
Polen hatte fast all das auf dem Papier. Was fehlte, war ein Manager, der bereit war, die Nutzung durch jemanden abzuzeichnen.
Die Bedingungen schaffen, nicht das Schaubild
Vier Schritte, in der Reihenfolge, in der sie erfolgen müssen.
Entscheidungen nach ihrer Reversibilität klassifizieren, bevor man sie jemandem zuweist. Amazons Unterscheidung zwischen Einweg- und Zweiwegentscheidungen ist die maßgebliche Version. Unumkehrbare Entscheidungen erhalten Prüfung und langsame Abläufe. Umkehrbare werden zügig getroffen. Die Anwendung im AI-Zeitalter besteht darin, die Autonomie des Agenten daran auszurichten, wie schwer eine Entscheidung rückgängig zu machen ist, statt daran, wie routinemäßig sie wirkt.
Den Delegationsmodus benennen, nicht nur die delegierte Person. Die Erkenntnis des Max-Planck-Instituts veranschaulicht das. Regelbasierte, beispielbasierte und zielbasierte Delegation führten bei ansonsten vergleichbaren Personen zu messbar unterschiedlichen Anfragen. Jeder Arbeitsablauf, bei dem jemand einem System ein Ergebnis vorgibt und es die Kriterien bestimmen lässt, gehört in die Kategorie mit der höchsten Mehrdeutigkeit, denn genau das ist er.
Die Uneinigkeit festhalten, nicht nur das Ergebnis. Esendemirs Lücke ist diejenige, die geschlossen werden muss. Wenn eine Person gegen eine Empfehlung entscheidet, sollte festgehalten werden, dass sie dies getan hat, was sie wahrgenommen hat und was als Nächstes geschah. Das Ergebnis allein sagt nichts darüber aus, ob überhaupt noch jemand urteilt.
Die Grenze nach einem festen Zeitplan überprüfen. Wo AI entscheidet und wo eine Person entscheidet, ist keine Frage, die man einmal beantwortet. Legen Sie dafür einen Termin fest.
Die Forschenden des Max-Planck-Instituts schlossen mit einer Empfehlung, die sich eher an die delegierende Person als an die empfangende Maschine richtete. Delegationsschnittstellen, die es leicht machen, sich darauf zu berufen, nicht zu wissen, wie die Maschine die eigenen Anweisungen verstehen wird, sollten vermieden werden.
Das ist ein Gestaltungsprinzip, und es lässt sich von einem Regler auf einem Bildschirm auf ein gesamtes Betriebsmodell übertragen. Jede Abstraktionsebene zwischen einer Person und einer Konsequenz macht es leichter, mit dieser Konsequenz zu leben.
In sechs Monaten werden zahlreiche Organisationen Dokumentationen haben. Richtlinien, Satzungen von Ausschüssen, benannte Verantwortliche, abgeschlossene Schulungen.
Einige wenige werden ein Protokoll mit Einträgen haben.