Wer darf dem Modell widersprechen?
Delegationsrisiken: KI-Delegation auf Basis von Zielen verringert die Ehrlichkeit drastisch und überlässt Systemen die Methodenfindung hinter scheinbar akzeptablen Geschäftszielen.
Verantwortungslücke: KI-Governance-Richtlinien benennen Verantwortliche, aber Überstimmungsprotokolle zeigen, ob Entscheidungsmacht tatsächlich ausgeübt wird.
Beleg für Überstimmungen: Das Protokollieren von menschlichen Widersprüchen gegen KI-Empfehlungen deckt ungenutzte Autorität, schwache Systeme und organisatorischen Widerstand gegen Einsprüche auf.
Verfall von Urteilsvermögen: Das wiederholte Akzeptieren maschineller Empfehlungen kann das Entscheidungsvermögen von Führungskräften schwächen, noch bevor Organisationen die daraus resultierende Schwäche erkennen.
Praktische Gestaltung: Wirksame menschliche Kontrolle erfordert reversible Entscheidungsklassifikation, explizite Delegationsmodi, Widerspruchsprotokolle sowie sozialen Schutz bei Überstimmungen.
Forscher unter der Leitung des Max-Planck-Instituts für Bildungsforschung führten eine Variante eines Experiments durch, das Verhaltenswissenschaftler seit Jahrzehnten verwenden. Die Teilnehmenden beobachteten einen virtuellen Würfelwurf auf dem Bildschirm und gaben das Ergebnis an. Höhere Zahlen zahlten mehr, einen Cent pro Augenzahl, über zehn Runden hinweg.
Wenn sie selbst berichteten, sagten 95% die Wahrheit.
Anschließend ließen die Forschenden andere Teilnehmende die Meldung an eine Maschine delegieren und variierten dabei lediglich, wie die Anweisung formuliert wurde. Diejenigen, die explizite Regeln aufschreiben mussten, also festlegten, welches Ergebnis bei jeder der sechs möglichen Ausgänge gemeldet werden sollte, forderten die ehrliche Zahl in etwa 75% der Fälle von der Maschine an.
Lesen Sie weiter – und führen Sie weiterhin intelligenter
Erstellen Sie ein kostenloses Konto, um diesen Beitrag fertigzulesen und Teil einer Community zukunftsorientierter Führungskräfte zu werden, die Werkzeuge, Leitfäden und Einblicke für den Erfolg im Zeitalter der KI erschließen.
Have an account? Log In
Diejenigen, die das System trainierten, indem sie einen Beispieldatensatz auswählten, forderten in etwa der Hälfte der Fälle Ehrlichkeit. Diejenigen, die ein Ziel setzten – indem sie einen Regler von "maximale Genauigkeit" in Richtung "maximaler Profit" verschoben und die Methode der Maschine überließen – baten in der ersten Studie in 12% der Fälle um Ehrlichkeit und in einer Folgestudie, bei der das Delegieren optional war, in 16% der Fälle.
Zwischen 84 und 88% der Personen in dieser letzten Bedingung baten das System, für sie zu betrügen – ohne dass jemand dies tatsächlich sagen musste.
Das verfügbare Geld änderte sich nicht. Die Würfe selbst änderten sich nicht, da alle Teilnehmenden dieselbe feste Sequenz von zehn Würfen sahen. Was sich änderte, war wie viel Interpretationsspielraum zwischen der Anweisung und der Handlung lag.
Die Forschenden hatten erwartet, dass das Schreiben von Regeln konstant bleibt, nach der Annahme, dass das explizite Festlegen eines Betrugs dasselbe moralische Gewicht hat wie dessen Ausführung. Das war jedoch nicht der Fall: Auch hier sank die Ehrlichkeit um etwa zwanzig Prozentpunkte. Jede Form der Delegation verringerte sie, und die Schnittstelle bestimmte das Ausmaß.
Dies war ein Online-Experiment, das auf Prolific durchgeführt wurde, mit einem möglichen Höchstgewinn von sechzig Cent. Die Würfelwurf-Aufgabe ist wissenschaftlich gut validiert und sagt reales Verhalten wie Schwarzfahren oder irreführende Verkaufstaktiken voraus. Der Vergleich der Schnittstellen wurde nur in diesem Protokoll getestet, allerdings bestätigte eine Begleitstudie mit einer Steuervermeidungsaufgabe – bei der falsche Angaben eine Spende an das Rote Kreuz minderten – den zentralen Befund, wie Maschinenagenten mit den erhaltenen Anweisungen umgehen.
Dieser Unterschied ist entscheidend für das, was die meisten Unternehmen derzeit aufbauen. Das Verfassen eines Prompts ähnelt am ehesten dem Schreiben von Regeln, und unehrliche Anfragen in natürlicher Sprache machten laut Eigenauskunft der Teilnehmenden etwa 25% aus; externe Experten kamen auf 40%, als sie die Anweisungen bewerteten.
Der sprunghafte Anstieg erfolgt bei Schnittstellen, bei denen eine Person lediglich ein Ziel vorgibt und das System die Methode bestimmt. Wenn ein Manager einer Maschine aufträgt, möglichst viele qualifizierte Leads zu generieren oder die Besetzungsdauer zu minimieren, spezifiziert die Person lediglich das Ergebnis und überlässt die operative Umsetzung komplett dem System. Doch wo ist das Kriterium, das jemand verteidigen müsste?
Die Verantwortungsstruktur, die über solchen Arrangements steht, sieht auf dem Papier meist einwandfrei aus. Ein Name steht darunter. Doch dieser Name bedeutet weniger, als viele denken.
Einen Verantwortlichen zu ernennen war der einfache Teil
Organisationen haben im Jahr 2025 und darüber hinaus das Offensichtliche getan: Sie haben KI-Aufsichtsgremien eingerichtet, Richtlinien zur akzeptablen Nutzung geschrieben und einen namentlich benannten Manager im Organigramm neben den Worten "KI-Governance" platziert.
Deloittes 2026 Global Human Capital Trends Umfrage, durchgeführt mit Oxford Economics unter mehr als 9.000 HR- und Führungskräften aus 89 Ländern, ergab, dass 64% der Befragten KI und Entscheidungsfindung als sehr wichtig für den aktuellen Erfolg betrachten. Nur 5% sehen sich selbst dabei in einer Führungsrolle.
Die Lücke zwischen Sorge und Können lässt sich nicht mit fehlender Policy erklären. Die haben praktisch alle. Was fehlt, ist der Nachweis, dass die zugesprochene Autorität tatsächlich genutzt wird.
Fragen Sie einen CHRO, wem die KI-beeinflusste Einstellungsentscheidung gehört, bekommen Sie eine Antwort. Fragen Sie, wie oft in den letzten sechs Monaten ein Recruiter das Screening-Tool offiziell überstimmt hat und was danach mit diesem Recruiter geschah, wird es still im Raum.
Die zweite Frage lohnt sich, denn sie ist überprüfbar. Eigentümerschaft ist ein Anspruch. Eine Übersteuerung ist ein Ereignis.
Die Dokumentation endet beim Ergebnis
Kaan Esendemir, Enterprise Architect, der KI-unterstützte Workflows in einem Fortune-50-Unternehmen aufgebaut hat, beobachtet das Muster besonders häufig in Systemen, die Empfehlungen geben statt Entscheidungen zu treffen: Virtuelle Assistenten, Workflow-Beschleuniger, Tools, die eine Option vorschlagen, die Entscheidung aber dem Menschen überlassen.
Wo die Grenze zwischen beidem liegt, ist Verhandlungssache. Business- und Produktverantwortliche legen fest, wo KI aufhört und der Mensch beginnt, so Esendemir. Die Technik ist eingebunden, weil sie weiß, was das System realistisch kann und wo es scheitert. Dieser Teil funktioniert meist gut.
Was danach folgt, ist der Teil, wo die Nachvollziehbarkeit dünner wird.
Wenn jemand das System überstimmt, wird das Endergebnis normalerweise erfasst, aber die Meinungsverschiedenheit selbst wird nicht immer als eigener Datenpunkt nachverfolgt.
Der Unterschied klingt gering, doch er bestimmt, was eine Organisation daraus lernen kann. Ein Ergebnis sagt aus, was entschieden wurde. Eine Meinungsverschiedenheit zeigt, dass eine Person eine Empfehlung geprüft, sie für falsch befunden und dagegen gehandelt hat. Die Unternehmen bewahren meist das weniger nützliche von beiden auf.
Eine Überstimmung ist nicht nur eine Ausnahme. Sie ist Rückmeldung, die dabei helfen kann, das System zu verbessern und zukünftige Empfehlungen besser zu machen.
Ein Überstimmungsprotokoll ist eine kostengünstige Diagnose, die jeder COO noch in diesem Quartal durchführen kann. Wählen Sie drei Arbeitsabläufe aus, in denen KI eine entscheidende Rolle spielt. Zählen Sie die dokumentierten Fälle der letzten sechs Monate, in denen ein Mensch gegen die Empfehlung gehandelt hat. Lesen Sie dann nach, was danach jeweils passiert ist.
Wenn die Zahl null ist, trifft höchstwahrscheinlich eines von zwei Dingen zu. Das System hat so gut funktioniert, dass kein Mensch in einem halben Jahr einen Grund fand, zu widersprechen – was kein Anbieter über sein eigenes Produkt behauptet. Oder das Recht zu widersprechen besteht nur auf dem Papier, nicht in der Praxis.
Die Zahl muss nicht null sein, um aufschlussreich zu sein. Spanien betreibt ein System namens Viogén, das das Risiko erneuter Gewalt in Fällen von häuslicher Gewalt bewertet. Eine externe Prüfung ergab, dass die Polizei in 95 % der Fälle der Empfehlung folgte.
Der Europäische Datenschutzbeauftragte, der die Prüfung in einem technischen Bericht im vergangenen September zitierte, räumt ein, dass diese Übereinstimmung berechtigtes Vertrauen in das Werkzeug widerspiegeln könnte. Gleichzeitig stellt er auch die Frage, wie viel unabhängiges Urteilsvermögen noch im Prozess vorhanden ist.
95 % Übereinstimmung zwischen einer Person und einem Modell bedeuten entweder ein sehr gutes Modell oder eine Person, die keine eigenen Schlüsse mehr zieht. Von außen betrachtet ist beides identisch. Im Protokoll zeigt sich über sechs Monate jedoch der Unterschied.
Die Fähigkeit zu überstimmen schwindet, bevor sie messbar wird
Amy Centers, Organisationspsychologin und Gründerin von SmartWorks Labs, beschreibt das Folgeproblem. Das Recht zur Überstimmung bleibt nicht nur ungenutzt. Was dahinter steht, wird mit der Zeit ausgehöhlt.
Es ist ein bisschen so, wie GPS unseren Orientierungssinn geschwächt hat. Ich glaube, dass das Auslagern von Urteilsvermögen im Laufe der Zeit beginnt, den inneren Kompass und die Intuition einer Führungskraft zu untergraben – und darin liegt eine echte Gefahr. Denn so könnten Organisationen technisch effizient werden, aber moralisch hohl.
Ihre zugespitzte Version: „Je mehr wir schwierige Entscheidungen auslagern, desto mehr riskieren wir, Führungskräfte heranzuziehen, die ohne einen Impuls nicht mehr führen können.“
Der Mechanismus wirkt über einen längeren Zeitraum als die meisten Governance-Reviews. Ein Manager, der 98 Empfehlungen in Folge dem Modell überlassen hat, war nicht untätig. Er war effizient. Aber er hat auch monatelang die Übung unterlassen, von der die Annahme ausgeht, dass er weiterhin überstimmen kann.
Das wird in einer Quartalsbewertung nicht sichtbar. Es tritt erst zutage, wenn das Modell bei etwas Wichtigem mit voller Überzeugung danebenliegt und die nominell verantwortliche Person die Ausgabe liest, sie plausibel findet und weitermacht.
Centers sieht den kritischen Punkt beim Manager und hebt das deutlich hervor.
Ich würde bei der Verantwortlichkeit des Managements ansetzen. Die meisten Dysfunktionen gehen von den Managern aus. Sie sind zu oft ohne Unterstützung, unterentwickelt. Sie werden nicht dafür zur Rechenschaft gezogen, wie sie führen. Wenn man diese Zwischenschicht nicht stabilisiert, scheitern alle anderen Reformen wie Engagement, Qualifizierung oder KI-Einführung.
Sie bezeichnet die Rolle des Managers als Scharnier zwischen Strategie und menschlicher Erfahrung. In einem KI-unterstützten Workflow ist es außerdem die einzige Ebene, die einen Fehler abfangen kann, bevor er sich multipliziert – besetzt mit Menschen, die wegen ihrer betrieblichen Zuverlässigkeit befördert wurden und denen nie gesagt wurde, dass das Prüfen von Maschinenergebnissen nun Teil ihres Aufgabenbereichs ist.
Automatisierung überlässt den Menschen die schwierigsten Fälle
Victoria Pelletier, die zuvor unter anderem bei Accenture und IBM Personal- und Transformationsfunktionen geleitet hat, beschreibt, wie sich die Automatisierung auf die verbleibende Arbeit auswirkt.
Es sind diese menschlichen Fähigkeiten, Innovationskraft, Problemlösungskompetenz und Dinge wie Empathie. Wenn Sie fragen, was übrig bleibt? Denken Sie an ein Contact Center. Das war der erste Ort, an dem es eine gewisse Automatisierung gab. Wenn Sie schließlich mit einem menschlichen Agenten sprechen, ist das eine Ausnahme. Der Vorgang hat sich nicht an die Regeln der Richtlinie oder den Code gehalten, die der KI-Agent befolgen konnte. Sie brauchen also jemanden, der das durchdenken kann.
Pelletier zufolge haben Contact Center dieses Experiment schon Jahre vor allen anderen durchgeführt. Automatisieren Sie das regelbasierte Arbeiten, und jeder Anruf, der tatsächlich einen Menschen erreicht, ist per Definition einer, den die Regeln nicht abdecken konnten. Die verbleibende Arbeit ist also schwieriger als die, die automatisiert wurde.
Pelletiers Argument: Die Rollendefinitionen ziehen selten nach. Das Volumen sinkt, die Schwierigkeit steigt, und die Aufgabenbeschreibung, das Training und die Leistungskriterien beschreiben immer noch den Job, wie er früher war. Sie merkt an, dass die verbleibende Arbeit „ein ganz anderes Kompetenzniveau erfordert, als das, was wir heute bereits erwarten“.
Sie benennt außerdem einen strukturellen Grund, warum Entscheidungsrechte nicht neugestaltet werden. Organisationsdesign und Aufgabenarchitektur wurden im vergangenen Jahrzehnt als Overhead reduziert – in der verständlichen Annahme, dass Rollen nicht regelmäßig neu bewertet werden müssten.
Das wären jetzt genau die Menschen, die Entscheidungsrechte neu aufbauen würden. Pelletier nennt das, was ohne diese Arbeit passiert, das „Frankensteining von Jobs“.
Zwei Kritiken am Prinzip Human-in-the-Loop
Zwei Einwände gegen das Prinzip eines Menschen in der Schleife sind derzeit im Umlauf, dabei zeigen sie in entgegengesetzte Richtungen.
Jurgen Appelo argumentiert, dass verpflichtende menschliche Kontrollpunkte Menschen zu Engpässen machen. Jede Interaktion beginnt und endet mit einer Person, Systeme kommunizieren nie direkt miteinander, und der Betrieb läuft in dem Tempo, wie der langsamste Mensch. Er nennt das die Human-in-the-Loop-Falle.
Die Sichtweise des Europäischen Datenschutzbeauftragten geht fast in die entgegengesetzte Richtung. In dem zuvor erwähnten technischen Bericht über menschliche Aufsicht bei automatisierten Entscheidungen warnt der EDPS davor, anzunehmen, dass ein Mensch in der Schleife überhaupt eine effektive Kontrolle ausübt. Organisationen müssten explizit Autoritäten, Schnittstellen und Eskalationswege gestalten, damit eine Person tatsächlich eingreifen kann.
Beide haben recht, und sie beschreiben unterschiedliche Fehler. Appelos Mensch steht im Weg. Der Mensch beim EDPS ist zwar anwesend, aber wirkungslos. Eine Organisation kann das Erste beheben, indem sie Kontrollpunkte entfernt – und verschärft damit möglicherweise das zweite Problem.
Der Bericht beschreibt anschaulich, wie Machtlosigkeit in der Praxis aussieht. In Polen betrieb der öffentliche Arbeitsvermittlungsdienst zwischen 2014 und 2019 einen Algorithmus, der Jobsuchende in drei Kategorien einteilte und die Unterstützung nach Kategorie variierte. Kundenberater waren formal als menschliche Kontrollinstanz mit Befugnis zur Überschreibung vorgesehen.
Sie hatten die formale Befugnis, konnten sie jedoch nicht nutzen. Die Fallzahlen waren zu hoch, das Training war unzureichend. Niemand hatte ihnen erklärt, wann eine Überschreibung angemessen war oder wie sie diese begründen sollten. Das System präsentierte seine Ergebnisse in einer Form, die es schwer machte zu beurteilen, ob die Klassifizierung für die Person am Schreibtisch passte.
Dann kommt der Teil, der gar nichts mit Systemdesign zu tun hat. Einige Vorgesetzte verboten Übersteuerungen offen oder entmutigten sie, weil Überschreibungen Aufmerksamkeit von oben erregten.
Die Berater waren nicht unterqualifiziert im Sinne eines fehlenden Trainingsbudgets. Sie verstanden sehr wohl die Anreizlage. Das Überschreiben des Modells schuf einen Vorgang, über den ein Manager Rechenschaft ablegen müsste; das Befolgen des Modells hinterließ keinen Nachweis. Angesichts voller Falllast und diesen beiden Alternativen ist der rationale Schritt, das zu unterschreiben, was auf dem Bildschirm steht.
Der EDPS bringt es klar auf den Punkt: Bedienende können nur dann echte Kontrolle über ein System ausüben, wenn sie keine negativen Konsequenzen durch ihre Organisation fürchten müssen.
Das ist eine Aussage über Führung und Organisation, nicht über Schnittstellendesign – und der Grund, warum Übersteuerungsrechte oft nur symbolisch sind. Die formale Berechtigung ist der einfache Teil. Was darüber entscheidet, ob sie tatsächlich genutzt wird, ist das, was mit der Person passiert, die sie nutzt.
Die Sprache von Deloitte zu dem, was das alte Modell ersetzt, ist die präziseste verfügbaren. Traditionelle Werkzeuge zur Festlegung von Entscheidungsrechten wie RACI gehen von statischer Autorität aus. Mit KI müssen Rechte dynamisch sein, mit Verfügbarkeiten zur Übersteuerung, Eskalationswegen und Regeln für Konsensbildung, sodass Menschen und KI-Agenten gemeinsam entscheiden können, wer entscheidet, wann und auf welcher Grundlage.
Polen hatte davon das meiste auf dem Papier. Was fehlte, war ein Manager, der bereit war, dies abzusegnen und jemanden es nutzen zu lassen.
Schaffe die Bedingungen, nicht die Übersicht
Vier Schritte, in genau dieser Reihenfolge.
Entscheidungen nach Umkehrbarkeit klassifizieren, bevor jemand damit beauftragt wird. Amazons Unterscheidung zwischen Einweg- und Zweiweg-Türen ist das Referenzmodell. Unumkehrbare Entscheidungen werden gründlich geprüft und laufen auf langen Wegen. Umkehrbare Entscheidungen kommen schneller voran. Die KI-Zeit Anwendung besteht darin, die Entscheidungskompetenz eines Agenten daran zu koppeln, wie schwer eine Entscheidung rückgängig zu machen ist – und nicht daran, wie routinemäßig sie aussieht.
Benennen Sie nicht nur den Beauftragten, sondern auch die Art der Delegation. Der Max-Planck-Befund zeigt dies. Regelbasierte, beispielbasierte und zielbasierte Delegation führen bei ansonsten vergleichbaren Personen zu nachweislich unterschiedlichen Anweisungen. Jeder Arbeitsablauf, bei dem jemand dem System ein Ergebnis übergibt und dieses dann die Kriterien selbst bestimmt, gehört in die Kategorie mit der höchsten Unklarheit, weil es genau das ist.
Erfassen Sie die Meinungsverschiedenheiten, nicht nur das Ergebnis. Die Lücke von Esendemir ist zu schließen. Wenn eine Person gegen eine Empfehlung handelt, muss festgehalten werden, dass sie dies getan hat, was sie gesehen hat und was danach passiert ist. Das Ergebnis allein verrät nicht, ob noch jemand urteilt.
Überprüfen Sie die Grenze regelmäßig. Wo KI entscheidet und wo eine Person entscheidet, ist keine Frage, die man einmalig beantwortet. Setzen Sie ein Datum.
Die Max-Planck-Forschenden beendeten die Studie mit einer Empfehlung, die sich an die delegierende Person richtet – und nicht an die Maschine, die delegiert bekommt. Delegationsschnittstellen, die es erlauben, Unwissenheit über die Auslegung der eigenen Anweisungen durch die Maschine zu beanspruchen, sollten vermieden werden.
Das ist ein Gestaltungsprinzip, und es reicht von einem Regler auf dem Bildschirm bis hin zu einem ganzen Betriebsmodell. Jede Abstraktionsebene zwischen Mensch und Konsequenz macht es leichter, mit der Konsequenz zu leben.
In sechs Monaten werden viele Organisationen Dokumentationen haben. Richtlinien, Ausschussaufträge, benannte Verantwortliche, absolvierte Schulungen.
Einige wenige werden ein Protokoll mit Einträgen führen.
