Warum menschliche Aufsicht nicht ausreicht, um KI unter Kontrolle zu halten

David Rice: Wir sprechen über KI-gestützte Entscheidungsfindung, als wäre sie etwas, dem die Menschheit noch nie zuvor begegnet ist. Claire Maiers untersucht seit über einem Jahrzehnt Menschen, die mit prädiktiven Systemen arbeiten, und sagt, dass wir die wichtigste Lektion vergessen haben: den Kontext. In der heutigen Sendung spreche ich mit Claire darüber, was dieses Mal tatsächlich anders ist – und es ist nicht die Existenz maschineller Empfehlungen.

Solche Empfehlungen gibt es seit Jahren in der Polizeiarbeit, bei Entscheidungen über Bewährung, bei Einstellungen, bei Netflix und vielen anderen Bereichen. Anders ist die kulturelle Autorität, die diese Version besitzt. Sprache wirkt stärker verankert als Zahlen. Konversationelles Design lässt ein System wie einen Kollegen oder sogar eine Autorität erscheinen. Dadurch wird es schwieriger, sich ihm kritisch zu nähern, sofern man dies nicht bewusst tut.

Claires Argument führt zu einem Punkt, mit dem sich Organisationen bisher noch nicht vollständig auseinandersetzen. KI hat unbestreitbar gemacht, dass Organisationen soziotechnische Systeme sind. Die Akteure sind nicht mehr nur Menschen. Das bedeutet, dass Führungskräfte eine echte Entscheidung treffen müssen: nicht, ob KI eingesetzt wird, sondern wie stark sie integriert wird und auf welche Vision sie hinarbeiten.

Der Masse zu folgen, ist der einfache Weg. So entstehen jedoch Tausende individuell vernünftiger KI-gestützter Entscheidungen, die beeinflussen, wer eingestellt und befördert wird und was belohnt wird, ohne dass jemand bewusst entschieden hätte, dass das die Arbeitsweise des Unternehmens sein soll. Heute sprechen wir darüber, warum der Kontext – nicht allein die Kultur – der fehlende Bestandteil der meisten KI-Diskussionen ist, was wir vor einem Jahrzehnt beim Thema Big Data falsch gemacht haben und ob wir diesen Fehler wiederholen, warum generative KI mehr überzeugende Autorität besitzt als frühere Systeme zur Entscheidungsunterstützung und was es bedeutet, Organisationsdesign genauso ernst zu nehmen wie das Geschäftsmodell selbst.

Ich bin David Rice. Dies ist People Managing People. Wenn Ihre Organisation KI eingeführt hat, ohne dass jemand die dahinterstehende Vision festgelegt hat, zeigt dieses Gespräch, warum es sich dabei um ein Organisationsdesignproblem handelt – nicht nur um ein Technologieproblem. Legen wir los.

Lernen Sie Teamflect kennen, die am besten bewertete Plattform für Leistungsmanagement und Mitarbeiterengagement, entwickelt für Microsoft Teams. Über 1.000 Organisationen vertrauen darauf. Sie ist einfach zu bedienen und dennoch auf Unternehmensniveau. Besuchen Sie Teamflect.com, um mehr zu erfahren.

Claire, willkommen in der Sendung. Schön, dass du da bist.

Claire Maiers: Vielen Dank. Ich freue mich sehr auf unser Gespräch heute.

David Rice: Ich möchte diese Diskussion mit der Beobachtung beginnen, dass KI-gestützte Entscheidungsfindung oft so behandelt wird, als wäre sie etwas völlig Neues für die Menschheit. Du hast jedoch schon lange vor der generativen KI untersucht, wie Menschen mit prädiktiven Systemen arbeiten. Was haben wir damals gelernt, das wir inzwischen vielleicht vergessen haben, und was ist dieses Mal wirklich anders?

Claire Maiers: Ich denke, vieles ist anders. Gemeinsam ist jedoch, dass wir in verschiedenen Bereichen schon seit geraumer Zeit mit Datenpunkten, Vorhersagen oder Empfehlungen arbeiten, die aus einem weitgehend undurchsichtigen System stammen – ähnlich wie generative KI für die meisten Nutzer funktioniert.

Die Lektion, die wir in den vergangenen zehn oder mehr Jahren aus der Nutzung solcher Systeme zur Entscheidungsunterstützung gelernt haben, lautet: Der Kontext ist entscheidend. In vielen Gesprächen ist dieser Aspekt in Vergessenheit geraten. Natürlich sprechen wir über Kultur, aber der Kontext geht über Kultur hinaus oder lässt sich zumindest in verschiedene Bestandteile aufteilen, die für das Organisationsdesign relevant sind.

Menschen nutzen diese Systeme nicht in einem Vakuum, wie es bei ihrer Entwicklung vielleicht angenommen wird. Sie nutzen sie in einer bestimmten Organisation mit bestimmten Normen. Sie kommen aus einer bestimmten beruflichen Perspektive und handeln in einer bestimmten Kultur. Entscheidend ist dabei, wie wir Wahrheit bewerten, was als Wissen gilt und wie wir die Ergebnisse dieser Systeme interpretieren und verwenden.

David Rice: Du hast Wahrheit und Wissen erwähnt. Jede Technologiegeneration scheint mit dem Versprechen aufzutreten, menschliche Unordnung – insbesondere menschliches Urteilsvermögen – durch etwas Objektiveres zu ersetzen. Was jetzt anders ist, ist vielleicht weniger die Existenz maschineller Empfehlungen als vielmehr ihre Zugänglichkeit und Überzeugungskraft. Sie klingen heute wie eine stichhaltige, durchdachte Erklärung und sind in vielerlei Hinsicht sehr überzeugend. Welche Fehler aus früheren Systemen zur Entscheidungsunterstützung siehst du jetzt wiederkehren?

Claire Maiers: Häufig gab es zumindest in den besten Fällen eine menschliche Einordnung der Ergebnisse solcher Systeme. Bei prädiktiven Analysen in der Polizeiarbeit, bei Rückfallprognosen oder Entscheidungen über eine vorzeitige Entlassung haben wir erlebt, dass man sich zu stark auf Systeme verlassen hat, die zu starr waren, um die menschliche Realität abzubilden. Das war eine der großen Befürchtungen während des Hypes um Big Data.

Big Data wurde vor zehn oder fünfzehn Jahren als Möglichkeit gefeiert, endlich Fragen zu beantworten, bei denen man sich zuvor auf menschliche Subjektivität verlassen musste. Doch schnell zeigte sich, dass übermäßig starre Systeme scheitern können, weil sie die menschliche Realität nicht berücksichtigen.

Bei der aktuellen Form der generativen KI beunruhigt mich jedoch besonders ihre kulturelle Autorität. Ausgaben in Form von Sprache wirken stärker verankert als Zahlen. Die Systeme sind bewusst so gestaltet, dass sie sich wie ein Gesprächspartner, Freund oder eine Autorität anfühlen. Dadurch fällt es uns schwerer, ihnen kritisch und fragend zu begegnen, sofern wir das nicht sehr bewusst tun.

Auch das Ausmaß ist anders. Viele Menschen interagieren heute täglich mit dieser Technologie. Außerdem besitzen die großen Technologieunternehmen sowohl materielle als auch symbolische Macht. All das verleiht den Ergebnissen der KI eine andere kulturelle Autorität.

David Rice: Was geschieht mit menschlichem Urteilsvermögen, wenn die KI diese Informationen liefert? Wenn wir ihr grundsätzlich stärker vertrauen, hinterfragen wir uns selbst anders als früher. Wie sollten wir darüber nachdenken, wie wir uns selbst und die Maschine hinterfragen, wenn sie mit uns spricht?

Claire Maiers: Wir sollten über die gewünschten Ergebnisse nachdenken und das System so gestalten, dass es uns dazu befähigt, selbst zu denken. Ich bin nicht gegen KI. Es gibt beeindruckende Anwendungen, und wir sollten sie dort einsetzen, wo sie einen echten Wert für die menschliche Erfahrung schafft.

Das System muss Informationen jedoch nicht so präsentieren, wie wir es von ChatGPT oder Claude kennen. Wenn ein KI-System selbst dann Empfehlungen gibt, wenn man ausdrücklich nur Fragen zur Unterstützung des eigenen Denkens verlangt, zwingt es uns nicht dazu, die notwendigen Denkschritte selbst zu durchlaufen.

Forschung zeigt, dass Notizenmachen Lernen bedeutet. Wer Notizen macht, kategorisiert Informationen, stellt Verbindungen her und vereinfacht Inhalte. Ein KI-Notizsystem kann zwar eine Zusammenfassung erstellen, aber unser Gehirn hat die Arbeit nicht selbst geleistet. Der Wert liegt oft im Erstellen der Notizen, nicht nur im Besitz der Notizen.

Daher sollten wir Systeme entwickeln, die auf einem Verständnis menschlicher Entscheidungsfindung beruhen und das Gehirn weiterhin dazu zwingen, diese wichtigen Schritte zu durchlaufen.

David Rice: Das ist ein gutes Beispiel. Seit es KI-Notizsysteme in Besprechungen gibt, habe ich häufiger den Raum verlassen und mich gefragt, worum es in der Besprechung eigentlich ging, weil ich weniger aufmerksam war.

Claire Maiers: Denken ist anstrengend. Ideen zu entwickeln und Informationen zu verarbeiten kostet Energie. Es ist der Unterschied zwischen dem, was einfach, und dem, was am besten ist. Eine Besprechung, in der man sich wirklich eingebracht hat, hinterlässt oft ein besseres Gefühl und versetzt einen in eine bessere Lage, die Organisation zu unterstützen.

David Rice: In der klinischen Umgebung, die du untersucht hast, ging es nicht darum, ob die Maschine oder der Arzt eine Aufgabe besser erledigte. Die Fachkräfte lernten, welchen Platz die Maschine in einem größeren Entscheidungsprozess einnahm. Kannst du uns durch diesen Fall führen?

Claire Maiers: Das war vor etwa zehn Jahren. Im Rahmen meiner Dissertation untersuchte ich, wie Data Science unser Verständnis davon verändert, was es bedeutet, etwas zu wissen. Eine Fallstudie fand im medizinischen Bereich statt. Ich beobachtete Datenwissenschaftler, die etwa ein Jahr lang mit Ärzten an einer Technologie arbeiteten, die vorhersagen sollte, ob Patienten eine Sepsis entwickeln würden.

Die Technologie überwachte die Herzfrequenz und prognostizierte anhand dieser Daten, wie wahrscheinlich es war, dass ein Säugling auf der neonatologischen Intensivstation innerhalb der nächsten 24 Stunden eine Sepsis entwickeln würde. Das System wurde jedoch nicht als deterministisch behandelt. Die Erfahrung der Pflegekräfte und Ärzte floss weiterhin in die Entscheidung ein, ob eine Behandlung begonnen werden sollte.

Die körperliche Realität der Patienten war entscheidend: Die Babys waren krank oder nicht krank, unabhängig davon, was der Monitor anzeigte. Dadurch konnten die Ärzte und Pflegekräfte im Laufe der Zeit lernen, wie das System auf einzelne Patienten oder Patientengruppen reagierte, und den Unterschied zwischen Vorhersage und Realität erkennen.

In Unternehmen fehlt uns häufig ein solcher Kontext. Wir können nicht einfach zwei parallele Realitäten erzeugen und vergleichen, was geschehen wäre. Deshalb fehlt uns oft die Realität, mit der wir KI-gestützte Entscheidungen einordnen könnten.

Ein weiterer wichtiger Punkt war der strukturierte und bewusst gestaltete Entscheidungsprozess. Bei einer Behandlungsentscheidung untersucht die Pflegekraft zunächst den Patienten und sammelt Daten. Weitere Fachkräfte tun dasselbe, Laboruntersuchungen werden angeordnet und anschließend beraten sich die Beteiligten. Die behandelnde Ärztin oder der behandelnde Arzt trifft die endgültige Entscheidung.

Wenn wir bei KI-gestützten Entscheidungen bewusst vorgehen wollen, brauchen wir einen ähnlich strukturierten und klar formulierten Prozess, der zu den jeweiligen Entscheidungen passt. So können wir im Laufe der Zeit erkennen, wo Entscheidungen scheitern, und Schutzmechanismen einbauen.

Auch ein Ethikkodex ist wichtig. In der Medizin verfolgen alle dasselbe Ziel: die Gesundheit des Patienten. In vielen Organisationen ist es schwieriger, Menschen auf ein gemeinsames Ergebnis auszurichten. Politik und andere Interessen stehen dem im Weg. Ein Ethikkodex oder eine gemeinsame Organisationscharta kann jedoch helfen, Menschen auf ein gemeinsames Ziel auszurichten.

David Rice: Was bereitet dir am meisten Sorgen, wenn es darum geht, dass Menschen künftig die Ergebnisse von KI bewerten und ihnen das richtige Gewicht geben?

Claire Maiers: Die gesamte Wirtschaft ist auf kurzfristigen Wert und kurzfristigen Nutzen ausgerichtet. Viele befürchten bereits einen Mangel an Talent und Erfahrung – an Menschen, die in der Lage sind, die Ergebnisse einer Maschine einzuordnen und zu hinterfragen.

Ein Ausbildungs- oder Lehrlingsmodell könnte Menschen die nötige Erfahrung vermitteln. Allerdings stellt sich die Frage, welches Geschäftsmodell den Raum für eine solche Ausbildung schafft, wenn Unternehmen regelmäßig kurzfristiges Gewinn- und Umsatzwachstum nachweisen müssen. Das Ausbildungsmodell könnte als reines Kostenproblem betrachtet werden und in einem kurzfristigen Zyklus als Erstes gestrichen werden.

David Rice: Wenn KI immer mehr Organisationswissen durchsuchbar, messbar und zusammenfassbar macht, besteht dann nicht die Gefahr, dass Wissen bevorzugt wird, das für die Maschine am leichtesten erkennbar ist? Was geschieht mit Erfahrung, Intuition und Kontext, den Menschen zwar kennen, aber nicht unbedingt dokumentieren oder vollständig ausdrücken können?

Claire Maiers: Die Antwort steckt bereits in der Frage: Ja, diese Gefahr besteht. Vieles von dem, was Organisationen erfolgreich macht, ist nicht dokumentiert. Die formale Organisationsstruktur zeigt, wie Dinge angeblich funktionieren sollen. In der Praxis laufen sie häufig anders ab. Menschen, die sich in Organisationen gut bewegen, verstehen diese informellen Beziehungen, Verantwortlichkeiten und Kommunikationswege.

Man kann Mikrofone in der gesamten Organisation anbringen und jede Besprechung aufzeichnen. Vielleicht lassen sich dadurch Erkenntnisse gewinnen oder Strukturen erkennen. Aber ich weiß nicht, ob eine KI die Arbeit ersetzen kann, die Menschen über informelle Kanäle leisten, um die Mission zu unterstützen.

David Rice: In einer Zeit, in der Vertrauen auf einem Tiefpunkt ist, sollten wir mit solchen Ansätzen vorsichtig sein. Vielleicht sollten wir eher versuchen, die Nähe und die natürlichen Momente nachzubilden, in denen sich wichtige Informationen ergeben, statt Menschen ständig zu überwachen.

Claire Maiers: Technologie ist weder gut noch schlecht, und sie ist auch nicht neutral. Wenn wir gute Zukunftsperspektiven für uns und andere wollen, müssen wir unsere Stimme erheben und dafür sorgen, dass Technologien die menschliche Erfahrung bereichern und nicht verschlechtern.

David Rice: Wie bewahren wir eine legitime Rolle für Intuition und Erfahrung, ohne Menschen eine Ausrede zu geben, Beweise zu ignorieren, wenn sie ihren Überzeugungen widersprechen?

Claire Maiers: Genau darum geht es. Evidenzbasierte Medizin war eine Korrektur für eine Zeit, in der zu viel Subjektivität und Risiko bestanden, weil Menschen Belege nicht ausreichend berücksichtigten. Die entscheidende Frage lautet: Wann wird Intuition zu Verzerrung? Die Antwort hängt davon ab, wie wir den Kontext gestalten und wofür die Technologie eingesetzt wird.

Es wird keinen einzigen Kontext geben, der für alle Organisationen passt. Mission, Branche und Größe spielen eine Rolle. Wir müssen jedes soziotechnische System so gestalten, dass Menschen gesund darin arbeiten können.

David Rice: Unternehmen sagen gerne: „KI informiert Entscheidungen. Menschen treffen sie.“ Das sagt jedoch nicht, ob Mitarbeitende sich tatsächlich berechtigt fühlen, die Empfehlung des Systems abzulehnen. Was muss in der Kultur vorhanden sein, damit menschliche Aufsicht mehr ist als ein Schlagwort für Governance?

Claire Maiers: Eine Organisation muss auf klar formulierte gemeinsame Ergebnisse ausgerichtet sein. Wenn die Menschen auf dasselbe Ziel hinarbeiten, können sie Fragen stellen, ohne als illoyal oder problematisch zu gelten. Außerdem braucht es Verantwortung und Zuständigkeit. Wenn niemand für eine Entscheidung verantwortlich ist, kann man sich leicht hinter dem Satz „Die KI hat das entschieden“ verstecken.

Wenn menschliche Beteiligung funktionieren soll, muss die betreffende Person ein gewisses Maß an Verantwortung und persönlicher Zuständigkeit empfinden. Das bedeutet nicht unbedingt, dass Einzelpersonen rechtlich für jede Entscheidung haften sollten. Die Verantwortung sollte wahrscheinlich auf Organisationsebene oder auf der Ebene des eingesetzten Werkzeugs liegen.

David Rice: Menschliche Beteiligung kann rein zeremoniell sein. Wenn die sicherste berufliche Entscheidung darin besteht, die Empfehlung einfach zu akzeptieren, lernt man sehr schnell, was die Organisation wirklich erwartet.

Claire Maiers: Genau. Das ist noch keine vollständige Antwort auf die Frage, welche Kultur Organisationen brauchen, aber einige Teile des Bildes beginnen sich zusammenzufügen.

David Rice: Du hast zuvor den Unterschied zwischen einem Junioranalysten und einem langjährigen Chief of Staff erwähnt. Wir kalibrieren unser Vertrauen anhand der Person, der Aufgabe und ihrer Erfahrung. Kann unsere Beziehung zu KI auf ähnliche Weise funktionieren?

Claire Maiers: Teilweise. Es gibt verschiedene Arten von Vertrauen: kognitives Vertrauen und Vertrauen in die guten Absichten. Beim kognitiven Vertrauen geht es darum, ob wir glauben, dass jemand eine Aufgabe gut erledigen kann. Beim Vertrauen in die guten Absichten geht es darum, ob wir glauben, dass jemand in unserem besten Interesse handelt.

Bei jeder Empfehlung sollten wir nicht nur berücksichtigen, woher sie stammt, sondern auch, wofür wir sie verwenden und welches Risiko mit ihrer Annahme verbunden ist. Bei einer wichtigen, schwer reversiblen Entscheidung muss man genauer prüfen, wie eine Analyse erstellt wurde und wer sie erstellt hat.

Die meisten KI-Systeme verfügen jedoch nicht über ein solches Vertrauen in gute Absichten und kalibrieren ihre Aufmerksamkeit nicht automatisch nach dem Risiko. Mit einem gut entwickelten, zweckgebundenen System kann man im Laufe der Zeit lernen, die Ergebnisse einzuordnen. Das setzt jedoch voraus, dass man keine strategischen Entscheidungen in ein beliebiges persönliches Chatfenster eingibt und anschließend blind auf die Empfehlung vertraut.

David Rice: Ich nutze KI eher, um meine Überlegungen herauszufordern. Ich gebe ihr den Kontext, erkläre, warum die Entscheidung wichtig ist, und bitte sie, mir Fragen zu stellen, die meine Argumentation auf die Probe stellen. So kann sie ein sehr leistungsfähiges Werkzeug sein. Ich würde ihr jedoch nicht einfach sagen: „Analysiere das und sag mir, was ich tun soll.“

Claire Maiers: Interessant ist, dass du dadurch dein Denken nach außen verlagerst und konkretisierst. Innovation und wissenschaftliche Durchbrüche entstehen selten isoliert. Sie entstehen im Gespräch und im Austausch mit anderen. Wenn KI diesen Austausch simulieren und dadurch das eigene Denken fördern kann, ist das ein interessanter Anwendungsfall.

David Rice: Dort habe ich bisher den größten tatsächlichen Wert gefunden – nicht nur darin, mehr erledigen zu können, sondern darin, besser zu denken.

Wenn KI in alltägliche Entscheidungen eingebettet wird – wer eingestellt wird, wie Leistung bewertet wird, welche Investitionen getätigt werden und was Führungskräfte priorisieren sollen –, sprechen wir dann noch lediglich über ein Werkzeug? Es fühlt sich eher so an, als würden wir verändern, wie wir Wissen erlangen und beurteilen.

Claire Maiers: Organisationen sind mehr als die Summe ihrer Bestandteile. KI macht deutlich, dass es sinnvoll ist, Organisationen als soziotechnische Systeme zu betrachten. Die Akteure in einer Organisation sind nicht nur Menschen, sondern auch Technologien.

Für Führungskräfte stellt sich daher eine große Frage: Wo ziehen wir die Grenze und welche Vision haben wir für unsere Organisation? Wir sollten nicht als unvermeidlich hinnehmen, dass KI Bestandteil unserer Einstellungsverfahren wird. Einzelne Führungskräfte und Organisationen müssen nicht einfach der Masse folgen.

Die erste Entscheidung lautet: Wie stark soll KI integriert werden? Suchen wir nicht nur nach Produktivitätssteigerungen, sondern auch nach Qualitätsverbesserungen – sowohl bei unseren Angeboten als auch bei der Erfahrung innerhalb der Organisation.

Danach geht es um die Gestaltung des Kontexts. Wir müssen entscheiden, was automatisiert werden kann, welche Entscheidungen im jeweiligen Kontext sicher automatisiert werden können und wie Menschen Bedenken äußern, Entscheidungen ablehnen und kritisch denken können.

Das ist eine große Aufgabe, besonders wenn keine Grundlage aus Vertrauen, einer klar formulierten Mission und einer Kultur vorhanden ist, die Widerspruch zulässt. Führungskräfte müssen eine Vision festlegen und von dort aus rückwärts arbeiten: Welchen ganzheitlichen Kontext müssen wir schaffen? Organisationen sollten außerdem branchenübergreifend zusammenarbeiten, damit KI auf gesunde Weise eingesetzt wird und zum menschlichen Wohlergehen beiträgt.

David Rice: Das gefällt mir: die Vision festlegen und den Kontext schaffen. Tausende individuell vernünftige KI-gestützte Entscheidungen werden bei ausreichender Größe das Verhalten einer Organisation grundlegend prägen – etwa dadurch, was belohnt wird oder wer befördert wird. Wenn niemand bewusst entscheidet, dass dies die Arbeitsweise des Unternehmens sein soll, ist das kein guter Zustand. Dann handelt es sich nicht mehr nur um die Einführung einer Technologie, sondern um eine Frage des Organisationsdesigns.

Claire Maiers: Genau. Das ist Organisationsdesign. Der Vorstand konzentriert sich häufig auf das Geschäftsmodell und vergisst, dass die Organisation der Motor ist, der dieses Modell umsetzt. Sie braucht genauso viel Aufmerksamkeit wie das Geschäftsmodell. Auch das Betriebsmodell braucht diese Aufmerksamkeit.

David Rice: Das war ein großartiges Gespräch. Vielen Dank, dass du dabei warst.

Claire Maiers: Es hat mir sehr viel Freude gemacht. Vielen Dank – es war sehr anregend.

David Rice: Liebe Zuhörerinnen und Zuhörer, bis zum nächsten Mal. Falls Sie es noch nicht getan haben, besuchen Sie peoplemanagingpeople.com/subscribe oder /ai-signal und abonnieren Sie unsere Newsletter. Das ist AI Signal oder unser regulärer Rückblick-Newsletter.

Sie erhalten alle aktuellen Inhalte von peoplemanagingpeople.com direkt in Ihrem Posteingang, einschließlich der Gespräche aus diesem Podcast. Bis zum nächsten Mal: Legen Sie die Vision fest und schaffen Sie den Kontext. Wir hören uns.

Führen Sie Leistungsbeurteilungen durch und bringen Sie Erkenntnisse zum Mitarbeiterengagement in Ihr bevorzugtes KI-Tool ein. Verbinden Sie Teamflect mit ChatGPT, Claude oder einem beliebigen großen Sprachmodell, um Ziele zu überprüfen, Beurteilungen zu verfassen, Feedback auszuwerten, Aufgaben zu erstellen und vieles mehr – alles über einen einfachen Chat. Testen Sie Teamflect jetzt kostenlos.