Die Einführung von KI verlangsamt sich nicht – und auch die Risiken nehmen nicht ab. Das Problem ist nicht, dass Organisationen nicht wissen, dass KI Probleme verursachen kann. Vielmehr nutzen Mitarbeitende KI bereits auf Arten, die Führungskräfte nicht vollständig vorhersehen können, während Governance-Modelle, die für die Technologien von gestern entwickelt wurden, mit dem Tempo nicht mithalten können.
In dieser Folge spricht David Rice mit dem KI-Ethik-Experten und Autor von The Ethical Nightmare Challenge Reid Blackman darüber, warum herkömmliche KI-Governance angesichts des Aufstiegs von generativer und agentischer KI ins Hintertreffen gerät. Anstatt Ethik als bürokratische Pflichtübung oder Innovationsbremse zu betrachten, argumentiert Reid, dass gerade die am schnellsten vorankommenden Organisationen gelernt haben, potenzielle „Albträume“ zu erkennen, bevor sie zu öffentlichen Misserfolgen werden. Das Gespräch bietet ein praxisnahes Rahmenwerk, das Führungskräfte sofort anwenden können – ohne auf unternehmensweite Richtlinien oder perfekte Abstimmungen warten zu müssen.
Das lernst du in dieser Folge
- Warum traditionelle KI-Governance-Frameworks nicht für generative oder agentische KI entwickelt wurden.
- Was KI-Agenten grundlegend von herkömmlichen KI-Systemen unterscheidet.
- Warum es nur eine kurzfristige Lösung ist, den Zugang zu KI einzuschränken.
- Wie ethische Risiken zu einer Führungs- und Organisationsherausforderung werden – und nicht nur ein technisches Problem bleiben.
- Warum „schnell handeln versus verantwortungsvolle KI“ eine falsche Entscheidung ist.
- Wie der Aufbau von KI-Governance durch kleine, projektbezogene Gespräche statt unternehmensweiten Reformen gelingen kann.
Wichtige Erkenntnisse
- Das größte KI-Risiko befindet sich bereits im Unternehmen. Mitarbeitende nutzen KI auf Weisen, die Führungskräfte oft nicht erkennen oder voraussehen können. Governance muss dieser Realität gerecht werden, statt zentrale Kontrolle vorauszusetzen.
- Richtlinien kommen mit dem Tempo der KI nicht mit. Bis viele unternehmensweite Richtlinien genehmigt und umgesetzt sind, hat sich die Technologie bereits weiterentwickelt. Governance muss schneller, anpassungsfähiger und näher an der operativen Realität sein.
- KI-Agenten sorgen für neue Komplexität. Anders als traditionelle KI-Tools kombinieren Agenten mehrere Systeme mit unterschiedlichen Autonomiegraden. Das macht Ergebnisse schwerer vorhersehbar und erfordert andere Aufsichtsmaßnahmen.
- Beginne mit den Albträumen – nicht mit abstrakten Prinzipien. Die Frage „Was könnte schiefgehen?“ führt zu deutlich besserer Einigkeit als das Diskutieren abstrakter Konzepte wie Fairness oder Transparenz. Katastrophen können Menschen viel leichter benennen als Ideale.
- Gut gelebte Ethik ermöglicht Geschwindigkeit. Organisationen, die wissen, wo KI versagen kann, sind besser darauf vorbereitet, sicher zu skalieren. Wirklich gebremst wird durch katastrophalen Vertrauensverlust, rechtliche Risiken und vermeidbare Fehler.
- Bei Governance klein anfangen. Anstatt auf ein unternehmensweites Programm zu warten, können Führungskräfte bei einem Projektteam, einer Abteilung oder mit einem kurzen Pilotversuch beginnen, um Risiken, Ressourcen und Schulungsbedarf zu identifizieren.
- Klare Sprache zählt. Führungskräfte brauchen kein weiteres technisches Fachchinesisch – sondern eine gemeinsame Sprache, mit der HR, Rechtsabteilung, Betrieb, Produkt und IT gemeinsam an realen Geschäftsrisiken arbeiten können.
- Führung braucht ehrliche Gespräche. Das Vermeiden unangenehmer Wahrheiten verringert das Risiko nicht. Potenzielle Fehler offen zu benennen, schafft Vertrauen und bessere Entscheidungen, bevor Probleme entstehen.
Kapitel
- 00:00 – Alle haben einen Flammenwerfer
- 02:11 – Die Governance-Lücke
- 06:17 – Was sind KI-Agenten?
- 11:55 – Warum Governance scheitert
- 17:29 – Aufsichtsgremien sind nicht vorbereitet
- 20:09 – Über KI-Richtlinien hinaus
- 28:20 – Das Albtraum-Rahmenwerk
- 37:42 – Proaktive Governance entwickeln
- 40:40 – Wer trägt die Verantwortung?
- 44:09 – Schluss mit dem Verharmlosen der Risiken
- 49:05 – Geschwindigkeit ohne Scheitern
- 53:40 – Wo anfangen?
- 54:57 – Erstmal klein starten
Lerne unseren Gast kennen

Reid Blackman, Ph.D., ist Gründer und CEO von Virtue Consultants sowie Autor von The Ethical Nightmare Challenge und Ethical Machines. Als führender Experte für KI-Ethik und -Governance berät er weltweit Unternehmen im Umgang mit ethischen, rechtlichen und reputationsbezogenen Risiken Künstlicher Intelligenz. Zuvor war er Professor für Philosophie an der Colgate University und der UNC-Chapel Hill. Reid hat mit Organisationen wie Amazon, Merck und der US Bank zusammengearbeitet, die kanadische Regierung in Fragen der KI-Regulierung beraten und umfangreich für Harvard Business Review und The New York Times geschrieben. Durch seine Beratungsarbeit, Publikationen und Vorträge unterstützt er Führungskräfte dabei, praktische und skalierbare Ansätze für verantwortungsvolle KI zu entwickeln.
Verwandte Links:
- Treten Sie der People Managing People Community bei
- Abonnieren Sie den Newsletter, um unsere neuesten Artikel und Podcasts zu erhalten
- Vernetzen Sie sich mit Reid auf LinkedIn
- Besuchen Sie Virtue Consultants
- Werfen Sie einen Blick auf Reids Buch – „The Ethical Nightmare Challenge: How to Avoid the Worst of AI“
Verwandte Artikel und Podcasts:
David Rice: Eine Führungskraft im Rechtsbereich eines Fortune-500-Unternehmens brachte es so auf den Punkt: Ihr Unternehmen stand nicht in Flammen, aber es fühlte sich an, als hielte jeder einen Flammenwerfer in der Hand. Das ist die aktuelle Situation der meisten Organisationen: Sie sind sich des Risikos bewusst, wissen aber nicht, wo sie den Löschschlauch ansetzen sollen – und die Gefahr kommt nicht von außen. Es ist die interne Dynamik, die niemand weiß, wie sie zu bremsen ist.
In der heutigen Sendung spreche ich mit Reid Blackman, dem Autor von „The Ethical Nightmare Challenge“, darüber, warum traditionelle Governance-Rahmen für die aktuellen Entwicklungen nicht ausgelegt sind. Ihre Mitarbeiter nutzen KI bereits auf Arten, mit denen Sie nicht gerechnet haben. Sie können nicht vorhersagen, wie sie KI-Agenten verwenden werden, und der einzige Hebel, den die meisten Führungskräfte kennen, ist der, den Zugang zu beschränken – was jedoch keine echte Lösung darstellt.
Reid geht auf einen Punkt ein, der vieles auf den Punkt bringt: Schnell handeln und KI-Ethik ernst nehmen – das ist kein Widerspruch. Die Unternehmen, die das als binäre Entscheidung behandeln, erzeugen genau die katastrophalen Vertrauensbrüche, die sie doch eigentlich vermeiden wollen. Und Sie müssen kein umfassendes KI-Ethik-Programm über Nacht aufbauen.
Sie können klein anfangen – auf Projektebene, mit zwei oder drei Teams, einem zehntägigen Pilotprojekt, oder auch nur mit einem ehrlichen Gespräch darüber, woher die Albträume stammen könnten. Was ist also die erste Frage, die es in Ihrem Unternehmen zu stellen lohnt? Wie wäre es mit: Haben wir uns überhaupt die Mühe gemacht zu identifizieren, welche ethischen, ruf- und rechtlichen Albträume beim Umgang mit KI in unserem Haus entstehen könnten?
Die meisten Organisationen würden – wenn sie ehrlich sind – diese Frage verneinen, und genau da beginnt man. Heute sprechen wir also darüber, warum traditionelle Risikogovernance für generative KI oder Agenten nicht gemacht ist. Was agentische KI zu einer grundlegend anderen Governance-Herausforderung macht, warum Tempo und Ethik kein Gegensatz sind, was „Schnell handeln und Dinge kaputt machen“ wirklich kostet. Und wie Sie schließlich die „Ethical Nightmare Challenge“ auf Projektebene starten.
Ich bin David Rice, und das ist People Managing People. Und wenn sich Ihre Organisation noch nie gefragt hat, was schiefgehen kann und wer geschädigt wird, wird dieses Gespräch zeigen, warum diese Frage nicht länger warten kann. Los geht's.
Okay, Reid. Willkommen in der Sendung. Schön, dass du da bist.
Reid Blackman: Danke für die Einladung.
David Rice: Ja, ich habe das Buch hier. Es gefällt mir. Ich finde, es ist eine gute Lektüre für alle, die über die ethischen Herausforderungen rund um KI nachdenken.
Reid Blackman: Ist nicht ganz mein Fall, aber ich freue mich, dass es dir gefällt.
David Rice: Sie beschreiben im Buch eine Führungskraft aus dem Rechtsbereich eines Fortune-500-Unternehmens, die sagte, das Unternehmen stehe nicht in Flammen, aber es wirke, als hielte jeder einen Flammenwerfer – das Bild gefällt mir.
Reid Blackman: Ja, ja, das ist ein direktes Zitat.
David Rice: Ein bemerkenswertes Bild, oder? Es bringt exakt auf den Punkt, wie sich derzeit viele Führungskräfte fühlen. Sie sind sich des Risikos bewusst, wissen aber nicht wirklich, auf welchen Bereich sie den Löschschlauch richten sollen, wenn es um KI geht. Daher meine Frage an Sie aus struktureller Sicht: Warum befinden sich so viele Organisationen in eben dieser Lage?
Und warum schließt herkömmliche Risikogovernance diese Lücke nicht?
Reid Blackman: Das ist eine große Frage. Es gibt viele Gründe. Einer der Hauptgründe ist, dass sie nicht wissen, welchen Unfug ihre Mitarbeitenden treiben könnten. Bei generativer KI und dann KI-Agenten, worüber wir gerne noch sprechen können, ist das Problem, dass sie in zahllosen Kontexten von vielen Menschen für viele Zwecke eingesetzt werden können – vollkommen unvorhersehbar.
Man kann schlichtweg nicht alle Einsatzmöglichkeiten dieses Tools voraussehen. Dazu weiß man ja: Diese Dinge können durchaus daten- oder datenschutzverletzend agieren, sie können auf verschiedenste Weisen voreingenommen oder diskriminierend sein, sie können halluzinieren oder sich einfach Dinge ausdenken. Es gab bereits Vorfälle mit großen Kanzleien und den Big Four, die KI-generierte Halluzinationen in Kundenunterlagen ablieferten.
Wenn Sie also die Vielzahl der Dinge zusammennehmen, die mit KI schieflaufen können, und kombinieren, dass Sie nicht vorhersagen können, wie Ihre Belegschaft diese nutzt – ja dann ist klar, warum man sich sorgt, dass jetzt alle den Flammenwerfer in der Hand halten. Und warum der Standardansatz nicht funktioniert – aber ich halte hier mal kurz inne.
David Rice: Mir fällt bei diesem Bild auf, dass es die Gefahr in die Hände eben derjenigen legt, die eigentlich steuern sollen, nicht in externe Kräfte. Es ist eine Dynamik, die keiner mehr so recht aufhalten kann. Ich glaube, das ist auch ein Führungs- und Kulturthema, oder?
So sehr wie ein Governance-Problem.
Reid Blackman: Die einzige Maßnahme, die sie kennen, um das zu bremsen, ist, den Zugang zu beschränken oder die Tools ganz zu verbieten.
David Rice: Was aber keine wirkliche Lösung ist.
Reid Blackman: Nein – nur ein Notbehelf im besten Fall. Und mit agentischer KI wird es sogar noch schwieriger. Wenn Sie Mitarbeitende auffordern, „Nutzt diese neuen agentischen Systeme, nutzt Claude Code, oder baut euren eigenen Agenten, erstellt euer eigenes Dashboard“, dann geraten die Dinge erfahrungsgemäß wirklich außer Kontrolle. Denn niemand weiß, was gebaut wird, wofür es verwendet wird oder wie es in die Arbeitsabläufe integriert wird.
Werden die richtigen Prüfungen eingebaut? Kennen die Mitarbeitenden die Risiken? Wie sollen sie ihr professionelles Urteil in so einem Graubereich ausüben?
David Rice: Es ist so schwierig! Bei agentischer KI ist durch die Bauweise vielleicht manches anders. Aber wenn wir an LLMs und generative KI im Unternehmen denken, finde ich, verstärkt die Flammenwerfer-Metapher das Bild: Die HR betritt den Raum, und das Ding ist schon gezündet und sprüht überall hin.
Weil alle sich bereits angepasst haben, KI nutzen, sie in Arbeitsabläufe integrieren – häufig unbemerkt oder ungeplant. Diese Situation zu greifen ist schon eine Challenge. Und dann kommt noch hinzu, dass plötzlich – was, jetzt bauen wir noch etwas Eigenes?
Eine spannende Zeit. Mir scheint, vieles ist auch eine bewusste Entscheidung. Wir implementieren unterschiedlich, aber wer im C-Level ist befugt, jetzt mal auf die Bremse zu treten? Zu sagen: Der Druck zur Beschleunigung kommt von überall!
Von Vorständen, Investoren, Top-Management, Wettbewerbern. Wer übernimmt in dem Moment die Verantwortung und sagt: „Stopp! Lasst uns mal ein paar ethische Fragen stellen?“
Reid Blackman: Ja, genau.
David Rice: Es erscheint vielleicht als Karrierekiller – aber wir wollen es eben verantwortungsvoll tun.
Reid Blackman: Ich definiere KI-Agenten einmal schnell für das Publikum. Ein KI-Agent besteht meist im Kern aus einem LLM – einem Chatbot, mit dem man interagiert. Zwei Bedingungen müssen erfüllt sein:
Erstens: Er muss mit anderen Tools verknüpft werden. Also das LLM bekommt Zugang zum Internet, zu Unternehmensdatenbanken oder Software wie dem CRM usw. Auch zu anderen KIs.
Zweitens: Er hat ein gewisses Maß an Autonomie, d.h. Sie geben ihm ein Ziel („Mail an Top-5-Kunden mit Nachricht X auf Basis von Y“), und er „entscheidet“ selbst, welche Tools oder Daten er nutzt, welche Schritte er wie angeht.
Das bedeutet, er verfolgt eigenständig die vom Nutzer spezifizierten Ziele, ist bezüglich des Weges dorthin autonom. Wenn Ihr LLM diese zwei Bedingungen erfüllt – Zugang zu Tools und autonome Zielverfolgung –, dann haben Sie einen KI-Agenten vor sich.
Und da sieht man schon, wie komplex das wird: Wer nutzt den Agenten? Womit ist er verbunden? Auf welche Daten hat er Zugriff? Welche Entscheidungen darf er treffen? Die Einsatzmöglichkeiten sind enorm vielfältig. Das macht die Sache noch unübersichtlicher. Ich glaube, ich habe Ihre eigentliche Frage jetzt aus den Augen verloren ...
David Rice: Der zweite Teil war: Warum schließt traditionelle Risikogovernance die Lücke nicht wirklich? Da haben Sie schon viel zur Komplexität gesagt.
Reid Blackman: Ja ...
David Rice: KI-Agenten – wir vergeben keine klaren Rollenbeschreibungen, oft geraten sie in einen „Drift“ und tun Dinge, die nie gedacht waren.
Komplexität, mangelnde technische Expertise – vielleicht wird sich das bessern, aber wie sehen Sie das?
Reid Blackman: Genau das ist das Problem. Traditionelle KI-Governance ist meist Top-down und geprägt von Richtlinien. Wer in großen Organisationen arbeitet, weiß: Bis eine neue Richtlinie durch den Vorstand verabschiedet ist, dauert das mindestens ein Jahr – meistens zwei. Die schnellste Umsetzung, die ich mal erlebt habe, dauerte neun Monate, und da waren wirklich fähige Leute am Werk. Aber die Technologie ist nach neun Monaten schon weiter.
Das Flammenwerfer-Unternehmen, von dem Sie sprachen, war ein Fortune-500-Konsumgüterunternehmen. Wir hatten eine der besten Richtlinien überhaupt verabschiedet – und kaum setzten wir sie um, war sie durch die Entwicklung um Agentic AI schon wieder veraltet. Jetzt musste der Vorstand erneut aktiv werden. Eine Endlosschleife. Und das ist nur KI! Quantum Computing, Blockchain – die Technologielandschaft wird immer komplexer, und der Top-down-Policy-Ansatz ist viel zu langsam.
Und KI-Agenten verschärfen das, weil die Verfahren zur Compliance oft am Spezialfall vorbeigehen: Von 20 Maßnahmen im Policy-Dokument sind vielleicht 10 relevant, die anderen irrelevant oder es fehlen Passende. Das Modell, nach dem wir alle Kontrollen und Verfahren vorab kennen, und alle einfach umsetzen, ist angesichts der Komplexität agentischer KI zerbrochen.
David Rice: Sie haben etwas Interessantes gesagt: Wir tun so, als wüssten wir alle Risiken und Rollen, aber das tun wir eben nicht, oder?
Reid Blackman: Ja, ganz genau.
David Rice: Sie erwähnten das AI Incident Data Repository des MIT, das „verifizierte Fehler“ im KI-Einsatz innerhalb von vier Jahren fast verdreifacht zeigt, und das sind ja nur die gemeldeten Fälle. Viele beziehen KI-Ethik nur als Compliance-Haken, manche sehen es als IT-Thema – aber ab wann wird das zu einem Treuebruch, zu einer echten Haftungsfrage? Was bedeutet Verantwortung, wenn KI echten Schaden verursacht?
Reid Blackman: Ich habe dazu meine Meinung geändert. Früher hörte ich oft von Verkäufern: „KI-Governance bremst nicht, sondern beschleunigt – wie Bremsen am Auto.“ Ich fand das immer Unsinn. Aber mit agentischer KI sehe ich das anders, denn es ist einfach so offensichtlich, dass diese Agenten aus dem Ruder laufen können.
Wenn KI-Agenten automatisiert Entscheidungen treffen und Informationen zusammenführen, die nie menschlich zu bewältigen wären, dann ist das Risiko so greifbar, dass sogar nicht-technische Führungskräfte Alarm schlagen. Anstelle von Bremsen denke ich eher an ein Lenkrad: Wenn wir nicht wissen, wie wir unsere Agenten richtig steuern, ist das Scheitern offensichtlich. Und ich bemerke, dass nicht nur CDOs und CIOs, sondern auch CHROs, COOs, CEOs, CMOs dabei sind, aufzuwachen.
David Rice: Es ist nicht nur ein Rechtsproblem. Aus HR-Sicht geht es um Kultur und Vertrauen – aber es gibt auch ein Thema Geschäftskontinuität. Ist es Aufgabe des Chief People Officers, das Thema auf den Tisch zu bringen? Wenn man sich Prozesse wie Workday oder Eightfold anschaut, geht es um Haftung für Mainstream-HR-Tech. Stichwort Vendor Accountability, Beschaffung ... und gibt es wirklich einen Unterschied zwischen Schein und echtem Governance-Wissen im Vorstand?
Reid Blackman: Sie haben keine Ahnung.
David Rice: Die Frage war: Haben sie überhaupt die Fähigkeit, die richtigen Fragen zu stellen?
Reid Blackman: Nein. Ich bin immer wieder erstaunt, wie wenig Vorstände wissen. Es ist Tag 1, oft sind sie älter, kennen sich mit Internet und PC wenig aus. Sie sind eingeschüchtert, sehen es als IT- oder Data-Science-Thema, halten KI auf Abstand. Gerade jetzt ist das fatal, denn die große Hoffnung „Demokratisierung von KI“ ist Realität – und jeder muss sich trauen, offen über Risiken zu sprechen. Das Barrieren-zu-einer-offenen-Risiko-Diskussion müssen wegfallen.
David Rice: Erst seit sechs bis zwölf Monaten trauen sich HR-Leute wirklich, KI einzusetzen und davon echten Mehrwert zu haben. Vorher fühlten sich viele nicht kompetent genug. Viele Führungskräfte sind keine Techniker.
Reid Blackman: Genau. Ich erinnere mich an ein Beispiel: In einem Vortrag für einen Fortune-500-Biotech war eine Compliance-Person im Chat panisch: „Zur Klarstellung: KI ist zur Nutzung im Recruiting verboten.“ Viele reagieren so. Das Standardmodell verlangt immer den CIO oder ähnliche Tech-C-Level als Treiber, HR ist selten federführend, aber oft am frühesten betroffen, weil dort viele sensible Daten verarbeitet werden. Aber wir brauchen jetzt skalierbare, schnell einsetzbare Lösungen – Lösungen, die in jedem Bereich starten können. Die Personalverantwortlichen sollten selbst initiativ werden und steuern können, statt auf unternehmensweite Policies zu warten.
David Rice: Ich stimme zu: Das klassische Responsible-AI-Framework war für vorhersehbare, schmale Anwendungen gebaut – und ist längst überholt. Woran liegt das Aufholen im Unternehmen – an Verleugnung, Geschwindigkeit oder mangelnder Strategiekompetenz?
Reid Blackman: Der Rückstand hat vieles Gründe. Politische Reibereien etwa – im Financial Services wollte die Model Risk Management-Abteilung nicht, dass wir das Thema Responsible AI übernehmen. Auch wenn Policies verabschiedet wurden, können Bereichsleiter das blockieren. Oft scheitert und verzögert sich die Umsetzung wegen fehlender Change-Kompetenz bei den Tech-Führungskräften. Die haben die politische Basis für Wandel oft nie gelernt. Je mehr Alignment im Top-Management nötig ist, umso langsamer geht es. Die Standardmethode setzt viel zu hohe politische Hürden, um wirklich Fortschritte zu machen.
David Rice: Klassisches Rahmenwerk gibt ein Gefühl von Sicherheit, obwohl Voraussetzungen gar nicht mehr stimmen. Oft wollen Führungskräfte das nicht aufgeben. Da steckt viel Identität, Ego, aber auch Menschliches in einem technischen Diskurs. An jeden CPO und COO: Wenn Ihre Governance vor agentischer KI entstanden ist, ist sie sehr bald veraltet und schützt nicht mehr – das ist kein Vorwurf, sondern die Realität.
Reid Blackman: Genau. Ich habe die Standardmethoden selbst gebaut, angewandt, darüber geschrieben – aber Teile davon können Sie jetzt als „Anzündhilfe“ verwenden. Das war damals gut, wir haben einfach nicht genug in die Zukunft geschaut. Niemand konnte ChatGPT oder KI-Agenten vorhersehen – das alte Modell war für schmale KI sinnvoll, aber nicht für agentische Systeme.
David Rice: Noch 2022 hätte ich gedacht, für KI muss man Datenwissenschaftler sein. Heute nutzt es jeder, und es wird immer komplexer und unberechenbarer. Größer, schneller, mehr – und kaum vorstellbar, wohin das führt.
Reid Blackman: Ja, daher ist Klarheit in der Kommunikation so wichtig. Alle (HR, Produkt, etc.) versuchen, KI zu verstehen und anzuwenden, sprechen aber nicht dieselbe Sprache und verstärken damit die Komplexität. Wir brauchen eine gemeinsame Sprache zur Kommunikation und Kollaboration, weil Agenten übergreifend eingesetzt werden und Teams abteilungsübergreifend zusammenarbeiten müssen. Deshalb spreche ich im Buch von Albträumen (nightmare), weil das jeder versteht – das ist kein Technikjargon. HR kann benennen, was für sie ein KI-Albtraum wäre. Und wenn sie mit Data Science sprechen, kann man sich konkret über Albtraum-Szenarien austauschen, statt nur über Grundsätze wie Datenminimierung.
David Rice: Sie bitten im Buch Führungskräfte, die schlimmstmöglichen Realitäten vorzustellen – das klingt banal, ist aber nicht üblich. Was passiert in solchen Sitzungen, das Führungskräfte überrascht? Wie gut kennen sie wirklich ihren eigenen KI-Stack?
Reid Blackman: Sie kennen ihn meist nicht. Die Auseinandersetzung mit Albträumen ist für viele ein Aha-Erlebnis – obwohl es eigentlich offensichtlich ist. Aus philosophisch-ethischer Sicht reden wir selten über „Albträume“, sondern eher über Ideale. Aus Risikomanagement-Perspektive geht es meist um Verfahren. Im Ingenieurwesen dagegen beginnt man klassischerweise mit Fehlerfall-Analysen – bei KI war das bislang nicht üblich. Wenn ich jedoch frage: Was wären ethische Albträume durch Ihre Nutzung von KI?, tun sich viel konkretere, praxisnahe Diskussionen auf als über Leitwerte wie „Fairness“ und „Transparenz“.
Die Albtraummethode macht es leichter, Einigkeit im Management herzustellen und Prioritäten zu setzen: Was darf auf keinen Fall passieren?
David Rice: Außerdem ist es motivierender – echte Dringlichkeit statt Prozeduren für „Fairness“.
Reid Blackman: Genau. Albträume machen das Thema greifbar und motivieren zum Handeln. Die Prozeduren füllt niemand mit Begeisterung aus. Aber wenn klar ist, was wirklich schlimm wäre, motiviert das viel mehr.
David Rice: Die Albtraumdynamik macht intellektuelle Ehrlichkeit möglich, oder zumindest leichter. Über Grundwerte zu sprechen, ist oft schwierig. Doch eine offene Auseinandersetzung mit albtraumhaften Konsequenzen ist unbequem, setzt aber die nötigen kulturellen Ressourcen voraus (psychologische Sicherheit), um unangenehme Wahrheiten aussprechen zu können. Ihr Prozess ist so auch ein Kulturdialog-Diagnosewerkzeug.
Reid Blackman: Richtig. Es baut ein Minimum an ethisch-kultureller Sicherheit auf („Das ist eben, was wir hier tun“). Die „Ethical Nightmare Challenge“ besteht aus drei Fragen: Was sind die KI-Albträume Ihrer Organisation, welche Ressourcen stehen Ihnen zur Vermeidung zur Verfügung, und wie trainieren Sie Ihre Mitarbeitenden, diese Ressourcen effektiv zu nutzen? Diese Fragen sind universell portabel, von der Lösungsebene über Fachbereich bis auf Unternehmensebene. Jeder sollte auf diese drei Fragen trainiert werden, plus Basiswissen zu KI, Risiken und typischen Fehlern (Bias, Halluzinationen, Automatisierungsfehler, etc.).
Beim Thema Beschaffung oder eigener Lösungen gibt es die ENC-Teams (Ethical Nightmare Challenge-Teams): Eine interdisziplinäre Gruppe (HR, Data Science, Recht, Risiko, ggf. auch der externe Anbieter), die diese Fragen methodisch anhand eines Sieben-Punkte-Plans bearbeiten, Risiken bewerten, dokumentieren und priorisieren.
ENC-Teams sind schnell eingerichtet, nach Bedarf skalierbar und bauen langfristig eine Unternehmenskultur und -kapazität der Ethik und Albtraumvermeidung auf.
David Rice: Aus People-Operations-Sicht sollte das unbedingt VOR der Einführung geschehen, nicht nach dem Desaster. Viele HR-Leute fühlen sich aber meist nur reaktiv, nicht proaktiv. Wie baut man antizipierendes Vorgehen ein?
Reid Blackman: Projektspezifische ENC-Teams identifizieren Risiken und Ressourcen, bevor etwas schiefgeht, und legen auch fest, wie die KI später überwacht wird („Set and forget“ gibt es nicht!). Für Abteilungen gibt es bereichsweite ENC-Teams, die systematisch überlegen: Wie vermeiden wir Albträume – und wie unterstützen wir Projekte darin? Nicht Regelvergabe, sondern Problemlösung ist die wichtigste Fähigkeit.
Das kann z. B. eine erweiterte Trainingsstrategie sein, eine Albtraum-Inventarliste oder eine Taktikbibliothek für Projekte. Alles ist proaktiv und lösungsorientiert.
David Rice: Agentische KI verändert die Risikowelt radikal: Systeme reagieren nicht nur, sie initiieren und treffen Kettenentscheidungen autonom. Was bedeutet das für die Verantwortlichkeit? Wo liegt bei Fehlern die (Rechts-)Verantwortung?
Reid Blackman: ENC-Teams sind die erste Schicht. Aber Verantwortlichkeit – wie bei einem Helikoptercrash – ist nie eindeutig einem Individuum zuzuordnen. Es kann am Design, Betrieb, an der Wartung, am Piloten, am Zulieferer, am LLM-Provider liegen – zu komplex, um eine pauschale Antwort geben zu können.
David Rice: Agentische KI löst den menschlichen Entscheidungspunkt auf, der eigentlich die Verantwortung trägt – und genau dort lag bislang die Accountability.
Reid Blackman: Einen Teil der Verantwortung trägt, wer den Einsatz authorisiert – aber es bleibt etwas Unvorhersehbares. Man kann keinem die Schuld geben für Fehler, die nicht vorhersehbar waren.
David Rice: Viele wissen noch nicht einmal genau, woran sie „mitarbeiten“ oder ob sie bewertet werden – das ist ein Vertrauensproblem jenseits bloßer Compliance. Intransparenz und fehlende Zustimmung beschädigen das Vertrauen weiter.
Reid Blackman: Führungskräfte scheuen sich, offen über Risiken mit Mitarbeitenden zu sprechen. Man befürchtet geringere Akzeptanz, aber das Problem löst sich nicht durch Wegschauen. Die Sorgen sind real und müssen als solche adressiert werden, auch um Adoption zu fördern: „Wir sehen die Risiken, wir bilden euch aus, damit ihr professionell und umsichtig mit KI arbeiten könnt.“ Das ist nachhaltiger und wirkt vertrauensbildend.
David Rice: Beim Versuch, Sprache softer zu machen, schadet man nur der Diskussion. „Albtraum“ oder „Desaster“, aber nicht um den heißen Brei reden. Ehrlichkeit ist gefragt.
Reid Blackman: Richtig. Wir müssen die Probleme klar benennen. Mitarbeitende sind Erwachsene. Wir müssen sie nicht „überbehüten“.
David Rice: Sie sind geübt im Umgang mit neuen Tools. Gibt man keine Hilfestellungen/Governance, finden sie eigene Lösungen.
Reid Blackman: Exakt. Auch strengste Verbote (wie früher bei Abstinenz: „Kein generatives KI-Nutzen erlaubt“), halten niemanden ab. Das Gegenteil tritt ein.
David Rice: Die Mitarbeitenden sind die Ersten, die chatgpt.com starten.
Reid Blackman: Genau. Also bekommt man „KI-Babys“.
David Rice: Ethische Albträume entstehen selten aus böser Absicht, sondern aus lauter gutmeinenden Menschen, die schneller voranschreiten als ihr Urteil es erlaubt. Das ist für viele in der Führung unbequem, aber real. Wie überzeugen Sie einen CEO, der nur Produktivitätsgewinne und Wettbewerbsvorsprung will?
Reid Blackman: Für mich ist das kein Widerspruch: Man kann schnell sein UND verantwortungsvoll. Wer nur auf Chancen schult, ignoriert die Risiken. Dann stolpert man garantiert über eine Katastrophe. Wer versteht, wie KI schiefgehen kann, kann sie erfolgreicher und sicherer nutzen. Das ist keine Entweder-Oder-Entscheidung.
David Rice: Der Diskurs, dass ethische KI-Fehler nur schlechten Akteuren passieren, ist falsch. Meist sind es die, die sich ehrlich mühen, aber zu schnell für ihre Urteilsfähigkeit laufen. Die Interventions-Empfehlung muss sich ändern.
Reid Blackman: Schön formuliert: Schneller als die menschliche Urteilskraft laufen. Es geht nicht um Regelinstallationen, sondern darum, die organisatorische Fähigkeit einzubauen, rechtzeitig innezuhalten und ehrlich Bilanz zu ziehen – das ist im Kontext Speed wirklich revolutionär.
David Rice: „Move fast and break things“ ist kein kluger Ansatz, wenn die Marke das nicht aushält, ethische Schäden entstehen oder Reputationsrisiken nicht kompensiert werden können.
Reid Blackman: Richtig. Wer wie ein Meta/Facebook ist, überlebt jeden Skandal, aber für die meisten Unternehmen ist das fatal. Es gibt keinen universellen Überzeugungsgrund, aber für fast alle Unternehmen spricht alles gegen das blinde „Schnell und kaputt“.
David Rice: Wenn C-Level jetzt erkannt hat, dass das alte Framework nicht reicht – wie sollte das erste ernsthafte Gespräch aussehen, wer sollte dabei sein?
Reid Blackman: Die „Ethical Nightmare Challenge“ kann überall beginnen – im Projekt, im Bereich, in der Abteilung. Die Leitfrage: Haben wir unsere ethischen, rufkritischen und rechtlichen Albtraumpotenziale bei der KI-Nutzung identifiziert? Die Antwort ist meist: Nein. Wenn dann kein Handlungsbedarf gesehen wird, weiß ich auch nicht weiter.
David Rice: Sie geben damit die Erlaubnis, klein und pragmatisch anzufangen. Auch ein 10-Wochen-Pilot mit zwei, drei Teams ist ein guter Anfang. Falls es nicht funktioniert, war es ein überschaubarer Versuch. Funktioniert es, kann man skalieren – je nach Bedarf und nicht als Riesen-One-Big-Bang. Man muss nicht mit Großprojekten loslegen.
David Rice: Vielen Dank, Reid, für das Gespräch. Hat mir sehr gefallen!
Reid Blackman: Ebenso – danke für die Einladung.
David Rice: Hören Sie unbedingt in das Buch „The Ethical Nightmare Challenge“ von Reid Blackman rein. Abonnieren Sie unseren Newsletter auf peoplemanagingpeople.com/subscribe. Und bis zum nächsten Mal: Machen wir uns zur Gewohnheit zu fragen: „Was könnte hier schiefgehen – und wer könnte geschädigt werden?“, statt nur: „Wie schnell können wir liefern?“ Bis zum nächsten Mal!
