Liefern, Lernen, Skalieren. Und dann?
Wandel in der Governance: KI-Governance muss sich vom bloßen Regelwerk zur Überwachung im Echtbetrieb weiterentwickeln, wenn agentische KI autonome Entscheidungen trifft.
Priorität bei der Einführung: AWS setzt auf schnelle KI-Einführung statt auf Governance, mit Schwerpunkt auf Lernen und Skalierung im laufenden Betrieb.
Unabgemilderte Risiken: Credo AI katalogisiert 1.600 KI-Risiken, von denen 15 % ungemindert bleiben. Das wirft Governance-Fragen für agentische KI auf.
Verantwortungslücken: Aktuelle Governance-Rahmenwerke tun sich schwer, Verantwortlichkeiten für Handlungen von KI-Agenten mit Auswirkungen auf Nutzer zuzuordnen.
Während einer Live-Demo bei HumanX letzte Woche führte Mati Staniszewski, Mitbegründer von ElevenLabs, das Publikum durch einen auf der Plattform seines Unternehmens aufgebauten Behörden-Servicemitarbeiter.
Der Agent leitete einen fiktiven Nutzer durch die Unternehmensregistrierung. Er authentifizierte dessen Identität via WhatsApp. Er zog Dokumente aus einem verknüpften Google-Konto, wechselte mitten im Gespräch die Sprache, als der Nutzer spanischsprachige Mitarbeitende erwähnte, und beantwortete Fragen zum Verkäufergenehmigungsprozess in Kalifornien.
Dann fragte der Nutzer nach Steuern. Der Agent beendete das Gespräch.
Lesen Sie weiter – und führen Sie weiterhin intelligenter
Erstellen Sie ein kostenloses Konto, um diesen Beitrag fertigzulesen und Teil einer Community zukunftsorientierter Führungskräfte zu werden, die Werkzeuge, Leitfäden und Einblicke für den Erfolg im Zeitalter der KI erschließen.
Have an account? Log In
Er kennzeichnete keine Unsicherheit. Er leitete nicht weiter. Er beendete ein Gespräch, das ein echter Nutzer als noch in Bearbeitung angesehen hätte, weil der Agent nicht wusste, dass es eine Steuerabteilung zum Weiterleiten gibt.
Staniszewski behob das Problem auf der Bühne in wenigen Minuten, verband den Business-Agenten mit einem Steuer-Agenten, spielte die Änderung ein und startete neu. Das Publikum sah, wie ein Update im Live-Betrieb in Echtzeit stattfand.
Worüber es sich lohnt, nachzudenken, ist nicht das Scheitern des Agenten. Agenten scheitern. Interessant ist, wie dieses Scheitern aussah. Keine Warnung. Keine Übergabe. Kein Protokoll darüber, was der Nutzer benötigte. Die Lücke wurde erst sichtbar, als ein Nutzer hineinlief.
Setzen Sie dieses Szenario nun in ein Unternehmen wie Revolut, das ElevenLabs-Agenten bei vier Millionen Kunden in mehr als 30 Sprachen einsetzt. Oder in die Deutsche Telekom, deren Netz inzwischen Agenten umfasst, die in Echtzeit Kundenanfragen bearbeiten. Der Engpass, so Staniszewski, ist nicht länger die Technologie. Es ist die Implementierung.
Diese Aussage ist beides: zutreffend und, für alle, die Verantwortung für das Handeln dieser Agenten tragen, der wichtigste Satz der gesamten Sitzung.
Das Modell, für das Governance geschaffen wurde
In den letzten drei Jahren basierte AI-Governance im Unternehmensumfeld weitgehend auf handhabbaren Annahmen. Ein KI-System machte eine Empfehlung. Ein Mensch überprüfte diese. Für das, was dann geschah, trug der Mensch die Verantwortung. Das Modell war nicht perfekt, aber nachvollziehbar. Man konnte benennen, wo eine Entscheidung getroffen wurde und von wem.
Diese Architektur zerfällt.
Navrina Singh, Gründerin und CEO von Credo AI, hat sechs Jahre damit verbracht, was sie als Kategorie AI-Governance beschreibt, aufzubauen – beginnend in der Ära des voraussagenden maschinellen Lernens und nun tief in der agentischen Ära aktiv.
Bei HumanX beschrieb sie die zentrale Veränderung. Governance war früher Politik, jetzt muss sie operative und laufende Leitplanken bieten. Dieser Unterschied ist bedeutsamer, als er zunächst klingt. Politik ist etwas, das man schreibt, jährlich überprüft und überarbeitet, wenn etwas schiefgeht.
Laufende (Runtime) Governance bedeutet, zu überwachen, was ein KI-System tatsächlich tut – kontinuierlich im Live-Betrieb, nach Kriterien, die sich anpassen müssen, während sich das zugrunde liegende Modell weiterentwickelt.
Dieser Wechsel von Politik zu Laufzeit spiegelt genau den Unterschied zwischen beratender KI und agentischer KI wider. Beratende KI macht Vorschläge im definierten Rahmen. Agentische KI handelt, verknüpft ihre Handlungen über Systeme hinweg, übergibt an andere Agenten und erzeugt Ergebnisse, die vorher kein Mensch absegnete.
Die ElevenLabs-Demo komprimierte dies in wenige Minuten. Eine einzige Nutzerinteraktion führte zur Authentifizierung via WhatsApp, zum Dokumentenabruf aus Google Workspace, zu einem Sprachwechsel, zu einer nahtlosen Agenten-Übergabe und zu einem proaktiven Anruf, der ein Förderprogramm vorschlug. Fünf verschiedene autonome Aktionen. Kein Mensch genehmigte jeden einzelnen Schritt. Das ist agentische KI auf Ebene eines einzelnen Anwendungsfalls.
Im großen Unternehmensmaßstab wird die Governance-Lücke zu einer weit schwerer zu kontrollierenden Herausforderung.
Die Rechnung der Entwickler
Matt Garman, CEO von Amazon Web Services, brachte auf den Punkt, wo der eigentliche Wert von Unternehmens-KI heute entsteht. Die frühen generativen KI-Erfolge – Inhaltserstellung, Dokumentenzusammenfassungen – weichen etwas Grundsätzlicherem.
Agents sind der Weg, wie die meisten Unternehmen und die meisten Firmen den größten Teil ihres Nutzens aus KI ziehen werden.
Die interne Nutzung von Amazon belegt diese Aussage. Das Quick Suite-Tool des Unternehmens verschafft Hunderttausenden Mitarbeitenden Zugang zu KI-Agenten, die mit Unternehmensdaten über Salesforce, Workday, E-Mails und interne Dokumentationen verbunden sind.
Softwareentwickler erzielen mit KI-Unterstützung etwa das 4,5-fache an Produktivität im Vergleich zu vorher. Ein Programmier-Agent namens Kiro hat kürzlich eine Kunden-Buganfrage gelöst und die Korrektur in nur 25 Minuten umgesetzt.
Das sind echte Fortschritte, und Garman präsentierte sie ohne Übertreibung. Doch in der Argumentation für die Einführung steckt eine Reihenfolge, mit der sich das Governance-Management auseinandersetzen muss. Staniszewski hat das ausdrücklich benannt.
Der Engpass ist nicht mehr die Technologie. Es ist die Implementierung. Die Unternehmen, die liefern, lernen und schnell skalieren, sind diejenigen, die gewinnen werden.
Liefern. Lernen. Skalieren. Das ist die Reihenfolge. Governance taucht darin nicht auf, nicht weil sie ignoriert wird, sondern weil die Wettbewerbsdynamik des Augenblicks Geschwindigkeit belohnt. Die Phase des „Lernens“ findet in der Produktion statt, mit echten Nutzern und echten Konsequenzen.
Das ist kein Zynismus. Garman und Staniszewski beschreiben, wie Technologiemärkte funktionieren, wenn sich die Fähigkeiten rasant verbessern und Verzögerungen reale Kosten verursachen. Aber für den CHRO, der für KI-Entscheidungen im Personalbereich verantwortlich ist, oder für den COO, dessen Betriebsabläufe um agentische Systeme neu strukturiert werden, sieht die Rechnung anders aus. Sie profitieren nicht vom Vorreiter-Bonus. Sie tragen das Risiko, wenn etwas schiefgeht.
Eine Lücke, die niemand geschlossen hat
Credo AI hat laut Singh das weltweit größte Verzeichnis von KI-Risiken zusammengestellt und katalogisiert derzeit rund 1.600 verschiedene Kategorien. Für etwa 85 % davon gibt es Gegenmaßnahmen.
Für die restlichen 15 Prozent, also etwa 240 bekannte Risikokategorien, existieren bisher keine etablierten Gegenmaßnahmen. So ist der Stand der Governance bei beratenden KI-Systemen. Agentische Systeme, in denen mehrere Modelle kooperieren, Aufgaben übergeben und Ergebnisse erstellen, die in weitere automatische Entscheidungen einfließen, bringen neue Fehlerquellen mit sich, die noch nicht vollständig charakterisiert oder gar vermieden wurden.
Das größere Problem, das Singh identifiziert hat, betrifft die Provenienz. In einem Multi-Agenten-System erfordert die Nachvollziehbarkeit der Verantwortlichkeit nicht nur die Frage nach der Entscheidung, sondern auch nach dem Wie: Welcher Agent hat was beigetragen, welche Datenquellen wurden herangezogen, an welcher Stelle in der Kette ist ein Fehler entstanden und wie würde sich eine Korrektur auswirken?
Die meisten Governance-Rahmenwerke wurden entwickelt, um die Ergebnisse eines Modells zu bewerten. Sie wurden nicht geschaffen, um die Entscheidungsfindung vernetzter Systeme über Plattform-, Modell- und Organisationsgrenzen hinweg nachzuvollziehen.
Saahil Jain, CTO von You.com, das sich von der Endverbrauchersuche auf die Entwicklung von Such-APIs für KI-Agenten verlegt hat, beschreibt das strukturelle Problem so: Menschen interagieren mit Informationen und üben ein Urteil über das Gesehene aus. Agenten, die Informationen verarbeiten, verfügen nicht über diese Fähigkeit zur Selbstkorrektur.
Sie verwenden im Wesentlichen den Kontext, der ihnen zur Verfügung gestellt wird, und zitieren diesen auf eine Weise, bei der keine Menschen mehr direkt involviert sind", sagte er.
Die von Unternehmen aufgebauten Governance-Architekturen setzen menschliche Kontrolle irgendwo in der Kette voraus. Während der Woche bei HumanX habe ich wiederholt die Phrase „Agenten regeln Agenten" gehört. Die Einführung von agentischen Systemen entfernt diese Annahme systematisch, ohne dafür einen strukturell gleichwertigen Ersatz zu schaffen.
Auch regulatorische Rahmen schließen die Lücke nicht. Singh hat Regierungen in den USA, Europa, Australien und Indien zur KI-Governance beraten und sprach offen über die massive Verzögerung.
Regeln, die für frühere maschinelle Lernsysteme entwickelt wurden, lassen sich nicht einfach auf agentische Architekturen übertragen. Das Colorado AI-Gesetz setzt auf Auswirkungsanalysen. Die europäischen Anforderungen an Datenschutz und Transparenz werden bei führenden Modellen weiter verschärft.
Doch das Tempo der agentischen Implementierung liegt weit vor jedem regulatorischen Zyklus, und Singh erwartet, dass dies auch in absehbarer Zukunft so bleibt.
Die Compliance-Basis ist nicht die Obergrenze
SOC-2-Compliance ist bei der Beschaffung von Enterprise-AI mittlerweile zur Grundvoraussetzung geworden. Singh beschrieb, wie Fortune-500-Kunden nach einem Jahr umfassender Experimente mit mehreren Anbietern jetzt die Lieferanten daraufhin prüfen, ob ihre Daten geschützt sind, ob ihre Verantwortlichkeitsstandards dokumentiert sind und ob die Einführung ihrer KI im Unternehmen ein Netto-Risiko mit sich bringt.
Laut Singh erreichen dadurch nur etwa 40% der KI-Anbieter tatsächlich den produktiven Einsatz in Großunternehmen. Der Selektionsdruck ist real.
Doch SOC-2-Compliance und agentische Governance sind unterschiedliche Dinge, und sie gleichzusetzen ist einer der folgenschwersten Fehler, den der Unternehmensmarkt derzeit begeht.
SOC 2 adressiert Sicherheit und Verfügbarkeit. Es sagt etwas Aussagekräftiges darüber aus, ob die Systeme eines Anbieters geschützt und zuverlässig sind. Es sagt jedoch nichts darüber, ob die Entscheidungen eines Agenten nachvollziehbar sind, ob seine Ergebnisse kontextuell korrekt sind, ob er Grenzfälle angemessen eskaliert oder ob sein Verhalten abweicht, wenn die zugrundeliegenden Modelle ohne Ankündigung aktualisiert werden.
Das sind Governance-Fragen, und sie erfordern eine ganz andere Infrastruktur als eine Compliance-Zertifizierung bieten kann.
Singh skizzierte, wie diese Infrastruktur in der Praxis aussieht: Governance-Teams, zu denen Datenwissenschaftler, Risiko- und Datenschutzspezialisten sowie Experten für menschliches Verhalten gehören – nicht nur Sicherheitsexperten. Unabhängige Prüfungsorganisationen, darunter ein aufkommender Standard namens AIUC, die agentische Systeme anhand etablierter Kriterien durch externe Parteien überprüfen. Kontinuierliches Monitoring zur Laufzeit, nicht nur Evaluation vor dem Einsatz.
Credo AI hat kürzlich ein Governance-MCP im Beta-Status lanciert, das darauf ausgelegt ist, Leitplanken bereits frühzeitig in den Entwicklungsprozess zu integrieren. Entwickelnde erhalten dadurch die Möglichkeit, Governance-Logik direkt beim Aufbau einzubetten, anstatt sie im Nachhinein aufzusetzen.
Die Richtung stimmt. Ob die Adoption schnell genug erfolgt, um einen Unterschied zu machen, ist eine andere Frage.
Die Frage der Verantwortlichkeit
Garman beschreibt die KI-Transformation bei Amazon mit besonderem Optimismus. Vertriebsteams verbringen den Großteil ihrer Zeit mit Kunden statt mit Administrationsaufgaben im Verkaufsprozess, Softwareentwickler werden von jahrelangen Rückständen befreit, Produkte kommen schneller auf den Markt und sind reaktionsfähiger gegenüber den tatsächlichen Nutzerbedürfnissen. Die Fortschritte sind real. Die Logik ist stimmig.
Doch in das Bild der agentischen Implementierung ist eine Frage eingebettet, die Governance-Rahmenwerke bislang nicht eindeutig beantworten. Wenn ein KI-Agent eine Handlung vornimmt, die jemanden schädigt – wer trägt die Verantwortung?
Der Sprachagent, der einen Anruf zum falschen Zeitpunkt beendet und so einen Nutzer, der Hilfe brauchte, im Stich lässt. Die Finanz-KI, die jemanden fälschlicherweise markiert und dessen Zugang zu Krediten beeinflusst. Der HR-Screening-Agent, der einen Bewerber nach Kriterien zurückstuft, die historisch gewachsene Voreingenommenheit widerspiegeln. Die Benefits-Plattform, die einen Anspruch automatisch ablehnt, ohne dass ein Mensch die Entscheidung überprüft, bevor sie den Anspruchsteller erreicht.
In jedem dieser Fälle hat ein Agent gehandelt. In jedem Fall hat ein Mensch ihn in Bewegung gesetzt. In jedem Fall ist die Verbindungskette zwischen Entscheidung und Auswirkung länger und diffuser als alles, was bestehende Governance-Rahmenwerke abbilden sollten.
Singhs Bemerkung über das Abwarten verdient es, über die bloße betriebswirtschaftliche Logik hinaus ernst genommen zu werden, die sie ansprach.
„Viele Unternehmen, mit denen wir sprechen, sagen: Lassen Sie uns warten, bis ein Vorfall eintritt, und wenn nötig, dann investieren wir in KI-Governance“, sagte sie. „Zu diesem Zeitpunkt werden sie irrelevant sein.“
Das ist ein Wettbewerbsargument. Es gibt aber auch ein gewichtigeres: Während agentische KI in die Leistungsverwaltung, Leistungsevaluierung, die Personalplanung, das Kundenfinanzwesen und die medizinische Aufnahme Einzug hält, haben die Menschen, die von diesen Entscheidungen betroffen sind, ein berechtigtes Interesse daran, wie diese getroffen werden und wer die Verantwortung trägt, wenn dabei Fehler passieren.
Governance-Rahmenwerke, die für KI als Berater ausgelegt sind, reichen für KI als handelnden Akteur nicht aus. Die Entwickler wissen das. Sie implementieren trotzdem. Das Zeitfenster, um Verantwortlichkeit in diese Systeme einzubauen, bevor sich die Arbeitsabläufe um sie herum reorganisieren, bleibt nicht ewig offen.
