Das Anthropic-Pentagon-Debakel zeigte jedem CEO, was passiert, wenn niemand die Verantwortung für KI-Entscheidungen trägt
Risikoeinstufung: Das Pentagon stufte Anthropic erstmals in der US-Geschichte als Risiko für die nationale Sicherheit ein.
Regulatorische Lücken: Das Fehlen bundesweiter Vorschriften zur KI-Nutzung erschwert die rechtlichen Grenzen für Überwachung und autonome Entscheidungen.
Versagen der Governance: Pentagon und Anthropic versäumten es, eine klare Entscheidungsgewalt über KI-Abläufe festzulegen, was zu einer Krise führte.
Verbreitung der KI-Nutzung: Etwa 78 % der Mitarbeitenden nutzen KI-Tools ohne Zustimmung der Organisation, was Fragen der Verantwortlichkeit aufwirft.
Betriebsrahmenwerk: Effektive Governance sollte den Entscheider auf Prozessebene festlegen, nicht nur auf der Ebene von Richtliniendokumenten.
Am vergangenen Freitag hat das Pentagon Anthropic, den Hersteller des KI-Modells Claude, als Risiko für die nationale Sicherheit in der Lieferkette eingestuft. Diese Einstufung, die normalerweise ausländischen Gegnern wie russischen Cybersecurity-Firmen und chinesischen Chiplieferanten vorbehalten ist, war zuvor noch nie auf ein amerikanisches Unternehmen angewandt worden.
Während Anthropic standhaft blieb, trat OpenAI ein, um den Vertrag von Anthropic zu übernehmen.
Der Streit begann Monate zuvor, als Anthropic einen Vertrag über 200 Millionen Dollar unterzeichnete, um Claude in geheimen Militärnetzwerken einzusetzen. Anthropic zog dabei zwei rote Linien: keine Massenüberwachung von Amerikanern und keine vollständig autonomen Waffen, die ohne menschliches Zutun feuern.
Lesen Sie weiter – und führen Sie weiterhin intelligenter
Erstellen Sie ein kostenloses Konto, um diesen Beitrag fertigzulesen und Teil einer Community zukunftsorientierter Führungskräfte zu werden, die Werkzeuge, Leitfäden und Einblicke für den Erfolg im Zeitalter der KI erschließen.
Have an account? Log In
Das Pentagon verlangte uneingeschränkte Nutzung für jeglichen rechtmäßigen Zweck.
Das klingt vernünftig – abgesehen von der Tatsache, dass es keine Bundesgesetze zur KI-Überwachung gibt. Keine Regulierung, die Grenzen für algorithmisches Targeting definiert. Kein rechtlicher Rahmen für autonome Entscheidungsfindung.
„Jede rechtmäßige Nutzung“ bedeutet in Abwesenheit von Gesetzen, dass alles erlaubt ist.
Keine der beiden Seiten hat einen Mechanismus zum Lösen des Konflikts geschaffen, bevor er eskalierte, und Verteidigungsminister Pete Hegseth gab Anthropic-CEO Dario Amodei ein Ultimatum von drei Tagen: Entweder er stimmt zu oder es gibt Konsequenzen.
Amodei gab nicht nach. In einem Interview mit CBS News nur wenige Stunden nach der Aufnahme auf die schwarze Liste bezeichnete er das Vorgehen als „vergeltend und strafend“ und erklärte, Anthropic habe angeboten, das Militär weiterhin während des Übergangs zu einem Wettbewerber zu unterstützen.
Er benannte auch, was eigentlich im Mittelpunkt stehen sollte, wenn KI in besonders sensiblen Bereichen eingesetzt wird: „Die Technologie entwickelt sich so schnell, dass sie mit dem Gesetz nicht Schritt halten kann.“
Zurück zum Geschäft
Die meisten Berichte haben das als politische Story dargestellt. Sicherheit versus Verteidigung. Ein Tech-CEO gegen einen Verteidigungsminister. Es gibt eine Version davon, in der es um die Ethik autonomer Waffensysteme geht – und diese Geschichte ist wichtig.
Doch es gibt auch eine Perspektive, die jeden COO und CHRO zum Nachdenken bringen sollte, denn das grundlegende Problem hinter den Schlagzeilen ist strukturell, nicht politisch.
Das Pentagon hat KI in geheime Operationen eingebunden, ohne zu klären, wer die Befugnis darüber besitzt, wie diese KI genutzt werden darf. Anthropic nahm an, dass die eigenen roten Linien Bestand hätten. Das Pentagon nahm an, dass diese Bedingungen nach Erwerb der Technologie nicht mehr gelten würden. Niemand gestaltete die Governance-Architektur, um einen Streitfall zu klären, bevor dieser zur Krise wurde.
Genau diese Abfolge spielt sich aktuell in Unternehmen ab – und die meisten Führungskräfte erkennen das volle Ausmaß noch nicht.
Von geheimen Netzwerken zu Ihrem Organigramm
Mehrere Studien schätzen, dass etwa 78 % der Mitarbeitenden KI-Tools nutzen, die ihr Arbeitgeber nie genehmigt hat. Anders gesagt: KI ist schon heute fester Bestandteil von Entscheidungsprozessen in den meisten Organisationen, ob es jemand geplant hat oder nicht.
Ein CHRO könnte etwa feststellen, dass KI in der gesamten Firma Jobbeschreibungen entwirft, Lebensläufe vorsortiert und Feedback für Mitarbeitergespräche formuliert – ohne dass es eine verantwortliche Person für diese Ergebnisse gibt.
Ein COO könnte feststellen, dass Nachfrageprognosen, Preisempfehlungen und die Bewertung von Lieferanten durch Modelle beeinflusst werden, die von der Geschäftsleitung nie offiziell für den produktiven Einsatz zugelassen wurden.
Manche Führungskräfte beginnen bereits damit, Strategien zur KI-Governance zu entwickeln, um dies zu steuern. Mohammed Chahdi, COO der Muse Group, beschreibt einen Rahmen, mit dem sein Vorstand operative KI von experimentellen Projekten abgrenzt.
Bevor etwas Teil unserer Kernprozesse wird, erwarten wir von der Geschäftsleitung, dass jede KI-Anwendung auf ihre Zuverlässigkeit und Tiefe intensiv getestet wird, bevor sie einen festen Platz im Betriebsmodell einnimmt.
Genau diese Schwelle – die Grenze zwischen „wir testen das noch“ und „es beeinflusst jetzt reale Entscheidungen“ – ist das, was in den meisten Organisationen nicht eindeutig definiert ist.
Die entscheidende Frage, die über allem schwebt, ist die gleiche, die auch die Beziehung zwischen Pentagon und Anthropic scheitern ließ: Wer besitzt letztendlich die Entscheidungsbefugnis darüber, was KI tun darf, sobald sie Teil kritischer Abläufe ist?
In den meisten Unternehmen lautet die ehrliche Antwort: niemand. Entscheidungsrechte wurden für eine Welt konzipiert, in der Menschen Analysen erstellen und Menschen die endgültige Entscheidung treffen. Heute erzeugt KI Analysen, formuliert Empfehlungen und gestaltet in vielen Fällen die Entscheidung schon, bevor ein Mensch sie prüft.
Die Verantwortlichkeitsstruktur hat das noch nicht eingeholt, und die Technik entwickelt sich immer schneller. METR, eine in Berkeley ansässige KI-Forschungsorganisation, fand heraus, dass der Zeithorizont für die Aufgabenerfüllung von fortschrittlichen KI-Modellen etwa alle sieben Monate doppelt so groß wird. Dieses Tempo wartet nicht darauf, dass Governance-Rahmen gereift sind.
Verträge steuern nicht. Betriebssysteme tun es.
Der Instinkt in den meisten Organisationen ist, mit Richtlinien zu reagieren. Sie könnten:
- Ein Dokument zur akzeptablen Nutzung verfassen
- Ein Genehmigungsgremium einrichten
- Einen Überprüfungszyklus etablieren.
Richtlinien sind notwendig. Aber sie sprechen nur die Oberfläche an. Das Pentagon hatte einen Vertrag mit bestimmten Bedingungen. Vermutlich haben Juristen diese Bedingungen geprüft. Und trotzdem kam es zu einer öffentlichen Konfrontation, weil im Vertrag nie festgelegt wurde, wer letztendlich kontrolliert, wie KI in der Praxis eingesetzt wird.
Amodei sprach diesen Punkt direkt an, als er gefragt wurde, warum Anthropic, ein Privatunternehmen, mehr Mitspracherecht als das Pentagon über die militärische Nutzung von KI haben sollte. Seine Antwort bezog sich nicht auf Ethik im Abstrakten. Es ging um Begrenzungen der Fähigkeiten.
Unser Modell hat eine Persönlichkeit. Es ist zu bestimmten Dingen fähig. Es kann gewisse Dinge zuverlässig tun. Es kann gewisse Dinge zuverlässig nicht tun.
Das ist eine Aussage über die Lücke zwischen dem, was KI leisten kann, und dem, was ein Mensch verifizieren muss. Diese Lücke besteht in jeder Organisation, die KI-unterstützte Arbeitsabläufe nutzt. Wenn ein Modell eine Preisempfehlung entwirft, muss jemand die Verantwortung übernehmen, ob diese Empfehlung für diesen Kunden, diesen Markt, diesen Moment gültig ist.
Wenn KI Bewerber:innen auswählt, muss jemand dafür geradestehen, dass die Kriterien faire und genaue Ergebnisse liefern. Wenn KI eine Compliance-Zusammenfassung erstellt, muss jemand für die Genauigkeit dessen einstehen, was an Regulierungsbehörden weitergeleitet wird.
Governance unter Beschleunigung ähnelt weniger einem Handbuch für Richtlinien, sondern mehr einem Betriebssystem. Entscheidungsbefugnisse müssen auf der Workflows-Ebene benannt werden. Menschliche Übersteuerungspunkte müssen in produktive KI-Arbeitsabläufe eingebaut werden – sie dürfen nicht als gegeben angenommen werden. Modellanpassungen müssen wie Systemänderungen behandelt werden: mit Tests und expliziter Genehmigung vor dem Rollout.
Wo das eigentliche Versagen liegt
Amodei sprach in seinem CBS-Interview etwas an, das weit über den militärischen Kontext hinausgeht. Über autonome Waffen sagte er:
„Angenommen, ich habe eine Armee von 10 Millionen Drohnen, die alle von einer Person oder einer kleinen Gruppe koordiniert werden. Ich denke, es ist leicht zu sehen, dass es hierbei Verantwortlichkeitsprobleme gibt.“
Tauschen Sie Drohnen gegen KI-gestützte Arbeitsprozesse in einem mittelständischen Unternehmen. Tauschen Sie die eine Person gegen eine Führungskraft, die wegen ihrer Effizienz in einer stabilen Umgebung befördert wurde und jetzt eine Mischung aus menschlicher und maschinell generierter Arbeit beaufsichtigt – ohne Schulung darin, wie man den Unterschied zwischen flüssigen KI-Ergebnissen und korrekten KI-Ergebnissen erkennt.
Dorthin steuern wir, wenn wir es nicht bewusst anders machen. Führungskräfte beaufsichtigen implizit KI-gestützte Entscheidungen, ohne dass es ihnen klar als Teil ihres Jobs genannt wird, ohne Leistungssysteme, die Validierungsdisziplin einfordern, und ohne klare Eskalationswege, wenn etwas verdächtig erscheint.
Wenn in sechs Monaten durch KI-Screenings ein voreingenommenes Einstellungsmuster entsteht oder sich ein Preisfehler über Tausende Konten ausbreitet, ist das Versagen kein technisches. Es liegt daran, dass niemand die Aufsicht übernommen hat.
Das Pentagon ging davon aus, Claude in Geheimoperationen einbinden zu können und die Grenzen später zu klären. Anthropic nahm an, dass seine vertraglichen roten Linien ohne Durchsetzungsmechanismus respektiert würden. Beide lagen falsch.
Das Ergebnis war ein öffentlicher Bruch, eine Blacklist-Bezeichnung, die normalerweise auf ausländische Gegner angewandt wird, und eine hektische Suche nach einem Ersatzmodell, das Uniformierte selbst als unverzichtbar beschrieben hatten.
Die meisten Organisationen werden keine derart dramatischen Folgen erleben. Aber das strukturelle Versagen wird ihnen bekannt vorkommen. KI wird eingebettet. Entscheidungen fließen dadurch. Niemand hat klar definiert, wem die Verantwortung für die Ergebnisse zufällt, wer Übersteuerungsbefugnis hat oder was geschieht, wenn etwas schiefgeht. Und wenn die Frage dann akut wird, ist es schon zu spät, sie besonnen zu beantworten.
Wenn Sie CHRO oder COO sind und dies lesen: Das Pentagon hat das Experiment für Sie durchgeführt. Die Kosten dafür, die Antworten auf die folgenreichsten Governance-Fragen aufzuschieben, waren eine zerrüttete Beziehung, eine Lücke in der nationalen Sicherheit und Hektik, die nicht notwendig gewesen wäre. Ihre Version dieses Experiments wird leiser, aber sie wird nicht billiger sein.
