Das Anthropic-Pentagon-Debakel zeigte jedem CEO, was passiert, wenn niemand für KI-Entscheidungen verantwortlich ist
Risiko-Bewertung: Das Pentagon stufte Anthropic erstmals in der Geschichte als Risiko für die nationale Sicherheit eines US-Unternehmens ein.
Regulatorische Lücken: Das Fehlen bundesweiter Vorschriften zur KI-Nutzung erschwert die rechtlichen Grenzen für Überwachung und autonome Entscheidungen.
Versagen der Governance: Pentagon und Anthropic haben es versäumt, klare Entscheidungsbefugnisse über den KI-Betrieb festzulegen, was zur Krise führte.
Weitverbreitete KI-Nutzung: Rund 78 % der Mitarbeitenden nutzen KI-Tools ohne Zustimmung der Organisation, was die Verantwortlichkeit gefährdet.
Operativer Rahmen: Effektive Governance sollte sich auf Entscheidungsbefugnisse auf Ebene der Arbeitsabläufe konzentrieren, nicht nur auf die Dokumentation von Richtlinien.
Am vergangenen Freitag stufte das Pentagon Anthropic, den Hersteller des KI-Modells Claude, als nationales Sicherheitsrisiko für die Lieferkette ein. Diese Einstufung, die normalerweise für ausländische Gegner wie russische Cybersicherheitsfirmen und chinesische Chipzulieferer reserviert ist, war noch nie auf ein amerikanisches Unternehmen angewendet worden.
Während Anthropic standhielt, trat OpenAI ein und übernahm Anthropics Auftrag.
Der Streit begann bereits Monate zuvor, als Anthropic einen Vertrag über 200 Millionen Dollar unterzeichnete, um Claude in geheimen militärischen Netzwerken einzusetzen. Anthropic zog dabei zwei rote Linien: keine Massenüberwachung von US-BürgerInnen, keine vollautonomen Waffen, die ohne menschliches Zutun feuern.
Keep Reading—and Keep Leading Smarter
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Das Pentagon forderte uneingeschränkte Nutzung für jeden rechtmäßigen Zweck.
Das klingt zunächst vernünftig — bis man bedenkt, dass es keinerlei bundesstaatliche Gesetze für die KI-Überwachung gibt. Keine Regulierung, die Grenzen für algorithmisches Targeting definiert. Keinen gesetzlichen Rahmen für autonome Entscheidungsfindung.
„Jede rechtmäßige Nutzung” bedeutet in Abwesenheit von Gesetzen, dass alles erlaubt ist.
Keine Seite legte einen Mechanismus fest, um den Konflikt zu lösen, bevor er eskalierte. Verteidigungsminister Pete Hegseth stellte Anthropic-CEO Dario Amodei ein Ultimatum von drei Tagen, um sich zu fügen – andernfalls würden Konsequenzen folgen.
Amodei gab nicht nach. In einem Interview mit CBS News nur wenige Stunden nach der Aufnahme auf die schwarze Liste bezeichnete er das Vorgehen als „vergeltend und strafend“ und sagte, Anthropic habe angeboten, das Militär bei der Übergabe an einen Konkurrenten weiterhin zu unterstützen.
Er benannte außerdem, was für alle, die KI in kritisch wichtigen Umgebungen einsetzen, die zentrale Sorge sein sollte: „Die Technologie entwickelt sich so schnell, dass sie mit den Gesetzen nicht mehr Schritt hält.“
Zurück zum Tagesgeschäft
Die meisten Berichte rahmen das Geschehen als politische Story ein. Sicherheit gegen Verteidigung. Tech-CEO gegen Verteidigungsminister. Es gibt eine Perspektive, in der dies eine ethische Debatte zu autonomen Waffen ist, und diese Geschichte ist relevant.
Doch es gibt auch eine Version, die jedem COO und jeder CHRO zu denken geben sollte, denn das dahinterstehende Versagen ist strukturell – nicht politisch.
Das Pentagon implementierte KI in geheimen Operationen, ohne vorher zu klären, wer die Entscheidungsgewalt über die Nutzung der jeweiligen KI hätte. Anthropic ging davon aus, dass ihre roten Linien halten würden. Das Pentagon wiederum nahm an, dass diese roten Linien nach Erwerb der Technologie nicht mehr gelten. Niemand entwarf die Governance-Architektur, die einen Konflikt hätte lösen können, bevor daraus eine Krise entstand.
Genau diese Abfolge spielt sich aktuell in Unternehmen ab – in einem Ausmaß, das viele Führungskräfte noch gar nicht überblicken.
Von geheimen Netzwerken zu Ihrem Organigramm
Mehrere Studien schätzen, dass etwa 78 % der Mitarbeitenden KI-Tools nutzen, ohne dass ihr Arbeitgeber diese genehmigt hätte. Anders gesagt: KI ist schon heute integraler Bestandteil von Entscheidungsprozessen in den meisten Organisationen – unabhängig davon, ob dies geplant wurde oder nicht.
Eine CHRO könnte herausfinden, dass KI quer durch das Unternehmen Stellenbeschreibungen entwirft, Lebensläufe sichtet und Formulierungen für Leistungsfeedback generiert – ohne einen klar definierten Verantwortlichen für diese Outputs.
Ein COO entdeckt vielleicht, dass Bedarfsprognosen, Preisempfehlungen und Bewertungen von Lieferanten auf Modellen beruhen, die von der Unternehmensführung nie offiziell für den produktiven Einsatz freigegeben wurden.
Einige Führungskräfte entwickeln bereits Governance-Strategien für KI, um diese Entwicklung zu steuern. Mohammed Chahdi, COO der Muse Group, beschreibt einen Rahmen, in dem sein Vorstand operative KI von experimentellen Ansätzen trennt.
Bevor etwas Teil unserer Kernprozesse wird, erwarten wir von der Geschäftsführung, dass jede KI-Anwendung auf Zuverlässigkeit und Reife im Praxistest geprüft wird, bevor sie einen Platz im Betriebsmodell erhält.
Genau diese Schwelle – die Unterscheidung zwischen „das testen wir noch“ und „das beeinflusst nun echte Entscheidungen“ – ist in den allermeisten Organisationen nicht klar definiert.
Die über allem schwebende Frage ist dieselbe, die bereits die Beziehung zwischen Pentagon und Anthropic zerstörte: Wer hat letztlich die Entscheidungsgewalt darüber, was KI tut, wenn sie erst einmal in kritische Geschäftsabläufe integriert ist?
In den meisten Unternehmen lautet die ehrliche Antwort: niemand. Entscheidungsbefugnisse wurden für eine Welt entworfen, in der Menschen Analysen erstellten und Menschen die endgültige Entscheidung trafen. Jetzt erstellt KI Analysen, entwirft Empfehlungen und prägt in vielen Fällen bereits die Entscheidung, bevor ein Mensch sie prüft.
Die Verantwortungsstruktur hat noch nicht aufgeholt, und die Technologie entwickelt sich ständig weiter. METR, eine in Berkeley ansässige KI-Forschungsorganisation, hat herausgefunden, dass sich der Aufgabenabschluss-Horizont für fortschrittliche KI-Modelle etwa alle sieben Monate verdoppelt. Dieses Tempo wartet nicht darauf, dass Governance-Rahmen reifen.
Verträge regeln nicht. Betriebssysteme tun es.
Der Instinkt in den meisten Organisationen ist eine Reaktion mit Richtlinien. Sie könnten:
- Ein Dokument zur akzeptablen Nutzung verfassen
- Ein Genehmigungsgremium einrichten
- Einen Überprüfungszyklus erstellen.
Richtlinien sind notwendig. Aber Richtlinien betreffen nur die Oberfläche. Das Pentagon hatte einen Vertrag, der Klauseln enthielt. Vermutlich hatten Juristen diese Klauseln geprüft. Und trotzdem endete es in einem öffentlichen Konflikt, weil der Vertrag nie regelte, wer letztlich die Kontrolle darüber hatte, wie KI in der Praxis eingesetzt wird.
Amodei brachte diesen Punkt direkt zur Sprache, als er gefragt wurde, warum Anthropic, ein Privatunternehmen, mehr Mitspracherecht als das Pentagon beim militärischen KI-Einsatz haben sollte. Seine Antwort betraf nicht abstrakte Ethik. Es ging um Fähigkeitengrenzen.
Unser Modell hat eine Persönlichkeit. Es ist zu bestimmten Dingen fähig. Es ist in der Lage, gewisse Dinge zuverlässig zu tun. Es ist auch zuverlässig nicht zu gewissen Dingen fähig.
Das ist eine Aussage über die Kluft zwischen dem, was KI liefern kann, und dem, was ein Mensch verifizieren muss. Diese Kluft gibt es in jeder Organisation mit KI-unterstützten Arbeitsabläufen. Wenn ein Modell eine Preisempfehlung ausarbeitet, muss jemand dafür verantwortlich sein, ob diese Empfehlung für diesen Kunden, diesen Markt, diesen Moment gültig ist.
Wenn KI Kandidat*innen vorsortiert, muss jemand sicherstellen, dass die Kriterien faire und genaue Ergebnisse liefern. Wenn KI eine Compliance-Zusammenfassung erstellt, muss jemand die Genauigkeit der Informationen gegenüber den Aufsichtsbehörden verantworten.
Governance, die im beschleunigten Umfeld Bestand hat, ähnelt weniger einem Richtlinienhandbuch und mehr einem Betriebssystem. Entscheidungsbefugnisse müssen auf Ablaufebene eindeutig benannt werden. Menschliche Übersteuerungspunkte müssen in produktive KI-Abläufe eingebaut werden, nicht einfach vorausgesetzt werden. Modelländerungen müssen wie Systemänderungen behandelt werden – mit Tests und expliziter Genehmigung vor der Einführung.
Wo das eigentliche Versagen liegt
Amodei sprach in seinem CBS-Interview etwas an, das weit über den militärischen Kontext hinausgeht. Beim Thema autonomer Waffen sagte er:
"Angenommen, ich hätte eine Armee aus 10 Millionen Drohnen, alle von einer oder wenigen Personen koordiniert. Ich denke, es ist leicht zu sehen, dass es hierbei Probleme mit der Verantwortlichkeit gibt."
Man tausche Drohnen gegen KI-unterstützte Arbeitsabläufe in einem mittelgroßen Unternehmen aus. Man tausche die einzelne Person gegen eine Führungskraft, die aufgrund von Effizienz in einem stabilen Umfeld befördert wurde und nun einen Mix aus menschlicher und maschineller Arbeit beaufsichtigt – ohne Schulung im Erkennen des Unterschieds zwischen flüssigem und korrektem KI-Output.
Genau darauf steuern wir zu, wenn wir nicht gezielt gegensteuern. Führungskräfte, die KI-gesteuerte Entscheidungen implizit beaufsichtigen, ohne zu wissen, dass das Teil ihres Jobs ist, ohne Leistungssysteme, die Überprüfungsdisziplin einfordern, und ohne klare Eskalationswege, wenn etwas auffällig ist.
Tritt in sechs Monaten durch KI-Screening ein verzerrtes Einstellungsverhalten auf, oder verbreitet sich ein Preisfehler auf tausende Konten, dann liegt das Versagen nicht an der Technik. Das Versagen ist, dass niemand die Aufsicht übernommen hat.
Das Pentagon nahm an, es könne Claude in geheime Operationen einbinden und die Grenzen später festlegen. Anthropic nahm an, dass seine vertraglich festgelegten roten Linien ohne Durchsetzungsmechanismus respektiert werden würden. Beide lagen falsch.
Das Ergebnis war ein öffentlicher Bruch, eine eigentlich für ausländische Gegner gedachte Blacklist-Einstufung und ein hektischer Versuch, ein Modell zu ersetzen, das Uniformierte als unverzichtbar beschrieben hatten.
Die meisten Organisationen werden nicht mit derart dramatischen Folgen konfrontiert werden. Aber die strukturelle Schwäche wird bekannt vorkommen: KI wird integriert. Entscheidungen laufen darüber. Niemand definiert klar, wer das Ergebnis verantwortet, wer Übersteuerungsrechte hat oder was passiert, wenn etwas schiefgeht. Und wenn die Frage dann dringend wird, ist es schon zu spät, um sie gelassen zu beantworten.
Wenn Sie als CHRO oder COO dies lesen, hat das Pentagon soeben das Experiment für Sie gemacht. Die Kosten, die entstehen, wenn die wichtigsten Governance-Fragen vertagt werden, waren eine zerbrochene Beziehung, eine nationale Sicherheitslücke und eine Hektik, die nicht nötig gewesen wäre. Ihre Version dieses Experiments wird leiser verlaufen. Billiger wird sie nicht.