Das Anthropic-Pentagon-Debakel zeigte jedem CEO, was passiert, wenn niemand Verantwortung für KI-Entscheidungen übernimmt
Risikoeinstufung: Das Pentagon stufte Anthropic erstmals in der US-Geschichte als nationales Sicherheitsrisiko ein.
Regulatorische Lücken: Das Fehlen bundesweiter Vorschriften zur KI-Nutzung erschwert die rechtlichen Rahmenbedingungen für Überwachung und autonome Entscheidungen.
Fehlende Governance: Pentagon und Anthropic haben es versäumt, eine klare Entscheidungsbefugnis für den KI-Einsatz zu definieren – das führte zur Krise.
Verbreitung der KI-Nutzung: Etwa 78 % der Mitarbeitenden nutzen KI-Tools ohne Genehmigung der Organisation, was Verantwortungsprobleme schafft.
Betriebsrahmen: Effektive Steuerung sollte sich auf die Entscheidungsbefugnis auf der Prozessebene konzentrieren, nicht nur auf die Dokumentation von Richtlinien.
Am vergangenen Freitag stufte das Pentagon Anthropic, den Hersteller des KI-Modells Claude, als nationales Sicherheitsrisiko für die Lieferkette ein. Diese Einstufung, die sonst ausländischen Gegnern wie russischen Cybersecurity-Firmen und chinesischen Chip-Lieferanten vorbehalten ist, war noch nie zuvor auf ein amerikanisches Unternehmen angewendet worden.
Während Anthropic standhaft blieb, sprang OpenAI ein, um sich den Vertrag von Anthropic zu sichern.
Der Streit begann Monate zuvor, als Anthropic einen Vertrag über 200 Millionen Dollar unterzeichnete, um Claude in geheimen Militärnetzwerken einzusetzen. Anthropic zog dabei zwei klare Grenzen: keine Massenüberwachung von US-Bürgern und keine vollständig autonomen Waffen, die ohne menschliches Zutun feuern.
Keep Reading—and Keep Leading Smarter
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Das Pentagon verlangte uneingeschränkte Nutzung für jeden rechtmäßigen Zweck.
Das klingt vernünftig, abgesehen von der Tatsache, dass es keine bundesstaatlichen Gesetze zur KI-Überwachung gibt. Es gibt keine Regulierung, die Grenzen für algorithmische Zielverfolgung definiert. Kein rechtlicher Rahmen für autonome Entscheidungsfindung.
„Jede rechtmäßige Nutzung“ bedeutet in Abwesenheit von Gesetzen, dass alles erlaubt ist.
Keine der beiden Seiten hatte einen Mechanismus geschaffen, um die Meinungsverschiedenheit zu lösen, bevor sie eskalierte, und Verteidigungsminister Pete Hegseth stellte Anthropic-CEO Dario Amodei ein Ultimatum von drei Tagen: Entweder einlenken oder mit Konsequenzen rechnen.
Amodei gab nicht nach. In einem Interview mit CBS News nur wenige Stunden nach der Aufnahme auf die schwarze Liste bezeichnete er die Maßnahmen als „vergeltend und strafend“ und sagte, Anthropic habe angeboten, das Militär während einer Übergangsphase zu einem Konkurrenten weiterhin zu unterstützen.
Er benannte auch das zentrale Problem für alle, die KI in risikoreichen Umgebungen einsetzen: „Die Technologie entwickelt sich so schnell, dass sie mit dem Gesetz nicht Schritt halten kann.“
Zurück zum Geschäft
Die meisten Berichte stellen das als politische Geschichte dar. Sicherheit versus Verteidigung. Ein Tech-CEO gegen einen Verteidigungsminister. Es gibt eine Betrachtung, die sich mit der Ethik autonomer Waffen beschäftigt, und das ist wichtig.
Doch es gibt eine Version, die jeden COO und CHRO aufhorchen lassen sollte, denn das eigentliche Problem hinter den Schlagzeilen ist struktureller Natur, nicht politisch.
Das Pentagon hat KI in geheime Operationen integriert, ohne vorher zu klären, wer die Befugnis darüber hat, wie diese KI eingesetzt werden darf. Anthropic ging davon aus, dass seine Grenzen gelten. Das Pentagon nahm an, dass diese Grenzen nach dem Erwerb der Technologie nicht mehr gelten würden. Niemand entwarf die Governance-Struktur, um eine Meinungsverschiedenheit zu klären, bevor sie zur Krise wurde.
Diese Abfolge spielt sich derzeit in Unternehmen ab, und die meisten Führungskräfte erkennen das ganze Ausmaß noch nicht.
Von Geheimnetzwerken zu Ihrem Organigramm
Mehrere Studien gehen davon aus, dass etwa 78 % der Mitarbeitenden KI-Tools nutzen, die ihr Arbeitgeber nie genehmigt hat. Anders gesagt: KI ist bereits in die Entscheidungsfindung eingebettet – quer durch die meisten Organisationen, ganz gleich, ob jemand das so geplant hat oder nicht.
Ein CHRO könnte feststellen, dass KI unternehmensweit Stellenbeschreibungen erstellt, Lebensläufe vorsortiert und Formulierungen für Leistungsbeurteilungen generiert – ohne dass für eines dieser Ergebnisse ein klarer Verantwortlicher existiert.
Ein COO könnte herausfinden, dass Bedarfsprognosen, Preisempfehlungen und Lieferantenbewertungen durch Modelle beeinflusst werden, die von der Unternehmensleitung nie offiziell für den produktiven Einsatz freigegeben wurden.
Einige Führungskräfte beginnen, Governance-Strategien für KI zu entwickeln, um dies zu steuern. Mohammed Chahdi, COO der Muse Group, beschreibt ein Rahmenwerk, das sein Vorstand nutzt, um operative KI von experimentellen Ansätzen abzugrenzen.
Bevor etwas Teil unserer Kernprozesse wird, erwarten wir vom Management, dass es die Zuverlässigkeit und Tiefe jeder KI-Anwendung auf den Prüfstand stellt, bevor sie einen festen Platz im Betriebsmodell erhält.
Diese Schwelle, die Grenze zwischen „wir testen das“ und „das beeinflusst jetzt echte Entscheidungen“, ist genau das, was die meisten Organisationen noch nicht festgelegt haben.
Die übergreifende Frage ist die gleiche, die auch die Beziehung zwischen Pentagon und Anthropic scheitern ließ: Wer hat die Entscheidungsbefugnis darüber, was KI tun darf, wenn sie einmal in kritische Arbeitsabläufe integriert ist?
In den meisten Unternehmen lautet die ehrliche Antwort: niemand. Entscheidungsbefugnisse wurden für eine Welt geschaffen, in der Menschen Analysen erstellen und Menschen die endgültige Entscheidung treffen. Jetzt erstellt KI Analysen, entwirft Empfehlungen und beeinflusst in vielen Fällen die Entscheidung, bevor ein Mensch sie überprüft.
Die Verantwortungsstruktur hat nicht aufgeholt, und die Technologie entwickelt sich immer schneller weiter. METR, eine in Berkeley ansässige KI-Forschungsorganisation, stellte fest, dass sich der Zeithorizont für die Aufgabenbewältigung bei führenden KI-Modellen etwa alle sieben Monate verdoppelt. Dieses Tempo wartet nicht darauf, dass Governance-Rahmenwerke nachziehen.
Verträge regeln nicht. Betriebssysteme regeln.
Der Instinkt in den meisten Organisationen ist, mit Richtlinien zu reagieren. Sie könnten:
- Ein Dokument für akzeptable Nutzung verfassen
- Ein Genehmigungskomitee einrichten
- Einen Überprüfungszyklus schaffen.
Richtlinien sind notwendig. Aber sie adressieren nur die oberste Schicht. Das Pentagon hatte einen Vertrag mit Bedingungen. Vermutlich wurden diese von Jurist:innen geprüft. Dennoch endete es öffentlich im Streit, weil der Vertrag nie klärte, wer in der Praxis letztlich kontrollierte, wie KI eingesetzt wird.
Amodei brachte diesen Punkt direkt zur Sprache, als er gefragt wurde, warum Anthropic, ein privates Unternehmen, mehr Mitspracherecht als das Pentagon bei der militärischen KI-Nutzung haben sollte. Seine Antwort bezog sich nicht auf Ethik im Abstrakten. Es ging um Begrenzungen der Fähigkeiten.
Unser Modell hat eine Persönlichkeit. Es ist zu bestimmten Dingen fähig. Es kann gewisse Dinge zuverlässig tun. Und es kann gewisse Dinge zuverlässig nicht tun.
Das beschreibt die Lücke zwischen dem, was KI liefern kann, und dem, was ein Mensch verifizieren muss. Diese Lücke gibt es in jedem Unternehmen mit KI-gestützten Workflows. Wenn ein Modell eine Preisempfehlung entwirft, muss jemand die Verantwortung übernehmen, ob diese Empfehlung für diesen Kunden, diesen Markt, diesen Zeitpunkt gültig ist.
Wenn KI Bewerber:innen auswählt, muss jemand die Verantwortung übernehmen, ob die Kriterien faire und genaue Ergebnisse liefern. Wenn KI eine Compliance-Zusammenfassung generiert, muss jemand für die Richtigkeit der Informationen gegenüber Behörden einstehen.
Eine Governance, die unter Beschleunigung funktioniert, ähnelt weniger einem Handbuch und mehr einem Betriebssystem. Entscheidungsbefugnisse müssen auf der Workflow-Ebene klar vergeben werden. Menschliche Eingriffsmöglichkeiten müssen in produktive KI-Prozesse integriert werden – sie dürfen nicht einfach vorausgesetzt werden. Modelländerungen sind wie Systemänderungen zu behandeln, mit Tests und expliziter Freigabe vor dem Einsatz.
Wo das eigentliche Versagen liegt
Amodei sprach in seinem CBS-Interview etwas an, das weit über den militärischen Kontext hinausgeht. Bei der Diskussion über autonome Waffen sagte er:
"Angenommen, ich habe eine Armee von 10 Millionen Drohnen, die von einer Person oder einem kleinen Personenkreis koordiniert wird. Es ist leicht zu erkennen, dass es da Probleme mit der Verantwortlichkeit gibt."
Tauschen Sie Drohnen gegen KI-gestützte Workflows in einem mittelständischen Unternehmen. Tauschen Sie die eine Person gegen eine Führungskraft, die wegen ihrer Effizienz in einem stabilen Umfeld befördert wurde und nun eine Mischung aus menschlicher und maschinell erzeugter Arbeit überwacht – ohne Training, wie man den Unterschied zwischen flüssigen KI-Ergebnissen und korrekten KI-Ergebnissen erkennt.
Genau dorthin steuern wir, wenn wir nicht bewusst gegensteuern. Führungskräfte, die KI-gestützte Entscheidungen implizit beaufsichtigen, ohne dass ihnen das als Teil ihres Jobs mitgeteilt wird, ohne Leistungssysteme, die Validierungsdisziplin berücksichtigen, und ohne klare Eskalationswege für den Fall, dass etwas nicht stimmt.
Wenn in sechs Monaten durch KI-Auswahlprozesse ein voreingenommenes Einstellungsmuster entsteht, oder ein Preisfehler sich auf Tausende von Konten ausdehnt, liegt das Versagen nicht an der Technik. Sondern daran, dass niemand die Aufsicht übernommen hat.
Das Pentagon ging davon aus, Claude könne in geheimen Operationen eingesetzt werden und die Grenzen würden später geklärt. Anthropic ging davon aus, dass seine vertraglichen Grenzen respektiert würden, ohne einen Mechanismus zur Durchsetzung zu haben. Beide lagen falsch.
Das Ergebnis war ein öffentlicher Bruch, eine Blacklist-Einstufung, die normalerweise ausländischen Gegnern vorbehalten ist, und ein hastiger Versuch, ein Modell zu ersetzen, das Militärangehörige als essenziell bezeichneten.
Die meisten Organisationen werden nicht mit so dramatischen Konsequenzen konfrontiert. Aber das strukturelle Versagen wird bekannt vorkommen. KI wird eingebettet. Entscheidungen laufen dadurch. Niemand definiert klar, wer für die Ergebnisse zuständig ist, wer Eingriffsrechte hat oder was passiert, wenn etwas schiefläuft. Und wenn die Frage dringend wird, ist es schon zu spät, um sie ruhig zu beantworten.
Wenn Sie als CHRO oder COO dies lesen: Das Pentagon hat das Experiment bereits für Sie durchgeführt. Die Kosten herauszufinden, was passiert, wenn die entscheidenden Governance-Fragen vertagt werden, waren eine zerrüttete Beziehung, eine Sicherheitslücke und ein hektisches Umsteuern, das nicht nötig gewesen wäre. Ihre Variante dieses Experiments wird leiser ablaufen. Günstiger wird sie nicht sein.
