Warum die meisten KI-Governance-Strategien bereits in Schwierigkeiten stecken
Compliance-Risiko: Organisationen glauben oft, dass rechtliche Dokumentation ausreicht, ohne die tatsächlichen Compliance-Risiken beim Einsatz von KI zu erkennen.
Regulatorische Landschaft: KI-Governance bewegt sich in einem fragmentierten gesetzlichen Rahmen und erfordert Bewusstsein für bestehende Rechtsstandards und Haftungen.
Erkennung von Vorurteilen: Voreingenommenheit in KI ergibt sich aus historischen Daten und beeinflusst Einstellungspraktiken oft ohne Absicht oder Bewusstsein.
Verantwortung der Anbieter: Das ausschließliche Verlassen auf Compliance-Zertifizierungen von Anbietern kann wesentliche organisationsspezifische Risiken beim Einsatz von KI-Tools verschleiern.
Notwendigkeit von Governance: Wirksame KI-Governance erfordert Aufsicht durch das Top-Management und klare Verantwortlichkeiten, um Compliance sicherzustellen und Risiken zu minimieren.
Papierkram kann den Eindruck erwecken, dass Compliance abgeschlossen ist. Die Rechtsabteilung gibt ihr Okay, Verträge werden mit einer Freistellungsklausel abgelegt, die Schutz verspricht. Doch diese Schritte schaffen oft eher eine Illusion von Sicherheit als deren wirkliche Umsetzung.
Kürzlich habe ich eine Konferenz besucht, bei der mehrere Sitzungen der Rechtslage rund um KI am Arbeitsplatz gewidmet waren. Praktiker, Arbeitsrechtler und Compliance-Experten verbrachten den Großteil von zwei Tagen damit, die Annahmen auseinanderzunehmen, auf denen Organisationen ihre KI-Governance-Strategien aufgebaut haben. Das Bild, das sich ergab, war keines einer drohenden Gefahr. Die Risiken sind bereits Realität.
Das regulatorische Bild
Die Bundesregierung hat noch keine umfassende Gesetzgebung für KI verabschiedet. Das ist die Tatsache, bei der manche Führungskräfte stehenbleiben – und genau deshalb unterschätzen so viele ihr Risiko. Die tatsächliche Lage ist ein Flickenteppich aus bundesstaatlichen Gesetzen, lokalen Verordnungen und bestehenden Bundesgesetzen, die keine neuen, spezifischen Regelungen für KI benötigen, um zu gelten.
Keep Reading—and Keep Leading Smarter
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Sie hören all das ‘wir werden das nicht regulieren’-Gerede von der aktuellen Regierung. Lassen Sie sich davon nicht täuschen. Sie verkaufen Sicherheit, wo es keine gibt.
Kelly und alle anderen bei der Konferenz sprechenden Juristen waren ziemlich direkt in Bezug darauf, was diese Fehleinschätzung Unternehmen kostet. Die strategischen Prioritäten der EEOC für 2024–2028, zu denen auch die Hiring Initiative to Reimagine Equity gehört, legen den Fokus speziell auf scheinbar neutrale Systeme – also Tools, die nicht ausdrücklich diskriminieren, aber diskriminierende Ergebnisse erzeugen.
Das wird bereits durch Bundesrecht abgedeckt. Ebenso durch das KI-Gesetz der EU, das für jede Organisation mit Niederlassungen oder Beschäftigungstätigkeiten in Europa gilt.
Der inzwischen berüchtigte Fall Workday, eine Sammelklage, in der behauptet wird, die HR-Software des Unternehmens habe Bewerber nach Alter und ethnischer Zugehörigkeit diskriminiert, hat klar gezeigt: Rechtliche Risiken warten nicht auf den Kongress.
Das Problem der Auffindbarkeit
Eines der verstörenderen Gespräche auf der Konferenz drehte sich um Dokumentation. Insbesondere: Was passiert, wenn Ihre KI-Entscheidungen im Rahmen einer Offenlegung (Discovery) geprüft werden?
KI-Eingaben (Prompts) können vor Gericht eingefordert werden. Interne Logik, Entscheidungsgrundlagen, die bei Einstellungen, dem Leistungsmanagement oder Vergütungsprozessen verwendeten Modellkonfigurationen können als Beweismittel angefordert werden. Organisationen, die keine detaillierten KI-Entscheidungsprotokolle der letzten vier Jahre vorlegen können, sind erheblichen Risiken, sowohl bei Klagen als auch bei Prüfungen durch Behörden, ausgesetzt.
Das ist kein theoretisches Problem. Während KI-Agenten zunehmend autonomere Aufgaben im HR-Bereich übernehmen, wird die Haftungsfrage immer drängender. Wenn ein agentisches System eine weitreichende Personalentscheidung trifft oder beeinflusst und dabei etwas schief geht, liegt die Verantwortung nach dem Gesetz eindeutig beim Arbeitgeber und nicht beim Anbieter.
Strikte Haftung für Agenten bringt die Organisation in die Lage, für Resultate geradezustehen, die von Tools erzeugt wurden, deren Funktionsweise sie womöglich gar nicht genau verstehen.
Anforderungen an die Aufbewahrung von Dokumenten passen sich entsprechend an. Ein Governance-System, das die Auffindbarkeit nicht von Anfang an berücksichtigt hat, wird unter Druck überarbeitet werden müssen.
Wo Bias tatsächlich entsteht
Die meisten Unternehmen betrachten KI-Bias als Problem des Anbieters. Sie kaufen ein KI-Tool, fragen, ob es geprüft wurde, erhalten irgendeine Form von Bestätigung, und machen weiter. Die Rechts- und Compliance-Community weist inzwischen darauf hin, wie unzureichend das ist.
Bias gelangt durch historische Daten, Erfolgskriterien, Filter bei der Vorauswahl und Stellvertretervariablen in KI-Systeme. Wenn ein KI-System mit Jahren an Daten darüber trainiert wird, wer eingestellt oder befördert wurde und wie Leistungsbeurteilungen aussahen, lernt es die Vorlieben der Organisation kennen. Diese Vorlieben enthalten oft unbewusst verankerte Diskriminierungen, die niemand absichtlich designt hat, die aber vom Modell übernommen und anschließend skaliert werden.
„Bias wird verstärkt“, merkte Kelly an, „und verwandelt vereinzelt getroffene Entscheidungen in organisationsweite Muster."
Für die rechtliche Beurteilung eines nachteiligen Effekts (Disparate Impact) ist keine Absicht erforderlich. Ein Kläger muss nur eine statistische Ungleichheit nachweisen – und das Schwellenmaß ist bereits definiert. Die Vier-Fünftel-Regel (auch bekannt als 80%-Regel) besagt, dass wenn die Auswahlquote einer geschützten Gruppe weniger als 80% der Quote der am häufigsten ausgewählten Gruppe beträgt, dies als Hinweis auf einen nachteiligen Effekt gilt.
Ein KI-Tool, das monatlich tausende Lebensläufe durchsucht, kann diese Schwelle überschreiten, ohne dass auch nur eine Person im Unternehmen das beabsichtigt hat.
Eine Studie der University of Washington, die in einer Session zitiert wurde, verdeutlichte das Ausmaß des Problems. Als die Namen von schwarzen männlichen Bewerbern mit denen weißer männlicher Bewerber in KI-Screening-Systemen verglichen wurden, bevorzugten diese Systeme schwarze Namen in null Prozent der Fälle.
Der Standard der ungleichen Behandlung, der gezielte Diskriminierung abdeckt, bringt eigene KI-spezifische Komplikationen mit sich. Direkte Eingaben geschützter Merkmale als explizite Datenpunkte sind der offensichtliche Fall. Doch versteckte Motive sind schwerer zu erkennen und schwerer zu bekämpfen, etwa wenn ein Anbieter gerade deswegen ausgewählt wird, weil sein Screening-Tool ältere Bewerber aussortiert, dies intern aber als Präferenz für eine „dynamische Unternehmenskultur“ kommuniziert wird.
Diese Darstellung neutralisiert die Absicht aus juristischer Sicht nicht.
Warum anbieterorientierte Aufsicht scheitert
Das Standard-Governance-Modell in den meisten Organisationen läuft über die Beziehung zum Anbieter. Dabei wird angenommen, dass die Organisation ihren Verpflichtungen nachkommt, wenn das Tool eines Anbieters zertifiziert ist oder mit Audit-Dokumenten geliefert wird.
Diese Annahme hält weder rechtlichen noch operativen Realitäten stand.
„Am Ende des Tages bleibt die Verantwortung bei der Organisation“, sagte Kelly. „Das gesamte Risiko kommt aus demselben Topf. Sie können mit allen Personen aus Compliance, Risikomanagement und Rechtsabteilung zusammenarbeiten, die jeweils versuchen, das Risiko in ihrem Bereich zu minimieren, aber das geht nur, wenn die Mitarbeitenden in Ihrer Organisation wissen, was Sie einsetzen und zu welchem Zweck. Wenn ich übersehe, dass Ihr Recruiting-Team eine Technologie nutzt, die wir nicht auf Risiken prüfen, ist unsere Arbeit ziemlich nutzlos.“
Chris Lippert, Direktor bei Schellman, sieht die Zertifizierungslandschaft der Anbieter als Teil des Problems. Viele KI-Tools im HR-Bereich sind bislang nicht unabhängig zertifiziert.
Greenhouse, eine der am weitesten verbreiteten Bewerbermanagement-Plattformen, erhielt die ISO/IEC 42001-Zertifizierung erst im Februar dieses Jahres. Für die Branche bedeutet das, dass Organisationen KI-gestützte Funktionen bereits lange vor einer Validierung eingeführt haben – und viele setzen immer noch nicht überprüfte Versionen ein.
Nur weil eine Anwendung KI nutzt, heißt das nicht, dass sie eingesetzt werden sollte. Und wenn sie KI-Funktionalität erhält, ist das der Moment, etwas zu bemerken – und es zu melden. Werden Ihre Unternehmensrichtlinien aktualisiert, bevor die Technologie eingeführt wird? Nein. So entsteht Risiko, bevor es sich überhaupt in Richtlinien abbilden lässt.
Lippert empfiehlt, auf bestehenden Datenschutz-Folgenabschätzungen von Organisationen aufzubauen. Die Prüfung von KI-Risiken muss nicht von Grund auf neu entwickelt werden. In den meisten Compliance-Programmen existieren bereits die gleichen Stakeholder, die gleichen Analyse-Frameworks und ein Großteil der Dokumentationsinfrastruktur.
Wird die KI-Governance als Erweiterung dieser Arbeit und nicht als separate Initiative verstanden, lässt sie sich wirkungsvoller und nachhaltiger umsetzen.
Die Governance-Lücke an der Spitze
Die operativen Governance-Anforderungen sind leicht zu benennen.
- Menschliche Kontrollpunkte
- Validierungsrhythmus
- Verantwortlichkeit der Anbieter
- Überwachung der Resultate
- Dokumentation
- Versionskontrolle
Diese Anforderungen sind allgemein bekannt. Was in vielen Organisationen weniger klar ist: Wer ist verantwortlich dafür – und überwacht überhaupt jemand mit Managementbefugnis diese Prozesse aktiv?
Der allgemeine Konsens bei allen KI-Risikorahmenwerken ist, dass es von oben nach unten unterstützt werden muss. Man muss diese Verantwortung übernehmen.
Howards Aussage verweist auf eine größere Fehlerquelle. Governance-Strukturen, die auf Team- oder Funktionsebene ohne einen Auftrag der Führungsebene und klare Verantwortlichkeiten aufgebaut werden, werden meist inkonsequent angewandt und sind schwer durchzusetzen.
Wenn eine Geschäftseinheit ein neues KI-Tool einführt, ohne den etablierten Prüfprozess zu durchlaufen, bleibt die dadurch entstehende Lücke oft unentdeckt – solange, bis es zu einer Beschwerde, einer Klage oder einer behördlichen Untersuchung kommt.
Modelldrift verschärft dieses Problem. KI-Tools verändern sich im Laufe der Zeit – manchmal durch Updates des Anbieters, manchmal durch Veränderungen der zugrunde liegenden Daten, die sie verarbeiten. Ein Werkzeug, das beim Einsatz eine Voreingenommenheitsprüfung bestanden hat, kann diese Prüfung achtzehn Monate später vielleicht nicht mehr bestehen.
„Mit fortschreitender Modelldrift übernehmen Sie immer mehr Risiken“, sagte Howard. „Sie müssen Ihre Mitarbeitenden befähigen, sich zu äußern, wenn ihnen etwas auffällt.“
Testen zu Ihren eigenen Bedingungen
Das Fehlen eines verpflichtenden bundesweiten Rahmens bedeutet, dass Organisationen weitgehend selbst ihre Testverfahren gestalten müssen. Kellys Rat hierzu war unmissverständlich.
„Sie sind auf sich allein gestellt“, sagte er. „Das ist die Realität."
Die praktische Konsequenz lautet: Organisationen müssen eigene Voreingenommenheitstests kontinuierlich durchführen – und das unter rechtlichem Schutz. Wenn die Tests unter dem Schutz des Anwaltsgeheimnisses stattfinden, können Probleme offengelegt werden, ohne automatisch Beweise zu schaffen, die in einem Gerichtsverfahren verwendet werden könnten.
Es handelt sich um eine Investition mit klarem Mehrwert, insbesondere für Unternehmen, die KI im Recruiting einsetzen, da hier das rechtliche Risiko am größten und die Dokumentationsanforderungen am strengsten sind.
Die Organisationen, die hier einen Vorsprung haben, gehen nicht mehr davon aus, dass der Anbieter die Arbeit erledigt hat, sondern behandeln KI-Governance als operative Disziplin – mit klarer Verantwortung, echten Tests und gelebter Rechenschaftspflicht.
