Kann man Urteilsvermögen messen?
Metrik-Blindheit: Nutzungsmetriken zeigen die KI-Adoption, können aber nicht erkennen, ob Mitarbeitende sich verbessern, nachlassen oder ihr Urteilsvermögen aufgeben.
Selbsteinschätzung: Mitarbeitende schätzen den Einfluss von KI auf ihre Leistung oft falsch ein, weshalb Umfragen und selbstberichtete Vorteile als Beweis ungeeignet sind.
Urteils-Signale: KI-Urteile werden messbar durch die Muster Annehmen, Anpassen, Ablehnen, gestreute Fehler und Bewertung plausibler konkurrierender Antworten.
Junior-Risiko: KI kann verhindern, dass Nachwuchskräfte grundlegende Arbeiten üben, was die Entwicklung von Fähigkeiten verzögert und Schwächen erst bei kritischen Entscheidungen aufdeckt.
Design vor Umsetzung: Organisationen sollten menschliche Fähigkeiten messen, bevor sie Arbeit neu gestalten, da Automatisierung ansonsten einen unerkannten Kompetenzverlust dauerhaft verankern kann.
Dein KI-Dashboard zeigt dir, wie viele Menschen die Tools nutzen. Es kann dir jedoch nicht sagen, was die Tools mit ihnen machen.
Das war ein wiederkehrendes Thema in vielen der Sitzungen, an denen ich letzte Woche auf der AI4 in Las Vegas teilgenommen habe.
Organisationen haben zwei Jahre damit verbracht, Berichte zu erstellen über aktivierte Lizenzen, wöchentliche aktive Nutzer, abgegebene Prompts, gemeldete eingesparte Stunden. Diese Zahlen beantworteten eine Frage, die die Führungskräfte 2023 stellten: Würde überhaupt jemand das Tool verwenden? Die Einführung war das Risiko, daher ergab es Sinn, die Einführung zu messen.
Lesen Sie weiter – und führen Sie weiterhin intelligenter
Erstellen Sie ein kostenloses Konto, um diesen Beitrag fertigzulesen und Teil einer Community zukunftsorientierter Führungskräfte zu werden, die Werkzeuge, Leitfäden und Einblicke für den Erfolg im Zeitalter der KI erschließen.
Have an account? Log In
Diese Frage muss nicht mehr beantwortet werden. Aber das Instrument, das zu ihrer Beantwortung gebaut wurde, ist nach wie vor vorhanden und richtet sich nun auf ein Problem, das es eigentlich gar nicht sehen kann.
Eine der Sitzungen, die ich besucht habe, hieß „Über die Einführung hinaus: Aufbau von KI-Urteilsvermögen im Arbeitsfluss“. Sharahn McClung hat das so klar umrissen, wie ich es noch nie gehört habe. Unternehmen messen Geschwindigkeit. Sie messen Nutzung. Dann nehmen sie Verbesserungen an. Die ersten beiden werden gezählt. Das dritte wird angenommen.
Forschungen, die BCG im Juni veröffentlicht hat, deuten darauf hin, dass diese Annahme oft genug falsch ist, um gefährlich zu werden. In einer Studie mit 70 Führungskräften auf C-Level und leitenden Angestellten gaben die Hälfte an, bereits zu beobachten, wie Kompetenzen in ihrem Unternehmen schwinden; mehr als 60 % erwarten, dass das innerhalb von drei bis fünf Jahren zu einer materiellen Bedrohung wird. Nur einer von zehn hatte eine unternehmensweite Strategie oder gezielte Initiativen gestartet. Ein Drittel hatte darüber noch nie gesprochen.
Wenn du unseren Podcast hörst, hast du mich wahrscheinlich schon häufiger darüber sprechen hören, dass Führungskräfte in dieser Zeit etwas philosophischer sein sollten. Doch hier wird die Frage weniger philosophisch als vielmehr praktisch: Wenn du wissen wolltest, ob KI deine Mitarbeitenden besser oder schlechter macht – worauf würdest du achten?
Fang an, die offensichtliche Antwort auszuschließen
Der Instinkt ist, sie zu fragen.
Es gibt einen Grund, diesem Instinkt zu misstrauen – und er stammt aus einer Studie mit Menschen, die eigentlich bestens geeignet gewesen wären, die Frage zu beantworten.
Im Juli 2025 führte METR einen randomisierten Versuch mit 16 erfahrenen Open-Source-Entwicklern durch, die an 246 echten Problemen in Codebasen arbeiteten, die sie wie ihre Westentasche kannten. Vor Beginn schätzten die Entwickler, dass KI-Tools sie etwa 24 % schneller machen würden. Tatsächlich waren sie 19 % langsamer. Im Nachhinein, nach der ganzen Erfahrung, schätzten sie immer noch, sie seien etwa 20 % schneller gewesen.
Zwei Punkte daran sind besonders bemerkenswert.
METR bezeichnet diesen Befund inzwischen als historisch, und eine Nachfolgestudie im Februar 2026 fand einige Hinweise auf Beschleunigung mit neueren Modellen. Die spezielle Verlangsamungszahl beschreibt möglicherweise nicht die Tools, die deine Teams heute verwenden.
Entscheidend bleibt die zweite Beobachtung, die ohnehin die nützlichere ist. Es handelte sich um Experten in vertrauter Umgebung mit unmittelbar für sie sichtbarem Ergebnis, und die Abweichung zwischen ihrer Wahrnehmung und ihrer tatsächlich gemessenen Leistung betrug nahezu 40 Punkte. Nichts an besseren Modellen macht Menschen besser darin, ihre eigene Performance einzuschätzen.
Jeder Messansatz, der auf Selbstauskunft basiert, übernimmt dieses Problem. Engagement-Umfragen, die fragen, ob KI hilft, liefern Antworten. Die Antworten werden ehrlich sein. Sie sind aber ungefähr so zuverlässig wie die Schätzungen jener Entwickler.
Zwei Kurven, gleiche Form
Stell dir zwei Teams mit identischer Nutzungsentwicklung vor. Beide entwickeln sich stetig nach oben, beide zeigen gesunde Einführung nach allen Metriken, die du derzeit erfasst.
Ein Team hat gelernt, wann das Modell vertrauenswürdig ist und wann es überstimmt werden muss. Ihre Fähigkeiten nehmen exponentiell zu. Das andere akzeptiert die Ergebnisse seit Monaten ungeprüft. Bei ihnen schwinden die eigenen Fähigkeiten, obwohl die Linie weiter steigt.
Es gibt keine Version einer Nutzungsmetrik, die diese beiden Teams voneinander trennt.
Ein Wharton Working Paper vom Januar hat gemessen, wie groß der Unterschied tatsächlich ist. Steven Shaw und Gideon Nave führten drei präregistrierte Experimente mit etwa 1.400 Teilnehmenden und über 9.000 Durchgängen durch, in denen per verstecktem Seed-Prompt eine KI mal korrekte, mal fehlerhafte Antworten gab.
Verglichen mit Teilnehmenden ohne Zugang zu KI stieg die Genauigkeit um 25 Prozentpunkte, wenn die KI richtig lag. Wenn sie falsch lag, fiel die Genauigkeit 15 Punkte unter das Ausgangsniveau ohne KI.
Du hast richtig gelesen: unter diejenigen, die nie Zugriff auf das Tool hatten. Bei Aufgaben, in denen das Modell unzuverlässig war, verschlechterte sich die Leistung durch den KI-Zugang – schlimmer, als keinen Zugang zu haben.
Das Selbstbewusstsein stieg in beiden Bedingungen, auch nach Fehlern.
Shaw und Nave nennen dieses Verhalten „kognitive Kapitulation“: KI-Ausgaben werden mit minimaler Überprüfung übernommen, während eigene Intuition und Nachdenken unterdrückt werden. Sie beschreiben künstliche Kognition als ein drittes System außerhalb des Gehirns, das menschliches Denken ergänzen oder ersetzen kann.
Dies war eine Laborstudie mit Denkaufgaben, nicht mit Mitarbeitenden, die ihre Arbeit verrichten—und diese Unterscheidung sollte man im Kopf behalten. Die Studie verdeutlicht den Mechanismus und dessen Ausmaß unter kontrollierten Bedingungen.
Die Führungskräfte von BCG beschreiben dasselbe Muster aus dem Inneren realer Organisationen. Fast 90 % identifizierten Teams, die KI-Ausgaben akzeptieren, ohne sie zu überprüfen, als ein Symptom für Kompetenzverlust. Mehr als die Hälfte berichtete, dass damit auch Verantwortungsgefühl schwindet. Einer brachte es auf den Punkt, indem er sagte: Wenn das Ergebnis nicht positiv ist, wird die Verantwortung auf die KI abgewälzt.
Woraus sich Urteilsvermögen zusammensetzt
Urteilsvermögen klingt, als ließe es sich schwer messen. McClungs Sitzung war nützlich, weil sie diese Annahme verweigerte und den Begriff auf beobachtbare Handlungen herunterbrach.
Eine gute Antwort akzeptieren und weitermachen. Korrekte Ergebnisse erneut zu hinterfragen, ist seine eigene Form von Verschwendung. Ein Team, das alles doppelt prüft, übt kein Urteilsvermögen, sondern entwickelt keins. Effiziente Akzeptanz gehört auf die Liste der wünschenswerten Eigenschaften.
Eine selbstbewusst falsche Antwort überstimmen. Das ist die schwierige Aufgabe: Die Ausgabe klingt plausibel, das Modell zeigt keine Unsicherheit und der Fehler fällt nur auf, wenn man unabhängig genug Bescheid weiß. Dies ist die Handlung, die zuerst scheitert — und die keine Kennzahl zur Nutzung aufdecken kann.
Wissen, wann man das Werkzeug gar nicht erst benutzt. McClungs Version hiervon war der menschlichste Moment der Sitzung. Sie beschrieb, wie sie manchmal einen Prompt schreibt und dabei merkt, dass das ganze Nachdenken bereits im Formulieren passiert ist—und die Antwort daher gar nicht mehr benötigt wird.
Ich weiß nicht, wie es Ihnen geht, aber ich selbst habe Angst vor einer leeren Seite. Ich starre darauf und weiß nicht, wo ich anfangen soll. Und manchmal stelle ich fest, dass ich während des Schreibens des Prompts den gesamten Prozess und das Nachdenken bereits hineingesteckt habe, sodass ich das Tool eigentlich gar nicht mehr benötige.
All dies sind Entscheidungen, die eine Person trifft, bevor ein Ergebnis veröffentlicht wird. Keiner dieser Aspekte wird dadurch besser, dass die Nutzung steigt. Es sind Fähigkeiten, die eine Organisation gezielt aufbauen muss; sie als Nebenprodukt von Adoption abzutun, führt genau zu der Situation, die BCG-Befragte beschreiben.
Dies erklärt auch, warum Urteilsvermögen und Entscheidungsfindung im Rahmen ihrer Studie das höchste Risiko einer Kompetenzentwertung unter allen Kompetenzen aufwiesen—gemeinsam mit Problemverständnis und -einordnung, die die gleichen Führungskräfte als wichtigste Fähigkeit für nachhaltigen Unternehmenserfolg bewerteten.
Drei Perspektiven auf Urteilsvermögen
Sortiert danach, wie schnell man starten könnte.
Akzeptieren, anpassen, ablehnen.
Jede KI-Sitzung erzeugt einen Verlauf: Was wurde gefragt, was kam zurück, und was geschah damit. Eine richtige Antwort zu akzeptieren und eine falsche zu akzeptieren liefert identische Nutzungsdaten, steht aber für gegensätzliches Urteilsvermögen. Eine Modifikation ist der Beweis, dass der Output gelesen und durchdacht wurde, bevor er weitergegeben wird.
Aggregiert man das wochen- oder monatelang über ein Team hinweg, wird dieses Verhältnis zum Trend und nicht mehr nur zur Anekdote.
Das Hindernis ist der Zugang: Die meisten HR-Abteilungen haben derzeit keinen Einblick in diese Daten. Dorthin zu gelangen, ist ein Thema für Gespräche mit IT und den Betreiber:innen der eigenen KI-Plattform, nicht etwas, das man nächste Woche starten kann. Die Organisationen, die das zuerst schaffen, sind diejenigen, bei denen People- und Plattform-Team ohnehin im Austausch sind.
Der eingebaute Fehler
Man nehme eine echte Aufgabe und baut gezielt einen bekannten Fehler in die Modellantwort ein: Eine Zahl ist falsch, ein Schritt wird übergangen, eine Behauptung hält genauerer Prüfung nicht stand. Erkennt die Person das, bevor das Ergebnis weitergereicht wird?
Der Mehrwert gegenüber beliebigen Tests liegt darin, dass es mit echten Deliverables funktioniert und immer gleich bewertet wird. Da der Fehler vorher festgelegt wurde, gibt es keine Bewertungsunsicherheit, und Monate lassen sich klar vergleichen.
Die Sensibilität ist jedoch real: Schlecht umgesetzt, wird daraus eine Falle und das Vertrauen leidet sofort. Es funktioniert, wenn Teams wissen, dass es diese Praxis gibt, den Zweck verstehen und die Ergebnisse als Entwicklungsinstrument statt als Bestrafung erleben.
Bewertendes Urteilsvermögen
Zwei Antworten, beide flüssig, beide plausibel, eine davon subtil falsch. Kann die Person erkennen, welche es ist, und erklären warum?
Das entspricht am ehesten den Anforderungen an Expertenarbeit und ist am teuersten umzusetzen, weil die Erstellung des Antwortschlüssels jemanden mit tatsächlicher Fachexpertise erfordert, um glaubwürdige, aber fehlerhafte Alternativen zu konstruieren. Seien Sie ehrlich zu sich selbst bezüglich dieser Kosten, bevor Sie sich darauf einlassen.
Die bereits laufenden Versionen
Einige Organisationen haben gehandelt, ohne auf perfekte Instrumente zu warten.
Bei der CNIL, der französischen Datenschutzbehörde, sind die Führungskräfte dafür verantwortlich zu beurteilen, ob Mitarbeitende KI-Ergebnisse hinterfragen können – und nicht nur damit umgehen. Kritisches Hinterfragen wurde zu einer sichtbaren, bewerteten Dimension der Leistung.
Das wäre das Erste, was ich übernehmen würde. Es erfordert keine neuen Werkzeuge und verschiebt die Frage in das Leistungssystem, das HR ohnehin bereits verwaltet. Es löst zudem ein Problem, das BCG anderswo in ihrer Forschung benennt: Die Zertifizierungsquoten steigen, während die eigentliche Fähigkeit womöglich nicht wächst.
Shell hat sein Lernprogramm für Berufseinsteiger umgebaut, sodass neue Mitarbeitende das Problem eigenständig formulieren, Annahmen prüfen und eine Basisanalyse erstellen, bevor KI eingesetzt wird. Die ersten Rückmeldungen zeigten bessere Fragen und nachvollziehbarere Entscheidungsfindungen.
Manche Unternehmen führen KI-Ausfallübungen durch, bei denen Halluzinationen und Fallen bewusst ins Training eingebaut werden, damit das Hinterfragen von Ergebnissen zur Reflexhandlung statt zur Anweisung wird. Eine indische Bank veranstaltet am ersten Freitag jedes Monats abteilungsübergreifend eine strukturierte Arbeitssitzung ganz ohne KI.
Keine dieser Maßnahmen ist im eigentlichen Sinne Messung. Es sind Praktiken, die eine Messung erst anstoßen würde, falls sie gebraucht werden.
Das Problem zeigt sich spät
Dreiundfünfzig Prozent der von BCG befragten Führungskräfte sahen bei Nachwuchskräften eine langsamere Entwicklung.
Gerade die analytische Grundlagenarbeit ist traditionell der Ort, an dem Urteilsvermögen entsteht: die Recherche, die ersten Entwürfe, das Debugging, das langsame Zerlegen eines Problems und das Erkennen der eigenen Fehler. Niemand liebt diese Wiederholungen – aber jeder braucht sie.
Und genau diese Arbeit wird als Erstes an KI abgegeben. Diejenigen, die früher daraus gelernt haben, werden nun teilweise ohne diese Erfahrung zu Leistungen erwartet, die sonst jemand mit fünf bis zehn Jahren Berufserfahrung übernehmen würde – so beschrieb es ein BCG-Befragter.
Doch hierbei gibt es eine Besonderheit in der Messung: Alles oben Genannte erkennt einen Rückgang gegenüber einem Ausgangswert. Bei erfahrenen Mitarbeitenden funktioniert das, weil es diesen Wert gibt und dessen Entwicklung beobachtet werden kann.
Bei jemandem, der erst letztes Jahr eingestellt wurde, existiert dieser Ausgangswert nicht. Die Fähigkeit konnte sich nie entwickeln, und ihr Fehlen sieht wie normale Frühkarriere-Leistung aus – bis zu dem Moment, an dem sie eine Entscheidung ohne Unterstützung treffen müssen. Sie messen nicht Erosion, sondern etwas, das nie entstand – und keines der aktuellen Instrumente ist dafür ausgelegt.
Das bedeutet: Am stärksten wirkt sich das Problem bei Berufseinsteigern aus – und tritt dort erst sehr spät zutage.
Warum die Reihenfolge entscheidend ist
Neugestaltung der Arbeit ist das zentrale Vorhaben der nächsten beiden Quartale in vielen von mir besuchten Unternehmen: Aufgabeninventare, Agentenpiloten, Organigramme um das, was Maschinen übernehmen und was Menschen behalten.
Diese Entscheidungen verhärten sich. Sie bestimmen, welche Fähigkeiten wertgeschätzt werden, welche Ihre Mitarbeitenden weiter trainieren – und welche dauerhaft an Bedeutung verlieren.
Wer sie auf Grundlage eines nicht gemessenen Rückgangs trifft, baut den Rückgang direkt in die Struktur ein. Sie würden also entscheiden, was Menschen weiterhin tun sollen, ohne ein ehrliches Bild davon zu haben, was Menschen überhaupt noch können – und wo Fähigkeiten bereits geschwunden sind.
Ich denke nicht, dass das Messinstrument perfekt sein muss, ehe Sie starten. Der Test mit eingebauten Fehlern könnte in den meisten Funktionen innerhalb eines Monats laufen. Der CNIL-Ansatz erfordert ein Gespräch mit Führungskräften und eine Zeile in der Beurteilungsvorlage.
Was ich mir vor einer Freigabe der Neugestaltung wünschen würde, ist die Antwort auf eine Frage – und die Belege dafür.
Wenn Sie morgen KI in Ihrem Team abschalten würden: Wären Ihre Leute dann besser als vor der Einführung oder schlechter?
