Kann man Urteilsvermögen messen?
Metriken-Blindheit: Nutzungsmetriken zeigen die KI-Adoption, können jedoch nicht offenlegen, ob Mitarbeitende ihr Urteilsvermögen verbessern, abbauen oder abgeben.
Selbsteinschätzung: Mitarbeitende schätzen die Auswirkungen von KI auf ihre Leistung oft falsch ein, weshalb Umfragen und eigens berichtete Vorteile als Beleg nicht verlässlich sind.
Urteils-Signale: Das Urteilsvermögen von KI wird messbar durch Akzeptieren-, Modifizieren-, Ablehnen-Muster, absichtlich eingebaute Fehler und die Bewertung von plausiblen, konkurrierenden Antworten.
Risiko für Junioren: KI kann verhindern, dass junge Mitarbeitende grundlegende Aufgaben üben, was die Fähigkeitsentwicklung verzögert und Schwächen verbirgt, bis kritische Entscheidungen anstehen.
Design zuerst: Organisationen sollten menschliche Fähigkeiten messen, bevor sie Arbeit neu gestalten – sonst könnten unerkannte Kompetenzverluste dauerhaft durch Automatisierung festgeschrieben werden.
Dein KI-Dashboard zeigt dir, wie viele Menschen die Tools nutzen. Es kann dir aber nicht sagen, was diese Tools mit ihnen machen.
Das war ein wiederkehrendes Thema in vielen der Sitzungen, an denen ich letzte Woche bei der AI4 in Las Vegas teilgenommen habe.
Organisationen haben zwei Jahre lang Berichte darüber erstellt, wie viele Lizenzen aktiviert wurden, wie viele wöchentliche aktive Nutzer es gibt, wie viele Prompts eingegeben oder wie viele Stunden laut Berichten eingespart wurden. Diese Zahlen beantworteten eine Frage, die sich die Führungsetage 2023 stellte, nämlich ob überhaupt jemand das Tool nutzen würde. Die Nutzung war das Risiko, also ergab es Sinn, die Nutzung zu messen.
Lesen Sie weiter – und führen Sie weiterhin intelligenter
Erstellen Sie ein kostenloses Konto, um diesen Beitrag fertigzulesen und Teil einer Community zukunftsorientierter Führungskräfte zu werden, die Werkzeuge, Leitfäden und Einblicke für den Erfolg im Zeitalter der KI erschließen.
Have an account? Log In
Diese Frage muss nun nicht mehr beantwortet werden. Aber das Instrument, das dafür gebaut wurde, ist bestehen geblieben und nun auf ein Problem gerichtet, für das es eigentlich nicht gedacht ist.
Einer der Vorträge, an denen ich teilnahm, trug den Titel „Beyond Adoption: Building AI Judgment in the Flow of Work“. Sharahn McClung brachte es am klarsten auf den Punkt. Unternehmen messen Geschwindigkeit. Sie messen Nutzung. Dann nehmen sie Verbesserungen an. Die ersten beiden werden gezählt. Das dritte wird angenommen.
Forschungsergebnisse, die im Juni von BCG veröffentlicht wurden, legen nahe, dass diese Annahme oft genug falsch ist, um bedeutsam zu sein. In einer Untersuchung mit 70 Führungskräften aus dem C-Level und leitenden Positionen sagten die Hälfte, dass sie bereits beobachten, wie Kompetenzen in ihren Unternehmen verloren gehen, und mehr als 60 % erwarten, dass das innerhalb von drei bis fünf Jahren eine wesentliche Bedrohung werden wird. Nur einer von zehn hatte eine organisationsweite Strategie oder gezielte Vorhaben in die Wege geleitet. Ein Drittel hat darüber gar nicht gesprochen.
Wenn du unseren Podcast hörst, hast du mich vermutlich schon öfter davon sprechen hören, dass Führungskräfte in diesen Zeiten ein bisschen philosophischer werden sollten. Hier aber wird die Frage eher praktisch als philosophisch. Wenn du wissen wolltest, ob KI deine Mitarbeitenden besser oder schlechter macht, wo würdest du hinschauen?
Fange damit an, die offensichtliche Antwort auszuschließen
Der Instinkt sagt, man sollte einfach nachfragen.
Es gibt allerdings einen Grund, diesem Impuls zu misstrauen, und der stammt aus einer Untersuchung mit Personen, die eigentlich am besten in der Lage hätten sein sollen, es zu beantworten.
Im Juli 2025 führte METR eine randomisierte Studie mit 16 erfahrenen Open-Source-Entwicklern durch, die an 246 echten Problemstellungen in vertrauten Codebasen arbeiteten. Vor Beginn schätzten die Entwickler, dass KI-Tools sie etwa 24 % schneller machen würden. Tatsächlich waren sie 19 % langsamer. Im Anschluss – obwohl sie die komplette Erfahrung gemacht hatten – schätzten sie immer noch, etwa 20 % schneller gewesen zu sein.
Zwei Dinge daran sind bemerkenswert.
METR bezeichnet das Ergebnis mittlerweile als historisch, und eine Nachfolgestudie im Februar 2026 fand für neuere Modelle gewisse Hinweise auf eine tatsächliche Beschleunigung. Die konkrete Verlangsamung trifft also vielleicht nicht mehr auf die Tools zu, die deine Teams heute nutzen.
Was bleibt, ist die zweite Erkenntnis, und die ist sowieso die nützlichere. Hier waren es erfahrene Praktiker in vertrautem Terrain mit einem direkt messbaren Ergebnis, und dennoch klafften zwischen ihrem Selbstbild und der gemessenen Leistung fast 40 Prozentpunkte. Bessere Modelle machen die Menschen nicht besser darin, ihre eigene Leistung einzuschätzen.
Jeder Messansatz, der auf Selbstauskünften basiert, übernimmt dieses Problem. Mitarbeiterbefragungen nach dem Motto, ob KI hilft, werden Antworten liefern. Die Antworten werden ehrlich sein. Sie sind aber etwa so verlässlich wie die Schätzungen der Entwickler.
Zwei Kurven, gleiche Form
Stell dir zwei Teams mit identischem Nutzungsverlauf vor. Beide steigen kontinuierlich auf allen Kennzahlen, die du derzeit erhebst, die Nutzung wächst gesund.
Das eine Team hat gelernt, wann das Modell vertrauenswürdig ist und wann es überstimmt werden muss. Ihre Kompetenzen steigen immer weiter. Das andere Team akzeptiert seit Monaten die Ausgaben als Tatsachen. Ihre Fähigkeiten schwinden unter einer aufsteigenden Linie dahin.
Es gibt keine Variante einer Nutzungskennzahl, die diese Teams unterscheidbar macht.
Ein Working Paper der Wharton School vom Januar hat gemessen, wie groß der Unterschied tatsächlich ist. Steven Shaw und Gideon Nave führten drei vorregistrierte Experimente mit etwa 1.400 Teilnehmenden über mehr als 9.000 Durchläufe durch und randomisierten, ob ein KI-Assistent korrekte oder fehlerhafte Antworten gab – mithilfe versteckter Seed-Prompts.
Im Vergleich zu einer Basisgruppe ohne KI-Zugang stieg die Genauigkeit um 25 Prozentpunkte, wenn die KI richtig lag. Wenn sie daneben lag, sank die Genauigkeit um 15 Punkte unter den Wert der Gruppe ohne KI.
Richtig gelesen – unter dem Niveau derjenigen, die nie ein solches Tool hatten. Bei den Aufgaben, bei denen das Modell unzuverlässig war, machte der Zugang dazu die Teilnehmenden schlechter, als wenn sie es gar nicht gehabt hätten.
Das Zutrauen stieg in beiden Fällen, auch nach Fehlern.
Shaw und Nave nennen dieses Verhalten „kognitive Kapitulation“, also das Übernehmen von KI-Ausgaben ohne genaues Hinterfragen und das Übergehen sowohl von Intuition als auch von Überlegung. Sie beschreiben künstliche Kognition als ein drittes, außerhalb des Gehirns operierendes System, das menschliches Denken ergänzen oder sogar ersetzen kann.
Dies war eine Laborstudie mit Denkaufgaben, nicht mit Angestellten, die ihre Arbeit verrichten, und dieser Unterschied ist wichtig. Was sie zeigt, ist der Mechanismus und dessen Ausmaß unter kontrollierten Bedingungen.
Die Führungskräfte von BCG schildern dasselbe Muster aus dem Inneren realer Organisationen. Fast 90 % identifizierten Teams, die KI-Ausgaben ungeprüft übernehmen, als ein Symptom für Kompetenzverlust. Mehr als die Hälfte beschrieb, dass damit auch das Verantwortungsgefühl schwindet. Einer fasste es unverblümt zusammen und sagte, dass, wenn das Ergebnis nicht positiv ist, die Verantwortung der KI zugeschoben wird.
Woraus sich Urteilsvermögen zusammensetzt
Urteilsvermögen klingt nach etwas, das sich nicht messen lässt. McClungs Sitzung war hilfreich, weil sie diese Annahme ablehnte und den Begriff in beobachtbare Handlungen zerlegte.
Eine gute Antwort akzeptieren und weitermachen. Richtiges Ergebnis immer wieder zu hinterfragen, ist eine eigene Form der Verschwendung. Ein Team, das alles doppelt prüft, übt kein Urteilsvermögen, sondern entwickelt keines. Effiziente Akzeptanz gehört auf die Liste gewünschter Eigenschaften.
Eine selbstsichere, aber falsche Antwort überstimmen. Die schwierige Aufgabe. Die Ausgabe liest sich gut, das Modell zögert nicht, und den Fehler zu entdecken, erfordert genügend unabhängiges Wissen, um zu merken, dass etwas nicht stimmt. Dies ist der erste Akt, der häufig scheitert und den keine Nutzungsstatistik sichtbar machen kann.
Wissen, wann man das Tool gar nicht erst nutzt. McClungs Version hiervon war der menschlichste Moment der Sitzung. Sie schilderte, dass sie manchmal eine Eingabe formuliert und dabei merkt, dass ihr gesamtes Denken schon beim Schreiben des Prompts stattgefunden hat, sodass die Antwort gar nicht mehr gebraucht wird.
Ich weiß nicht, wie es euch geht, aber ich habe persönlich Angst vor einer leeren Seite. Ich schaue sie an und weiß nicht, wo ich anfangen soll. Und manchmal stelle ich fest, dass ich beim Schreiben des Prompts bereits meinen gesamten Prozess und mein gesamtes Denken in den Prompt gelegt habe und das Tool eigentlich gar nicht mehr brauche.
Jede dieser Entscheidungen trifft eine Person, bevor irgendein Output veröffentlicht wird. Keine davon verbessert sich, nur weil die Nutzung steigt. Sie sind Voraussetzungen, die eine Organisation aufbauen muss, und sie als Nebenprodukte von Akzeptanz zu betrachten, führt genau zu der Situation, die BCGs Befragte beschreiben.
Das erklärt auch, warum Urteilsvermögen und Entscheidungsfindung in ihrer Studie das höchste Risiko für Entqualifizierung trugen – zusammen mit Problemerfassung und Problemformulierung, die von denselben Führungskräften als wichtigste Kompetenz für langfristigen Unternehmenserfolg bezeichnet wurden.
Drei Möglichkeiten, Urteilsvermögen zu erkennen
Sortiert danach, wie schnell man starten könnte.
Akzeptieren, modifizieren, ablehnen.
Jede KI-Sitzung erzeugt einen Datensatz darüber, was gefragt wurde, was zurückkam und wie die Person anschließend damit umging. Die Annahme einer richtigen Antwort und die Annahme einer falschen sehen in den Nutzungsdaten gleich aus und stehen für gegensätzliche Urteile. Eine Modifikation zeigt, dass jemand das Ergebnis gelesen und darüber nachgedacht hat, bevor es freigegeben wurde.
Über Monate im Team aggregiert, wird dieses Verhältnis von einer Anekdote zu etwas, das sich verfolgen lässt.
Das Hindernis ist der Zugang. Die meisten Personalabteilungen können diese Daten aktuell nicht einsehen, und der Zugriff darauf ist eher ein Gespräch mit IT und Plattformverantwortlichen als eine Möglichkeit, die man nächste Woche startet. Die Organisationen, die hier zuerst vorankommen, sind jene, in denen HR und die Plattform-Teams bereits im Austausch standen.
Der eingepflanzte Fehler
Nimm eine echte Aufgabe. Pflanze gezielt einen bekannten Fehler in die Ausgabe des Modells, vorher ausgewählt. Eine falsche Zahl, ein übersehener Schritt, eine unhaltbare Behauptung. Fällt es der Person auf, bevor das Ergebnis weitergegeben wird?
Der Vorteil gegenüber klassischen Tests besteht darin, dass dies mit echten Arbeitsergebnissen geschieht und die Bewertung stets gleich erfolgt. Da der Fehler zuvor festgelegt wurde, gibt es keine Bewertungsunschärfe und Monatsvergleiche sind sauber möglich.
Die Sensibilität ist allerdings real. Wird es schlecht umgesetzt, wirkt es wie eine Falle und zerstört sofort das Vertrauen. Es funktioniert, wenn Teams wissen, dass die Praxis existiert, die Gründe verstehen und die Ergebnisse zur Entwicklung und nicht als Strafe genutzt werden.
Evaluatives Urteilsvermögen
Zwei Antworten, beide flüssig, beide plausibel, eine davon subtil falsch. Kann die Person erkennen, welche das ist, und erklären warum?
Das kommt dem am nächsten, was Expertenarbeit fordert, und ist am teuersten durchzuführen, denn zur Erstellung des Antwortschlüssels benötigt es jemanden mit echter Fachexpertise, der plausibel klingende, aber fehlerhafte Alternativen konstruiert. Seien Sie ehrlich zu sich selbst bezüglich dieser Kosten, bevor Sie sich dafür entscheiden.
Die bereits laufenden Versionen
Manche Organisationen sind vorangeschritten, ohne auf perfekte Messinstrumente zu warten.
Bei der CNIL, der französischen Datenschutzbehörde, sind Führungskräfte dafür verantwortlich zu beurteilen, ob Mitarbeitende KI-Ausgaben hinterfragen können und nicht nur bedienen. Kritisches Hinterfragen wurde zu einer sichtbaren, bewerteten Dimension der Leistung.
Das ist die Methode, die ich mir zuerst abschauen würde. Sie erfordert keine neuen Tools und verschiebt die Frage in das Leistungssystem, das vom HR bereits verantwortet wird. Es löst zudem ein Problem, das die BCG an anderer Stelle in ihrer Forschung benennt: Zertifizierungsquoten steigen, während die tatsächlichen Fähigkeiten womöglich nicht zunehmen.
Shell hat die Lernpfade für Berufseinsteiger so umgebaut, dass neue Mitarbeitende eigenständig das Problem definieren, Annahmen überprüfen und eine Analysebasis erstellen, bevor KI die Arbeit übernimmt. Erste Rückmeldungen zeigten bessere Fragestellungen und klarere Begründungen für Entscheidungen.
Manche Unternehmen führen KI-Ausfallübungen durch, indem sie in Trainings absichtlich Halluzinationen und unerwartete Wendungen einbauen, um das Hinterfragen von Ergebnissen zur Gewohnheit statt zur Anweisung werden zu lassen. Eine indische Bank hält am ersten Freitag jeden Monats eine strukturierte, KI-freie Arbeitssitzung über alle Bereiche hinweg ab.
Keine dieser Maßnahmen ist exakt eine Messung. Sie sind die Praxis, für die Messungen zeigen würden, ob Ihr Bedarf besteht.
Das Problem zeigt sich spät
Dreiundfünfzig Prozent der von BCG befragten Führungskräfte berichteten, dass sich junge Talente langsamer entwickeln.
Die analytische Routinearbeit ist traditionell dort, wo Urteilsvermögen aufgebaut wird: Die Recherche, die ersten Entwürfe, die Fehlersuche, der langsame Prozess, ein Problem zu zerlegen und herauszufinden, was man falsch verstanden hat. Niemand genießt diese Wiederholungen, aber jeder braucht sie.
Diese Arbeit wird von Organisationen zuerst an KI übergeben. Und die Menschen, die früher daraus lernten, sollen jetzt ohne dieses Training funktionieren – teils auf einem Niveau, das einer der BCG-Befragten so beschrieb: wie jemand mit fünf bis zehn Jahren Berufserfahrung.
Hier gibt es jedoch einen Mess-Kniff. Alles oben Genannte erkennt Rückgang gegenüber einer Ausgangsbasis. Bei erfahrenen Personen funktioniert das, weil die Basis existiert und man ihre Veränderung beobachten kann.
Bei jemandem, der erst letztes Jahr eingestellt wurde, gibt es diese Ausgangsbasis nicht. Die Fähigkeit hat sich nie herausgebildet, und ihr Fehlen sieht genauso aus wie die normale Leistung zu Beginn der Karriere – bis zu dem Moment, in dem die Person eigenständig eine Entscheidung treffen muss. Sie messen nicht den Verfall. Sie messen etwas, das nie entstanden ist – und für diesen Fall gibt es bislang keine geeigneten Instrumente.
Das heißt: Die jüngeren Jahrgänge verursachen hier die höchsten Kosten, doch der Mangel zeigt sich am spätesten.
Warum die Reihenfolge wichtig ist
Arbeitsplatz-Neugestaltung ist das Thema der nächsten beiden Quartale in vielen Organisationen, mit denen ich spreche: Aufgabeninventuren, KI-Piloten, Organigramme rund um Aufgaben, die Maschinen übernehmen und solche, die bei Menschen bleiben.
Diese Entscheidungen verhärten sich. Sie legen fest, welche Kompetenzen geschätzt werden und welche die Mitarbeitenden in den folgenden Jahren noch üben werden, und welche endgültig verlorengehen.
Trifft man solche Entscheidungen auf Grundlage eines unerkannten Rückgangs, verankert man den Rückgang in der Struktur. Sie würden entscheiden, was Menschen weiterhin übernehmen sollen, ohne ehrlich einschätzen zu können, was sie überhaupt noch können und wo die Fähigkeiten bereits nachgelassen haben.
Ich glaube nicht, dass das Messinstrument perfekt sein muss, bevor man startet. Der Fehler-Saat-Test ließe sich in den meisten Bereichen binnen eines Monats durchführen. Der Ansatz der CNIL erfordert ein Gespräch mit den Führungskräften und eine Ergänzung in der Bewertungsmaske.
Was ich haben möchte, bevor ich einer Neugestaltung zustimme: eine Antwort auf eine einzige Frage – und den Beleg dafür.
Wenn Sie morgen in Ihrem Team die KI komplett abschalten, wären Ihre Leute dann besser als vor deren Einführung – oder schlechter?
