Wir messen den KI-ROI immer noch falsch – und der Fehler wird teuer
Herausforderungen bei KI-ROI: Viele Organisationen tun sich schwer damit, den KI-ROI zu messen, und führen Probleme oft fälschlicherweise auf das Management zurück, statt auf die Umsetzung.
Fehlausrichtung der Kennzahlen: Aktuelle Kennzahlen konzentrieren sich auf die Leistungsfähigkeit der Technologie, adressieren jedoch nicht die zugrunde liegenden Menschen- und Prozessprobleme.
Langfristige Auswirkungen: Schlechte KI-Implementierungen können über Jahre hinweg organisatorischen Schaden anrichten und die Effektivität beeinträchtigen.
Organisationale Gesundheit: KI-Investitionsentscheidungen müssen Menschen- und Prozesskennzahlen neben der Technologie priorisieren, um nachhaltigen Erfolg zu sichern.
Führungslücken: Transformationsführung schließt in der Regel HR nicht ein, was zu kurzsichtigen Investitionen ohne langfristige Tragfähigkeit führt.
Die ROI-Präsentation sieht immer gut aus. Eingesparte Stunden, umverteilte Mitarbeiterressourcen, reduzierte Durchlaufzeiten, gestiegene Akzeptanzraten – alles richtet sich nach den Benchmarks, die der Anbieter im Kickoff-Call vorgeschlagen hat. Grüne Pfeile. Diagramme, die nach oben und rechts steigen. Der CFO nickt zustimmend.
Achtzehn Monate später stimmt etwas nicht. Die Fluktuation steigt in den Abteilungen, die am meisten vom Wandel profitieren sollten. Interdisziplinäre Zusammenarbeit läuft holpriger. Ein Team, das früher einigermaßen reibungslos zusammenarbeitete, bewegt sich jetzt, als würde es durch Treibsand waten. Niemand kann den Grund benennen, daher werden die üblichen Verdächtigen verantwortlich gemacht: Führungsstil, Marktdruck, irgendetwas im Zusammenhang mit der Zeit nach der Pandemie.
Die AI-Einführung, die dem Ganzen vor sechs Quartalen vorausging, wird nicht erwähnt.
Keep Reading—and Keep Leading Smarter
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Das ist der eigentliche Preis, der gezahlt wird, wenn man AI-ROI falsch misst. Es ist kein Posten in der Bilanz. Es ist eine schleichende Verschlechterung, die falsch zugeordnet wird und mit den falschen Maßnahmen behandelt wird.
Technologie-Messwerte vs. Menschen-Messwerte
Die Kennzahlen, die in Investitionsgesprächen über KI dominieren – eingesparte Zeit, umverteilte Ressourcen, reduzierte Durchlaufzeiten und zunehmend auch Nutzungsraten – sind allesamt Frühindikatoren für die Leistungsfähigkeit der Technologie. Sie messen die Ebene der Transformation, die am einfachsten zu quantifizieren ist.
Was sie jedoch nicht messen, ist die Organisationsebene, auf der die tatsächlichen Kosten schlechter Implementierung entstehen und sich so lange aufaddieren, bis sie nicht mehr zu übersehen sind.
Gerade die Nutzung sollte kritisch betrachtet werden, denn sie wird oft als Indikator für die Gesundheit der Organisation betrachtet, ist aber in Wahrheit nur ein Verhalten. Eine Analyse von BCG aus dem Jahr 2025 ergab, dass 60% der Unternehmen weltweit trotz erheblicher Investitionen keinen echten Mehrwert aus KI zogen – und zum Teil wurden die gewählten Metriken dafür verantwortlich gemacht.
Organisationen, die sich auf Logins und Nutzungszeit als Stellvertreter für Akzeptanz fokussierten, mussten schmerzhaft erkennen, dass diese Kennzahlen keinerlei Aussage darüber treffen, ob KI tatsächlich zentral geworden ist für die Arbeitsweise der Menschen.
Hohe Akzeptanzraten zeigen, dass ein Tool verwendet wird. Sie sagen jedoch nichts darüber aus, ob die Arbeit gut läuft, ob Teams funktionieren, ob das implizite Wissen, das früher durch Zusammenarbeit weitergegeben wurde, noch irgendwo fließt. Eine Belegschaft kann jeden Nutzungswert erreichen, während sich das verbindende Gewebe ihrer tatsächlichen Funktionsweise still und leise auflöst.
Im Oktoberbericht 2024 von BCG, "Wo liegt der Wert von KI?" – basierend auf einer Umfrage unter 1.000 CxOs in 59 Ländern – wurde festgestellt, dass etwa 70% der Herausforderungen bei KI-Implementierungen aus menschen- oder prozessbezogenen Faktoren resultieren.
Die Budgetaufteilung sieht in den meisten Implementierungen jedoch genau anders aus: Der Großteil wird für die Technologie ausgegeben, während Change Management und Organisationsbereitschaft nur als Randnotiz behandelt werden statt als tragende Säulen der Investition.
Wenn Sie eine Transformation ausschließlich mit Kennzahlen bewerten, die auf die Technologie abzielen, messen Sie zwangsläufig den Teil der Gleichung, der am wenigsten darüber entscheidet, ob das Vorhaben Erfolg hat.
ROI neu definieren
Die Sichtweise des CFO ist für sich genommen nicht falsch. Sie bringt berechtigte Disziplin in eine echte Fragestellung: Bringt diese Investition eine Rendite?
Das Problem liegt darin, dass auf eine Frage des organisatorischen Wandels die Logik der Kapitalallokation angewendet wird – und die Zeitrahmen passen nicht zusammen.
Software-ROI-Zyklen laufen über 12 bis 18 Monate. Die organisatorischen Schäden durch ein schlecht begleitetes Projekt entstehen hingegen über zwei bis drei Jahre und werden als ganz andere Probleme sichtbar.
Wie es überhaupt dazu kommt, dass der CFO diese Diskussion führen muss, lohnt sich zu untersuchen. Anthony Onesto, der seine Karriere im HR-Tech verbracht hat und heute KI-Transformationen im Mittelstand begleitet, beschreibt den Druckverlauf.
Aufsichtsräte machen Druck auf CEOs, die suchen jemanden in der Organisation, der das Thema übernimmt; die erste Wahl ist meist der CTO oder CIO. Wenn das nicht ausreicht, landet das Thema beim CFO.
Das ist immer eine finanzielle Entscheidung, die manchmal die richtige und manchmal nicht die richtige ist.
Seine Meinung ist, dass das Personalwesen diese Transformationen anführen sollte – nicht als Change Management-Nachgedanke, sondern als die Funktion, die am besten geeignet ist, darüber nachzudenken, wie Mensch und Maschine gemeinsam arbeiten. Dass dies nur selten geschieht, ist seiner Meinung nach strukturell bedingt. Die meisten HR-Leiter haben sich nie aktiv beteiligt und der Druck wird nicht automatisch an sie herangetragen.
Das Ergebnis ist eine ROI-Diskussion, die von der Person geprägt ist, die für die Verantwortung "geerbt" wurde – und in den meisten Unternehmen sind die Anreizsysteme dieser Person eher auf kurzfristige Effizienz statt auf langfristige Organisationgesundheit ausgerichtet.
Herausforderung für professionelle Identitäten
Allein die Identitätsstörung zeigt diese Lücke. Wenn Routinetätigkeiten automatisiert werden, verschwindet oft auch die damit verbundene berufliche Identität. Die Analystin, die durch risikolose, sich wiederholende Aufgaben Urteilsvermögen entwickelt hat, darf sich nun theoretisch mit höherwertigen Aufgaben beschäftigen.
In der Praxis ist jedoch der Kontext, in dem sie sich entwickelt hat, weggefallen, und niemand hat einen Ersatz dafür geschaffen. Die Störung zeigt sich nicht bei der Ankündigung, sondern taucht acht oder zehn Monate später als mangelndes Engagement auf, das als Kulturproblem wahrgenommen und behandelt wird, während die eigentliche Ursache unbeachtet in einem Implementierungsprotokoll der Vergangenheit steht.
Das ist kein Nischenthema. Genau dieser Mechanismus sorgt dafür, dass Automatisierungsinvestitionen schlechtere Ergebnisse liefern als vorgesehen, obwohl sie die angestrebten Effizienzziele erreichen. Die Ziele waren jedoch für das falsche System gewählt.
Was automatisiert wird, ist selten nur eine Aufgabe. Routinetätigkeiten übernehmen oft informelle Funktionen, die auf keinem Prozessplan sichtbar sind: Koordinationsroutinen zwischen Teams, Mentoring in kollaborativen Arbeitsabläufen, berufliche Berührungspunkte, durch die Junior-Mitarbeiter regelmäßig Einblicke in das Urteilsvermögen von Führungskräften gewinnen.
Diese sind nirgendwo dokumentiert, weil es nicht notwendig ist – bis sie fehlen. Erst dann lernt man auf die harte Tour, was sie wirklich wert waren.
Ein wöchentlicher bereichsübergreifender Bericht, den drei Teammitglieder gemeinsam erstellt haben, lieferte nicht nur Zahlen. Er sorgte für Abstimmung, Transparenz – und dafür, dass die Teams regelmäßig in Kontakt waren. Automatisiert man den Bericht, nimmt man die Effizienz mit.
Die Kosten dafür tauchen nicht in der ROI-Präsentation auf. Sie zeigen sich später in der Zusammenarbeit dieser Teams – oder darin, dass sie nicht mehr zusammenarbeiten.
Das Plädoyer, den Kostenbegriff auszuweiten, bedeutet keine Absage an die ROI-Disziplin. Es bedeutet vielmehr, diese Disziplin auf das gesamte System anzuwenden und nicht bloß auf einen bequemen Ausschnitt. Wenn 70 % der Transformations-Erfolgsfaktoren auf der Ebene Mensch und Organisation liegen, ist ein Messrahmen, der diese Ebene ausklammert, nicht konservativ, sondern systematisch zu optimistisch in Bezug auf die falschen Elemente.
Der richtige Ansatz
Was ein vollständigeres Messframework enthalten sollte:
- Fluktuationstrends in betroffenen Rollen, mit ausreichend Zeitverzögerung
- Kollaborations- und Kommunikationsmuster zwischen Bereichen vor und nach größeren Automatisierungsänderungen
- Wissensweitergabe an Nachwuchskräfte
- Vertrauensniveau, gemessen durch Umfragen, die tatsächliche Stimmungen erfassen und nicht stellvertretende Zufriedenheitswerte.
Keines davon ist technisch schwierig. Die meisten Unternehmen machen es nicht, weil sie Automatisierungsentscheidungen bislang nie systematisch mit Organisationgesundheit und -erfolg in Verbindung gebracht haben.
Ravin Jesuthasan, dessen Arbeit zur Workforce-Architektur jahrzehntelange Unternehmenstransformationen umfasst, bringt es auf den Punkt:
Mir ist kein einziges Unternehmen bekannt, das mit der Technologie begonnen und dabei den menschlichen Faktor außen vor gelassen hat und jemals zu einem erfolgreichen Ergebnis gekommen wäre.
Die Organisationen, die mit der Technik beginnen, entwickeln seiner Ansicht nach eine binäre Sichtweise auf das Problem, ersetzen das Menschliche wo immer es geht und bauen so nie die organisationale Nachhaltigkeit auf, die Transformationen dauerhaft trägt.
Die Lösung des Messproblems ist zum Teil eine technische Frage, vor allem aber eine der Unternehmensführung. Jemand, der am Tisch sitzt, wenn Entscheidungen über KI-Investitionen getroffen werden, muss für den Bereich der organisatorischen Gesundheit verantwortlich sein und die Stellung haben, diese als gleichwertig zur Effizienzseite und nicht als ihr untergeordnet zu behandeln.
In den meisten Organisationen sitzt diese Person entweder nicht mit am Tisch oder hat nicht diese Stellung. Die Personalvorständin oder der Personalvorstand wird häufig zur Umsetzung von Veränderungsmanagement als operative Aufgabe hinzugezogen, nicht aber als gleichberechtigte Dimension dessen, was Erfolg bedeutet.
Jesuthasan beschreibt das umfassendere Versagen mit Begriffen, die über die reine Messbarkeit hinausgehen.
Die Veränderung, die von Führungskräften verlangt wird, ist größer als alles, was wir in den letzten 150 Jahren erlebt haben. Und ich glaube nicht, dass viele von ihnen das verstehen.
Das ist weniger eine Verurteilung als vielmehr eine strukturelle Feststellung. Die Führungskräfte, die Entscheidungen über KI-Investitionen treffen, wurden in einer Welt ausgebildet, in der Technologie und Organisation noch als getrennte Probleme galten. Das ist heute nicht mehr so.
Das ROI-Deck, das diese beiden Bereiche weiterhin trennt, ist ein Relikt aus der Vergangenheit, das auf eine grundsätzlich veränderte Situation angewendet wird – und der Fehler, der sich in steigenden Fluktuationsraten und Nachteilen bei der Zusammenarbeit niederschlägt, wird immer teurer.
