Ihre KI-Agenten werden dieselben Fehler machen wie neue Mitarbeitende

Ich habe kürzlich versucht, mithilfe von KI Werbemittel für ein Unternehmen zu erstellen. Das Experiment war erfolgreich, also machte ich mich daran, den neuen Marketingspezialisten des Unternehmens darin zu schulen.

Ich zeigte und erklärte es ihm, und er versuchte, es nachzumachen, machte jedoch immer wieder dieselben Fehler. Tage vergingen, ohne dass es Ergebnisse gab, und ich konnte nicht den ganzen Tag neben ihm sitzen.

Tatsächlich tat ich genau das, wovon ich normalerweise abrate. Ich dachte, da ich diese Aufgabe gut beherrsche, würde es ausreichen, der neuen Person den Prozess zu zeigen, und sie würde meine Fähigkeiten allein durch Beobachtung übernehmen. 

Diese Annahme ist ein häufiger Fehler, denn etwas selbst tun zu können und jemand anderem die Logik hinter den eigenen Entscheidungen vermitteln zu können, sind zwei verschiedene Dinge. Ich hatte bereits versucht, beides zu kombinieren, und es hatte nicht funktioniert.

Als ich mein Unternehmen, die globale IT-Bildungsnetzwerk STEP IT Academy, vergrößerte, bildete ich die Filialleiter selbst aus. Die Ausbildung dauerte etwa drei Monate, und während dieser Zeit konnte ich meine eigene Arbeit nicht erledigen. Nachdem wir das Expertenwissen herausgearbeitet und strukturiert hatten, sodass die Ausbildung nicht mehr von mir oder anderen Personen abhängig war, verkürzte sich die Ausbildung der Führungskräfte auf zwei Wochen. Statt zwei oder drei neue Filialen pro Jahr zu eröffnen, konnten wir nun Dutzende eröffnen.

Das Problem des Wissenstransfers erschwert inzwischen auch die Integration von KI in Arbeitsprozesse. Ein KI-Agent kann auf Anweisungen und Unternehmensdaten zugreifen, nicht aber auf die Logik, nach der ein erfahrener Spezialist wirksame Entscheidungen trifft. Daher wird ein KI-Agent dieselben Fehler machen wie ein unerfahrener Neueinsteiger.

Im Folgenden erkläre ich, warum das so ist und wie Sie das Wissen Ihrer besten Mitarbeiter in ein Unternehmensvermögen verwandeln können. 

Ihr Wissensbestand enthält den wichtigsten Teil nicht

Wenn Sie etwas jahrelang getan haben, werden Ihre Handlungen automatisch, und es ist überraschend schwierig, die Frage „Wie machen Sie das?“ zu beantworten.

Dies wird als implizites Wissen bezeichnet: Ein Mensch weiß mehr, als er erklären kann. Das trifft auf viele Fachleute in ihrem jeweiligen Tätigkeitsbereich zu.

Deshalb funktioniert der Rat „Stellen Sie einen Neueinsteiger Ihrem besten Mitarbeiter zur Seite“ nicht immer. Der Experte wird von seiner eigenen Arbeit abgezogen und versucht, den Ablauf zu erklären, wobei er häufig nicht alles abdeckt. Der Neueinsteiger erlangt nicht das erforderliche Wissen: Einiges wurde ihm nebenbei erklärt, manches fand er selbst heraus, nach anderen Dingen musste er fragen, während er an weitere Aspekte gar nicht dachte und schließlich einen Fehler machte.

Infolgedessen verschwenden beide Zeit, und das gewünschte Ergebnis wird nicht erreicht.

Unternehmensrichtlinien und -anweisungen legen einen Standardprozess fest: Was soll geöffnet werden, wo muss geklickt werden und an wen soll ein Dokument gesendet werden? Sie erklären jedoch selten, warum ein erfahrener Spezialist in einer Situation diesem Prozess folgt, in einer anderen aber sofort erkennt, dass er davon abweichen muss.

Es ist nicht nötig, dass der Experte dies anderen immer wieder erklärt. Strukturieren Sie stattdessen die Logik hinter seinen Entscheidungen so, dass sie nicht länger von seiner Anwesenheit abhängt. 

Lassen Sie den Experten zu Wort kommen

Dinge aufzuschreiben ist eine eigene Fähigkeit und nimmt weitaus mehr Zeit in Anspruch, als es den Anschein hat. Es ist besser, ein Gespräch zu führen und den Experten sprechen zu lassen.

Schicken Sie die Fragen im Voraus, damit die Person Zeit hat, sich an praktische Beispiele zu erinnern. Wenn das Unternehmen in verschiedenen Nischen tätig ist, bitten Sie sie nicht, jede einzelne zu kommentieren – das nimmt kein Ende. Sie müssen zwei oder drei zentrale Auslöser identifizieren, die die Handlungen eines Mitarbeiters beeinflussen. Das können beispielsweise die Art des Marktes (B2B oder B2C) oder die Länge des Verkaufszyklus (kurz oder lang) sein.

Zeichnen Sie das Gespräch auf. KI kann es transkribieren und eine vorläufige Struktur erstellen, aber der Experte muss sie überprüfen und bei Bedarf ergänzen oder korrigieren.

KI leistet gute Arbeit bei der Strukturierung des Gesagten, kann aber nicht garantieren, dass der Experte alle wichtigen Punkte abgedeckt hat. Das Ergebnis des Gesprächs hängt in erster Linie von den Fragen ab. Wenn man fragt: „Erzählen Sie mir, wie Sie arbeiten“, wird eine Person allgemein antworten. Was sollten Sie also fragen? 

Fragen Sie nach konkreten Handlungen

Ich bin seit vielen Jahren an der Entwicklung von Schulungsprogrammen für Mitarbeiter beteiligt und habe festgestellt, dass Fachleute ihre Arbeit fast immer abstrakt beschreiben: „analysieren“, „bewerten“, „herausfinden“. Doch solche Wörter zeigen nicht, was genau getan werden muss. 

Deshalb lohnt es sich, bei jedem dieser Begriffe innezuhalten und zu fragen: „Was tun Sie genau? Was ist der erste Schritt? Wo suchen Sie nach Informationen?“

Angenommen, ein Spezialist sagt: „Zuerst müssen Sie beurteilen, wie gut die Vertriebsabteilung arbeitet.“

Fragen Sie: „Was tun Sie genau, um das zu erreichen?“ Dann stellt sich heraus, dass er die Aufgaben der Führungskräfte im CRM öffnet und den Anteil der überfälligen Aufgaben prüft. Wenn mehr als die Hälfte überfällig ist, ist das für ihn ein Zeichen dafür, dass die Arbeit der Abteilung unstrukturiert ist. Diese Art von Logik kann dann an jemand anderen weitergegeben werden.

Wenn eine Tätigkeit ein breites Aufgabenspektrum umfasst, besteht einer der häufigsten Fehler darin, sofort jedes mögliche Szenario beschreiben zu wollen. In einem komplexen Unternehmen kann es Hunderte davon geben.

Beginnen Sie damit, die Sache von der anderen Seite zu betrachten: Fragen Sie, was unabhängig vom Kunden, Projekt oder Markt konstant bleibt. So können Sie den Kern des Prozesses identifizieren. Für einen neuen Mitarbeiter ist dies die Grundlage, von der aus er seine Arbeit beginnt, und für ein KI-System ist es eine Reihe von Regeln, die sich nicht mit dem Kontext ändern.

Untersuchen Sie Sonderfälle, nicht nur den idealen Prozess

Fragen Sie einen Experten, welche Regeln er bei seiner Arbeit befolgt, und er wird zwei oder drei offensichtliche nennen. Die übrigen befolgt er, ohne es zu bemerken, und genau darin liegt seine Erfahrung.

Diese Regeln werden sichtbar, wenn Sie unterschiedliche Fallstudien analysieren. Bitten Sie den Experten, sich an ein Projekt zu erinnern, bei dem alles besonders gut lief, und an eine Situation, in der die Dinge beinahe aus dem Ruder liefen.

Fragen Sie im ersten Fall, welche Entscheidung oder Handlung zu Beginn den größten Einfluss auf den Erfolg hatte. Fragen Sie im zweiten Fall, was schiefgelaufen ist und was genau der Experte getan hat, um die Situation zu bereinigen.

Einmal erzählte mir ein Mitglied meines Teams, wie ein Praktikant bei einer allgemeinen Besprechung die Arbeit einer Person auf Kundenseite scharf kritisierte. Diese Person zog sich zurück, und das Projekt kam zum Stillstand. Ein leitender Spezialist musste eingreifen, sprach unter vier Augen mit dem Ansprechpartner und erklärte, dass niemand vorhatte, die Arbeitsweise zu ändern. Im Gegenteil: Man wollte dem Partner helfen, das Ergebnis selbst zu erreichen.

Daraus ergeben sich unmittelbar zwei Regeln: Kritisieren Sie die Arbeit einer Person nicht öffentlich, und stellen Sie sicher, dass Ihre Arbeit in erster Linie denjenigen zugutekommt, deren Verantwortungsbereich davon betroffen ist.

Gerade diese Sonderfälle sind auch für KI wertvoll. Die Standarddokumentation beschreibt meist den erfolgreichen Standardablauf, doch echte Fachkompetenz zeigt sich, wenn Daten fehlen und der Standardprozess nicht das erwartete Ergebnis liefert. Solche Szenarien können in Sonderfälle und Beispiele umgewandelt werden, anhand derer das KI-System anschließend getestet wird.

Definieren Sie, wie das Ergebnis aussehen soll

Stellen wir uns vor, Sie haben ein Gespräch mit dem besten Experten des Unternehmens geführt. KI-Tools haben dabei geholfen, es in eine klare Struktur zu bringen, und nun verfügen Sie über eine präzise Schritt-für-Schritt-Anleitung für jeden neuen Mitarbeiter. Wie können Sie feststellen, ob er sie wirklich beherrscht?

Als Erstes kommt einem vermutlich ein Test in den Sinn. Und das ist die schlechteste Option: Er zeigt, was die Person auswendig gelernt hat, nicht, was sie tatsächlich tun kann. Besser ist es, wenn ein Neuling eine Aufgabe aus der Praxis erledigt. Sie müssen sofort festlegen, wie das Ergebnis aussehen soll: eine ausgefüllte Tabelle, ein fertiges Dokument, ein konfigurierter Bildschirm im CRM-System oder eine Aufzeichnung eines Kundengesprächs.

Um die Qualitätskriterien festzulegen, sollten Sie einen Experten fragen. Stellen Sie sich vor, ein Neuling hat Ihnen seine Arbeit übergeben, aber Sie haben keine Zeit, alles zu lesen. Auf welches einzelne Detail würden Sie achten, um festzustellen, ob er es wirklich verstanden oder nur eine Vorlage kopiert hat?

Sie können noch weiter gehen. Fragen Sie einen Experten, welchen typischen Fehler ein Neuling macht, und bauen Sie diesen in ein Trainingsszenario ein. Prüfen Sie, ob der Mitarbeiter das Problem erkennt und die richtige Vorgehensweise wählt.

Dasselbe Prinzip sollte auf einen KI-Agenten angewendet werden. Geben Sie ihm Fälle aus der Praxis, insbesondere solche, bei denen das Standardszenario nicht funktioniert, und vergleichen Sie seine Lösung mit derjenigen, für die sich ein erfahrener Spezialist entschieden hätte.

Wenn der Agent einen anderen Ansatz gewählt hat, bedeutet das nicht unbedingt, dass das Modell nicht gut genug ist. Vielleicht haben Sie während des Gesprächs eine wichtige Ausnahme oder Regel nicht erkannt. In diesem Fall muss die Wissensdatenbank aktualisiert und der Test wiederholt werden. 

Was dadurch erreicht wird

Expertenwissen muss formalisiert werden, damit Fachkompetenz nicht länger an eine einzelne Person gebunden ist. Sobald dies erledigt ist, hängt die Einarbeitung nicht mehr davon ab, ob der beste Spezialist verfügbar ist: Jeder neue Mitarbeiter erhält dieselbe Arbeitslogik statt lediglich dessen, woran sich der Experte zwischen einzelnen Aufgaben erinnern kann. 

Dasselbe Expertenwissen kann in zwei Richtungen eingesetzt werden – für Menschen und für KI-Systeme. Sie können ihnen Entscheidungsregeln, Beispiele, Ausnahmen und Szenarien zur Verfügung stellen, die anschließend zur Überprüfung ihrer Leistung verwendet werden können.