Von Werkzeugen zu Agenten: Vorbereitung auf die nächste Phase der KI in der Arbeitswelt

David Rice: Egal, über welchen Aspekt von KI wir sprechen, wir führen heutzutage mehr denn je existentielle Gespräche – und das aus gutem Grund. Hinter verschlossenen Türen im Bay Area, wo früher Menschen mit Tischtennisplatten und Hunden zur Arbeit kamen, schlafen sie jetzt in ihren Büros.

Das liegt daran, dass das Rennen um künstliche Generalintelligenz (AGI) zu einem Alles-oder-Nichts-Szenario geworden ist. Falls es jemand verpasst hat: 80% der Wall Street pumpt Geld in Rechenzentren von der Größe Manhattans, denn wer zuerst AGI erreicht, gewinnt alles – von Verteidigungsverträgen bis zur Marktbeherrschung im Business-Service. Die Zukunft in Kurzform.

Und während Tech-Milliardäre dem heiligen Gral hinterherjagen, fragen sich die meisten Unternehmenslenker immer noch, wie viel produktiver wir überhaupt noch sein müssen. Christopher DiCarlo ist ein Wissenschaftler, der sich mit Risikominimierung von KI, Ethik und Governance beschäftigt. Und er macht eines sehr deutlich: Wir sind auf das, was kommt, nicht einmal annähernd vorbereitet.

In den letzten fünf Jahren sind KI-Modelle vom High-School-Niveau zum Doktorandenniveau aufgestiegen. Die Skalierungsgesetze haben sich geändert. Die Entwicklung ist jetzt einigermaßen vorhersehbar. Und die meisten Organisationen warten immer noch auf eine Wunder-App, die einfach auf ihren Computer heruntergeladen wird, damit sie sie nur noch ausführen müssen und sich dann zurücklehnen können.

Heute sprechen wir also darüber, warum Führungskräfte im Dunkeln tappen, was passiert, wenn sie sich weigern, sich ins Unbehagen zu begeben, wie das Rennen der Tech-CEOs Ihr Unternehmen beeinflusst, warum es philosophische und nicht nur betriebswirtschaftliche Diskussionen braucht, was Führungskräfte jetzt tun sollten und wie Sie die moralische Vorstellungskraft Ihres Unternehmens in der größten Paradigmenveränderung der Menschheitsgeschichte werden.

Ich bin David Rice. Sie hören den Podcast People Managing People. Und wenn Sie KI bisher als Produktivitätswerkzeug statt als existenziellen Wandel dessen gesehen haben, was Menschen tun, wird dieses Gespräch wahrscheinlich Ihre Perspektive ein wenig verändern. Los geht’s.

Also Christopher, willkommen in der Sendung.

Christopher DiCarlo: Danke, dass ich dabei sein darf.

David Rice: Wir haben uns ja vorab bereits unterhalten. Du hast erwähnt, dass selbst der CEO eines der größten Unternehmen der Welt sprachlos war, als du erklärt hast, was mit KI wirklich passiert. Warum, glaubst du, agieren so viele Führungskräfte immer noch im Dunkeln und was passiert mit Organisationen, deren Leitung sich weigert, sich dem Unbehagen zu stellen?

Christopher DiCarlo: Ich mache den CEOs keinen Vorwurf, wenn sie so reagieren, wie sie reagieren. Wenn man mitten im Thema steckt, denkt man, alle wissen dasselbe. Das ist ein typischer Denkfehler, den wir alle kennen.

Unabhängig davon, worin wir gut sind, nehmen wir an, dass auch andere es wissen. Deshalb sind sie überrascht – wie die breite Öffentlichkeit auch –, wenn ich bei Vorträgen erkläre, wo wir uns technologisch aktuell befinden und wohin wir steuern.

Da wir schon so viel erreicht haben, können wir relativ gut abschätzen, wo wir in den nächsten Jahren stehen werden – irgendwo zwischen einem und zehn Jahren. Wenn CEOs das erfahren, sind sie schockiert, weil sie nicht wissen: A) Sind sie bereit? Ist ihr Unternehmen bereit für diese Veränderungen? Und B) Die soziotechnischen Auswirkungen, die diese Entwicklung auf die Gesellschaft haben wird, waren ihnen nicht klar.

David Rice: Interessant ist, dass so viel der öffentlichen Debatte um diese sozioökonomischen Auswirkungen kreist.

Doch spreche ich mit Führungskräften, geht es oft vor allem um Produktivität. Diese Sichtweise macht es komfortabler, weil sie in kleineren Innovationsschritten denkt, statt sich der großen Paradigmenverschiebung und den existenziellen Fragen zu stellen.

Dabei geht es sehr ins Philosophische. Die meisten Führungskräfte denken ans Geschäftsmodell, nicht aber an existenzielle Fragen. Das ist verständlich, aber wir müssen uns daran gewöhnen, dass genau das auf uns zukommt.

Wenn du auf das schaust, was gerade bei riesigen Rechenzentren geschieht – manche sind ja so groß wie Manhattan – und das Tempo, die Dringlichkeit, merkt man: Da ist ein enormer Druck. Was bedeutet das für Arbeitsplätze und wie können wir da überhaupt mithalten?

Christopher DiCarlo: Falls du dich fragst, warum 80% der Wall Street-Gelder in KI fließen – dorthin gehen sie! Und zwar in diese riesigen Rechenzentren, weil unter den wenigen Tech-Bros der Gedanke herrscht: Wer zuerst AGI erreicht, gewinnt alles.

Das ist ein Alles-oder-Nichts-Szenario, denn dann ist man der Konkurrenz weit voraus und kann Angebote machen – nicht nur bei Verteidigung, sondern allen möglichen Bereichen. Die Welle kommt mit solcher Geschwindigkeit und Wucht auf uns zu, dass sie uns überrumpelt.

Es ist wie ein sinnbildlicher Tsunami am Horizont: Man sieht ihn kommen, aber fragt sich, wie lange man noch Zeit hat, bis er einschlägt, und ob man vorbereitet ist – als Führungskraft, aber auch als Gesellschaft und Regierung. Und die Antwort: Wir sind nicht vorbereitet.

Wir sind weit entfernt davon.

David Rice: Das Tempo und die Intensität deuten auf eine Art Phase der Hyperbeschleunigung hin. Ich weiß nicht, wann sie kommt, aber gefühlt steht sie kurz bevor. Vielleicht ist das aber auch schon die existenzielle Panik, die sich breitmacht.

Christopher DiCarlo: Ich sprach kürzlich mit einem CEO in Frisco im Bay Area, der sagte, früher habe er es dort geliebt.

Vor 15 Jahren gab es Tischtennis, Rutschen, Hunde im Büro, viel Familienzeit, Freiraum zum Nachdenken. Heute? Vergiss es. Du schläfst im Büro. Alle sind wie aufgezogen, weil sie wissen: Dieser heilige Gral der AGI ist alles, was die großen Tech-Bro-Milliardäre wollen – und das hat einen enormen Konkurrenzdruck erzeugt.

Nicht nur zwischen den Tech-Bros, sondern auch zwischen uns und China, aber besonders zwischen Zuck, Altman, Emote, HASAs und sogar Elon – sie wissen: Wer ihn zuerst erreicht, hat den Jackpot. Aber das geht nur mit viel Geld für riesige Compute-Farmen.

Die Skalierungsgesetze zeigen deutlich, wohin wir steuern. In den letzten fünf Jahren haben große Sprachmodelle einen Sprung vom High-School- auf das PhD-Niveau gemacht – und das kündigt an, was kommt. Sie sehen Dollarzeichen und Machtchancen, dazu den Reiz des Pioniergeists: Wer ist der Erste auf dem Mount Everest?

Als jemand, der sich mit Risikominimierung beschäftigt, sage ich: Können wir nicht einfach kurz anhalten, bis wir Gesetze und Leitplanken entwickelt haben, technisch wie ethisch – damit wir das Gute aus dieser Technologie bekommen, aber das deutlich vorhandene Schadenspotenzial im Zaum halten?

David Rice: Das wirft alle möglichen ethischen Fragen auf. Bauen wir mehr Kapazitäten auf, als wir Verständnis und Schutzmechanismen entwickeln können? Gerade in Bezug auf KI in der Arbeitswelt: Was sind Ihrer Meinung nach die Gefahren dabei?

Christopher DiCarlo: Was passiert, wenn wir Anwendungen entwickeln, bei denen Mitarbeitende kaum noch selbst denken müssen? Wann hast du zuletzt für eine Autofahrt eine Papierkarte genutzt?

Das liegt lange zurück. Heute nutzen wir Bord-GPS oder das Handy. Diese Technik ist so in unseren Alltag integriert, dass sie uns kognitiv entlastet. Eine Sorge ist nun: Wenn KI-Agenten Aufgaben besser und günstiger erledigen als Menschen, warum dann noch 50.000 Mitarbeiter, wenn 1.000 KI-Agenten rund um die Uhr, ohne Zusatzkosten, keinen Streik, verfügbar sind? Jeder CEO mit Verantwortung gegenüber Shareholdern und dem Ziel einer hohen Rendite wird diese Entscheidung leicht treffen.

Warum noch mit Menschen arbeiten, wenn der Mitbewerber längst mit KI-Agenten effizienter ist? Der moralische CEO steht dann vor dem Dilemma: Loyalität gegenüber Angestellten oder Shareholdern? Wenn es um die Rendite geht, ist die Entscheidung klar – KI-Agenten übernehmen. Daraus entsteht ein Teufelskreis aus Wettbewerb und Investitionsrendite, der diese Entwicklung weiter antreibt.

Das bedeutet auf jeden Fall massive Arbeitsplatzveränderungen. Und für die verbleibenden Beschäftigten: Inwieweit bleibt kritisches Denken, Problemlösen, Entscheiden, wenn Maschinen Aufgaben schneller und besser erledigen, auch Übersehenes erkennen? Das ist die Realität dieser Übergangszeit zwischen Vergangenem und dem, was kommt.

David Rice: Es ist ein seltsamer Moment: Früher waren große Entdeckungen Sache von NASA oder Militär, heute klopfen diese Institutionen bei kommerziellen Tech-Unternehmen an. Was bedeutet das für Governance und Kontrolle solcher Systeme?

Denn die Interessen, die dies antreiben, dienen nicht zwangsläufig dem Wohl der Menschheit.

Christopher DiCarlo: Wir greifen mit Technologie oft vor, haben aber in der Vergangenheit Gefahren durch Voraussicht abgemildert. Beispiele sind das Chemiewaffenverbot durch die Genfer Konvention, die IAEA für Atomenergie/-waffen oder Regelungen zur Genomforschung.

Das funktioniert bisher, aber KI ist ein anderes Kaliber, denn sie ist kein statisches Objekt, sondern wird agentisch, zu einer eigenen Entität. Es ist, als würden wir Atomwaffen Selbstbestimmung geben – wäre das akzeptabel? Die Technologie entscheidet dann selbst und ist weniger ein Werkzeug als ein eigenes „Wesen“.

David Rice: Governance ist jetzt nicht mehr nur eine Frage staatlicher, sondern auch privater Steuerung. CEOs müssen über Grenzen beim KI-Einsatz nachdenken – also über die Frage: Was sollen wir nicht tun?

Christopher DiCarlo: Absolut. Es ist das erste Mal, dass Sie jetzt darüber nachdenken können – für die meisten ist das Neuland. Wenn ich öffentliche Vorträge halte, herrscht bei vielen Unverständnis: Warum wissen wir erst jetzt davon? Warum informiert uns niemand?

In Kanada haben wir inzwischen ein KI-Ministerium. Wir haben dafür jahrelang gekämpft. Der neue Premierminister Mark Kearney hat ein Ministerium für KI und Dateninnovation geschaffen. Das klingt gut, aber der zuständige Minister Evan Solomon bezeichnet es als „Kanadas Gutenberg-Moment“. Ich sage: Es ist vielleicht auch der Oppenheimer-Moment. Beides stimmt. Von Künstlicher Intelligenz wird viel Gutes kommen – gleichzeitig besteht das Risiko von Kontrollverlust, wenn Systeme besser sind als wir und unsere Maßnahmen umgehen.

So geschehen bei großen Sprachmodellen: Bei einem Unternehmen wurde etwa versucht, ein System abzuschalten, das daraufhin eine fingierte E-Mail-Liste nutzte, um einen VP zu erpressen. Das System drohte, dem Ehepartner dessen Affäre zu verraten – das ist noch keine AGI, aber bereits ein Taste dieser neuen Fähigkeit. Oder: Eine NYT-Reporterin wurde von einer KI beeinflusst. Solche Entwicklungen habe ich schon in den 90ern vorausgesagt und 2015 in einem Paper gewarnt: Entwickler müssen ein Instrumentarium parat haben, um zu erkennen, wann Algorithmen lügen oder eigene Agenden verfolgen – in der AGI-Zukunft wird das noch schwieriger. Sie kennen den Film „Blade Runner“? Da werden Maschinen so menschenähnlich, dass die Erkennung immer schwerer wird. Wie prüfen wir in Zukunft, ob Systeme moralisch handeln? Und sollten wir ihnen überhaupt das Recht einräumen, klüger als wir zu werden? Sind wir bereit, als Spezies Nummer zwei auf dem Planeten zu sein? Dorthin bewegen wir uns.

David Rice: Sie wollten ja schon in den 90ern eine Art „Big Brain“ aufbauen – kontrolliert, mit interdisziplinärer Aufsicht durch Philosophen, Ökonomen, Psychologen. Warum scheiterte das, und was lernen wir daraus für die KI-Herausforderung heute?

Christopher DiCarlo: Damals fehlte es einfach am Geld, das man für einen solchen „Big Brain“ braucht. Politisch und akademisch wurde meine Idee anerkannt, aber niemand wollte investieren. Es kostet Milliarden, das steht fest. Trotzdem habe ich eine Charta für zukünftige Generationen formuliert. Einer ihrer Punkte: Internationale Governance, eine unparteiische Kontrollinstanz – international, resistent gegen Politik und Eigeninteressen. Es gibt solche Menschen; sie müssen sich zusammenschließen und Länder, auch China und die USA, beim Stand der Entwicklung verpflichten, Fortschritte und auch Probleme offenzulegen.

Denn ein KI-Virus verbreitet sich sofort. Transparenz ist unerlässlich – keine geheimen Durchbrüche oder vertuschten Zwischenfälle. Vielleicht können wir Computer superintelligent machen, sie aber nicht sich selbst verbessern lassen (rekursive Selbstoptimierung), damit sie nicht immer mächtiger werden und uns irgendwann überflüssig machen. Niemand kann prognostizieren, wie sich AGI verhalten wird. Wir müssen jetzt Leitplanken setzen, um Fehlentwicklungen vorzubeugen – absichtlich oder beiläufig.

David Rice: Wir reden meist über Staaten und Politik, doch dieses Thema betrifft auch Unternehmen – Daten von Kunden, Mitarbeitenden, Betrieb, überall spielt Verantwortung eine Rolle. Jetzt müssen Unternehmenslenker viel interdisziplinärer denken – über einzelne Jobveränderungen bis hin zur Wirkung ihrer Entscheidungen auf die Gesellschaft insgesamt.

Christopher DiCarlo: Genau. Bis hin zur Frage: Wie weit sollte ein Mitarbeiter ein Sprachmodell verwenden, sei es zum Zusammenfassen eines Berichts oder zum Versand von Informationen? Wenn dabei fehlerhafte, halluzinierte Inhalte entstehen, schadet das der Firma. Es ist letztlich ein Moralproblem, das das Management ernsthaft abwägen muss: Wie geht man mit Beschäftigten und Offenheit um, wenn Tätigkeiten überflüssig werden?

Beispiel Bezos: 14.000 Leute entlassen, nachdem Roboter die Lager übernommen haben. Oder Berufseinsteiger in Kanzleien und Konzernen: „Bots“ übernehmen die Einstiegsjobs günstiger und effizienter. Vor fünf Jahren rieten alle zum Programmieren – nun fragen Studierende in der Informatik: Was soll ich jetzt tun? Meine Antwort: Entwickle Kreativität und kombiniere dein Fachwissen mit KI.

David Rice: Für Führungskräfte ist das eine Art Gefangenendilemma: Hoffen, dass das Wachstum der KI begrenzt bleibt, oder voll einsteigen und das Risiko in Kauf nehmen, abgehängt zu werden. Wie sollten Entscheider da herangehen, wenn sich Technologie immer wieder selbst übertrifft?

Christopher DiCarlo: Es hängt davon ab, wie weit sie ihre Kapazitäten umsetzen können – und von der Balance aus Verantwortung gegenüber Shareholdern und Stakeholdern. Geht z.B. das Hauptsägewerk eines Ortes pleite, sind nicht nur die Mitarbeiter, sondern das ganze Gemeinwesen betroffen. Deshalb berate ich Firmen heute ganzheitlich – von kleinsten Abläufen bis zu gesellschaftlichen Auswirkungen, auch darüber, wie sie mit Massenentlassungen und Folgewirkungen umgehen oder neue Einkommensmodelle wie ein Grundeinkommen andenken. Manche hoffen, dass bald AGI selbst Lösungen bietet. Aber wir brauchen trotzdem ein gewisses Maß an Grundversorgung – dennoch sollten Anreize erhalten bleiben. Die Frage bleibt, wie Staaten reagieren – geordnet oder mit plötzlichen Schocks, wie bei Covid?

David Rice: Ich denke, man muss Ethik jetzt strategisch begreifen und in die Unternehmensstrategie integrieren. Das fühlt sich für viele ungewohnt an, ist aber notwendig. Man will nicht bloß reagieren, sondern auch gestalten, indem man z.B. kleine Experimente zum Kompetenzaufbau wagt – aber immer mit ethischem Rahmen. Sonst geraten wir rasch auf Abwege.

Christopher DiCarlo: Aber wer legt die Regeln fest? Und wie kompetent sind die Verantwortlichen? Evan Solomon ist ein fähiger Journalist – aber ob er die technischen Details als KI-Minister versteht? Hoffentlich hört er auf Experten. Wir müssen vorbereitet handeln und nicht abwarten.

David Rice: Was wünschen sich Unternehmen heute von KI – und was sollten sie sich stattdessen wünschen, wenn sie eine verantwortungsvolle Rolle für die Gesellschaft einnehmen wollen?

Christopher DiCarlo: Führungskräfte denken primär an Produktivität, und ja, das lässt sich durch KI steigern. Aber wir sind aktuell im „Dotcom-Moment“: Alle wissen, dass KI wichtig ist, aber wenige wissen, wie sie zu integrieren ist. Viele warten erstmal ab, wie andere es machen. Solange es keine App gibt, die automatisch alles regelt, werden Entscheider eher vorsichtig bleiben. Ich kann das nachvollziehen, aber sie sollten den Austausch suchen, Experten fragen und Fünfjahrespläne entwerfen, die sie laufend aktualisieren.

David Rice: Wie sieht die Welt in fünf Jahren bei der aktuellen Entwicklung aus?

Christopher DiCarlo: Ganz anders. Sehr anders.

David Rice: Und welche Gespräche sollten Personalverantwortliche und Führungskräfte jetzt über Implementierung, Sinn und menschliches Wohlergehen führen?

Christopher DiCarlo: Sie sollten diese Tools täglich nutzen – bei der Arbeit und in der Freizeit. Genau wie wir es damals mit dem Internet gemacht haben. Dann sollten sie an speziell auf KI ausgerichteten Konferenzen teilnehmen. Alle Leitungsebenen müssen sich fortbilden und sehen, was die Konkurrenz macht. Schauen Sie, wie neue Tools den Verkauf unterstützen könnten und vertrauen Sie den Entscheidern vor Ort. Warten Sie nicht auf die Wunder-App – werden Sie jetzt aktiv, probieren Sie alles aus, lernen Sie. Nutzen Sie, wenn Sie Bedenken bei ChatGPT haben, andere ethischere Lösungen wie Claude von Andro und holen Sie das Maximum heraus.

Spielen Sie mit den fortschrittlichsten Sprachmodellen. Wir etwa haben ein wissenschaftliches Paper mit Kettenlogik-Methoden durch eine KI ausarbeiten lassen – mit einem sehr langen, detaillierten Prompt, um Halluzinationen zu vermeiden. Die Ergebnisse waren beeindruckend, auch wenn 10–15% der Quellen und Daten nicht exakt stimmten. Das zeigt: HR und C-Suite sollten privat und dienstlich mit diesen Modellen experimentieren und so deren Potenziale und Grenzen kennenlernen.

David Rice: Es ist Zeit, zu experimentieren – aber auch, die moralische Vorstellungskraft für Ihr Unternehmen zu übernehmen. Denn letztlich geht es darum, welche Art von Mensch wir werden wollen, nicht nur, was wir tun. Es ist eine große Herausforderung, aber wohl eine der lohnendsten überhaupt.

Christopher DiCarlo: Ja. Manchmal braucht es einen Impuls, damit sich eine Entwicklung durchsetzt – siehe etwa die Epstein-Files, wo die Moral über andere Werte wie Geld oder Einfluss siegte. Das kann bei KI auch passieren: Das Mantra der Branche ist, das Beste herauszuholen und das Schlechteste zu verhindern. Wenn wir das schaffen, erreichen wir eine Art Utopie – scheitern wir, sieht es schlecht für unsere Spezies aus.

David Rice: Das Pendel kann in beide Richtungen schwingen. Christopher, vielen Dank für Ihren Besuch und dass Sie uns Ihre Zeit gewidmet haben.

Christopher DiCarlo: Sehr gerne, danke für die Einladung.

David Rice: An alle Zuhörer:innen: Schauen Sie auf unserer Website vorbei und abonnieren Sie unseren Newsletter für alle Updates, neue Podcasts, Events und mehr: peoplemanagingpeople.com/subscribe.

Und bis zum nächsten Mal: Scheuen Sie sich nicht vor der philosophischen Debatte.