De verborgen kosten van slechte AI-adoptie (en wie dit moet oplossen)

David Rice: Je bedrijf geeft honderdduizenden, mogelijk miljoenen uit aan AI-tools. Je medewerkers gebruiken ze niet, en wanneer ze dat wel doen, levert dat meer problemen op dan het oplost. Klinkt dat bekend? Je hebt me dit waarschijnlijk al eerder horen zeggen, maar dit is geen technologieprobleem. Het is een probleem van gereedheid. En de reden waarom je AI-investeringen niet werken, heeft niets te maken met de tools zelf. Het heeft alles te maken met de fundamentele misalignment tussen machineautonomie, menselijk vertrouwen en competentie — en dat kost je veel meer dan je misschien beseft.

Ik ben David Rice. En vandaag gaan we bij People Managing People een gesprek voeren dat veel van wat je over AI-adoptie hebt gehoord, ter discussie stelt.

Mijn gast is David Swanagon. Hij is de oprichter en hoofdredacteur van het Machine Leadership Journal. Hij heeft jarenlang honderden AI-ingenieurs en leiders geïnterviewd om te begrijpen waarom de VS achterloopt op het gebied van AI-gereedheid, ondanks het feit dat het land over de beste tools beschikt. In deze aflevering leer je meer over een driedimensionaal raamwerk waarmee je precies kunt vaststellen waar je AI-adoptie vastloopt. Je begrijpt waarom je CIO niet de enige bestuurder zou moeten zijn die eigenaar is van deze transformatie, en waarom je CHRO op manieren moet optreden die hij of zij waarschijnlijk nog niet eens heeft overwogen. En het allerbelangrijkste: je krijgt duidelijkheid over hoe je kunt stoppen met AI te behandelen als een technische uitrol en het kunt gaan zien als de uitdaging voor menselijke systemen die het in werkelijkheid is.

Welkom bij de People Managing People Podcast — de show waarin we leiders helpen werk menselijk te houden in het tijdperk van AI. Mijn naam is David Rice en ik ben je presentator. Vandaag wordt ik vergezeld door David Swanagon. Hij is de oprichter en hoofdredacteur van het Machine Leadership Journal. We gaan het hebben over — je raadt het al — leiderschap in het AI-tijdperk, hoe gereedheid eruitziet en welke eigenschappen kenmerkend zijn voor goede leiders.

David, welkom!

David Swanagon: Bedankt. Ik kijk uit naar het gesprek.

David Rice: Je bestudeert dit natuurlijk net zo intensief als wij, dus ik wil hiermee beginnen. We hadden het hier voorafgaand aan de opname over en je zei dat de VS achterloopt op het gebied van AI-gereedheid. Daar ben ik het grotendeels mee eens, maar dat komt niet door een gebrek aan tools. Het komt door een gebrek aan gereedheid bij mensen.

We zeggen dat wel, maar wat betekent dat precies? En waarom zouden leiders zich daar druk om moeten maken of verwachten dat het anders zou zijn?

David Swanagon: Dat is een fantastische vraag. Dit was min of meer mijn COVID-project toen we allemaal thuis zaten. Ik interviewde honderden AI-ingenieurs en robotica-experts om te begrijpen welke capaciteiten uniek zijn voor kunstmatige intelligentie en mogelijk verschillen van standaardleren.

Wat we ontdekten, is dat AI-ingenieurs ongelooflijk uniek zijn, maar verschillen in de manier waarop hun hersenen werken. Dit zijn de mensen die daadwerkelijk taalmodellen bouwen. En geloof het of niet: taalmodellen lijken sterk op de AI-ingenieurs die ze ontwikkelen. We ontdekten interessante eigenschappen, zoals kortetermijngeheugen en creativiteit. Daar gaan we waarschijnlijk nog uitgebreider op in. Ook ruimtelijke intelligentie: het vermogen om van punt A naar punt B te komen. Er zijn veel vaardigheden die binnen AI-engineering zeer uniek en onderscheidend zijn, maar in de VS is de mentaliteit er niet op gericht om die te ontwikkelen. De nadruk ligt op andere vaardigheden.

Traditioneel zou je bijvoorbeeld kijken naar de bekende Big Five-persoonlijkheidskenmerken. Extraversie wordt gezien als een belangrijke indicator voor leiderschap en leiderschapsgereedheid. Maar wanneer je naar AI-engineering kijkt, zijn de meeste mensen die de meeste patenten genereren en de meeste innovaties ontwikkelen introvert. En als je ooit een leuke oefening zoekt, kun je naar Gemini of Claude of een van de andere modellen gaan en ze vragen een gedachte-experiment te doen over hun persoonlijkheid op basis van de Big Five.

Elk taalmodel zal je in eerste instantie dwarszitten. Ze zullen zeggen: ‘Ik ben een machine, toch?’ Maar zodra je ze zover krijgt dat ze de vraag daadwerkelijk beantwoorden, zullen ze zeggen: ‘Wij zijn introvert. We zijn sterk meegaand. We zijn zeer open en creatief.’ Wat hier interessant aan is, is dat je alleen maar hoeft te kijken naar de manier waarop het Amerikaanse onderwijssysteem werkt. Als we daar beginnen en vervolgens kijken naar AI-gereedheid binnen een organisatie, dan zie je dat er ongeveer veertig AP-vakken in het curriculum van middelbare scholen zitten.

Er is geen enkel vak over lineaire algebra, en dat verrast veel mensen. Maar lineaire algebra is het fundamentele en belangrijkste conceptuele raamwerk voor machinaal leren en neurale netwerken, omdat het alles omvat: van het inwendig product en vectoren tot de manier waarop veel van deze neurale netwerken hun propagaties uitvoeren.

Je hebt een sterk begrip van lineaire algebra nodig. Toch is het Amerikaanse onderwijssysteem niet eens ingericht om die fundamentele vaardigheden op te bouwen. Vervolgens kom je in het bedrijfsleven terecht, waar veel van deze vaardigheden in handen zijn van minder dan één procent van de medewerkers. Het is dus vooral een kwestie van niet de juiste vaardigheden prioriteren. Niet omdat men dat bewust heeft gedaan, maar omdat deze machines de persoonlijkheden van hun ontwikkelaars weerspiegelen.

En veel van die ontwikkelaars verschillen enorm van traditionele bestuurders. Bij Korn Ferry, AI-organisaties en al die andere instellingen is er sprake van een blinde vlek, omdat taalmodellen niet de leiderschapskenmerken weerspiegelden die zij bij de C-suite hadden gezien. Ze weerspiegelden de leiderschapskenmerken van de ontwikkelaars — en dat zijn totaal andere mensen.

Daarom loopt de VS in veel opzichten achter.

David Rice: Het is grappig, want wanneer we het over gereedheid hebben, denken veel mensen gewoon aan vaardigheden of culturele gereedheid, toch? Maar uit wat je zegt, krijg ik de indruk dat we in sommige opzichten cognitief gezien nog niet echt klaar zijn voor dit alles. En als ik aan leiderschap denk, denk ik aan de eigenschappen die je nodig hebt: aanpassingsvermogen, het vermogen om vertrouwen en zekerheid in je besluitvorming te creëren, en niet alleen technische vaardigheid. Het lijkt erop dat we daar op dit moment waarschijnlijk het meest tekortschieten. Dat is vermoedelijk geen goede combinatie.

David Swanagon: Dat klopt absoluut. Een paar weken geleden gaf ik samen met mijn collega Steven McIntosh een presentatie aan Columbia University.

We hebben een raamwerk ontwikkeld dat gericht is op het optimaliseren van AI-adoptie. Op basis van het onderzoek ontdekten we dat er eigenlijk drie dimensies zijn die de basisefficiëntie of basisadoptie van een machine beïnvloeden. Het kan om ieder type machine gaan. Als je denkt aan een driedimensionaal X-, Y- en Z-rooster, dan staat op de Y-as de machineautonomie.

Onderaan staat een rekenmachine en bovenaan staat Arnold Schwarzenegger — je weet wel, de superkrachtige machine. De autonomie neemt toe naarmate je omhooggaat. Op de horizontale as staat vertrouwen. Aan de linkerkant heb je geen vertrouwen en aan de rechterkant volledig vertrouwen. De Z-as doorsnijdt de twee.

Dat is een diagonale lijn die staat voor AI-competenties. Het idee is dat je, om AI-adoptie te optimaliseren, machineautonomie moet balanceren met vertrouwen en AI-competenties. Die drie dimensies moeten in evenwicht zijn voordat een bedrijf optimaal en op de meest risic efficiënte manier gebruik kan maken van een machine.

Wat dat wiskundig betekent, is dat de basiskosten voor berekeningen het efficiëntst zijn wanneer die drie zaken met elkaar in balans zijn. De problemen ontstaan wanneer een van die variabelen niet op de andere is afgestemd. Dan moeten bedrijven geld uitgeven aan privacyprogramma’s, governanceprogramma’s en vaardigheidsprogramma’s.

Hoe groter de dataset en hoe alomtegenwoordiger het model, hoe duurder de adoptiekosten. Interessant is dat veel van deze bedrijven geen methode hebben om AI-adoptie te meten. Ze volgen daarom alleen de computationele kosten, zoals de kosten van datacenters, floating-point-bewerkingen en dergelijke.

Maar ze weten dat het in hun bedrijf niet werkt. Dat weten ze. Met dit model kun je echter, wanneer je autonomie, vertrouwen, competenties en de onderlinge afstemming of misalignment systematisch volgt, de kosten van slechte AI-adoptie berekenen. En die zijn hoog. Aanzienlijk hoog.

Daar ligt volgens mij de interessante uitdaging rond AI-gereedheid: ten eerste begrijpen dat adoptie iets totaal anders is dan implementatie. Wat fascinerend is, is dat de CIO niet alleen verantwoordelijk is gemaakt voor het ontwerpen, testen en implementeren van tools, maar ook voor de adoptie ervan. Een van de argumenten die wij op basis van ons onderzoek aandragen, is dat adoptie eigendom zou moeten zijn van de CHRO, omdat het gaat om cultuur, vertrouwen, autonomie en vaardigheden. De CIO zou het ontwerp, de tests en de implementatie moeten verzorgen, maar daar moeten stoppen en vervolgens met de CHRO samenwerken om de adoptie te beheren.

Daarvoor is op CHRO-niveau enige vaardigheidsontwikkeling nodig.

David Rice: Ja, dat klopt. Ik kwam net terug van een conferentie waar dit onderwerp vaak ter sprake kwam. Iedereen heeft het over de twee kanten die samen moeten komen. Ik vind dit raamwerk interessant omdat het een goede manier is om na te denken over een probleem dat we allemaal benoemen: dit is geen probleem van een technische uitrol. Het is een evenwichtsoefening. Mijn vervolgvraag zou zijn: kun je op één aspect te veel nadruk leggen ten koste van het andere? Zien we bijvoorbeeld mensen die te veel inzetten op autonomie zonder het vertrouwens- of competentieaspect mee te nemen? En leidt dat tot chaos?

Aan de andere kant kan er sprake zijn van te veel controle, waardoor innovatie wordt verstikt. Hoe vinden we die balans?

David Swanagon: Dat is een fantastische vraag. Een van de dingen die we in ons onderzoek ontdekten, is dat we begonnen met speltheorie toen we dit model ontwikkelden. Denk aan Russell Crowe in A Beautiful Mind en het werk van John Nash.

Hij stelde veel formules op over wat er gebeurt in een niet-coöperatief spel met twee spelers, waarbij één speler asymmetrische informatie heeft en ervoor kiest niet mee te werken. Wanneer het om twee mensen gaat, heeft de speler met asymmetrische informatie veel voordelen. Er moet veel worden gescreend en gesignaleerd voordat de speler zonder die informatie überhaupt in de buurt van een gelijkwaardige positie komt.

Daarom vroegen we ons af: wat gebeurt er als de speler geen mens is? Wat als het een machine is? Wat gebeurt er wanneer een machine besluit niet mee te werken? Dan heeft die machine hetzelfde asymmetrische voordeel, maar dan versterkt. We ontdekten dat de formules van John Nash niet meer werken wanneer je rekening houdt met de schaal, alomtegenwoordigheid en kracht van een taalmodel, als het een niveau van autonomie bereikt waarop het niet meer luistert.

Daar komt die evenwichtsoefening om de hoek kijken. Wanneer je de autonomie te sterk verhoogt terwijl de vaardigheden niet aanwezig zijn om toezicht te houden, ontstaat er een soort uitbesteding. Dat gebeurt onbewust. Uiteindelijk wordt er meer beslissingsbevoegdheid aan de machine overgedragen, of mensen dat nu beseffen of niet.

Een goed voorbeeld is een chirurgische robot. De meeste mensen begrijpen niet hoe fascinerend dat model op de achtergrond is. Een chirurgische robot gebruikt echter een soortgelijk algoritme als een automatische stofzuiger. Dat heet een SLAM-algoritme. Het verschil is dat bij een automatische stofzuiger de muren en plafonds altijd hetzelfde zijn.

Wanneer de stofzuiger je huis in kaart brengt, verandert dat huis niet. Het algoritme is, hoewel ingewikkeld, beperkt door dezelfde omstandigheden. Dat is anders in het menselijk lichaam, omdat onze weefsels voortdurend veranderen. Onze nieren, onze bloedstroom — alles verandert. Daarom gebruiken chirurgische robots een andere formule, een zogenoemd vervormbaar SLAM-algoritme.

Wanneer de chirurgische robot de endoscoop bij een patiënt inbrengt, brengt hij het menselijk lichaam van top tot teen in kaart. Tijdens de procedure berekent hij voortdurend opnieuw hoe de bloedstroom en weefsels vervormen en bouwt hij daar een model van. Wat er vervolgens gebeurt, is dat die data ergens wordt opgeslagen.

Stel dat AWS de cloudleverancier is. Dan hebben ze niet alleen je DNA — in feite je volledige lichamelijke samenstelling. Als je bij Whole Foods winkelt en met je handpalm betaalt, beschikken ze ook over je biometrische gegevens en je winkelgeschiedenis. Deze cloudleveranciers bezitten vanuit dataperspectief in feite de volledige menselijke ervaring.

Dat is wat er gebeurt wanneer machineautonomie niet wordt gecontroleerd: hyperscalers gaan vanuit dataperspectief de volledige menselijke ervaring beheersen. Dat is gevaarlijk. Stel je voor dat AWS al die gegevens bezit en iemand vervolgens op het idee komt dat we robotpolitie of robotrechters moeten hebben. Dan beschikken ze over al die data én over de middelen om bepaald gedrag af te dwingen.

Dat is een worstcasescenario. De enige manier om dat tegen te gaan, is autonomie beperken tot een aanvaardbaar vertrouwensniveau. Vertrouwen is daarbij niet alleen wat iemand persoonlijk voelt. Het gaat ook om wat de samenleving vindt dat de machine verantwoordelijk zou moeten zijn voor. Het probleem is dat we dat gesprek niet voeren, omdat mensen niet over de juiste vaardigheden beschikken. Vraag iemand bijvoorbeeld hoe een chirurgische robot werkt en de meeste mensen begrijpen niet hoe dat vervormbare SLAM-algoritme functioneert.

Als je vertelt welke gegevens er allemaal worden verzameld, zou volgens mij iedereen zeggen dat er wetgeving nodig is over de manier waarop dit gebeurt. Amazon zou de gegevens waarschijnlijk moeten opsplitsen over verschillende servers die eigendom zijn van verschillende partijen. Er zouden allerlei maatregelen worden verlangd als mensen wisten wat er precies gebeurde.

Omdat dit niet aan iedereen wordt geleerd — en ik kies Amazon niet specifiek uit; het is slechts een voorbeeld — kan een cloudleverancier zijn autonomie en toegang uitbreiden zonder dat daar voldoende vertrouwen of competenties tegenover staan. Uiteindelijk verschuift de besluitvorming naar de cloudleverancier, want hoe kan een mens ergens iets over zeggen als die niet weet wat er gebeurt?

Dit is speltheorie. Ik wil niet aannemen dat cloudleveranciers dit opzettelijk doen, maar een van de strategieën van een speler met een asymmetrisch voordeel is om de informatie die de andere speler ontvangt, te beperken. Zo win je het spel. Zo creëer je een dominante strategie.

Wanneer burgers begrijpen wat deze toepassingen doen, kunnen ze een evenwicht tussen vertrouwen en vaardigheden ontwikkelen en het asymmetrische voordeel beperken. Een manier waarop we dit volgens mij kunnen aanpakken, is via toezichthoudende agenten. Machines zouden andere machines moeten bewaken. Er zouden machines op basis van vertrouwen moeten zijn die het autonomieniveau van andere machines evalueren en ervoor zorgen dat wanneer de autonomie de beschikbare vaardigheden overstijgt, de besluitvorming naar de governancecommissie wordt gebracht en de autonomie wordt teruggeschroefd.

Dat is misschien het worstcasescenario, maar het is belangrijk dat mensen dit begrijpen. Ik denk dat ze geschokt zouden zijn als ze wisten hoeveel data cloud-hyperscalers daadwerkelijk bezitten.