Hoe bewijs je de ROI van AI als het rendement slechts 1% is?

David Rice: Slechts 17% van de organisaties heeft überhaupt AI-agenten ingezet. Het aantal voor meerdere afdelingen ligt rond de 3%. JLL is gestopt met tellen. In de aflevering van vandaag praat ik met Carlin Power, wereldwijd vicepresident AI en platformtechnologie-implementatie bij JLL, over wat de andere 97% binnenkort zullen leren.

Want JLL experimenteert niet met agenten. Ze gebruiken ze in productie binnen facilitair management, merkcommunicatie en bedrijfsfuncties in de hele organisatie. De lessen daaruit zijn niet voornamelijk technisch. Het eerste wat misging was niet de technologie, maar het ROI-gesprek. Hoe rechtvaardig je de kosten van basisvoorzieningen?

Hoe ga je tegenover je CFO zitten en zeg je: "Misschien halen we hier 1% rendement uit"? Het antwoord van Power was om het waardegesprek terug te brengen naar de plek waar het hoort: binnen de winst-en-verliesrekening die over de investering beslist. Als een bedrijfsleider wil groeien en het aandeel in de portemonnee van topklanten met 20% wil vergroten, wordt AI onderdeel van dat gesprek in plaats van een hamer die op zoek is naar een spijker.

Ook de vraag rond de vroege loopbaan verdient aandacht. Onderzoek van Stanford trekt een duidelijke grens. Wanneer AI automatiseert, daalt de instroom op juniorniveau. Wanneer AI aanvult, blijft de werkgelegenheid stabiel of groeit die. JLL maakte een bewuste keuze, en de stagiairs die ze onlangs hebben geworven presenteerden afstudeerprojecten die zo geavanceerd waren dat Power, zonder het te horen, niet zou hebben geraden dat ze niet al drie of vier jaar in hun loopbaan zaten.

Vandaag bespreken we dus wat het verschil maakt tussen agenten die blijven bestaan en de 40% waarvan Gartner verwacht dat ze tegen 2027 worden geannuleerd, waarom de manier waarop je ROI formuleert belangrijker is dan de technologie zelf, hoe je AI-vaardigheid in tachtig landen opbouwt zonder lokale relevantie te verliezen, en wat een Chief People Officer zonder agenten in productie in maand één tot en met drie moet doen bij de uitrol ervan.

Ik ben David Rice. Dit is People Managing People. Als je organisatie nog steeds probeert te bepalen waar ze met agenten moet beginnen, biedt dit gesprek een praktisch stappenplan van iemand die die vraag al lang achter zich heeft gelaten. Laten we beginnen.

Welkom bij de People Managing People-podcast. Zoals altijd ben ik je presentator, David Rice, en vandaag praat ik met Carlin Power. Zij is wereldwijd vicepresident AI en platformtechnologie-implementatie bij JLL. Veel organisaties experimenteren met AI-agenten, maar jullie hebben er daadwerkelijk een aantal succesvol ingezet. Klopt. Dus-

Carlin Power: Ja, dat klopt ...

David Rice: daar gaan we het een beetje over hebben, net als over enkele lessen die jullie daarbij hebben geleerd.

De eerste vraag die ik je wilde stellen gaat over iets wat ik had gezien in een CIO-enquête van Gartner. Daarin stond dat slechts 17% van de organisaties überhaupt agenten heeft ingezet.

Carlin Power: Zeker.

David Rice: En ik denk dat het aantal voor meerdere afdelingen 3% of iets dergelijks is, toch? Ja, ja. Echt heel laag.

Carlin Power: Ja.

David Rice: Voor veel mensen staat dit dus nog maar aan het begin. Jullie hebben, het laatste getal dat ik zag was 34. Volgens mij zijn het er nu meer.

Carlin Power: Ja. We groeien. Volgens mij zijn we gewoon gestopt met tellen.

David Rice: Jullie zijn gestopt met tellen... Mijn eerste vraag aan jou is dus: wat weet je nu waarvan de andere 97% binnenkort zullen leren?

Carlin Power: Zeker. Volgens mij gaat het eigenlijk terug naar een aantal beslissingen die we aanvankelijk hebben genomen. We hadden geïnvesteerd in wat we JLL Falcon noemen. Dat is een fraaie merknaam voor een verzameling AI-mogelijkheden en API's die al onze softwareontwikkelaars kosteneffectief konden gebruiken om AI-mogelijkheden in te zetten op technologie die ze nieuw bouwden én op bestaande technologie die al op de markt was.

Daardoor, en omdat we innovatie konden decentraliseren over al onze ingenieurs, gingen zij zich veel sneller bijscholen in het bouwen en inzetten van dingen zoals agenten. We hebben bijvoorbeeld agenten binnen onze activiteiten voor facilitair management die werkopdrachten optimaliseren en bepalen hoe technici naar locaties worden gestuurd om hun facilitaire werk uit te voeren.

We hebben merkagenten die onze PowerPoint-presentaties en onze toon voor zowel interne als externe communicatie bij JLL van een merkidentiteit voorzien. En ongeveer anderhalve maand geleden hebben we Ask JLL ingezet. Dat is een verzameling agenten van domeinexperts binnen al onze bedrijfsfuncties die medewerkers helpen ondersteuning te krijgen binnen die functies.

Door die decentralisatie over al die engineeringteams bouwen we dus agenten voor specifieke bedrijfsproblemen ... met zeer doelgerichte ROI-resultaten.

David Rice: Is dat een deel van de reden waarom je denkt dat het succesvol is geweest? Je noemde het specifieke karakter ervan. Is het daarom succesvol, omdat jullie niet in het algemeen iets proberen op te lossen, maar juist heel specifiek te werk gaan?

Carlin Power: Ja. We hebben wel algemene agenten en algemene AI-hulpmiddelen. We hebben bijvoorbeeld een algemene AI-assistent die we liefdevol Pulse noemen ... die al onze chats, e-mails en gedeelde documenten doorzoekt. Die werkt als een administratief assistent en neemt veel van de administratieve, tactische taken over die horen bij een kenniswerkfunctie.

We hebben dus bewust ook enkele algemene mogelijkheden ingezet. Maar ja, de echte ROI, want dat soort dingen zijn meer ... wat ik basisvoorzieningen zou noemen, toch?

David Rice: Juist.

Carlin Power: Dat zijn zaken die al onze medewerkers nodig hebben om in de markt te kunnen concurreren. Alle agenten die door onze software-engineeringteams worden ingezet ter ondersteuning van een bepaalde bedrijfslijn of bedrijfsfunctie, lossen specifieke bedrijfsproblemen op die onze bedrijfsresultaten vooruithelpen. Dat is volledig afgestemd op meerdere organisatieniveaus.

David Rice: Neem me mee naar agent één. Wat ging er mis dat niet technisch was? Ging het om rechten en eigenaarschap of-

Carlin Power: Ja ...

David Rice: iemands functieomschrijving, eigenlijk?

Carlin Power: Ja, precies. Agent één, wauw. Dat is eigenlijk Pulse, dus ... ook bekend als de JLL-werktools. Nu leveren we die via een MCP, of de fraaie term voor een connector, rechtstreeks aan een agent voor gestructureerde gegevens.

Ik denk dus eigenlijk niet dat er iets technisch misging. Het ging er meer om hoe we de kosten ervan konden rechtvaardigen tegenover de ROI. Ik had het met je over basisvoorzieningen. Het is een behoorlijk lastig gesprek als je slechts efficiëntiecijfers van 1 tot 3% ziet, waarbij het moeilijk is om tegenover je CFO te zitten en te zeggen: "Ik denk dat we dit moeten doen, maar misschien halen we er 1% rendement uit." Aanvankelijk probeerden we dus te bepalen wat de beste manier was om de waarde van basisvoorzieningen uit te leggen. Hoe verwoorden we de waarde van een specifieke agent?

En wordt dat de norm die we hanteren bij het bouwen? Hoe zorgen we ervoor dat iedere bouwer in onze organisatie kan zeggen: "Ik ga deze agent leveren om dit probleem op te lossen, dat ons eerder X aan arbeidskosten kostte of X aan resultaat opleverde. Maar nu kunnen we een vijf keer hogere doorvoer realiseren, een nieuwe inkomstenstroom genereren, ons marktaandeel vergroten of ons aandeel in de portemonnee van een klant verhogen."?

Zodra je teams op die manier gaan denken, is het aantonen van de ROI veel eenvoudiger te rechtvaardigen. Dat was dus het eerste moment waarop mensen vroegen: "Wanneer moeten mensen dit gebruiken? Hoe moeten ze het gebruiken? Wat is de ROI?" En wij zeiden: "Goede vraag."

David Rice: Interessant dat je het normaliseren daarvan noemt. Ging daar ook een standaardisering van de taal mee gepaard, of een gezamenlijk begrip van wat als ROI geldt voor de mensen die dit wilden doen? Want ik kan me voorstellen dat mensen hun verbeelding een beetje de vrije loop laten.

Dan moet je zeggen: "Hé, dat is niet echt bedrijfswaarde."

Carlin Power: Gelukkig hebben we een aantal geweldige financiële professionals in onze organisatie. Hoewel finance een gecentraliseerde functie is, is die gedecentraliseerd in de manier waarop de mensen binnen onze bedrijfslijnen en functies zijn geplaatst.

Ons financiële team heeft veel tijd besteed aan de vraag hoe we onze teams kaders kunnen geven om daadwerkelijk een ROI-gesprek te voeren, of een ROI-formule op te stellen. Volgens mij ontwikkelt dat zich nu verder. Ik zou niet zeggen dat wij het antwoord hebben, want als dat wel zo was, zou ik gewoon ontslag nemen en van de ene op de andere dag een adviesbureau van een miljard dollar beginnen, net als iedereen anders, maar-

David Rice: Ja ...

Carlin Power: ik denk wel dat we het gesprek over waarde terugbrengen naar de plek waar het hoort: de winst-en-verliesrekening die over de investering beslist. Als een bedrijfsleider zegt: "We moeten ons aandeel in de portemonnee van onze tien belangrijkste klanten met 20% vergroten", maakt AI nu deel uit van dat gesprek in plaats van dat wij een hamer zijn die op zoek is naar een spijker.

David Rice: Gartner verwacht dat 40% van de projecten rond agentische AI tegen het einde van 2027 wordt geannuleerd. Mijn vraag aan jou is: als je kijkt naar de agenten die jullie hebben gebouwd, waarom heb je er dan vertrouwen in dat ze veerkrachtig zijn en daarna blijven bestaan?

Carlin Power: Opnieuw komen we uit bij onze beslissing om JLL Falcon in te zetten en bij de gedecentraliseerde besluitvorming binnen onze engineeringfuncties, die nu gekoppeld zijn aan KPI's van de bedrijfslijnen.

We bouwen niets, of proberen in elk geval niets te bouwen, waarvoor geen toerekenbare ROI of direct realiseerbare besparing bestaat. Daardoor wordt het gesprek heel eenvoudig. Als je kijkt naar AI-agenten die het goed of minder goed doen: halen ze hun doelen, net zoals een medewerker zijn bedrijfsdoelen zou halen?

Doet deze technologie, doet deze agent wat we ervan verwachtten? Realiseert hij de voordelen die we verwachtten? Zo niet, waarom niet, en moeten we blijven investeren? Periodiek moet er dus voor elke agent die je in je organisatie inzet een gesprek plaatsvinden over stoppen, starten of doorgaan.

David Rice: Je noemde de gedecentraliseerde besluitvorming. Hebben jullie die vanaf het begin ingebouwd? Was het onderdeel van jullie processen voordat jullie hiermee begonnen?

Carlin Power: De basis van onze AI-strategie is onze bedrijfsbrede gegevenslaag. We hebben de afgelopen vijf à zes jaar, onder leiding van onze CTO Yao Moran, gewerkt aan datavaardigheid, nauwkeurigheid, gezondheid en relevantie van al onze gegevens, in feite binnen ons bedrijfsbrede datawarehouse.

Elk afzonderlijk gegeven dat we bij JLL hebben, komt dus in ons bedrijfsbrede datawarehouse terecht. Vervolgens is er een reeks governancemogelijkheden die bepaalt wat die gegevens zijn, waarvoor ze relevant zijn, voor wie ze relevant zijn en hoe mensen toegang krijgen tot die informatie. We hebben een zeer robuuste gegevenslaag onderaan, met daarboven JLL Falcon.

Wanneer we het over MCP of connectors hebben, gaat dat rechtstreeks naar ons bedrijfsbrede datawarehouse om gegevens op te halen die relevant zijn voor de gebruiker. Dat is onze schaalfunctie, zowel vanuit kosteneffectiviteit als vanuit het perspectief van gegevensrelevantie.

Daarnaast hebben we een door medewerkers gestuurde AI-strategie en een centraal gestuurde AI-strategie. Binnen die centraal gestuurde strategie vindt de decentralisatie plaats waar ik het over had. Voor elke bedrijfslijn en bedrijfsfunctie zijn er initiatieven van technologieteams om binnen die strategie de differentiatie te leveren die we in de markt nodig hebben.

De door medewerkers gestuurde strategie draait om het intern mogelijk maken dat mensen onze hulpmiddelen gebruiken en interne AI-vaardigheid ontwikkelen. Dat is onze ondersteunende functie. Je hebt dus de basis, onze gegevens. Je hebt de schaalfunctie, het JLL Falcon-platform. We hebben onze differentiatiefunctie, de centraal gestuurde strategie, en onze implementatiefunctie, de door medewerkers gestuurde strategie.

Dat alles komt samen in onze drie bedrijfsresultaten: klantwaarde leveren, uitmuntendheid in onze activiteiten ontsluiten en innovatie stimuleren.

Ik denk dus dat dit de kern is van ons succes. Was de beslissing om te decentraliseren bewust? Ja, absoluut. Hebben we die meteen genomen? Dat weet ik niet meer. Maar zijn we daar uiteindelijk uitgekomen? Zeker.

David Rice: Een van de vragen die ik je wilde stellen: ik heb onderzoek van Stanford gezien waarin een duidelijke grens werd getrokken. Wanneer AI taken automatiseert, daalt het aantal aanwervingen op instapniveau.

Wanneer AI taken aanvult, blijft de werkgelegenheid stabiel of groeit die.

Carlin Power: Ja.

David Rice: Over 34 agenten, of inmiddels meer: aan welke kant van die grens zijn jullie volgens jou terechtgekomen? En was dat een beslissing of een uitkomst?

Carlin Power: Als een bedrijf zich richt op efficiëntie en productiviteit, en het resultaat dus het verminderen van arbeid, vooral arbeid aan het begin van de loopbaan, is, denk ik dat dit vooral wijst op onvolwassenheid in de algehele AI-strategie en het betrokkenheidsmodel.

Het was nooit onze bewuste bedoeling om te zeggen: "We gaan al deze kosten uit de organisatie halen en 40% van de banen schrappen." Volgens mij was dat veel van de angstzaaierij waarover ze vanochtend in de keynote spraken.

Ik vind dat gewoon een te extreme positie. Bovendien is die naar mijn mening van korte duur. Het kan echt schadelijk zijn voor het succes van een organisatie om talent aan het begin van de loopbaan volledig buiten te sluiten.

David Rice: Ja.

Carlin Power: Afgelopen maandag zat ik met onze stagiairs voor inkoop en sourcing. Zij presenteerden hun afstudeerprojecten, waarvan veel gebruikmaakten van onze interne hulpmiddelen en enkele geavanceerde laboratoria waarmee we samenwerken.

Als het hoofd van sourcing en inkoop me niet had verteld dat het stagiairs waren, zou ik hebben gezegd dat ze drie tot vier jaar in hun professionele loopbaan zaten. Dat kwam door de diepgang van hun kennis over zeer complexe problemen rond sourcing en inkoop, hun nauwe samenwerking met de klantaccounts waarmee ze moesten werken, en hun bijdrage aan het vergroten van het aantal activa en contracten dat we beheren.

Ik leerde er zelf dingen van. Ik was onder de indruk van wat ze in zo'n korte tijd konden doen. Nog meer onder de indruk was ik toen het hoofd van sourcing en inkoop aan het einde zei: "Jullie hebben hier bij JLL allemaal een baan als jullie die willen." Dat is een heel goed voorbeeld van waarom we deze banen aan het begin van een loopbaan niet moeten schrappen.

We moeten volledig andere verwachtingen hebben van wat we van talent aan het begin van de loopbaan kunnen krijgen. Daarom hebben we onze strategie voor vroegloopbaantalent volledig opnieuw ontworpen rond projectgebaseerde afstudeerprojecten die daadwerkelijk waarde creëren binnen onze stageprogramma's bij JLL.

Ik denk dus opnieuw dat het waarschijnlijk een kwestie van onvolwassenheid is. Uiteindelijk zullen organisaties daar komen. Ik zou bedrijven afraden om die vroege loopbaanladder te proberen te elimineren, want volgens mij zal daar de komende drie tot vijf jaar juist veel innovatie vandaan komen.

David Rice: Ik vind het geweldig dat je dat zegt, want ik ben al lang voorstander van het idee. Dat afstudeerproject doet me bijna meer denken aan een leerwerktraject.

Carlin Power: Ja.

David Rice: We denken bij stages vaak aan wat ik op de universiteit deed, en dat was behoorlijk saai. Er was niet veel verantwoordelijkheid.

Carlin Power: Volgens mij nam ik telefoons op en deed ik archiefwerk.

David Rice: Precies. Het was niet zo diepgaand dat ik achteraf dacht: "Was dat echt belangrijk?"

Carlin Power: Ja.

David Rice: Zet het op mijn cv.

Carlin Power: Ja, dat heb ik gedaan.

David Rice: Maar het leerwerkmodel waar je het over hebt, betekent dat je echt leert en het werk daadwerkelijk doet.

Carlin Power: Klopt.

David Rice: En dat op een niveau waarop ze, zoals je zei, klonken alsof ze al drie of vier jaar bezig waren.

Carlin Power: Ja. Het verbaasde me enorm. Het hielp me ook om een nieuwe norm vast te stellen en de organisatie te leren wat we van talent aan het begin van de loopbaan moeten verwachten.

Ik hoop dat dit ook op organisatieniveau een competentie vastlegt: we zouden waarschijnlijk ook veel meer van onze professionele medewerkers moeten verwachten. We hebben onze leiders geleerd hoe ze hun waardepropositie kunnen ontwikkelen. We nemen hen mee door een trainingsworkshop met meerdere modules.

Je zou verbaasd zijn, of misschien ook niet, hoe moeilijk het voor hen was om hun huidige waardepropositie voor het bedrijf onder woorden te brengen. We vragen hen vervolgens: wanneer je hele team wordt aangevuld, verbeterd of vervangen door AI, wat ga je dan met die waarde doen? Hoe gaan we die waarde opnieuw benutten, bijvoorbeeld door een hogere doorvoer, betere resultaten, meer tijd met klanten of meer tijd om toekomstige inkomstenstromen op te bouwen?

David Rice: Ik denk dat "mensen eerst" een instrument nodig heeft, anders zijn het alleen woorden, eigenlijk een slogan. Ik ben benieuwd: wat is dat instrument bij jullie? Hoe maakten jullie onderscheid tussen adoptie en naleving, en tussen mensen die gewoon om de agent heen werken?

Carlin Power: Dat was opnieuw een zeer vroege, bewuste beslissing.

We besteedden een aanzienlijk deel van ons budget aan professionals voor betrokkenheid en implementatie. Zij hielpen vanaf het begin al onze medewerkers een niveau van AI-vaardigheid op te bouwen. Dat varieerde van kennismaking met nieuwe hulpmiddelen tot de basisprincipes van generatieve AI, de manier waarop we hun gegevens en die van onze klanten beschermen, en het beantwoorden van vragen die in het begin opkwamen.

Wat gebeurt er bijvoorbeeld als ik een inkomensverklaring van een klant upload naar een GPT? Wij konden zeggen: we hebben dit zo gebouwd dat het veilig en afgeschermd is, maar gebruik je gezonde verstand. We hielpen hen ook bij het vinden van de balans tussen wat ze generatieve AI wel en niet konden toevertrouwen. Een methode van vertrouwen, maar controleren.

Door dat vanaf het begin bij mensen in te prenten, konden ze sneller andere, geavanceerdere mogelijkheden adopteren zodra die beschikbaar kwamen.

We bouwden hulpmiddelen, rolden ze uit en trainden mensen erin. We bouwden ook een ambassadeursprogramma. Dat kon al onze trainingen aanpassen aan de afzonderlijke rollen en profielen binnen onze bedrijfslijnen en bedrijfsfuncties, want we zijn een enorm bedrijf dat in 80 landen actief is.

Op lokaal niveau moet met veel zaken rekening worden gehouden die een centrale functie niet op schaal kan ondersteunen. We moesten daarom de hulp inroepen van experts binnen die domeinen. Zij hielpen ons het volgende niveau van vaardigheid op te bouwen dat onze teams nodig hadden om zelf te kunnen innoveren.

David Rice: We lopen tegen de tijd aan, maar voordat ik je laat gaan, wil ik je een hypothetische vraag stellen. Ik ben dol op hypothetische vragen.

Carlin Power: Zeker.

David Rice: Stel dat je een Chief People Officer hebt met op dit moment geen enkele agent in productie. Het bestuur begint echter druk uit te oefenen. Het wil vooruitgang zien en vraagt waarom die er niet is. Ze hebben twaalf maanden en een budget.

Wat doen ze in maand één tot en met drie om op gang te komen? En wat is het eerste wat ze waarschijnlijk zullen willen doen, terwijl jij denkt: doe dat niet, dat is een beetje tijdverspilling?

Carlin Power: Ik denk dat het eerste is dat je een groep mensen samenstelt die je vertrouwt om binnen de organisatie te experimenteren. Ik weet niet zeker of ik meteen vol zou inzetten op FTE's, maar ik zou domeinexperts binnen je bedrijfslijnen en bedrijfsfuncties zoeken die technisch onderlegd zijn. Zij kunnen helpen echte toepassingen te definiëren waarvan zelfs de experimenten een positieve netto-ROI opleveren.

Als je meteen heel breed probeert te gaan, brengt dat veel kosten met zich mee. Als je intern geen mensen hebt die kennis hebben van de verschillende domeinen binnen je bedrijf of van AI, zullen de kosten enorm oplopen en zal precies gebeuren wat je in deze vragen hebt geschetst.

David Rice: Ja.

Carlin Power: Bouw dus succes op in een paar toepassingen en schaal die daarna op. Gebruik die ROI vervolgens om te investeren in meer hulpmiddelen, of in de meer horizontale, algemene hulpmiddelen die je aan je organisatie levert. Dat is volgens mij essentieel. Het andere onderdeel is de implementatiefunctie, dus het opbouwen van vaardigheid.

Je moet ervoor zorgen dat je mensen zich echt prettig voelen bij het gebruik van hulpmiddelen, en je moet hen stimuleren om ze te gebruiken. Iets waar ik voortdurend naar verwijs en waar ik erg dankbaar voor ben, is onze CEO Christian Ulbrich. Hij heeft de visie vastgesteld en mensen in staat gesteld AI te gebruiken. Hij stelde wereldwijde KPI's vast rond vaardigheid, adoptie en gebruik.

Er was dus geen straf voor het gebruik van deze hulpmiddelen. Het was niet: "Je hebt ontdekt hoe je je afdeling kunt automatiseren? Mooi, dan laten we iedereen gaan." Dat verhaal heeft bij JLL nooit bestaan. Het ging erom dat we AI moesten benutten om onze klanten zo goed mogelijk van dienst te zijn en onze mensen beter te ondersteunen.

Al onze leidinggevenden moesten KPI's opstellen voor het bereiken daarvan en dat gedrag ook als voorbeeld laten zien. Onze CEO was heel duidelijk: ieder van jullie moet AI-hulpmiddelen gebruiken en ik ga dat meten. Als je mensen jou die hulpmiddelen niet zien gebruiken, zullen ze zich niet prettig of gemachtigd voelen om ze zelf te gebruiken.

Hij wilde dat innovatie van onderaf kwam, net zo goed als hij wilde dat voorbeeldgedrag van bovenaf kwam. Mijn advies aan iedere leidinggevende in de C-suite is dus: laat dat gedrag zelf zien en stem de prikkels af op het gedrag dat je in je organisatie wilt zien.

David Rice: Bedankt dat je vandaag te gast wilde zijn. Carlin Power, dames en heren. Tot de volgende keer.

Carlin Power: Heel erg bedankt.

David Rice: Luisteraars, als je dat nog niet hebt gedaan, ga dan naar peoplemanagingpeople.com/subscribe. Schrijf je in voor de nieuwsbrief. Je krijgt deze podcast en alles wat we verder maken rechtstreeks in je inbox.

Tot de volgende keer.