Waarom traditionele AI-risicokaders tekortschieten

David Rice: Een juridisch bestuurder bij een Fortune 500-bedrijf zei het als volgt: haar bedrijf stond niet in brand, maar het voelde alsof iedereen een vlammenwerper vasthield. Dat is waar de meeste organisaties zich nu bevinden: ze zijn zich bewust van het risico, weten niet goed waar ze de slang op moeten richten, en het gevaar komt niet van buitenaf. Het is de interne dynamiek die niemand weet af te remmen.

In de aflevering van vandaag praat ik met Reid Blackman, auteur van The Ethical Nightmare Challenge, over waarom traditionele governancekaders niet zijn ontworpen voor wat er nu gebeurt. Je medewerkers gebruiken AI al op manieren waarop je niet had gerekend. Je kunt niet voorspellen hoe ze AI-agenten zullen gebruiken, en de enige knop waarvan de meeste leiders weten hoe ze die moeten indrukken, is de toegang beperken. Dat is eigenlijk geen oplossing.

Reid maakt een punt dat veel van de ruis rond dit onderwerp doorbreekt. Snel handelen en AI-ethiek serieus nemen zijn geen tegenpolen. Bedrijven die dit als een binaire keuze behandelen, creëren juist de catastrofale vertrouwensbreuken die ze proberen te voorkomen. En je hoeft niet van de ene op de andere dag een uitgebreid AI-ethiekprogramma op te zetten.

Je kunt beginnen op projectniveau: met twee of drie teams, een pilot van tien weken, of zelfs één eerlijk gesprek over waar de nachtmerries vandaan kunnen komen. Dus wat is de eerste vraag die je in jouw organisatie zou moeten stellen? Misschien deze: hebben we stilgestaan bij de ethische, reputatie- en juridische nachtmerries die kunnen ontstaan door de manier waarop we AI invoeren?

De meeste organisaties zullen, als ze eerlijk zijn, nee antwoorden. En daar begin je. Vandaag bespreken we daarom waarom traditionele risicogovernance niet is toegerust op generatieve AI of AI-agenten, wat agentische AI tot een fundamenteel ander governancevraagstuk maakt, waarom snelheid en ethiek geen tegenstelling vormen, en wat ‘snel bewegen en dingen kapotmaken’ werkelijk kost. Tot slot bespreken we hoe je The Ethical Nightmare Challenge op projectniveau kunt starten.

Ik ben David Rice en dit is People Managing People. Als jouw organisatie nog niet heeft stilgestaan bij wat er mis kan gaan en wie daardoor schade kan oplopen, laat dit gesprek zien waarom die vraag niet veel langer kan wachten. Laten we beginnen.

Reid Blackman: Bedankt dat je me hebt uitgenodigd.

David Rice: Je beschrijft in de tekst een juridisch bestuurder bij een Fortune 500-bedrijf die zei dat haar bedrijf niet in brand stond, maar dat het voelde alsof iedereen een vlammenwerper vasthield. Dat beeld spreekt me aan.

Reid Blackman: Ja, dat is een letterlijk citaat.

David Rice: Het is een opmerkelijk beeld, want het vat precies samen hoe veel leiders zich nu voelen. Ze zijn zich bewust van het risico, maar weten niet goed waar ze de slang op moeten richten bij dat hele AI-vraagstuk. Wat is volgens jou de structurele reden dat de meeste organisaties zich in die positie bevinden? En waarom dicht traditionele risicogovernance die kloof niet?

Reid Blackman: Dat is een grote vraag. Een van de belangrijkste redenen is dat organisaties niet weten welke problemen hun medewerkers kunnen veroorzaken. Generatieve AI en vervolgens AI-agenten kunnen in zoveel verschillende contexten door zoveel verschillende mensen voor zoveel verschillende doeleinden worden gebruikt dat je het niet kunt voorspellen.

Je kunt simpelweg niet alle manieren voorspellen waarop het hulpmiddel zal worden gebruikt. Tegelijkertijd weet je dat deze systemen bepaald gedrag kunnen vertonen dat de privacy schendt, op verschillende manieren bevooroordeeld of discriminerend kunnen zijn, en kunnen hallucineren of informatie kunnen verzinnen.

Wanneer je het feit combineert dat er zoveel manieren zijn waarop AI verkeerd kan uitpakken met het feit dat je niet kunt voorspellen hoe al je medewerkers het zullen gebruiken, is het natuurlijk logisch dat je nerveus wordt. Iedereen houdt nu een vlammenwerper vast.

David Rice: Wat mij aan dat beeld opvalt, is dat het gevaar in handen ligt van de mensen die geacht worden de organisatie te sturen. Het is geen externe dreiging. Het is die interne dynamiek die niemand op dit moment weet af te remmen. Dat is volgens mij zowel een leiderschaps- als een cultuurprobleem, naast een governanceprobleem.

Reid Blackman: De enige manier waarop organisaties weten hoe ze moeten afremmen, is door toegang te beperken en de hulpmiddelen niet te gebruiken. Ze kunnen dingen verbieden.

David Rice: Wat niet echt een oplossing is.

Reid Blackman: Nee. Op zijn best is het een tijdelijke noodmaatregel. En met agentische AI wordt dit nog ingewikkelder. Wanneer je medewerkers vraagt om de nieuwste agentische systemen te gebruiken, hun eigen agent, assistent of dashboard te bouwen, kunnen de zaken echt uit de hand lopen. Niemand weet wat ze zullen bouwen, waarvoor ze het zullen gebruiken of hoe ze het in hun werkprocessen zullen toepassen.

Zullen ze de juiste controles inbouwen? Weten ze welke risico’s bestaan? En hoe oefenen ze hun professionele oordeel uit in deze zeer grijze context?

David Rice: Het is bijzonder moeilijk. Agentische AI is misschien anders vanwege de manier waarop het wordt gebouwd. Maar wanneer we nadenken over grote taalmodellen en generatieve AI op de werkvloer, zie ik ook iets interessants aan die vlammenwerpermetafoor: HR komt de kamer binnen terwijl het ding al aanstaat en overal om zich heen spuit.

Iedereen past zich er namelijk al aan aan, gebruikt het al en neemt het op in werkprocessen op manieren waarvan je niet eens weet dat ze plaatsvinden of waar je nog niet over hebt nagedacht. En nu moet je daar grip op krijgen. Vervolgens komt er ook nog iemand met het idee: ‘We gaan dit zelf bouwen.’

Het is een interessante tijd. De druk om te versnellen komt van alle kanten: raden van bestuur, investeerders, directies en concurrenten. Wie neemt het eigenaarschap op zich om te zeggen: wacht even, we moeten vertragen en een paar ethische vragen stellen?

Reid Blackman: Laat me AI-agenten kort definiëren. Een AI-agent heeft doorgaans een groot taalmodel als kern, vergelijkbaar met een chatbot waarmee je communiceert. Om van een agent te kunnen spreken, moeten twee voorwaarden zijn vervuld.

Ten eerste moet het systeem verbonden zijn met andere hulpmiddelen. Je koppelt het taalmodel bijvoorbeeld aan internet, bedrijfsdatabases, bedrijfssoftware zoals je CRM-systeem, of misschien aan andere AI-systemen. Ten tweede moet het een bepaalde mate van autonomie vertonen. Je geeft het systeem een doel, in plaats van elke afzonderlijke stap voor te schrijven.

Je zou bijvoorbeeld willen kunnen zeggen: ‘Stuur mijn vijf belangrijkste klanten een e-mail met deze boodschap, op basis van die informatie.’ Het systeem bepaalt dan zelf welke hulpmiddelen het moet gebruiken, welke zoekopdrachten het moet uitvoeren, welke databases het moet raadplegen en welke andere AI- of softwaresystemen het moet inschakelen.

Omdat het zelf bepaalt hoe het de door de gebruiker opgegeven doelen nastreeft, is het autonoom met betrekking tot de middelen waarmee het die doelen bereikt. Wanneer een taalmodel met hulpmiddelen is verbonden en vrij is om zelf te bepalen hoe het de opgegeven doelen nastreeft, heb je een AI-agent.

Daarmee wordt ook de complexiteit duidelijk. Wat een agent doet, is sterk afhankelijk van de context: wie gebruikt de agent, met welke hulpmiddelen is hij verbonden, tot welke gegevens en software heeft hij toegang, in welke volgorde gebruikt hij die hulpmiddelen en welke beslissingen mag hij nemen?

David Rice: Dat verklaart waarom traditionele risicogovernance die kloof niet dicht. We schrijven in sommige gevallen niet eens duidelijke functieomschrijvingen voor AI-agenten, en verschuivingen in hun gedrag zijn reëel. We kunnen zien dat ze dingen gaan doen die we nooit hebben bedoeld.

Reid Blackman: Traditionele AI-governance is sterk top-down en beleidsgericht. In een grote organisatie weet je hoe lang het duurt om beleid goed te keuren. Voor een raad van bestuur om uiteindelijk organisatiebreed beleid vast te stellen, duurt dat minstens een jaar. Soms twee jaar.

De technologie ontwikkelt zich ondertussen razendsnel. Zodra het beleid is gepubliceerd, moet je bovendien een bewustwordingscampagne opzetten. Je moet het beleid vertalen naar afdelingen, functies en werkprocessen. Dat is een proces van vele maanden of zelfs jaren.

En dan verschijnt agentische AI. Plotseling voer je beleid uit dat alweer verouderd is. Je moet opnieuw goedkeuring krijgen van directie en bestuur. Het wordt een eindeloze puinhoop.

Bij AI-agenten is een beleidsdocument bovendien contextafhankelijk. Misschien zijn tien van de twintig procedures relevant voor jouw specifieke agent, zijn tien andere irrelevant en ontbreken er nog tien procedures die juist essentieel zijn. Het uitgangspunt dat we vooraf alle controles en procedures kennen die nodig zijn om alles correct te laten verlopen, werkt niet meer bij de complexiteit van agentische AI.

David Rice: Veel raden van bestuur behandelen AI-ethiek als een vinkje voor compliance. Anderen beschouwen het als een IT-kwestie. Wanneer wordt die houding in feite een fiduciaire tekortkoming? Hoe ziet verantwoordelijkheid eruit wanneer een AI-systeem echte schade veroorzaakt?

Reid Blackman: Mijn antwoord op die vraag is in de loop der jaren veranderd. Vroeger vond ik het onzin wanneer mensen zeiden dat AI-ethiek en AI-governance je niet vertragen, maar je juist sneller laten gaan. Met agentische AI verandert dat gedeeltelijk, omdat het zo duidelijk is dat AI-agenten volledig uit de rails kunnen lopen.

Je hoeft geen technoloog te zijn om te begrijpen dat systemen die op grote schaal en met hoge snelheid beslissingen nemen over tientallen softwaresystemen ernstige problemen kunnen veroorzaken. Autonomie, toegang tot gegevens, hulpmiddelen, klanten en cliënten: dat kan behoorlijk ver gaan.

Daarom denk ik nu minder aan remmen en meer aan een stuur. Als je niet weet hoe je agenten op de juiste manier moet sturen, is het duidelijk dat het mis kan gaan. Daardoor beginnen steeds meer senior leiders en directieleden buiten de technologiesector te begrijpen dat dit geen puur IT-vraagstuk is.

David Rice: AI is niet alleen een juridisch probleem. Vanuit HR-perspectief is het ook een cultuurprobleem, een vertrouwensprobleem en een probleem voor de bedrijfscontinuïteit. Zijn HR-leiders verantwoordelijk voor het aankaarten van deze risico’s voordat ze bij juridische zaken belanden?

Reid Blackman: Bestuurders hebben vaak onvoldoende kennis van AI. Ze worden geïntimideerd door de technologie en denken dat het een zaak is voor IT of datawetenschappers. Daardoor houden ze AI op afstand, juist wanneer ze zouden moeten nadenken over het voorkomen van ernstige scenario’s.

Dat is gevaarlijk, vooral omdat generatieve en agentische AI de technologie democratiseren. AI komt in handen van iedereen. Dat is geweldig, maar we moeten mensen wel op hun gemak stellen en de drempel verlagen om zinvolle gesprekken te voeren over risico’s en hoe je die voorkomt.

We hebben een oplossing nodig die snel toepasbaar en schaalbaar is, die op verschillende plekken in de organisatie kan beginnen en niet wacht op een organisatiebreed beleid of op de raad van bestuur.

De kernvraag is: welke ethische, reputatie- en juridische nachtmerries kunnen in onze afdeling ontstaan? Welke middelen heeft de afdeling nodig om die te voorkomen? En hoe moeten we medewerkers trainen om die middelen effectief te gebruiken?

David Rice: De conventionele kaders voor verantwoordelijke AI zijn gebouwd voor beperkte, voorspelbare systemen. Ze zijn niet ontworpen voor agentische systemen. Waarom loopt de organisatie zo achter?

Reid Blackman: Een van de redenen is dat we te veel verwachten van technologiegerichte bestuurders. Zij moeten organisatieverandering leiden, maar zijn nooit noodzakelijkerwijs geleerd hoe ze contact leggen met HR, operations, marketing of andere afdelingen.

Later realiseerde ik me dat het probleem niet alleen is dat deze verandering politiek moeilijk is. We geven organisaties vanaf het begin een te grote politieke opgave. We moeten kleiner beginnen, in afzonderlijke onderdelen, en van daaruit uitbreiden in plaats van te wachten op volledige afstemming op CEO-niveau.

David Rice: De kern van jouw boek is The Ethical Nightmare Challenge. Wat gebeurt er in die gesprekken?

Reid Blackman: De uitdaging bestaat uit drie vragen. Ten eerste: wat zijn de ethische AI-nachtmerries van jouw organisatie? Ten tweede: welke middelen heb je om die nachtmerries te voorkomen? Ten derde: hoe train je mensen om die middelen effectief te gebruiken?

Die drie vragen zijn op elk niveau toepasbaar. Je kunt ze stellen voor een specifieke AI-oplossing, een afdeling, een divisie of de hele organisatie. Iedereen zou moeten worden getraind in deze drie vragen en in de manier waarop AI-risico’s ontstaan, zoals vooroordelen, hallucinaties, automatiseringsbias en ketenfouten in agentische systemen.

Voor de aanschaf of ontwikkeling van AI-oplossingen kun je teams voor de Ethical Nightmare Challenge vormen. Zo’n team bestaat idealiter uit mensen uit verschillende functies: HR, datawetenschap, juridische zaken, risico, compliance en eventueel de leverancier.

Het team beoordeelt welke nachtmerries mogelijk zijn, hoe waarschijnlijk ze zijn en hoe groot de impact zou zijn. Zo ontstaat een risicoscore waarmee je prioriteiten kunt stellen. Je hoeft niet in elke afdeling een team op te richten. Je creëert ze waar en wanneer dat nodig is.

Op die manier bouw je organisatorische capaciteit op om ethische nachtmerries te voorkomen. Als iedereen dezelfde taal gebruikt en dezelfde werkwijze hanteert, sijpelt dat vanzelf door in de cultuur.

David Rice: Vanuit people operations lijkt dit iets wat vóór de implementatie moet gebeuren, niet pas na een incident. Hoe bouw je anticipatie in processen in?

Reid Blackman: Projectteams voor de Ethical Nightmare Challenge werken proactief. Ze identificeren mogelijke nachtmerries voordat er iets misgaat en ontwikkelen middelen en trainingen om ze te voorkomen. Ze bepalen ook hoe een AI-oplossing na implementatie moet worden gemonitord.

Op afdelingsniveau gaat het om het creëren van voorwaarden waarmee projectteams hun werk goed kunnen doen. Dat kan bestaan uit gespecialiseerde trainingen, een inventaris van mogelijke nachtmerries, een bibliotheek met strategieën om ze te voorkomen of periodieke gesprekken tussen projectleiders.

Het gaat om faciliteren in plaats van alleen regels opleggen. Afdelingshoofden moeten helpen het probleem op te lossen.

David Rice: Waar ligt de verantwoordelijkheid wanneer een AI-agent schade veroorzaakt?

Reid Blackman: Er is geen algemeen antwoord. Denk aan een helikoptercrash. Was er een ontwerpfout, een productiefout, een onderhoudsprobleem, een fout van de piloot of van de luchtverkeersleiding? AI-agenten zijn eveneens samengesteld uit veel hulpmiddelen die door verschillende teams en leveranciers zijn ontwikkeld.

Een probleem kan ontstaan door een gekoppeld hulpmiddel, een taalmodel, een externe leverancier, interne aanpassingen of de manier waarop het systeem is ingezet. Wie verantwoordelijk is, hangt af van de specifieke omstandigheden.

David Rice: Organisaties gebruiken soms AI zonder dat medewerkers weten dat ze ermee werken of erdoor worden beoordeeld. Dan gaat het niet alleen om compliance, maar ook om transparantie, toestemming en vertrouwen.

Reid Blackman: Bestuurders zijn soms bang om met medewerkers over risico’s te praten, omdat ze denken dat mensen AI dan niet zullen adopteren. Dat is een vergissing. Je lost problemen niet op door te doen alsof ze niet bestaan.

Mensen zijn vaak al angstig omdat ze niet begrijpen wat AI doet. Als je zegt: ‘Maak je geen zorgen, alles is geweldig’, vergroot je die angst niet. Je kunt adoptie beter stimuleren door te zeggen: we willen dat jullie dit meer gebruiken, we erkennen dat er risico’s zijn, we begrijpen dat jullie daar bezorgd over zijn en we geven jullie een manier om het verantwoord te gebruiken in overeenstemming met jullie professionele oordeel.

David Rice: Ethische nachtmerries ontstaan zelden uit kwade bedoelingen. Ze ontstaan doordat goedwillende mensen snel bewegen binnen systemen die ze niet volledig begrijpen of die niet voor die snelheid zijn ontworpen. Hoe leg je aan een CEO uit dat ethiek en snelheid geen tegenstelling vormen?

Reid Blackman: Als je snel wilt bewegen, moet je mensen volledig opleiden. Alleen de kansen uitleggen en niet de risico’s is onverantwoord. Als AI-agenten niet goed worden gebouwd, gecontroleerd en gebruikt, zullen ze ontsporen.

Je moet mensen leren hoe het mis kan gaan en hoe ze hun professionele oordeel kunnen gebruiken. Dat is juist de enige manier om sneller te kunnen handelen. Het is een misvatting dat je óf snel beweegt en dingen kapotmaakt óf niet snel kunt bewegen.

David Rice: De belangrijkste herformulering is misschien dat ethische AI-fouten niet alleen gebeuren bij slechte actoren. Ze gebeuren ook bij organisaties die het goed willen doen, maar sneller bewegen dan hun beoordelingsvermogen kan bijhouden.

Reid Blackman: Dat is precies het punt: sneller bewegen dan menselijke oordeelsvorming. Je hebt niet per se meer regels nodig, maar meer organisatorische capaciteit om op het juiste moment te vertragen.

David Rice: Wat moet een directielid doen dat dit gesprek heeft gevolgd en beseft dat de huidige kaders waarschijnlijk niet volstaan?

Reid Blackman: Begin met één vraag: hebben we stilgestaan bij de ethische, reputatie- en juridische nachtmerries die kunnen ontstaan door onze invoering van AI?

Ik zou niet beginnen met een organisatiebreed programma. Je kunt The Ethical Nightmare Challenge als pilot uitvoeren met twee of drie teams, bijvoorbeeld op projectniveau binnen één afdeling. Train de mensen, doorloop de methode en werk gedurende tien weken aan het voorkomen van nachtmerries.

Daarna kun je beoordelen of opschaling nodig is. Misschien niet. Misschien wel. Je schaalt op wanneer dat nodig is. Je hoeft niet te beginnen met een groot, zwaar organisatiebreed programma. Je kunt en moet klein beginnen.

David Rice: Reid, bedankt dat je vandaag te gast was. Het was een geweldig gesprek.

Reid Blackman: Dank je wel.

David Rice: Luisteraars, bekijk zeker Reid Blackman en zijn boek The Ethical Nightmare Challenge. Denk na over de vragen die het boek opwerpt. Als je dat nog niet hebt gedaan, ga dan naar peoplemanagingpeople.com/subscribe en meld je aan voor de nieuwsbrief.

Tot de volgende keer: maak er een gewoonte van om te vragen: ‘Wat kan hier misgaan en wie loopt daardoor schade op?’ in plaats van: ‘Hoe snel kunnen we dit lanceren?’