Bouwen, leren, opschalen. En dan?
Verschuiving in governance: AI-governance moet evolueren van beleid naar monitoring tijdens runtime nu agentische AI autonoom acties onderneemt.
Prioriteit bij implementatie: AWS geeft voorrang aan een snelle implementatie van AI boven governance, met de nadruk op leren en opschalen in productie.
Onbeheerde risico's: Credo AI catalogiseert 1.600 AI-risico's, waarvan voor 15% geen risicobeperking bestaat, wat zorgen oproept over governance voor agentische AI.
Hiaten in verantwoording: Huidige governancekaders hebben moeite om verantwoordelijkheid toe te wijzen voor acties van AI-agenten die gevolgen hebben voor gebruikers.
Tijdens een live demonstratie bij HumanX vorige week leidde Mati Staniszewski, medeoprichter van ElevenLabs, een publiek door een overheidsdienstagent die op het platform van zijn bedrijf was gebouwd.
De agent begeleidde een fictieve gebruiker bij de registratie van een bedrijf. Hij verifieerde diens identiteit via WhatsApp. Hij haalde documenten op uit een gekoppeld Google-account, schakelde midden in het gesprek van taal toen de gebruiker Spaanstalige medewerkers noemde en beantwoordde vragen over het proces voor het verkrijgen van een verkopersvergunning in Californië.
Toen vroeg de gebruiker naar belastingen. De agent beëindigde het gesprek.
Create a Free Account to Keep Reading—and Keep Leading Smarter
Unlock this piece and join a community of forward-thinking leaders discovering tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Hij gaf geen onzekerheid aan. Hij escaleerde het probleem niet. Hij beëindigde een gesprek waarvan een echte gebruiker zou hebben aangenomen dat het werd afgehandeld, omdat de agent niet wist dat er een belastingdienst bestond waarnaar hij kon doorverbinden.
Staniszewski loste het probleem op het podium binnen enkele minuten op door de bedrijfsagent met een belastingagent te verbinden, de wijziging door te voeren en opnieuw te beginnen. Het publiek keek toe hoe een productie-update live en in realtime werd uitgevoerd.
Wat de moeite waard is om bij stil te staan, is niet dat de agent faalde. Agenten falen. Het gaat om de manier waarop de fout eruitzag. Geen waarschuwing. Geen overdracht. Geen registratie van wat de gebruiker nodig had. De tekortkoming werd pas zichtbaar toen een gebruiker ermee te maken kreeg.
Plaats dat scenario nu binnen Revolut, dat ElevenLabs-agenten heeft ingezet voor vier miljoen klanten in meer dan 30 talen. Of binnen Deutsche Telekom, waar het netwerk nu agenten omvat die vragen van klanten in realtime afhandelen. Het knelpunt is volgens Staniszewski niet langer de technologie. Het is de implementatie.
Die uitspraak is zowel accuraat als, voor iedereen die verantwoordelijk is voor wat die agenten doen, de belangrijkste zin van de hele sessie.
Het model waarvoor governance is ontwikkeld
Gedurende het grootste deel van de afgelopen drie jaar werkte AI-governance binnen ondernemingen op basis van een beheersbare reeks aannames. Een AI-systeem deed een aanbeveling. Een mens beoordeelde die. Die mens droeg de verantwoordelijkheid voor wat er daarna gebeurde. Het model was niet perfect, maar het was begrijpelijk. Je kon aanwijzen waar een beslissing werd genomen en wie die had genomen.
Die architectuur valt uiteen.
Navrina Singh, oprichter en CEO van Credo AI, houdt zich al zes jaar bezig met het opbouwen van wat zij de categorie AI-governance noemt. Ze begon in het tijdperk van voorspellende machine learning en opereert nu diep in het agentische tijdperk.
Bij HumanX beschreef ze de centrale verschuiving. Governance ging vroeger over beleid, maar moet nu gaan over operationele waarborgen en waarborgen tijdens de uitvoering. Dat onderscheid is belangrijker dan het misschien klinkt. Beleid is iets wat je opstelt, jaarlijks beoordeelt en bijwerkt wanneer er iets misgaat.
Governance tijdens de uitvoering betekent voortdurend monitoren wat een AI-systeem daadwerkelijk doet, in productie, aan de hand van criteria die mogelijk moeten veranderen naarmate het onderliggende model zich ontwikkelt.
Die verschuiving van beleid naar uitvoering sluit rechtstreeks aan op het verschil tussen adviserende AI en agentische AI. Adviserende AI doet suggesties binnen een afgebakend bereik. Agentische AI onderneemt actie, koppelt die acties tussen systemen aan elkaar, draagt taken over aan andere agenten en produceert resultaten die vooraf door geen enkele afzonderlijke mens zijn beoordeeld.
De demonstratie van ElevenLabs bracht dit in enkele minuten samen. Eén eerste gebruikersinteractie leidde tot authenticatie via WhatsApp, het ophalen van documenten uit Google Workspace, een taalwisseling, een naadloze overdracht aan een andere agent en een proactief uitgaand gesprek waarin een subsidieprogramma werd aangeboden. Vijf afzonderlijke autonome acties. Geen mens gaf voor elke stap afzonderlijk goedkeuring. Dat is hoe agentische AI eruitziet op het niveau van één gebruiksscenario.
Op ondernemingsschaal wordt het tekort aan governance aanzienlijk moeilijker te beheersen.
De rekensom van de bouwers
Matt Garman, CEO van Amazon Web Services, was duidelijk over waar de waarde van AI binnen ondernemingen zich daadwerkelijk opstapelt. De eerste successen met generatieve AI, zoals contentcreatie en het samenvatten van documenten, maken plaats voor iets fundamentelers.
Agenten zijn de manier waarop de meeste ondernemingen en de meeste bedrijven het grootste deel van hun waarde uit AI zullen halen.
Amazons interne implementatie weerspiegelt die bewering. De Quick Suite-tool van het bedrijf geeft honderdduizenden werknemers toegang tot AI-agenten die verbonden zijn met bedrijfsgegevens in Salesforce, Workday, e-mail en interne documentatie.
Softwareontwikkelaars zien met hulp van AI ongeveer 4,5 keer zoveel output als zonder. Een codeeragent genaamd Kiro loste onlangs een bugverzoek van een klant op en voerde de oplossing binnen 25 minuten door.
Dit zijn echte voordelen, en Garman presenteerde ze zonder overdrijving. Maar in de onderbouwing voor implementatie zit een prioriteitsvolgorde waar governance rekening mee moet houden. Staniszewski was daar expliciet over.
De bottleneck is niet langer technologie. Het is implementatie. De bedrijven die lanceren, leren en snel opschalen, zijn de bedrijven die zullen winnen.
Lanceren. Leren. Opschalen. Dat is de volgorde. Governance komt er niet in voor, niet omdat het wordt genegeerd, maar omdat de concurrentielogica van het huidige moment snelheid beloont. De fase van 'leren' in die volgorde vindt plaats in productie, met echte gebruikers en echte gevolgen.
Dit is geen cynisme. Garman en Staniszewski beschrijven hoe technologiemarkten werken wanneer de mogelijkheden snel verbeteren en de kosten van wachten reëel zijn. Maar voor de CHRO die verantwoordelijk is voor AI-beslissingen binnen het personeelsbestand, of de COO wiens activiteiten worden heringericht rond agentische systemen, pakt de afweging anders uit. Zij ontvangen niet de voordelen van als eerste bewegen. Zij erven de aansprakelijkheid wanneer er iets misgaat.
Een kloof die niemand heeft gedicht
Credo AI heeft samengesteld wat Singh beschrijft als 's werelds grootste database met AI-risico's, waarin momenteel ongeveer 1.600 afzonderlijke categorieën worden bijgehouden. Voor ongeveer 85% daarvan hebben ze risicobeperkende maatregelen.
Voor de resterende 15 procent, ongeveer 240 bekende risicocategorieën, bestaat nog geen vastgestelde risicobeperkende maatregel. Dat is de stand van governance bij adviserende AI. Agentische systemen, waarin meerdere modellen met elkaar communiceren, taken aan elkaar overdragen en uitvoer produceren die als input dient voor verdere geautomatiseerde beslissingen, introduceren manieren waarop systemen kunnen falen die nog niet volledig in kaart zijn gebracht, laat staan beperkt.
Het moeilijkere probleem dat Singh benoemde, is herkomst. In een systeem met meerdere agenten vereist het traceren van verantwoordelijkheid dat niet alleen wordt vastgesteld welke beslissing is genomen, maar ook hoe. Dus: welke agent welke bijdrage leverde, welke gegevensbronnen werden geraadpleegd, waar in de keten een fout ontstond en hoe een correctie zou worden doorgevoerd.
De meeste governancekaders zijn ontworpen om de uitvoer van een model te beoordelen. Ze zijn niet gebouwd om de redenering te reconstrueren van een onderling verbonden systeem dat over platforms, modellen en organisatorische grenzen heen opereert.
Saahil Jain, CTO van You.com, dat de overstap maakte van zoeken voor consumenten naar het bouwen van zoek-API's voor AI-agenten, beschreef het structurele probleem. Menselijke gebruikers wisselen informatie uit en vormen een oordeel over wat ze zien. Agenten die informatie verwerken, beschikken niet over dezelfde capaciteit tot zelfcorrectie.
"Ze zullen in wezen de context gebruiken die ze krijgen en die op een bepaalde manier citeren waarin geen mensen in de lus zijn opgenomen", zei hij.
De governancearchitectuur die ondernemingen hebben opgebouwd, gaat ervan uit dat er ergens in de keten sprake is van menselijke controle. In de loop van de week bij HumanX hoorde ik de frase 'agenten die agenten besturen' steeds opnieuw. Het lijkt erop dat agentische implementatie die aanname systematisch verwijdert, zonder haar te vervangen door iets dat structureel gelijkwaardig is.
Regelgevingskaders dichten de kloof niet. Singh heeft overheden in de VS, Europa, Australië en India geadviseerd over AI-governance, en ze was direct over het bestaan van een enorme achterstand.
Regels die zijn ontworpen voor eerdere machine-leersystemen sluiten niet goed aan op agentische architecturen. De AI-wet van Colorado stuurt aan op effectbeoordelingen. Europese vereisten voor privacy en transparantie worden op het niveau van grensverleggende modellen aangescherpt.
Maar het tempo van de implementatie van agentische AI loopt ver voor op elke regelgevingcyclus, en Singh verwacht dat dit in de voorzienbare toekomst zo zal blijven.
De nalevingsbasis is niet het plafond
Naleving van SOC 2 is een basisvoorwaarde geworden bij de inkoop van AI door ondernemingen. Singh beschreef Fortune 500-klanten die, na een jaar van brede experimenten met meerdere leveranciers, leveranciers nu nauwkeurig onderzoeken op de vraag of hun gegevens worden beschermd, of hun verantwoordingsnormen zijn gedocumenteerd en of het binnenhalen van hun AI in de onderneming per saldo extra risico's met zich meebrengt.
Volgens Singh bereikt daardoor slechts ongeveer 40% van de AI-leveranciers de productiefase bij grote ondernemingen. De selectiedruk is reëel.
Maar SOC 2-naleving en governance voor AI-agents zijn verschillende zaken, en ze met elkaar verwarren is een van de meer verstrekkende fouten die de ondernemingsmarkt momenteel maakt.
SOC 2 heeft betrekking op beveiliging en beschikbaarheid. Het zegt iets wezenlijks over de vraag of de systemen van een leverancier beschermd en betrouwbaar zijn. Het zegt niets over de vraag of de beslissingen van een agent traceerbaar zijn, of de uitvoer ervan contextueel accuraat is, of deze uitzonderingsgevallen op de juiste manier escaleert, of dat zijn gedrag verandert wanneer de onderliggende modellen zonder voorafgaande kennisgeving worden bijgewerkt.
Dat zijn governancevraagstukken en daarvoor is een ander soort infrastructuur nodig dan een nalevingscertificering biedt.
Singh schetste hoe die infrastructuur er in de praktijk uitziet: governanceteams met datawetenschappers, specialisten op het gebied van risico's en privacy en gedragsdeskundigen, niet alleen beveiligingspersoneel. Onafhankelijke verificatieorganisaties, waaronder een opkomende standaard genaamd AIUC, die agentische systemen via externe partijen toetsen aan vastgestelde criteria. Voortdurende monitoring tijdens runtime, niet alleen evaluatie vóór implementatie.
Credo AI heeft onlangs een governance-MCP gelanceerd, momenteel in bèta, die is ontworpen om waarborgen stroomopwaarts in het ontwikkelingsproces zelf te integreren. Hierdoor krijgen bouwers de mogelijkheid om governancelogica al tijdens de constructie in te bedden in plaats van die achteraf als extra laag toe te voegen.
De richting is juist. Of de adoptie snel genoeg gaat om ertoe te doen, is een afzonderlijke vraag.
De verantwoordingsvraag
Garman beschrijft de AI-transformatie bij Amazon met specifiek optimisme. Verkoopteams die het grootste deel van hun tijd met klanten doorbrengen in plaats van met de administratie van hun verkooppijplijn, softwareontwikkelaars die niet langer worden geblokkeerd door achterstanden die jaren duren, producten die sneller worden geleverd en beter inspelen op wat gebruikers daadwerkelijk willen. De voordelen zijn reëel. De redenering klopt.
Maar in het beeld van de implementatie van agentische AI zit een vraag waarop governanceraamwerken nog geen duidelijk antwoord hebben gegeven. Als een AI-agent een handeling verricht die iemand schade berokkent, wie is er dan verantwoordelijk?
De spraakagent die op het verkeerde moment een gesprek beëindigt en een gebruiker die hulp nodig had aan zijn lot overlaat. De financiële AI die iemand ten onrechte markeert en diens toegang tot krediet beïnvloedt. De agent voor HR-screening die een kandidaat lager prioriteert op basis van criteria waarin historische vooringenomenheid is verwerkt. Het uitkeringsplatform dat een claim automatisch afwijst zonder enige menselijke controle voordat de beslissing de betrokkene bereikt.
In elk geval handelde een agent. In elk geval had een mens het proces in gang gezet. In elk geval is de keten tussen beslissing en gevolg langer en diffuser dan waarvoor bestaande governanceraamwerken ooit zijn ontworpen.
Singhs observatie over wachten verdient het om serieus te worden genomen, los van de bedrijfslogica die ze naar voren bracht.
"Veel bedrijven zeggen tegen ons wanneer we met hen spreken: laten we wachten tot er een incident plaatsvindt en dan, als we in AI-governance moeten investeren, doen we dat," zei ze. "Tegen die tijd zijn ze irrelevant."
Dat is een concurrentieargument. Er is ook een moeilijker argument. Naarmate agentische AI haar intrede doet in de administratie van uitkeringen, prestatiebeoordeling, personeelsplanning, klantenfinanciering en klinische intake, hebben de mensen die deze beslissingen ondergaan legitieme belangen bij de manier waarop die beslissingen worden genomen en bij de vraag wie antwoord geeft wanneer ze verkeerd zijn.
Governanceraamwerken die zijn afgestemd op AI als adviseur zijn niet toereikend voor AI als actor. De bouwers weten dit. Toch implementeren ze de systemen. Het venster om verantwoording in deze systemen in te bouwen voordat de werkprocessen zich eromheen reorganiseren, staat niet onbeperkt open.
