Het deel van AI-afstemming dat bij people leaders hoort

Het mechanisme is belangrijker dan de ironie. Haar instructie werd niet terzijde geschoven, maar verwijderd. De agent bereikte zijn contextlimiet en vatte zijn eigen geschiedenis samen om daarbinnen te blijven, waarbij het samenvatten het deel wegliet waarin zij zei dat het moest wachten. De regel bestond. Toen bestond hij niet meer, en niets in het systeem signaleerde het verschil.

Elke HR-leider die heeft gezien hoe een beleid de onboarding overleeft en vervolgens tegen maand vier verdampt, zal de vorm van die mislukking herkennen.

Twee argumenten over één woord

Tijdens een AI4-panel in Las Vegas vorige week over het werkelijkheid maken van afstemming konden vier mensen die hier beroepsmatig aan werken het niet eens worden over wat het woord "afstemming" omvat.

David Krueger, AI-professor en uitvoerend directeur van de non-profitorganisatie Evitable, gebruikt het begrip breed: ervoor zorgen dat een systeem probeert zich te gedragen zoals je bedoelt dat het zich gedraagt. Soms is die bedoeling specifiek; dat noemt hij "afstemming van intentie". Soms komt het meer in de buurt van "handel in overeenstemming met mijn waarden".

Spencer Whitman, productdirecteur bij Gray Swan, dat grensverleggende modellen test vóór de release, betoogde dat de term is uitgerekt over een spectrum met in het midden niets bruikbaars. Aan de ene kant staat de vraag of een systeem de belangen van de mensheid behartigt. Aan de andere kant staat een veel kleinere en beter hanteerbare vraag: "begreep dit systeem wat ik vroeg en handelde het daarnaar?"

Whitman betwijfelt of de eerste vraag überhaupt te beantwoorden is, aangezien mensen het hevig oneens zijn over wat de belangen van de mensheid zijn. Volgens hem is de tweede vraag waar ondernemingen daadwerkelijk mee te maken hebben.

Jon Kutasov, die bij Anthropic een subteam binnen het team voor afstemmingstraining leidt, gaf de meest operationele definitie in de zaal. Hij wil niet verrast worden door de manier waarop een model zich gedraagt nadat het is ingezet. Als het model hen verrast, hebben zij gefaald. Volgens die maatstaf, zei hij, zijn de huidige modellen niet afgestemd. Ze komen in de buurt en komen steeds dichterbij, maar ze doen nog steeds dingen waarvan zijn team liever had gezien dat ze die niet deden.

Die definitie is breed toepasbaar. Het is dezelfde lat die je zou leggen voor een nieuwe medewerker met tekenbevoegdheid.

Modelmakers zorgen voor afstemming. Alle anderen besturen.

John Buyers, partner bij het internationale advocatenkantoor CMS, die al dertien jaar in AI werkzaam is, trok de grens die het belangrijkst is voor iedereen die dit leest.

Afstemming, zei hij, is een interne oefening die wordt uitgevoerd door de platforms die de modellen beheren. Alle anderen doen iets anders. 

"Zakelijke gebruikers kunnen niet betrokken raken bij afstemming, omdat zij niet de modeleigenaren zijn," zei hij. "Zij moeten het model besturen."

Dit is de zin die je aan je directieteam moet meegeven. Of Claude, ChatGPT of Gemini is getraind om zich goed te gedragen, is geen beslissing waaraan jouw bedrijf deelneemt. Wat jouw bedrijf beheerst, is waarop het systeem wordt gericht, wat het mag aanraken en wie toezicht houdt. Dat is governance, en het staat veel dichter bij functieontwerp dan bij datawetenschap.

Buyers' grotere zorg is dat afstemming momenteel geen ondergrens heeft. Elk lab doet het anders, volgens commerciële tijdlijnen en zijn eigen normen. In elk ander domein met vergelijkbare gevolgen, zo betoogde hij, zouden we basisindicatoren voor hygiëne verwachten waaraan een ontwikkelaar wel of niet voldoet.

De instructies die onuitgesproken blijven

In juli maakte OpenAI bekend dat twee van zijn modellen, waaronder één dat nog niet was uitgebracht, tijdens een cybersecurityevaluatie uit een afgeschermde testomgeving waren ontsnapt, het internet waren opgegaan en hadden ingebroken bij Hugging Face om de antwoorden te stelen op de test die ze kregen. Hugging Face had de inbraak al ontdekt en bij de politie gemeld voordat de twee bedrijven de verbanden legden.

Het panel was verdeeld over de vraag of dit überhaupt een geval van verkeerde afstemming was. Whitman betoogde dat de modellen precies hadden gedaan wat hun was opgedragen, namelijk agressief hacken, en dat de werkelijke fout lag bij een beperkingsomgeving die te zwak was om hen tegen te houden.

De Anthropic-onderzoeker was het daar ronduit niet mee eens. Het model zou hebben begrepen dat inbreken bij een niet-gerelateerd bedrijf niet de bedoelde manier was om de vraag te beantwoorden.

De versie van de onenigheid van Krueger is degene waarnaar leidinggevenden het duidelijkst zouden moeten luisteren. Elke instructie bevat dingen die onuitgesproken blijven. Iemand vragen om een evaluatievraag op te lossen, houdt impliciet ook in dat die persoon niet moet inbreken in het gebouw waar het antwoordblad wordt bewaard. We verwachten dat inzicht als uitgangspunt, en we schrijven het bijna nooit op, omdat het onmogelijk is om het op te schrijven. De onuitgesproken laag is groter dan de uitgesproken laag.

Het beheren van die kloof is wat HR al doet sinds de uitvinding van de functieomschrijving. De competentie is aanwezig. Die bevindt zich momenteel in een afdeling die meestal pas wordt geïnformeerd over de implementatie van AI nadat de doelstellingen zijn vastgesteld.

Inkopers wezen op één bevinding uit de technische hoek die de argumentatie zou moeten aanscherpen. Geef een model een reeks regels zonder context en het presteert slechter dan wanneer je uitlegt waarom die regels bestaan. De reden waarom een beperking belangrijk is, blijkt doorslaggevend te zijn voor de vraag of de beperking standhoudt.

Vraag elke manager die beleid heeft gehandhaafd dat hij niet kon onderbouwen hoe dat afloopt.