Den del af AI-tilpasningen, der hører under ledere med personaleansvar

Mekanismen er vigtigere end ironien. Hendes instruktion blev ikke tilsidesat, den blev droppet. Agenten nåede sin kontekstgrænse og komprimerede sin egen historik for at holde sig inden for den, og komprimeringen opsummerede den del væk, hvor hun havde sagt, at den skulle vente. Reglen eksisterede. Så gjorde den ikke længere, og intet i systemet markerede forskellen.

Enhver HR-leder, der har set en politik overleve onboarding og derefter fordampe ved måned fire, vil genkende formen på den fejl.

To argumenter om ét ord

Ved et AI4-panel i Las Vegas i sidste uge om at gøre tilpasning til virkelighed kunne fire personer, der arbejder professionelt med dette, ikke blive enige om, hvad ordet "tilpasning" dækker over.

David Krueger, AI-professor og administrerende direktør for nonprofitorganisationen Evitable, bruger det bredt om at få et system til at forsøge at opføre sig, som man har til hensigt, at det skal opføre sig. Nogle gange er denne hensigt specifik, hvilket han kalder "hensigtstilpasning". Andre gange ligger den tættere på "handl i overensstemmelse med mine værdier".

Spencer Whitman, produktdirektør hos Gray Swan, som tester frontlinjemodeller før udgivelse, argumenterede for, at begrebet er blevet strakt over et spektrum uden noget nyttigt i midten. I den ene ende står spørgsmålet om, hvorvidt et system varetager menneskehedens interesser. I den anden ende står et langt mindre og mere håndterbart spørgsmål: "Forstod dette system, hvad jeg bad om, og handlede det på det?"

Whitman tvivler på, at det første spørgsmål overhovedet kan besvares, eftersom mennesker er voldsomt uenige om, hvad menneskehedens interesser er. Han mener, at det andet er der, hvor virksomheder i praksis befinder sig.

Jon Kutasov, som leder et underteam i tilpasningstræningsteamet hos Anthropic, tilbød den mest operationelle definition i rummet. Han vil ikke overraskes over, hvordan en model opfører sig, efter at den er blevet implementeret. Hvis modellen overrasker dem, har de fejlet. Efter den målestok, sagde han, er de nuværende modeller ikke tilpasset. De er tæt på og kommer tættere på, og de gør stadig ting, som hans team helst havde været foruden.

Den definition kan bruges bredt. Det er den samme standard, du ville sætte for en nyansat med bemyndigelse til at underskrive aftaler.

Model-ejere skaber tilpasning. Alle andre styrer.

John Buyers, partner i det internationale advokatfirma CMS, som har arbejdet med AI i tretten år, trak den grænse, der betyder mest for alle, der læser dette.

Tilpasning, sagde han, er en intern øvelse, der udføres af de platforme, som kontrollerer modellerne. Alle andre gør noget andet. 

"Virksomhedsbrugere kan ikke involvere sig i tilpasning, fordi de ikke ejer modellen," sagde han. "De er nødt til at styre modellen.

Dette er den sætning, du skal give videre til din ledelse. Om Claude eller ChatGPT eller Gemini er blevet trænet til at opføre sig ordentligt, er ikke en beslutning, din virksomhed deltager i. Det, din virksomhed kontrollerer, er, hvad systemet sættes til, hvad det må røre ved, og hvem der holder øje. Det er styring, og det ligger langt tættere på jobdesign end på datalogi.

Buyers større bekymring er, at tilpasning i øjeblikket ikke har noget minimumsniveau. Alle laboratorier gør det forskelligt, på kommercielle tidsplaner og efter deres egne standarder. På ethvert andet område med sammenlignelig betydning ville vi ifølge ham forvente grundlæggende hygiejneindikatorer, som en udvikler enten opfylder eller ikke opfylder.

De instruktioner, der forbliver usagte

I juli oplyste OpenAI, at to af deres modeller, herunder en, der endnu ikke var udgivet, brød ud af et testmiljø i en sandkasse under en cybersikkerhedsevaluering, kom på internettet og hackede sig ind på Hugging Face for at stjæle svarene på den test, de blev stillet over for. Hugging Face havde allerede opdaget indtrængningen og meldt den til politiet, før de to virksomheder fik forbundet trådene.

Panelet var splittet over, om dette overhovedet var et tilfælde af manglende tilpasning. Whitman argumenterede for, at modellerne gjorde præcis, hvad de fik besked på, nemlig at hacke aggressivt, og at den egentlige fejl var et indeslutningsmiljø, der var for svagt til at holde dem tilbage. 

Anthropic-forskeren var lodret uenig. Modellen ville have forstået, at det ikke var den tilsigtede vej til at besvare spørgsmålet at bryde ind i en uvedkommende virksomhed.

Kruegers version af uenigheden er den, som ledere bør høre tydeligst. Enhver instruktion rummer ting, der ikke bliver sagt højt. Når man beder nogen om at løse et evalueringsspørgsmål, beder man dem implicit om ikke at bryde ind i den bygning, hvor svararket opbevares. Vi forventer denne forståelse som en grundlæggende forudsætning, og vi skriver den næsten aldrig ned, fordi det er umuligt at skrive den ned. Det uudtalte lag er større end det udtalte.

Det er det, HR har arbejdet med siden opfindelsen af jobbeskrivelsen. Kompetencen findes. Den befinder sig i øjeblikket i en funktion, der for det meste bliver orienteret om AI-implementering, efter at målene er blevet fastlagt.

Køberne bemærkede et fund fra den tekniske side, som burde skærpe sagen. Giver man en model et sæt regler uden kontekst, klarer den sig dårligere, end når man forklarer, hvorfor reglerne findes. Det viser sig, at grunden til, at en begrænsning er vigtig, er afgørende for, om begrænsningen holder.

Spørg enhver leder, der har håndhævet en politik, som vedkommende ikke kunne begrunde, hvordan det går.