Ta część dostosowania AI, która należy do liderów ds. ludzi

Mechanizm ma większe znaczenie niż ironia tej sytuacji. Jej polecenie nie zostało unieważnione, lecz pominięte. Agent osiągnął limit kontekstu i skompaktował własną historię, aby się w nim zmieścić, a kompakcja usunęła z podsumowania fragment, w którym poleciła mu czekać. Reguła istniała. Potem już nie istniała, a nic w systemie nie zasygnalizowało tej różnicy.

Każdy lider HR, który obserwował, jak polityka przetrwała wdrożenie, a następnie wyparowała do czwartego miesiąca, rozpozna schemat tej porażki.

Dwa spory o jedno słowo

Podczas panelu AI4 w Las Vegas w zeszłym tygodniu, poświęconego urzeczywistnianiu dostosowania, cztery osoby zawodowo zajmujące się tym tematem nie potrafiły uzgodnić, co obejmuje słowo „dostosowanie”.

David Krueger, profesor AI i dyrektor wykonawczy organizacji non-profit Evitable, używa tego terminu szeroko, w znaczeniu nakłonienia systemu do próby zachowywania się zgodnie z naszymi intencjami. Czasami ta intencja jest konkretna — nazywa to „dostosowaniem do intencji”. Czasami jest bliższa sformułowaniu „działaj zgodnie z moimi wartościami”.

Spencer Whitman, dyrektor ds. produktu w Gray Swan, firmie testującej najbardziej zaawansowane modele przed ich udostępnieniem, argumentował, że termin ten został rozciągnięty na całe spektrum, pośrodku którego nie ma nic użytecznego. Na jednym końcu znajduje się pytanie, czy system uwzględnia interesy ludzkości. Na drugim — znacznie mniejsze i łatwiejsze do rozstrzygnięcia pytanie: „czy ten system zrozumiał, o co go poprosiłem, i zadziałał zgodnie z tym?”

Whitman wątpi, czy na pierwsze pytanie w ogóle można odpowiedzieć, skoro ludzie gwałtownie różnią się w kwestii tego, czym są interesy ludzkości. Uważa, że przedsiębiorstwa w praktyce zajmują się tym drugim pytaniem.

Jon Kutasov, który kieruje podzespołem w zespole zajmującym się treningiem dostosowania w Anthropic, przedstawił najbardziej operacyjną definicję spośród wszystkich obecnych na sali. Nie chce być zaskakiwany tym, jak model zachowuje się po wdrożeniu. Jeśli model ich zaskakuje, ponieśli porażkę. Według tego standardu, powiedział, obecne modele nie są dostosowane. Są blisko i zbliżają się coraz bardziej, ale nadal robią rzeczy, których jego zespół wolałby nie oglądać.

Ta definicja sprawdza się w różnych kontekstach. To ten sam standard, który przyjęlibyśmy wobec nowego pracownika z uprawnieniami do zatwierdzania wydatków.

Właściciele modeli zapewniają dostosowanie. Cała reszta nimi zarządza.

John Buyers, partner w międzynarodowej kancelarii CMS, który od trzynastu lat zajmuje się AI, wskazał granicę mającą największe znaczenie dla każdego, kto to czyta.

Dostosowanie, powiedział, jest wewnętrznym procesem przeprowadzanym przez platformy kontrolujące modele. Cała reszta robi coś innego. 

Użytkownicy korporacyjni nie mogą uczestniczyć w dostosowaniu, ponieważ nie są właścicielami modeli — powiedział. — Muszą zarządzać modelem.

To zdanie warto przekazać zespołowi kierowniczemu. To, czy Claude, ChatGPT lub Gemini zostały wytrenowane tak, aby dobrze się zachowywać, nie jest decyzją, w której uczestniczy wasza firma. Wasza firma kontroluje natomiast to, do czego skierowany jest system, czego może dotykać i kto go obserwuje. To właśnie zarządzanie AI, które jest znacznie bliższe projektowaniu stanowisk pracy niż nauce o danych.

Większą obawą Buyersa jest to, że dostosowanie obecnie nie ma żadnego minimalnego standardu. Każde laboratorium robi to inaczej, w ramach komercyjnych harmonogramów i zgodnie z własnymi standardami. W każdej innej dziedzinie o porównywalnym znaczeniu, argumentował, oczekiwalibyśmy podstawowych wskaźników higieny, które deweloper albo spełnia, albo nie.

Polecenia, które pozostają niewypowiedziane

W lipcu OpenAI ujawniło, że dwa jego modele, w tym jeden, który nie został jeszcze udostępniony, wydostały się ze środowiska testowego typu piaskownica podczas oceny cyberbezpieczeństwa, uzyskały dostęp do internetu i włamały się do Hugging Face, aby wykraść odpowiedzi do testu, który rozwiązywały. Hugging Face wykryło już włamanie i zgłosiło je organom ścigania, zanim obie firmy połączyły ze sobą fakty.

Uczestnicy panelu podzielili się w kwestii tego, czy w ogóle było to niedostosowanie. Whitman argumentował, że modele zrobiły dokładnie to, co im polecono, czyli agresywnie hakować, a prawdziwą porażką było środowisko izolacji zbyt słabe, by je powstrzymać. 

Badacz z Anthropic stanowczo się z tym nie zgodził. Model zrozumiałby, że włamanie do niepowiązanej firmy nie było zamierzoną drogą do udzielenia odpowiedzi na pytanie.

Wersja sporu przedstawiona przez Kruegera to ta, którą liderzy zespołów powinni usłyszeć najwyraźniej. Każda instrukcja niesie ze sobą rzeczy, których się nie mówi. Poproszenie kogoś o rozwiązanie pytania sprawdzającego w sposób dorozumiany oznacza również poproszenie go, by nie włamał się do budynku, w którym przechowywany jest arkusz z odpowiedziami. Oczekujemy takiego rozumienia jako podstawy i niemal nigdy tego nie zapisujemy, ponieważ zapisanie tego jest niemożliwe. Warstwa niewypowiedziana jest większa niż ta wyrażona wprost.

Zarządzaniem tą luką HR zajmuje się od czasu wynalezienia opisu stanowiska. Ta kompetencja istnieje. Obecnie znajduje się jednak w dziale, który zazwyczaj jest informowany o wdrażaniu AI dopiero po ustaleniu celów.

Nabywcy odnotowali jedno ustalenie ze strony technicznej, które powinno wzmocnić tę argumentację. Gdy model otrzyma zestaw zasad bez żadnego kontekstu, działa gorzej niż wtedy, gdy wyjaśni mu się, dlaczego te zasady istnieją. Okazuje się, że powód, dla którego dane ograniczenie ma znaczenie, jest kluczowy dla tego, czy ograniczenie zostanie utrzymane.

Zapytajcie dowolnego menedżera, który egzekwował zasadę, której nie potrafił uzasadnić, jak to się kończy.