Fiasko Anthropic i Pentagonu pokazało każdemu prezesowi, co się dzieje, gdy nikt nie ponosi odpowiedzialności za decyzje dotyczące AI
Klasyfikacja ryzyka: Pentagon uznał Anthropic za zagrożenie dla bezpieczeństwa narodowego, co było historycznym precedensem w przypadku amerykańskiej firmy.
Luki regulacyjne: Brak federalnych regulacji dotyczących wykorzystywania AI komplikuje prawne granice nadzoru i autonomicznych decyzji.
Porażka w zakresie zarządzania: Pentagon i Anthropic nie ustanowiły jasnych uprawnień decyzyjnych dotyczących operacji AI, co doprowadziło do kryzysu.
Powszechność korzystania z AI: Około 78% pracowników korzysta z narzędzi AI bez zgody organizacji, co budzi obawy dotyczące odpowiedzialności.
Ramy operacyjne: Skuteczne zarządzanie powinno koncentrować się na uprawnieniach decyzyjnych na poziomie przebiegu pracy, a nie tylko na dokumentowaniu zasad.
W ubiegły piątek Pentagon uznał firmę Anthropic, twórcę modelu AI Claude, za zagrożenie dla bezpieczeństwa narodowego w łańcuchu dostaw. To oznaczenie, zwykle zarezerwowane dla zagranicznych przeciwników, takich jak rosyjskie firmy zajmujące się cyberbezpieczeństwem i chińscy dostawcy układów scalonych, nigdy wcześniej nie zostało zastosowane wobec amerykańskiej firmy.
Gdy Anthropic nie ustępował, OpenAI wkroczyło do akcji, by przejąć kontrakt Anthropic.
Spór rozpoczął się kilka miesięcy wcześniej, gdy Anthropic podpisał kontrakt o wartości $200 million na wdrożenie Claude'a w utajnionych sieciach wojskowych. Anthropic wyznaczył dwie czerwone linie: żadnej masowej inwigilacji Amerykanów i żadnej w pełni autonomicznej broni, która oddaje strzał bez udziału człowieka.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Pentagon zażądał nieograniczonego wykorzystania do dowolnego zgodnego z prawem celu.
Brzmi rozsądnie, z wyjątkiem tego, że nie istnieją żadne federalne przepisy regulujące inwigilację z wykorzystaniem AI. Nie ma regulacji określających granice algorytmicznego namierzania. Nie ma ram prawnych dla autonomicznego podejmowania decyzji.
„Wszystko, co zgodne z prawem” w sytuacji braku prawa oznacza, że dozwolone jest wszystko.
Żadna ze stron nie stworzyła mechanizmu rozwiązywania sporów, zanim konflikt eskalował, a sekretarz obrony Pete Hegseth dał dyrektorowi generalnemu Anthropic, Dario Amodeiemu, trzy dni na zastosowanie się do żądań pod groźbą konsekwencji.
Amodei nie ustąpił. W wywiadzie dla CBS News, udzielonym kilka godzin po umieszczeniu firmy na czarnej liście, określił te działania jako „odwetowe i represyjne” oraz powiedział, że Anthropic zaoferował dalsze wspieranie wojska poprzez przejście na rozwiązanie konkurencji.
Wskazał również na kwestię, która powinna być głównym powodem do niepokoju dla każdego, kto wdraża AI w środowiskach o wysokiej stawce: „Technologia rozwija się tak szybko, że nie nadąża za nią prawo”.
Powrót do biznesu
Większość relacji przedstawiała tę sprawę jako historię polityczną. Bezpieczeństwo kontra obronność. Dyrektor generalny firmy technologicznej kontra sekretarz obrony. Można na to patrzeć jako na historię dotyczącą etyki autonomicznej broni — i ta historia ma znaczenie.
Ale istnieje też perspektywa, która powinna skłonić każdego dyrektora operacyjnego i dyrektora ds. zasobów ludzkich do refleksji, ponieważ leżąca u podstaw nagłówków porażka ma charakter strukturalny, a nie polityczny.
Pentagon osadził AI w utajnionych operacjach, nie rozstrzygając, kto ma władzę nad tym, jak można wykorzystywać tę AI. Anthropic zakładał, że jego czerwone linie zostaną utrzymane. Pentagon zakładał, że te czerwone linie nie będą obowiązywać po przejęciu technologii. Nikt nie zaprojektował architektury zarządzania pozwalającej rozwiązać spór, zanim przerodził się on w kryzys.
Ta sekwencja wydarzeń rozgrywa się obecnie w firmach na skalę, której większość liderów w pełni nie docenia.
Od utajnionych sieci do schematu organizacyjnego
Wiele badań szacuje, że około 78% pracowników korzysta z narzędzi AI, których ich pracodawca nigdy nie zatwierdził. Innymi słowy, AI jest już częścią sposobu podejmowania decyzji w większości organizacji, niezależnie od tego, czy ktokolwiek zaprojektował ją z takim przeznaczeniem.
Dyrektor ds. zasobów ludzkich może odkryć, że AI tworzy opisy stanowisk, analizuje CV i generuje treści informacji zwrotnych dotyczących wyników pracy w całej firmie, mimo że nie wyznaczono osoby odpowiedzialnej za żaden z tych rezultatów.
Dyrektor operacyjny może stwierdzić, że prognozy popytu, rekomendacje cenowe i oceny dostawców są kształtowane przez modele, których nikt z kadry kierowniczej formalnie nie zatwierdził do użytku produkcyjnego.
Niektórzy liderzy zaczęli tworzyć strategie zarządzania AI, aby sobie z tym poradzić. Mohammed Chahdi, dyrektor operacyjny Muse Group, opisuje ramy, które jego zarząd wykorzystuje do oddzielenia operacyjnego wykorzystania AI od eksperymentalnych przedsięwzięć.
Zanim coś stanie się częścią naszej podstawowej działalności, oczekujemy od kierownictwa rygorystycznego sprawdzenia niezawodności i zakresu każdej aplikacji AI, zanim zasłuży ona na miejsce w modelu operacyjnym.
Ten próg — granica między „testujemy to” a „ma to teraz wpływ na rzeczywiste decyzje” — to właśnie coś, czego większość organizacji nie zdefiniowała.
Pytanie, które unosi się nad tym wszystkim, jest takie samo jak to, które doprowadziło do rozpadu relacji między Pentagonem a Anthropic: kto ma uprawnienia decyzyjne w zakresie tego, co robi AI, gdy zostanie wpleciona w kluczowe procesy pracy?
W większości firm uczciwa odpowiedź brzmi: nikt. Uprawnienia decyzyjne zaprojektowano z myślą o świecie, w którym ludzie tworzyli analizy i ludzie podejmowali ostateczne decyzje. Teraz AI tworzy analizy, przygotowuje rekomendacje, a w wielu przypadkach kształtuje decyzję, zanim człowiek ją zweryfikuje.
Struktura odpowiedzialności nie nadążyła, a technologia wciąż się rozwija wykładniczo. METR, organizacja zajmująca się badaniami nad AI z siedzibą w Berkeley, ustaliła, że horyzont realizacji zadań przez najnowocześniejsze modele AI podwajał się mniej więcej co siedem miesięcy. Takie tempo nie czeka, aż ramy zarządzania dojrzeją.
Nie umowy zarządzają. Robią to systemy operacyjne.
W większości organizacji naturalnym odruchem jest odpowiedź w postaci polityki. Możesz:
- Napisać dokument dotyczący dozwolonego użytkowania
- Powołać komitet zatwierdzający
- Utworzyć cykl przeglądów.
Polityka jest niezbędna. Jednak polityka odnosi się do warstwy powierzchniowej. Pentagon miał umowę, która zawierała określone warunki. Najprawdopodobniej prawnicy dokonali ich przeglądu. Mimo to doszło do publicznego impasu, ponieważ umowa nigdy nie rozstrzygnęła, kto ostatecznie kontrolował sposób wykorzystywania AI w praktyce.
Amodei przedstawił ten punkt bezpośrednio, gdy zapytano go, dlaczego Anthropic, prywatna firma, powinna mieć większy wpływ niż Pentagon na wykorzystanie AI w wojsku. Jego odpowiedź nie dotyczyła etyki w abstrakcyjnym ujęciu. Dotyczyła ograniczeń możliwości.
Nasz model ma osobowość. Potrafi robić pewne rzeczy. Potrafi niezawodnie wykonywać określone zadania. Potrafi również niezawodnie powstrzymywać się od wykonywania określonych zadań.
To stwierdzenie dotyczące różnicy między tym, co AI może wygenerować, a tym, co człowiek musi zweryfikować. Ta sama różnica występuje w każdej organizacji korzystającej z przepływów pracy wspomaganych przez AI. Gdy model przygotowuje rekomendację cenową, ktoś musi odpowiadać za to, czy ta rekomendacja jest właściwa dla tego klienta, tego rynku i tej chwili.
Gdy AI dokonuje wstępnej selekcji kandydatów, ktoś musi odpowiadać za to, czy kryteria prowadzą do sprawiedliwych i trafnych wyników. Gdy AI tworzy podsumowanie zgodności z przepisami, ktoś musi odpowiadać za dokładność informacji przekazywanych organom regulacyjnym.
Skuteczne zarządzanie w warunkach przyspieszenia przypomina mniej podręcznik polityk, a bardziej system operacyjny. Zakres odpowiedzialności decyzyjnej musi być określony na poziomie przepływu pracy. Punkty, w których człowiek może przejąć kontrolę, trzeba wbudować w produkcyjne przepływy pracy AI, a nie zakładać, że istnieją. Zmiany modeli należy traktować jak zmiany systemowe — z testami i wyraźną zgodą przed wdrożeniem.
Gdzie naprawdę tkwi problem
Amodei poruszył w wywiadzie dla CBS kwestię, która wykracza daleko poza kontekst wojskowy. Omawiając broń autonomiczną, powiedział:
„Załóżmy, że mam armię 10 milionów dronów, którymi koordynuje jedna osoba lub niewielka grupa osób. Myślę, że łatwo dostrzec, iż pojawiają się tu problemy z odpowiedzialnością”.
Zastąp drony przepływami pracy wspomaganymi przez AI w średniej wielkości firmie. Zastąp jedną osobę menedżerem, który został awansowany za efektywność operacyjną w stabilnym środowisku, a teraz nadzoruje połączenie pracy wykonywanej przez ludzi i generowanej przez maszyny, nie mając przeszkolenia pozwalającego odróżnić płynny tekst wygenerowany przez AI od poprawnego tekstu wygenerowanego przez AI.
Do tego zmierzamy, jeśli nie będziemy działać świadomie. Menedżerowie pośrednio nadzorują decyzje wspomagane przez AI, nie wiedząc, że należy to do ich obowiązków, bez systemów oceny uwzględniających rygor weryfikacji i bez jasnych ścieżek eskalacji na wypadek, gdy coś wygląda nieprawidłowo.
Jeśli za sześć miesięcy w wyniku selekcji kandydatów przez AI pojawi się tendencyjny schemat zatrudniania lub błąd cenowy obejmie tysiące kont, problem nie będzie techniczny. Będzie nim fakt, że nikt nie odpowiadał za nadzór.
Pentagon założył, że może osadzić Claude'a w operacjach niejawnych, a granice ustalić później. Anthropic założyła, że jej umowne czerwone linie będą respektowane bez mechanizmu ich egzekwowania. Obie strony się myliły.
Rezultatem było publiczne zerwanie współpracy, oznaczenie jako podmiotu objętego zakazem współpracy — określenie zwykle stosowane wobec zagranicznych przeciwników — oraz gorączkowe poszukiwanie zastępstwa dla modelu, który umundurowani oficerowie wojskowi określali jako niezbędny.
Większość organizacji nie poniesie tak dramatycznych konsekwencji. Jednak strukturalna porażka będzie znajoma. AI zostaje wdrożona. Decyzje przechodzą przez ten system. Nikt jasno nie określił, kto odpowiada za wynik, kto ma uprawnienia do przejęcia kontroli ani co się dzieje, gdy coś przestaje działać. A gdy pytanie staje się pilne, na spokojną odpowiedź jest już za późno.
Jeśli jesteś CHRO lub COO i to czytasz, Pentagon przeprowadził ten eksperyment za ciebie. Kosztem przekonania się, co się dzieje, gdy najważniejsze pytania dotyczące zarządzania są odkładane, były zerwane relacje, luka w bezpieczeństwie narodowym i niepotrzebna gorączkowa akcja. Twoja wersja tego eksperymentu będzie cichsza. Nie będzie tańsza.
