Wdrażaj, ucz się, skaluj. Co dalej?
Zmiana w zarządzaniu: Zarządzanie sztuczną inteligencją musi ewoluować od polityk do monitorowania w czasie działania, ponieważ agentowa sztuczna inteligencja podejmuje autonomiczne działania.
Priorytet wdrażania: AWS przedkłada szybkie wdrażanie sztucznej inteligencji nad zarządzanie nią, koncentrując się na uczeniu w środowisku produkcyjnym i skalowaniu.
Nieograniczone ryzyka: Credo AI kataloguje 1600 zagrożeń związanych ze sztuczną inteligencją, z czego 15% nie ma środków ograniczających ryzyko, co budzi obawy dotyczące zarządzania agentową sztuczną inteligencją.
Luki w odpowiedzialności: Obecne ramy zarządzania mają trudności z przypisaniem odpowiedzialności za działania agentów sztucznej inteligencji wpływające na użytkowników.
Podczas demonstracji na żywo podczas ubiegłotygodniowej konferencji HumanX Mati Staniszewski, współzałożyciel ElevenLabs, przeprowadził publiczność przez agenta usługi rządowej stworzonego na platformie jego firmy.
Agent przeprowadził fikcyjnego użytkownika przez proces rejestracji firmy. Uwierzytelnił jego tożsamość za pośrednictwem WhatsAppa. Pobrał dokumenty z połączonego konta Google, zmienił język w trakcie rozmowy, gdy użytkownik wspomniał o pracownikach hiszpańskojęzycznych, oraz odpowiedział na pytania dotyczące procesu uzyskiwania zezwolenia dla sprzedawcy w Kalifornii.
Następnie użytkownik zapytał o podatki. Agent zakończył rozmowę.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Nie zasygnalizował niepewności. Nie przekazał sprawy dalej. Zakończył rozmowę, którą prawdziwy użytkownik uznałby za obsługiwaną, ponieważ agent nie wiedział, że istnieje dział podatkowy, do którego można ją skierować.
Staniszewski naprawił problem na scenie w ciągu kilku minut, łącząc agenta do spraw biznesowych z agentem podatkowym, wdrażając zmianę i uruchamiając system ponownie. Publiczność obserwowała aktualizację działającego systemu w czasie rzeczywistym.
Warto zastanowić się nie nad tym, że agent zawiódł. Agenci zawodzą. Chodzi o to, jak wyglądała ta awaria. Żadnego ostrzeżenia. Żadnego przekazania sprawy. Żadnego zapisu tego, czego potrzebował użytkownik. Luka stała się widoczna dopiero wtedy, gdy użytkownik na nią trafił.
Teraz umieśćmy ten scenariusz w Revolut, który wdrożył agentów ElevenLabs wśród czterech milionów klientów w ponad 30 językach. Albo w Deutsche Telekom, którego sieć obejmuje teraz agentów obsługujących zapytania klientów w czasie rzeczywistym. Wąskim gardłem, powiedział Staniszewski, nie jest już technologia. Jest nim wdrożenie.
To stwierdzenie jest jednocześnie trafne i — dla każdego, kto odpowiada za działania tych agentów — najważniejszym zdaniem całej sesji.
Model, dla którego stworzono zarządzanie
Przez większość ostatnich trzech lat zarządzanie AI w przedsiębiorstwach opierało się na możliwym do opanowania zestawie założeń. System AI przedstawiał rekomendację. Człowiek ją weryfikował. Człowiek ponosił odpowiedzialność za to, co wydarzyło się później. Model nie był doskonały, ale był czytelny. Można było wskazać, gdzie podjęto decyzję i kto ją podjął.
Ta architektura się rozpada.
Navrina Singh, założycielka i dyrektorka generalna Credo AI, od sześciu lat buduje to, co opisuje jako obszar zarządzania AI, zaczynając w erze predykcyjnego uczenia maszynowego, a obecnie działając głęboko w erze agentowej.
Podczas HumanX opisała kluczową zmianę. Dawniej zarządzanie dotyczyło polityk, teraz musi obejmować zabezpieczenia operacyjne i działające w czasie wykonywania. To rozróżnienie ma większe znaczenie, niż mogłoby się wydawać. Polityka to coś, co się spisuje, corocznie przegląda i aktualizuje, gdy coś pójdzie nie tak.
Zarządzanie w czasie wykonywania oznacza ciągłe monitorowanie tego, co system AI faktycznie robi na środowisku produkcyjnym, w odniesieniu do kryteriów, które mogą wymagać zmiany wraz z ewolucją leżącego u jego podstaw modelu.
Ta zmiana — od polityki do działania w czasie wykonywania — bezpośrednio odzwierciedla różnicę między AI doradczą a AI agentową. AI doradcza przedstawia sugestie w określonym zakresie. AI agentowa podejmuje działania, łączy je w łańcuchy obejmujące różne systemy, przekazuje zadania innym agentom i generuje rezultaty, których przed ich wystąpieniem nie zweryfikował żaden pojedynczy człowiek.
Demonstracja ElevenLabs skondensowała to do kilku minut. Jedna początkowa interakcja z użytkownikiem doprowadziła do uwierzytelnienia za pośrednictwem WhatsAppa, pobrania dokumentów z Google Workspace, zmiany języka, płynnego przekazania rozmowy innemu agentowi oraz proaktywnego połączenia wychodzącego z ofertą programu dotacji. Pięć odrębnych autonomicznych działań. Żaden człowiek nie zatwierdzał każdego kroku. Tak wygląda AI agentowa na poziomie pojedynczego przypadku użycia.
W skali przedsiębiorstwa luka w zarządzaniu staje się czymś znacznie trudniejszym do opanowania.
Kalkulacja twórców
Matt Garman, dyrektor generalny Amazon Web Services, bezpośrednio wskazał, gdzie faktycznie kumuluje się wartość AI w przedsiębiorstwach. Wczesne sukcesy generatywnej AI — tworzenie treści i podsumowywanie dokumentów — ustępują miejsca czemuś bardziej fundamentalnemu.
Agenci są sposobem, w jaki większość przedsiębiorstw i większość firm będzie czerpać większość wartości z AI.
Wewnętrzne wdrożenia Amazona potwierdzają to twierdzenie. Narzędzie Quick Suite tej firmy zapewnia setkom tysięcy pracowników dostęp do agentów AI połączonych z danymi przedsiębiorstwa w Salesforce, Workday, poczcie e-mail i wewnętrznej dokumentacji.
Programiści uzyskują około 4,5 raza większą produktywność dzięki wsparciu AI niż bez niego. Agent programistyczny o nazwie Kiro niedawno rozwiązał zgłoszenie dotyczące błędu klienta i wdrożył poprawkę w ciągu 25 minut.
To rzeczywiste korzyści, a Garman przedstawił je bez przesady. Jednak w uzasadnieniu wdrożenia kryje się kolejność priorytetów, z którą zarządzanie musi się zmierzyć. Staniszewski wyraził to jasno.
Wąskim gardłem nie jest już technologia. Jest nim wdrożenie. Wygrają firmy, które szybko wprowadzają rozwiązania na rynek, uczą się i skalują działalność.
Wprowadzać na rynek. Uczyć się. Skalować. Taka jest kolejność. Zarządzanie nie pojawia się w tym zestawieniu nie dlatego, że jest ignorowane, lecz dlatego, że logika konkurencji w obecnym momencie premiuje szybkość działania. Etap „uczenia się” w tej sekwencji odbywa się na produkcji, z udziałem rzeczywistych użytkowników i w obliczu rzeczywistych konsekwencji.
To nie jest cynizm. Garman i Staniszewski opisują sposób funkcjonowania rynków technologicznych, gdy tempo rozwoju możliwości jest wysokie, a koszt czekania rzeczywisty. Jednak dla dyrektora HR odpowiedzialnego za decyzje dotyczące AI w obszarze pracowników lub dyrektora operacyjnego, którego działalność jest reorganizowana wokół systemów agentowych, kalkulacja wygląda inaczej. Nie czerpią oni korzyści z działania jako pierwsi. Dziedziczą odpowiedzialność, gdy coś pójdzie nie tak.
Luka, której nikt nie zlikwidował
Credo AI zgromadziło to, co Singh opisuje jako największe na świecie repozytorium ryzyk związanych z AI, obejmujące obecnie około 1600 odrębnych kategorii. Dla około 85% z nich opracowano środki zaradcze.
Pozostałe 15 procent, czyli około 240 znanych kategorii ryzyka, nadal nie ma ustalonych środków zaradczych. Taki jest stan zarządzania w przypadku agentowej AI. Systemy agentowe, w których wiele modeli wchodzi ze sobą w interakcje, przekazuje sobie zadania i generuje wyniki zasilające kolejne zautomatyzowane decyzje, wprowadzają tryby awarii, które nie zostały jeszcze w pełni scharakteryzowane, nie mówiąc już o ich ograniczeniu.
Trudniejszym problemem wskazanym przez Singh jest pochodzenie danych i decyzji. W systemie wieloagentowym prześledzenie odpowiedzialności wymaga odpowiedzi nie tylko na pytanie, jaka decyzja została podjęta, lecz także jak do niej doszło. Chodzi o to, który agent wniósł jaki wkład, z jakich źródeł danych skorzystano, gdzie w łańcuchu powstał błąd i jak korekta rozprzestrzeniłaby się w systemie.
Większość struktur zarządzania zaprojektowano do oceny wyników generowanych przez pojedynczy model. Nie stworzono ich do odtworzenia toku rozumowania wzajemnie połączonego systemu działającego na różnych platformach, modelach i w różnych granicach organizacyjnych.
Saahil Jain, dyrektor ds. technologii w You.com, które przestawiło się z wyszukiwarki konsumenckiej na tworzenie interfejsów API wyszukiwania dla agentów AI, przedstawił problem strukturalny. Użytkownicy będący ludźmi wchodzą w interakcję z informacjami i dokonują oceny tego, co widzą. Agenci korzystający z informacji nie mają takiej samej zdolności do samodzielnego korygowania swoich działań.
Zasadniczo będą korzystać z kontekstu, który im przekazano, i w jakiś sposób go cytować, nie uwzględniając ludzi w procesie — powiedział.
Architektura zarządzania, którą stworzyły przedsiębiorstwa, zakłada obecność ludzkiej weryfikacji gdzieś w łańcuchu. W ciągu tygodnia podczas HumanX wielokrotnie słyszałem sformułowanie „agenci zarządzający agentami”. Wygląda na to, że wdrażanie systemów agentowych systematycznie usuwa to założenie, nie zastępując go niczym o równoważnej strukturze.
Ramy regulacyjne nie likwidują tej luki. Singh doradzała rządom w Stanach Zjednoczonych, Europie, Australii i Indiach w kwestiach zarządzania AI i bezpośrednio mówiła o istnieniu ogromnego opóźnienia.
Zasady zaprojektowane dla wcześniejszych systemów uczenia maszynowego nie przekładają się wprost na architektury agentowe. Ustawa stanu Kolorado o sztucznej inteligencji kładzie nacisk na oceny wpływu. Europejskie wymogi dotyczące prywatności i przejrzystości stają się bardziej rygorystyczne na poziomie modeli bazowych.
Jednak tempo wdrażania systemów agentowych znacznie wyprzedza każdy cykl regulacyjny, a Singh spodziewa się, że w dającej się przewidzieć przyszłości nadal tak będzie.
Podstawa zgodności to nie szczyt możliwości
Zgodność z SOC 2 stała się podstawowym wymogiem przy zakupie rozwiązań AI przez przedsiębiorstwa. Singh opisała klientów z listy Fortune 500, którzy po roku szeroko zakrojonych eksperymentów z wieloma dostawcami dokładnie analizują teraz, czy dostawcy chronią ich dane, czy mają udokumentowane standardy odpowiedzialności oraz czy wdrożenie ich rozwiązań AI w przedsiębiorstwie powoduje ogólny wzrost ryzyka.
Według Singh w rezultacie tylko około 40% dostawców rozwiązań AI trafia do środowisk produkcyjnych w dużych przedsiębiorstwach. Presja selekcyjna jest realna.
Jednak zgodność z SOC 2 i zarządzanie systemami agentowymi to dwie różne kwestie, a utożsamianie ich jest jednym z bardziej brzemiennych w skutki błędów, jakie obecnie popełnia rynek przedsiębiorstw.
SOC 2 dotyczy bezpieczeństwa i dostępności. Dostarcza istotnych informacji o tym, czy systemy dostawcy są chronione i niezawodne. Nie mówi nic o tym, czy decyzje agenta można prześledzić, czy jego wyniki są trafne w danym kontekście, czy odpowiednio przekazuje on nietypowe przypadki do dalszej obsługi ani czy jego zachowanie ulega zmianie, gdy leżące u jego podstaw modele są aktualizowane bez uprzedzenia.
To pytania dotyczące zarządzania i wymagają innego rodzaju infrastruktury niż ta, którą zapewnia certyfikacja zgodności.
Singh opisała, jak ta infrastruktura wygląda w praktyce: zespoły ds. zarządzania obejmujące naukowców zajmujących się danymi, specjalistów ds. ryzyka i prywatności oraz ekspertów ds. zachowania, a nie tylko personel ds. bezpieczeństwa. Niezależne organizacje weryfikujące, w tym rozwijający się standard o nazwie AIUC, które za pośrednictwem podmiotów zewnętrznych testują systemy agentowe pod kątem ustalonych kryteriów. Ciągłe monitorowanie w czasie działania, a nie tylko ocena przed wdrożeniem.
Firma Credo AI niedawno uruchomiła rozwiązanie do zarządzania MCP, obecnie w wersji beta, zaprojektowane tak, aby przenieść mechanizmy ochronne na wcześniejszy etap samego procesu tworzenia, dając twórcom możliwość osadzania logiki zarządzania już na etapie budowy, zamiast nakładać ją później.
Kierunek jest właściwy. To, czy wdrażanie będzie przebiegać wystarczająco szybko, by miało znaczenie, jest odrębną kwestią.
Kwestia odpowiedzialności
Garman z konkretnym optymizmem opisuje transformację AI w Amazonie. Zespoły sprzedażowe spędzające większość czasu z klientami zamiast na administrowaniu lejkiem sprzedażowym, programiści uwolnieni od zaległości narastających przez lata, produkty wprowadzane na rynek szybciej i lepiej odpowiadające na rzeczywiste potrzeby użytkowników. Korzyści są realne. Logika jest przekonująca.
Jednak w obrazie wdrażania systemów agentowych kryje się pytanie, na które ramy zarządzania nie udzieliły jeszcze jednoznacznej odpowiedzi. Kiedy agent AI podejmuje działanie, które wyrządza komuś krzywdę, kto ponosi odpowiedzialność?
Agent głosowy, który kończy rozmowę w niewłaściwym momencie, pozostawiając bez pomocy użytkownika, który jej potrzebował. Finansowy system AI, który błędnie oznacza daną osobę i wpływa na jej dostęp do kredytu. Agent do selekcji kandydatów, który obniża priorytet kandydata na podstawie kryteriów odzwierciedlających historyczne uprzedzenia. Platforma świadczeń, która automatycznie odrzuca wniosek bez jakiejkolwiek weryfikacji przez człowieka, zanim decyzja dotrze do osoby składającej wniosek.
W każdym przypadku agent podjął działanie. W każdym przypadku człowiek wprawił go w ruch. W każdym przypadku łańcuch między decyzją a jej konsekwencją jest dłuższy i bardziej rozproszony niż cokolwiek, co istniejące ramy zarządzania zaprojektowano do odwzorowania.
Do spostrzeżenia Singh na temat czekania należy podejść poważnie, wykraczając poza logikę biznesową, którą przedstawiała.
„Wiele firm, kiedy z nimi rozmawiamy, mówi: poczekajmy, aż wydarzy się incydent, a potem, jeśli będzie trzeba, zainwestujemy w zarządzanie AI” — powiedziała. „Do tego czasu staną się nieistotne”.
To argument dotyczący konkurencyjności. Istnieje również trudniejszy argument. W miarę jak agentowa AI wkracza do administracji świadczeniami, oceny wyników pracy, planowania zatrudnienia, finansów klientów i wstępnej obsługi klinicznej, osoby, których te decyzje dotyczą, mają uzasadniony interes w tym, jak są one podejmowane i kto odpowiada, gdy okażą się błędne.
Ramy zarządzania dostosowane do AI jako doradcy nie są wystarczające dla AI jako wykonawcy działań. Twórcy o tym wiedzą. Mimo to wdrażają te rozwiązania. Okno na wbudowanie odpowiedzialności w te systemy, zanim przepływy pracy przeorganizują się wokół nich, nie pozostanie otwarte bezterminowo.
