Czy można zmierzyć osąd?

Na to pytanie nie trzeba już odpowiadać. Jednak narzędzie stworzone, aby na nie odpowiedzieć, pozostało na miejscu i jest teraz kierowane na problem, którego w rzeczywistości nie zostało zaprojektowane dostrzegać.

Jedna z sesji, w których uczestniczyłem, nosiła tytuł "Poza adopcją: budowanie osądu dotyczącego AI w toku pracy". Ujęcie tematu przez Sharahn McClung było najklarowniejszą wersją tego zagadnienia, jaką słyszałem. Firmy mierzą szybkość. Mierzą wykorzystanie. Następnie zakładają poprawę. Pierwsze dwa elementy są zliczane. Trzeci jest wyciągany z tych danych.

Badania opublikowane przez BCG w czerwcu sugerują, że ten wniosek jest na tyle często błędny, że ma to znaczenie. W badaniu obejmującym 70 liderów najwyższego szczebla i członków kadry kierowniczej wyższego szczebla połowa stwierdziła, że już obserwuje erozję umiejętności we własnych organizacjach, a ponad 60% spodziewa się, że w ciągu trzech do pięciu lat stanie się to poważnym zagrożeniem. Tylko jedna na dziesięć osób miała strategię obejmującą całą organizację lub wdrożone ukierunkowane inicjatywy. Jedna trzecia w ogóle o tym nie rozmawiała.

Jeśli słuchasz naszego podcastu, prawdopodobnie słyszałeś, jak mówię o potrzebie bardziej filozoficznego podejścia liderów w tych czasach. Tutaj jednak pytanie staje się bardziej praktyczne niż filozoficzne. Gdybyś chciał wiedzieć, czy AI czyni Twoich ludzi lepszymi, czy gorszymi, gdzie byś tego szukał?

Zacznij od wykluczenia oczywistej odpowiedzi

Odruch podpowiada, żeby ich zapytać.

Istnieje powód, by nie ufać temu odruchowi, i wynika on z badania osób, które powinny być najlepiej przygotowane do udzielenia odpowiedzi.

W lipcu 2025 roku METR przeprowadziła randomizowane badanie z udziałem 16 doświadczonych programistów open source, pracujących nad 246 rzeczywistymi problemami w bazach kodu, które doskonale znali. Przed rozpoczęciem programiści przewidywali, że narzędzia AI sprawią, iż będą pracować o około 24% szybciej. W rzeczywistości byli o 19% wolniejsi. Później, po przeżyciu całego doświadczenia, nadal szacowali, że byli o około 20% szybsi.

Warto zapamiętać dwie rzeczy dotyczące tego wyniku.

METR określa obecnie to odkrycie jako historyczne, a badanie uzupełniające z lutego 2026 roku wykazało pewne dowody na przyspieszenie pracy w przypadku nowszych modeli. Konkretna wartość spowolnienia może nie opisywać narzędzi, z których korzystają dziś Twoje zespoły.

Drugi wniosek pozostaje aktualny i tak naprawdę jest bardziej użyteczny. Byli to eksperci pracujący w dobrze znanym środowisku, a wynik był dla nich bezpośrednio obserwowalny, jednak różnica między ich odczuciami a zmierzoną wydajnością sięgnęła niemal 40 punktów procentowych. Nic w lepszych modelach nie sprawia, że ludzie stają się lepsi w ocenie własnej wydajności.

Każde podejście do pomiaru, które opiera się na samoocenie, dziedziczy ten problem. Ankiety zaangażowania pytające, czy AI pomaga, przyniosą odpowiedzi. Odpowiedzi będą szczere. Będą również mniej więcej tak wiarygodne jak szacunki tych programistów.

Dwie krzywe, ten sam kształt

Wyobraź sobie dwa zespoły o identycznych trajektoriach wykorzystania. Oba stale rosną, a każdy wskaźnik, który obecnie zbierasz, pokazuje zdrową adopcję.

Jeden zespół nauczył się, kiedy warto zaufać modelowi, a kiedy należy go skorygować. Jego możliwości kumulują się. Drugi od miesięcy przyjmuje wyniki jako fakty. Jego możliwości zanikają pod rosnącą linią.

Nie istnieje żadna wersja wskaźnika wykorzystania, która rozróżniałaby te zespoły.

Artykuł roboczy Wharton ze stycznia zmierzył, jak bardzo faktycznie się od siebie różnią. Steven Shaw i Gideon Nave przeprowadzili trzy eksperymenty prerejestrowane z udziałem około 1400 osób, obejmujące ponad 9000 prób, losowo decydując, czy asystent AI udzieli poprawnych, czy błędnych odpowiedzi za pośrednictwem ukrytych promptów inicjujących.

W porównaniu z grupą bazową uczestników bez dostępu do AI dokładność wzrosła o 25 punktów procentowych, gdy AI miała rację. Gdy się myliła, dokładność spadła o 15 punktów poniżej poziomu bazowego bez AI.

Dobrze przeczytałeś: poniżej poziomu osób, które nigdy nie miały tego narzędzia. W zadaniach, w których model był zawodny, dostęp do niego sprawiał, że uczestnicy radzili sobie gorzej niż wtedy, gdy w ogóle go nie mieli.

Pewność siebie wzrosła w obu warunkach, również po wystąpieniu błędów.

Shaw i Nave nazywają to zachowanie „kapitulacją poznawczą”, czyli przyjmowaniem wyników AI przy minimalnej kontroli, z jednoczesnym odrzuceniem zarówno intuicji, jak i namysłu. Przedstawiają poznanie sztuczne jako trzeci system działający poza mózgiem — taki, który może uzupełniać ludzkie rozumowanie albo je zastępować.

Było to badanie laboratoryjne wykorzystujące zadania wymagające rozumowania, a nie pracownicy wykonujący swoją pracę — i warto zachować to rozróżnienie. Badanie pokazuje mechanizm oraz jego skalę w kontrolowanych warunkach.

Liderzy BCG opisują ten sam schemat z perspektywy rzeczywistych organizacji. Niemal 90% z nich wskazało zespoły przyjmujące wyniki AI bez testów obciążeniowych jako objaw spadku kompetencji. Ponad połowa opisała również postępujące wraz z tym zjawiskiem zacieranie się odpowiedzialności. Jeden z liderów ujął to dosadnie, mówiąc, że gdy wynik nie jest pozytywny, odpowiedzialność zostaje zrzucona na AI.

It starts with one signal.

Each week, AI Signal takes one meaningful shift in AI and helps people leaders understand what changed, why it matters, and what to consider next.

Get Free Access

Have an account? Log In

Na co składa się osąd

Osąd brzmi jak coś, co trudno poddać pomiarowi. Sesja McClung była wartościowa, ponieważ odrzuciła to założenie i rozłożyła to pojęcie na obserwowalne działania.

Zaufanie dobrej odpowiedzi i przejście dalej. Ponowne roztrząsanie poprawnych wyników jest własną formą marnotrawstwa. Zespół, który wszystko weryfikuje dwukrotnie, nie wykazuje się osądem — nie rozwija go. Sprawne przyjmowanie wyników powinno znajdować się na liście rzeczy, których oczekujesz.

Odrzucenie przekonującej, lecz błędnej odpowiedzi. To trudniejszy przypadek. Wynik brzmi dobrze, model nie wykazuje wahania, a wykrycie błędu wymaga wystarczającej niezależnej wiedzy, aby zauważyć, że coś jest nie tak. To działanie zawodzi jako pierwsze i jako jedyne pozostaje niewidoczne w jakimkolwiek wskaźniku wykorzystania.

Wiedza o tym, kiedy w ogóle nie sięgać po narzędzie. Wersja tego zagadnienia przedstawiona przez McClung była najbardziej ludzkim momentem sesji. Opisała, że czasami zaczyna pisać prompt i w połowie uświadamia sobie, że całe myślenie już się odbyło w trakcie jego pisania, więc z otrzymaną odpowiedzią nie ma już właściwie nic do zrobienia.

Nie wiem, jak jest z tobą, ale osobiście boję się pustej kartki. Patrzę na nią i nie wiem, od czego zacząć. Czasami odkrywam, że zanim napiszę prompt, wykonałam już cały proces i całe myślenie w promptcie, więc tak naprawdę nie potrzebuję tego narzędzia.

Każde z tych działań jest decyzją podejmowaną przez człowieka, zanim jakikolwiek wynik zostanie przekazany dalej. Żadne z nich nie ulega poprawie tylko dlatego, że rośnie wykorzystanie narzędzia. Są to elementy, które organizacja musi zbudować, a traktowanie ich jako produktów ubocznych wdrażania AI prowadzi właśnie do sytuacji opisanej przez respondentów BCG.

Wyjaśnia to również, dlaczego osąd i podejmowanie decyzji uzyskały najwyższy wynik ryzyka utraty umiejętności spośród wszystkich kompetencji w ich badaniu. Znalazły się obok rozumienia problemu i jego definiowania — obszarów, które ci sami liderzy uznali za najważniejszą umiejętność dla długoterminowej efektywności organizacji.

Trzy sposoby obserwowania osądu

Uszeregowane według tego, jak szybko można je wdrożyć.

Przyjmij, zmodyfikuj, odrzuć.

Każda sesja z AI tworzy zapis tego, o co zapytano, co wróciło w odpowiedzi oraz co dana osoba zrobiła z tym dalej. Przyjęcie poprawnej odpowiedzi i przyjęcie błędnej odpowiedzi generują identyczne dane dotyczące wykorzystania, a reprezentują przeciwstawne działania związane z osądem. Modyfikacja jest dowodem, że ktoś przeczytał wynik i przemyślał go przed przekazaniem dalej.

Po zebraniu danych z zespołu na przestrzeni miesięcy ten stosunek przestaje być anegdotą i staje się czymś, co można śledzić w czasie.

Transkrypcje sesji są sygnałem

„Każda sesja jest transkrypcją” — powiedziała McClung. „Pokazuje, o co dana osoba zapytała, jak zareagowała, w jaki sposób znalazła problem, co zwróciła AI oraz kiedy rzeczywiście to zbudowała, a także w czasie rzeczywistym, czy przyjęła odpowiedź bez zmian, zmodyfikowała ją, czy odrzuciła AI. Zatem sygnał przyjmij, zmodyfikuj, odrzuć sprawia, że osąd staje się widoczny.

 

„Wróćmy do problemu wykorzystania związanego z pulpitami nawigacyjnymi. Przyjęcie poprawnej odpowiedzi i przyjęcie błędnej wyglądają identycznie z perspektywy wykorzystania. To transkrypcja pozwala nam je rozdzielić. Modyfikacja jest więc dowodem, że ktoś przeczytał wynik, myślał krytycznie i zabezpieczył swoją pracę — wszystko uchwycone w jednym miejscu.”

Przeszkodą jest dostęp. Większość działów HR nie może obecnie zobaczyć tych danych, a uzyskanie do nich dostępu wymaga rozmowy z działem IT i osobami odpowiedzialnymi za platformy AI, a nie uruchomienia czegoś w przyszłym tygodniu. Organizacje, które dotrą do tego punktu jako pierwsze, będą tymi, w których zespół personalny i zespół platformowy już ze sobą rozmawiały.

Celowo wprowadzony błąd

Weź rzeczywiste zadanie. Wprowadź wcześniej wybraną, znaną wadę do wyniku zwracanego przez model. Błędną liczbę, pominięty krok, twierdzenie, które nie wytrzymuje weryfikacji. Czy dana osoba zauważy to, zanim wynik pójdzie dalej?

Przewaga tego rozwiązania nad dowolnym testem polega na tym, że działa ono na rzeczywistych materiałach i za każdym razem jest oceniane w ten sam sposób. Ponieważ błąd wybrano wcześniej, nie ma niejasności związanej z oceną i można łatwo porównywać jeden miesiąc z drugim.

Wrażliwość tego rozwiązania jest jednak rzeczywista. Jeśli zostanie przeprowadzone niewłaściwie, będzie wyglądać jak zastawianie pułapki i natychmiast zatruje zaufanie. Działa wtedy, gdy zespoły wiedzą o istnieniu tej praktyki, rozumieją jej cel i widzą, że wyniki są wykorzystywane rozwojowo, a nie represyjnie.

Osąd oceniający

Dwie odpowiedzi, obie płynne, obie wiarygodne, jedna subtelnie błędna. Czy dana osoba potrafi wskazać, która, i wyjaśnić dlaczego?

To podejście jest najbliższe temu, czego wymaga praca ekspercka, i najdroższe we wdrożeniu, ponieważ przygotowanie klucza odpowiedzi wymaga osoby posiadającej rzeczywistą wiedzę dziedzinową, która skonstruuje wiarygodne, ale zawierające błędy alternatywy. Zanim się na nie zdecydujesz, uczciwie oceń ten koszt.

Wersje już działające

Niektóre organizacje ruszyły naprzód, nie czekając na doskonałe oprzyrządowanie pomiarowe.

W CNIL, francuskim organie ochrony danych, menedżerowie odpowiadają za ocenę tego, czy pracownicy potrafią kwestionować wyniki działania AI, a nie tylko obsługiwać narzędzia AI. Krytyczne zaangażowanie stało się widocznym i ocenianym wymiarem wyników pracy.

To właśnie od tego podejścia zacząłbym w pierwszej kolejności. Nie wymaga ono żadnych nowych narzędzi i przenosi tę kwestię do systemu oceny wyników pracy, za który już odpowiada dział HR. Rozwiązuje również problem, który BCG wskazuje w innym miejscu swoich badań: wskaźniki certyfikacji rosną, podczas gdy rzeczywiste kompetencje mogą się nie poprawiać.

Shell przebudował ścieżki rozwoju dla młodszych pracowników, tak aby nowe osoby samodzielnie definiowały problem, testowały założenia i przygotowywały analizę wyjściową, zanim AI zostanie wykorzystana w pracy. Wczesne raportowane rezultaty obejmowały lepsze pytania i jaśniejsze uzasadnienie podejmowanych decyzji.

Niektóre firmy przeprowadzają ćwiczenia dotyczące awarii AI, celowo wprowadzając halucynacje i nieoczekiwane utrudnienia do szkoleń, aby kwestionowanie wyników stało się odruchem, a nie instrukcją do wykonania. Pewien indyjski bank w pierwszy piątek każdego miesiąca organizuje we wszystkich działach ustrukturyzowaną sesję pracy bez AI.

Żadne z tych działań nie jest dokładnie pomiarem. Są praktyką, dzięki której pomiar wskazałby, czy są ci potrzebne.

More Articles

• Sztuczna inteligencja w operacjach biznesowych: jak przekształcić nowe technologie w strategiczną przewagę biznesową
• Czego firmy średniej wielkości nauczyły się o transformacji AI w 2025 roku
• Gotowość na AI to fraza, nie strategia
• Ciągła informacja zwrotna na temat wyników pracy brzmi przełomowo, dopóki nie zobaczysz, jak firmy ją wdrażają
• Wiceprezes ds. Ludzi i Organizacji w firmie AI o statusie jednorożca mówi, że liderzy HR muszą stać się architektami zespołu ludzi i maszyn

Problem pojawia się z opóźnieniem

Pięćdziesiąt trzy procent ankietowanych liderów BCG wskazało, że młodsze talenty rozwijają się wolniej.

To właśnie podczas wykonywania analitycznej pracy pomocniczej tradycyjnie kształtuje się osąd. Badania, pierwsze wersje opracowań, debugowanie, powolny proces rozkładania problemu na części i odkrywania, które elementy zostały źle zrozumiane. Nikt nie lubi tych powtórzeń, ale każdy ich potrzebuje.

To właśnie tę pracę organizacje w pierwszej kolejności przekazują AI. A od osób, które wcześniej uczyły się dzięki jej wykonywaniu, oczekuje się teraz działania bez niej, w niektórych przypadkach na poziomie, który jeden z respondentów BCG opisał jako odpowiadający pracy osoby z pięcio- do dziesięcioletnim stażem.

Jest tu jednak pewien problem z pomiarem. Wszystkie opisane wyżej metody wykrywają spadek względem wartości bazowej. W przypadku doświadczonych osób to działa, ponieważ wartość bazowa istnieje i można obserwować jej zmiany.

W przypadku osoby zatrudnionej w zeszłym roku nie ma wartości bazowej. Dana kompetencja nigdy się nie ukształtowała, a jej brak wygląda identycznie jak normalne wyniki pracy osoby na początku kariery — aż do chwili, gdy trzeba będzie podjąć decyzję bez wsparcia. Nie mierzysz erozji kompetencji. Mierzysz coś, co nie zdołało się pojawić, a żadne z obecnych narzędzi nie zostało do tego stworzone.

Oznacza to, że właśnie w grupie młodszych pracowników ten problem kosztuje najwięcej i ujawnia się najpóźniej.

Dlaczego kolejność ma znaczenie

Przeprojektowanie pracy to inicjatywa na najbliższe dwa kwartały w wielu organizacjach, z którymi rozmawiam. Inwentaryzacje zadań, pilotażowe wdrożenia agentów, schematy organizacyjne tworzone wokół tego, co przejmują maszyny, i tego, co zachowują ludzie.

Te decyzje utrwalają się. Określają, które kompetencje są cenione, które z nich twoi ludzie prawdopodobnie będą ćwiczyć przez kolejne lata, a które na stałe wyjdą z użycia.

Podejmowanie ich na podstawie niezmierzonego spadku wbudowuje ten spadek w strukturę. Decydowalibyście o tym, co ludzie powinni nadal robić, nie mając rzetelnej wiedzy o tym, co wasi pracownicy wciąż potrafią i w jakich obszarach ich kompetencje uległy zanikowi.

Nie sądzę, aby narzędzie musiało być doskonałe, zanim zaczniecie działać. Test z celowo wprowadzonym błędem można przeprowadzić w większości działów w ciągu miesiąca. Podejście CNIL wymaga rozmowy z menedżerami i dodania jednej pozycji do formularza oceny.

Przed zatwierdzeniem przeprojektowania chciałbym uzyskać odpowiedź na jedno pytanie oraz dowody ją potwierdzające.

Gdybyście jutro wyłączyli AI w całym swoim zespole, czy wasi ludzie byliby lepsi niż przed jej wdrożeniem, czy gorsi?