Kilka miesięcy temu uczestniczyłem w omówieniu procesu rekrutacyjnego, podczas którego wynik selekcji AI był czynnikiem decydującym o złożeniu oferty. Kandydat uzyskał wynik znacznie powyżej ustalonego progu, zespół miał dobre odczucia, a zapotrzebowanie na stanowisko zamknięto dwa dni szybciej niż wynosiła średnia.

Sześć tygodni później tego pracownika już nie było.

Nikt na sali nie potrafił powiedzieć, czy wynik kiedykolwiek sprawdzono w zestawieniu z rzeczywistym rezultatem — dobrym lub złym. Po prostu mu zaufano, tak jak ufa się termometrowi, nigdy nie pytając, kto go skalibrował.

Właśnie dlatego istnieje Screenz i właśnie dlatego powstał ten artykuł.

Jeśli oceniasz narzędzia AI do selekcji kandydatów, widziałeś już liczby dotyczące skuteczności, którymi dostawcy chętnie się posługują — 89% tego, 94% tamtego, „przewyższa ręczną analizę”. Te liczby zazwyczaj są prawdziwe. Zazwyczaj odpowiadają jednak na inne pytanie niż to, które naprawdę zadajesz.

Co zwykle oznacza „skuteczność” (i co zamiast tego mierzy Screenz)

Większość deklaracji dotyczących skuteczności składanych przez dostawców narzędzi AI do selekcji kandydatów opisuje, jak dobrze narzędzie dopasowuje życiorys lub profil do opisu stanowiska — wyodrębniając umiejętności, stanowiska i lata doświadczenia, a następnie szeregując kandydatów według określonych kryteriów. To rzeczywisty, mierzalny i naprawdę przydatny aspekt. Nie jest on jednak tym samym co przewidywanie, jak dana osoba faktycznie poradzi sobie po zatrudnieniu.

To dwa różne pytania:

• Skuteczność dopasowania: Czy profil tego kandydata przypomina profil osoby, której — jak powiedzieliśmy — szukamy?
• Trafność predykcyjna: Czy wysoki wynik rzeczywiście koreluje z wysoką efektywnością lub dłuższym stażem pracy po objęciu stanowiska?

Narzędzie może doskonale radzić sobie z pierwszym zadaniem, a w przypadku drugiego pozostawać całkowicie niesprawdzone. Większość materiałów marketingowych dostawców nie rozróżnia tych dwóch kwestii, a większość kupujących nie wie, o co pytać — i właśnie dlatego dobrze wypromowany wynik zaczyna być traktowany podczas omówienia rekrutacji jak prawda objawiona.

W Screenz traktujemy je jako dwie oddzielne liczby, a nie jeden połączony wynik — ponieważ właśnie zacieranie tej różnicy sprawia, że narzędzie do dopasowywania zaczyna być reklamowane jako narzędzie predykcyjne.

Pytanie, na które stworzyliśmy Screenz, aby odpowiedzieć

W badaniach istnieje na to określenie: trafność predykcyjna — korelacja między wynikiem oceny a późniejszą, niezależną miarą efektywności, taką jak oceny menedżera, wielkość produkcji lub utrzymanie pracownika przez 12 miesięcy. Wyraża się ją w skali od 0 (brak związku) do 1 (idealna predykcja), a w rzeczywistym świecie żadne rozwiązanie związane z rekrutacją nie zbliża się do wartości 1.

Dla kontekstu: metaanalityczne badania dotyczące ustrukturyzowanych rozmów kwalifikacyjnych — najbliższego dobrze zbadanego odpowiednika współczesnych agentów AI prowadzących rozmowy — zazwyczaj wskazują współczynniki trafności w przedziale .28–.30, zależnie od mierzonego wymiaru efektywności. Liczby te odzwierciedlają dziesięciolecia udoskonaleń i są uznawane za mocny wynik w selekcji pracowników. To zupełnie co innego niż sugeruje nagłówek typu „94% skuteczności” kupującemu, który nie zna różnicy — a jednocześnie jest to poprzeczka wyraźnie wyższa niż ta, według której większość dostawców narzędzi AI do selekcji kandydatów chce być oceniana.

To dokładnie pytanie, na które stworzyliśmy Warstwę Inteligencji Screenz, aby stale odpowiadać. Każdy kandydat przechodzi tę samą ustrukturyzowaną rozmowę dostosowaną do stanowiska. Następnie kandydaci są szeregowani według tych kryteriów, a do wyniku dołączane są transkrypcja i uzasadnienie, dzięki czemu osoba dokonująca oceny może sprawdzić pracę modelu, zamiast przyjmować wynik na wiarę. Po zatrudnieniu danej osoby śledzimy sygnały z okresowych kontroli i utrzymania pracownika w zestawieniu z tym, co rozmowa o niej wskazywała — i wykorzystujemy ten wzorzec do kolejnego uszeregowania krótkiej listy kandydatów. To właśnie jest sedno tego rozwiązania: trafność nie jest deklaracją składaną raz, przy uruchomieniu systemu, lecz czymś, co system stale ponownie sprawdza na podstawie napływających rezultatów.

Dlatego gdy dostawca twierdzi, że jego narzędzie przewiduje efektywność, jedno pytanie trafia w sedno:

„W odniesieniu do jakiego rezultatu przeprowadzono walidację, w jaki sposób go zmierzono i w jakim okresie?”

Jeśli szczera odpowiedź brzmi: „jeszcze tego nie mierzyliśmy”, nie oznacza to automatycznie, że narzędzie należy odrzucić — oznacza po prostu, że kupujesz narzędzie do dopasowywania, a nie narzędzie predykcyjne, więc stopień polegania na jego wyniku w sytuacjach granicznych powinien być odpowiednio określony.

Trzy pytania, które warto zadać, zanim zaufasz wynikowi (w tym dotyczące Screenz)

1. W odniesieniu do jakiego rezultatu przeprowadzono walidację — i jak długo po zatrudnieniu?

„Przewiduje sukces” może oznaczać wskaźnik wyników z 30 dni, wskaźnik utrzymania pracowników po 12 miesiącach albo ocenę menedżera opartą na intuicji. Zapytaj, o który z nich chodzi, i zapytaj, jak zdefiniowano „sukces” przed rozpoczęciem badania — a nie później, gdy łatwo wybrać wskaźnik, dzięki któremu wynik wygląda najlepiej.

2. Zweryfikowane na danych podobnych do Twoich czy zapożyczone z innego źródła?

Badanie trafności przeprowadzone na szerszej bazie klientów dostawcy nie przenosi się automatycznie na Twoje stanowiska, branżę ani rynek pracy. Zapytaj, czy dowody obejmują coś przypominającego Twój kontekst — oraz czy dostawca oferuje możliwość bieżącej weryfikacji narzędzia na podstawie własnych danych dotyczących wyników, a nie tylko na etapie sprzedaży.

3. Jaki jest wskaźnik nieproporcjonalnego wpływu i kto go sprawdził?

Zgodnie z powszechnie stosowaną zasadą czterech piątych wskaźnik wyboru dla dowolnej grupy, który spada poniżej 80% wskaźnika dla grupy z najwyższymi wynikami, wymaga zbadania. Narzędzie może mieć przyzwoitą trafność predykcyjną, a jednocześnie powodować nieproporcjonalny wpływ — to odrębne kwestie, a dostawca, który potrafi odpowiedzieć tylko na jedną z nich, tak naprawdę nie odpowiedział na żadną.

To nie są dla nas hipotetyczne pytania. To trzy pytania, na które Warstwa analityczna została zaprojektowana, aby stale odpowiadać — nie tylko raz, przy uruchomieniu, lecz na bieżąco, gdy napływają nowe dane dotyczące wyników.

Nie chodzi tu o podważanie sztucznej inteligencji jako kategorii. Chodzi o różnicę między dostawcą, który mówi, że jego wynik działa, a dostawcą, który pokazuje dowody na to, że rzeczywiście działa — w odniesieniu do wyników ważnych dla Twojej firmy, a nie tylko tych, które łatwo reklamować.

Dlaczego stworzyliśmy Screenz wokół tego pytania

Powiem wprost: to nie jest neutralna lista. Stworzyliśmy Screenz wokół agenta sztucznej inteligencji, który prowadzi ustrukturyzowane rozmowy — a nie tylko analizuje CV — co oznacza, że pytanie o trafność predykcyjną nie jest dla nas abstrakcyjne. To cały produkt. Wydajność łatwo udowodnić i łatwo reklamować: szybsze listy kandydatów, niższy koszt zatrudnienia. Trafność przewidywania wyników jest trudniejsza do zbudowania i wolniej ją udowodnić, co prawdopodobnie wyjaśnia, dlaczego mniej dostawców zaczyna od tego tematu.

Wolelibyśmy, aby oceniano nas na podstawie trudniejszego pytania. Jeśli zapytasz nas „w odniesieniu do czego przeprowadzono walidację”, chcemy, aby była to najłatwiejsza część rozmowy — a nie ta, którą przekierowuje się na prezentację funkcji.

Zabierz te pytania na kolejną rozmowę z dostawcą — razem ze Screenz

Nie musisz mieć wykształcenia statystycznego, aby odbyć tę rozmowę. Potrzebujesz trzech pytań i gotowości, by zaakceptować uczciwe „jeszcze nie wiemy”, jeśli taką odpowiedź otrzymasz. Zadaj powyższe trzy pytania obecnemu dostawcy albo kolejnemu, który zaprezentuje Ci swój wynik, i sprawdź, czy odpowiedzią będzie konkretna liczba oraz metodologia — czy też pewne siebie powtórzenie deklaracji dotyczącej dokładności, którą już słyszałeś.

Różnica między tymi dwiema odpowiedziami jest sednem sprawy.

Ciekawi Cię, jak w praktyce wygląda selekcja zweryfikowana pod kątem wyników? Zobacz, jak podchodzi do tego Screenz.