Birkaç ay önce, bir yapay zekâ tarama puanının bir iş teklifinde belirleyici faktör olduğu bir işe alım değerlendirme toplantısına katıldım. Aday, eşik değerin oldukça üzerinde puan aldı, ekip bu sonuçtan memnun kaldı ve açık pozisyon ortalamadan iki gün daha hızlı kapatıldı.
Altı hafta sonra bu işe alım sona erdi.
Toplantıdaki hiç kimse bana bu puanın iyi ya da kötü bir gerçek sonuçla karşılaştırılıp karşılaştırılmadığını söyleyemedi. Puan, bir termometreyi kimin kalibre ettiğini hiç sormadan ona güvendiğiniz gibi, olduğu gibi kabul edilmişti.
Screenz'in var olma nedeni ve bu makalenin yazılma nedeni de bu.
Yapay zekâ tarama araçlarını değerlendiriyorsanız, tedarikçilerin öne çıkardığı doğruluk oranlarını görmüşsünüzdür — şu yüzde 89, bu yüzde 94, “manuel incelemeden daha iyi performans.” Bu rakamlar genellikle doğrudur. Ancak genellikle sizin aslında sorduğunuzdan farklı bir soruya yanıt verirler.
“Doğruluk” Genellikle Ne Anlama Gelir (Ve Screenz Bunun Yerine Neyi Ölçer)
Yapay zekâ tarama tedarikçilerinin doğruluk iddialarının çoğu, aracın bir özgeçmişi veya profili bir iş tanımıyla ne kadar iyi eşleştirdiğini açıklar — becerileri, unvanları ve deneyim yıllarını çıkarır, ardından adayları belirtilen kriterlere göre sıralar. Bu gerçek, ölçülebilir ve gerçekten faydalıdır. Ancak bir kişinin işe alındıktan sonra gerçekte nasıl performans göstereceğini öngörmekle aynı şey değildir.
Bunlar iki farklı sorudur:
- Eşleştirme doğruluğu: Bu adayın profili, istediğimizi söylediğimiz şeye benziyor mu?
- Öngörüsel geçerlilik: Yüksek bir puan, kişi göreve başladıktan sonra gerçekten güçlü performansla veya daha uzun görev süresiyle ilişkili mi?

Bir araç ilk konuda mükemmel olabilirken ikinci konuda tamamen kanıtlanmamış olabilir. Tedarikçilerin pazarlama çalışmalarının çoğu bu ikisi arasında ayrım yapmaz ve alıcıların çoğu da bunu sorması gerektiğini bilmez — iyi pazarlanmış bir puanın bir işe alım değerlendirme toplantısında nasıl tartışılmaz bir gerçek gibi kabul edildiği tam olarak böyle açıklanabilir.
Screenz'de bunları tek bir birleştirilmiş puan olarak değil, iki ayrı sayı olarak ele alıyoruz — çünkü bunları birleştirmek, bir eşleştirme aracının öngörüsel bir araçmış gibi pazarlanmasına yol açan şeydir.
Screenz'i Yanıtlamak Üzere Tasarladığımız Soru
Araştırmalarda bunun bir adı var: öngörüsel geçerlilik — bir değerlendirme puanı ile performansın yönetici değerlendirmeleri, çıktı veya 12 aylık elde tutma gibi daha sonra alınan bağımsız bir ölçümü arasındaki korelasyon. 0'dan (ilişki yok) 1'e (kusursuz öngörü) kadar puanlanır ve gerçek dünyada işe alımla ilgili hiçbir şey 1'e yaklaşmaz.

Bağlam sağlamak gerekirse, yapılandırılmış mülakatlar üzerine yapılan meta-analitik araştırmalar — günümüzün yapay zekâ mülakat aracılarının en yakın ve iyi incelenmiş benzeri — ölçülen performans boyutuna bağlı olarak geçerlilik katsayılarını genellikle .28–.30 aralığında gösterir. Bu rakamlar, onlarca yıllık iyileştirmenin sonucudur ve personel seçiminde güçlü bir sonuç olarak kabul edilir. Aradaki farkı iyi bilmeyen bir alıcı için “yüzde 94 doğru” gibi bir başlığın ima ettiği seviyeye hiç yaklaşmaz — ayrıca çoğu yapay zekâ tarama tedarikçisinin karşılaştırılmaya razı olduğu seviyeden anlamlı ölçüde daha yüksek bir çıtadır.
Screenz'in Zekâ Katmanı'nı sürekli yanıt vermek üzere tasarladığımız soru tam olarak budur. Her başvuru sahibi aynı yapılandırılmış, role özgü mülakata tabi tutulur. Ardından adaylar, döküm ve gerekçelendirme eklenmiş şekilde bu kriterlere göre sıralanır; böylece bir incelemeci puanı sorgusuz sualsiz kabul etmek yerine modelin çalışmasını kontrol edebilir. Bir kişi işe alındıktan sonra, mülakatın o kişi hakkında söyledikleriyle işe uyum ve elde tutma sinyallerini karşılaştırırız — ardından bu örüntüyü bir sonraki kısa listenin nasıl sıralanacağına yansıtırız. Bütün amaç bu döngüdür: geçerlilik, lansmanda bir kez yaptığımız bir iddia değil, sonuçlar geldikçe sistemin bunlara karşı sürekli yeniden test ettiği bir unsurdur.

Dolayısıyla bir tedarikçi aracının performansı öngördüğünü söylediğinde, meseleyi doğrudan ortaya koyan bir soru vardır:
“Hangi sonuca göre doğrulandı, nasıl ölçüldü ve hangi zaman aralığında?”
Dürüst yanıt “bunu henüz ölçmedik” ise bu durum otomatik olarak eleme nedeni değildir — yalnızca öngörüsel değil, bir eşleştirme aracı satın aldığınız ve kritik karar anlarında puana olan güveninizin buna göre belirlenmesi gerektiği anlamına gelir.
Want to learn more about Screenz?
Bir Puana Güvenmeden Önce Sorulması Gereken Üç Soru (Screenz Dahil)
- Hangi sonuca göre doğrulandı ve işe alımdan ne kadar süre sonra?
“Başarıyı öngörür” ifadesi 30 günlük bir performans göstergesi, 12 aylık bir elde tutma sayısı veya bir yöneticinin içgüdüsel değerlendirmesi anlamına gelebilir. Hangisi olduğunu sorun ve çalışmadan önce “başarı”nın nasıl tanımlandığını öğrenin — sonuçtan sonra değil; çünkü o zaman sonucu en iyi gösteren metriği seçmek kolaydır.
- Sizinkine benzer veriler üzerinde mi doğrulandı, yoksa başka bir yerden mi alındı?
Bir tedarikçinin daha geniş müşteri tabanı genelinde yürütülen bir geçerlilik çalışması, rollerinize, sektörünüze veya iş gücü piyasasına otomatik olarak uyarlanmaz. Kanıtların bağlamınıza benzeyen herhangi bir unsuru içerip içermediğini ve tedarikçinin aracı yalnızca satış aşamasında değil, kendi sonuç verilerinize karşı sürekli olarak doğrulamanız için bir yöntem sunup sunmadığını sorun.

- Olumsuz etki oranı nedir ve bunu kim kontrol etti?
Yaygın olarak kullanılan beşte dört kuralına göre, herhangi bir grup için seçim oranının en yüksek puanı alan grubun oranının %80'inin altında kalması, incelenmeye değerdir. Bir araç makul bir öngörü geçerliliğine sahip olabilir ve yine de farklı gruplar üzerinde orantısız etki yaratabilir — bunlar ayrı sorulardır ve yalnızca birini yanıtlayabilen bir tedarikçi aslında ikisini de yanıtlamış sayılmaz.
Bunlar bizim için varsayımsal konular değil. Intelligence Layer'ın yalnızca kullanıma sunulduğunda bir kez değil, yeni sonuç verileri geldikçe sürekli olarak yanıtlamaya devam etmesi için tasarlandığı üç soru bunlar.
Bunların hiçbiri bir kategori olarak yapay zekâdan şüphe etmekle ilgili değil. Mesele, bir tedarikçinin size puanının işe yaradığını söylemesiyle, işe yaradığını gösteren kanıtları sunması arasındaki farkla ilgili — yalnızca reklamı kolay olan sonuçlar için değil, işletmeniz açısından önemli olan sonuçlar için.
Screenz'i Bu Soru Etrafında Neden Oluşturduk
Açık konuşayım: Bu tarafsız bir liste değil. Screenz'i yalnızca özgeçmişi ayrıştıran değil, yapılandırılmış mülakatlar gerçekleştiren bir yapay zekâ aracısı etrafında oluşturduk; bu da öngörü geçerliliği sorusunun bizim için soyut olmadığı anlamına geliyor. Ürünün tamamı bu sorudan ibaret. Verimliliği kanıtlamak ve pazarlamak kolaydır: daha hızlı kısa listeler, işe alım başına daha düşük maliyet. Sonuç geçerliliğini oluşturmak daha zordur ve kanıtlamak daha uzun sürer; muhtemelen daha az tedarikçinin buna öncelik vermesinin nedeni de budur.
Daha zor olan soruya göre değerlendirilmek isteriz. Bize “neye göre doğrulandı?” diye sorduğunuzda, bunun görüşmenin en kolay kısmı olmasını istiyoruz — özellik tanıtımına yönlendirilen kısım değil.
Bunu Bir Sonraki Tedarikçi Görüşmenize Götürün; Screenz de Dahil
Bu görüşmeyi yapabilmek için istatistik eğitiminizin olması gerekmez. Üç soruya ve aldığınız yanıt buysa dürüst bir “henüz bilmiyoruz” ifadesiyle yüzleşmeye istekli olmanız yeterlidir. Yukarıdaki üç soruyu mevcut tedarikçinize veya size bir sonraki puanı sunacak tedarikçiye yöneltin ve yanıtın belirli bir sayı ile yöntem mi olduğunu — yoksa zaten duyduğunuz doğruluk iddiasının kendinden emin bir tekrarı mı olduğunu — gözlemleyin.
Bu iki yanıt arasındaki fark, meselenin tamamıdır.
Sonuçlarla doğrulanmış taramanın uygulamada gerçekte nasıl göründüğünü merak mı ediyorsunuz? Screenz'in buna nasıl yaklaştığını görün.


