Yargıyı Ölçebilir misiniz?

Yapay zekâ gösterge paneliniz, araçları kaç kişinin kullandığını size söyler. Ancak bu araçların insanlar üzerinde ne yaptığını söyleyemez.

Geçen hafta Las Vegas'ta AI4 kapsamında katıldığım birçok oturumda bu tema tekrar tekrar gündeme geldi. 

Kuruluşlar iki yıl boyunca etkinleştirilen lisanslar, haftalık aktif kullanıcılar, gönderilen istemler ve raporlanan tasarruf edilmiş saatler etrafında raporlama sistemleri oluşturdu. Bu sayılar, yönetimin 2023'te sorduğu, insanların gerçekten bu şeyi kullanıp kullanmayacağı sorusunu yanıtlıyordu. Risk benimsemeydi; dolayısıyla benimsemeyi ölçmek mantıklıydı.

Artık bu sorunun yanıtlanmasına gerek yok. Ancak yanıtlamak üzere oluşturulan araç yerinde kaldı ve şimdi aslında görecek şekilde tasarlanmadığı bir probleme yöneltiliyor.

Katıldığım oturumlardan birinin adı "Benimsemenin Ötesinde: İş Akışı İçinde Yapay Zekâ Muhakemesi Oluşturmak" idi. Sharahn McClung'ın çerçevesi, bu konuda duyduğum en açık anlatımdı. Şirketler hızı ölçüyor. Kullanımı ölçüyorlar. Sonra da gelişme olduğunu varsayıyorlar. İlk ikisi sayılıyor. Üçüncüsü ise çıkarım yoluyla kabul ediliyor.

BCG tarafından haziran ayında yayımlanan araştırma, bu çıkarımın önemsenmeyecek kadar sık yanlış olduğunu gösteriyor. 70 üst düzey yönetici ve kıdemli yöneticiyle yapılan bir araştırmada, katılımcıların yarısı kendi kuruluşlarında becerilerin şimdiden aşındığını gözlemlediklerini, %60'tan fazlası ise bunun üç ila beş yıl içinde önemli bir tehdit hâline gelmesini beklediklerini söyledi. Yalnızca onda birinin kuruluş çapında bir stratejisi veya yürürlükte olan hedefli girişimleri vardı. Üçte biri ise bunu hiç tartışmamıştı.

Podcast'imizi dinliyorsanız, muhtemelen bu dönemlerde liderlerin biraz daha felsefi olması gerektiğinden bahsettiğimi duymuşsunuzdur. Ancak burada soru felsefi olmaktan çok daha pratik bir hâle geliyor. Yapay zekânın çalışanlarınızı daha iyi mi yoksa daha kötü mü hâle getirdiğini bilmek isteseydiniz, nereye bakardınız?

Bariz Yanıtı Eleyerek Başlayın

İlk içgüdü onlara sormaktır.

Bu içgüdüye güvenmemek için bir neden var ve bu neden, yanıtı vermek için en iyi konumda olması gereken kişilerle yapılan bir araştırmadan kaynaklanıyor.

Temmuz 2025'te METR, çok iyi bildikleri kod tabanlarında 246 gerçek sorun üzerinde çalışan 16 deneyimli açık kaynak geliştiriciyle rastgele kontrollü bir deneme yürüttü. Geliştiriciler başlamadan önce yapay zekâ araçlarının onları yaklaşık %24 daha hızlı hâle getireceğini tahmin etti. Gerçekte %19 daha yavaştılar. Tüm deneyimi yaşadıktan sonra bile yaklaşık %20 daha hızlı olduklarını tahmin etmeyi sürdürdüler.

Bu sonuçla ilgili akılda tutulmaya değer iki şey var.

METR artık bu bulguyu tarihsel olarak nitelendiriyor ve şubat 2026'da yapılan bir takip çalışması, daha yeni modellerde bir miktar hızlanmaya ilişkin bazı kanıtlar buldu. Belirli yavaşlama oranı, ekiplerinizin bugün kullandığı araçları tanımlamıyor olabilir.

Geriye kalan, zaten daha yararlı olan ikinci bulgu. Bunlar, sonucu doğrudan gözlemleyebilen, aşina oldukları bir alanda çalışan uzman uygulayıcılardı ve algılarıyla ölçülen performansları arasındaki fark neredeyse 40 puana ulaşıyordu. Daha iyi modellerin olması, insanların kendi performanslarını değerlendirmede daha iyi hâle gelmesini sağlamıyor.

Kendi bildirimlerinden geçen her ölçüm yaklaşımı bu sorunu da beraberinde taşır. Yapay zekânın yardımcı olup olmadığını soran çalışan bağlılığı anketleri yanıtlar üretecektir. Yanıtlar samimi olacaktır. Ancak bunlar da yaklaşık olarak o geliştiricilerin tahminleri kadar güvenilir olacaktır.

İki Eğri, Aynı Şekil

Kullanım seyirleri özdeş olan iki ekip düşünün. Her ikisi de istikrarlı biçimde yükseliyor ve şu anda topladığınız her ölçütte sağlıklı bir benimseme gösteriyor.

Ekiplerden biri, modele ne zaman güvenmeye değer olduğunu ve ne zaman modelin geçersiz kılınması gerektiğini öğrenmiş. Yetenekleri katlanarak artıyor. Diğer ekip ise aylardır çıktıları gerçekmiş gibi kabul ediyor. Yükselen çizginin altında yetkinlikleri eriyip gidiyor.

Bu ekipleri birbirinden ayırabilecek hiçbir kullanım ölçütü yok.

Ocak ayında yayımlanan bir Wharton çalışma makalesi, aslında birbirlerinden ne kadar farklı olduklarını ölçtü. Steven Shaw ve Gideon Nave, gizli başlangıç istemleri aracılığıyla bir yapay zekâ asistanının doğru veya hatalı yanıtlar vermesini rastgeleleştirerek, 9.000'den fazla denemede yaklaşık 1.400 katılımcıyla üç önceden kaydedilmiş deney yürüttü.

Yapay zekâ erişimi olmayan katılımcıların oluşturduğu temel çizgiyle karşılaştırıldığında, yapay zekâ doğru olduğunda doğruluk 25 puan arttı. Hata yaptığında ise doğruluk, yapay zekâ olmayan temel çizginin 15 puan altına düştü.

Doğru okudunuz; bu, araca hiç sahip olmayan kişilerden bile daha düşük bir sonuç. Modelin güvenilmez olduğu görevlerde, araca erişim katılımcıları hiç araca sahip olmamaktan daha kötü hâle getirdi.

Hatalardan sonra da dâhil olmak üzere, her iki koşulda da güven arttı.

Shaw ve Nave bu davranışı, hem sezgiyi hem de üzerinde düşünmeyi geçersiz kılarken yapay zekâ çıktılarını asgari düzeyde inceleyerek benimsemek anlamına gelen “bilişsel teslimiyet” olarak adlandırıyor. Yapay bilişi, beynin dışında işleyen ve insan muhakemesini destekleyebilen ya da onun yerini alabilen üçüncü bir sistem olarak çerçeveliyorlar.

Bu, çalışanların işlerini yaptığı bir çalışma değil, akıl yürütme problemlerinin kullanıldığı bir laboratuvar çalışmasıydı ve bu ayrımı akılda tutmak önemli. Çalışmanın ortaya koyduğu şey, kontrollü koşullar altında mekanizma ve bunun büyüklüğüdür.

BCG liderleri aynı örüntüyü gerçek kuruluşların içinden anlatıyor. Neredeyse %90'ı, yapay zekâ çıktısını stres testine tabi tutmadan kabul eden ekipleri yeteneklerde gerilemenin bir belirtisi olarak tanımladı. Yarısından fazlası, bununla birlikte sahiplenme duygusunun da aşındığını belirtti. İçlerinden biri bunu açıkça ifade ederek, sonuç olumlu olmadığında sorumluluğun yapay zekâya yüklendiğini söyledi.

Yargı Neye Ayrışır?

Yargı, ölçüme direnç gösteren bir şeymiş gibi kulağa gelir. McClung'un oturumu, bu önermeyi reddedip bu sözcüğü gözlemlenebilir eylemlere ayırdığı için yararlıydı.

İyi bir yanıta güvenip yoluna devam etmek. Doğru çıktıyı yeniden sorgulamak başlı başına bir israf biçimidir. Her şeyi iki kez doğrulayan bir ekip yargı kullanmıyor, yargı geliştiremiyor demektir. Verimli kabul, istediğiniz şeyler listesinde yer almalıdır.

Kendinden emin ama yanlış bir yanıtı geçersiz kılmak. Zor olan budur. Çıktı iyi okunur, model hiçbir tereddüt göstermez ve hatayı yakalamak, bir şeylerin ters gittiğini fark edecek kadar bağımsız bilgi gerektirir. İlk başarısız olan eylem budur ve kullanım metriğinde görülemeyen şey de budur.

Araca hiç başvurmamak gerektiğini bilmek. McClung'un bununla ilgili anlatımı, oturumun en insani anıydı. Bazen bir komut yazmaya başladığını ve yazma eyleminin ortasında, tüm düşünme sürecinin zaten bunu yazarken gerçekleştiğini fark ettiğini; geriye dönen yanıtla yapacak bir şey kalmadığını anlattı.

Sizin için nasıl bilmiyorum ama benim şahsen boş bir sayfa korkum var. Ona bakıyorum ve nereden başlayacağımı bilmiyorum. Bazen de komutu yazdığımda tüm sürecimi ve bütün düşüncelerimi komutun içinde tamamladığımı ve aslında araca ihtiyacım olmadığını fark ediyorum.

Bunların her biri, herhangi bir çıktı yayımlanmadan önce bir kişinin verdiği karardır. Kullanım arttıkça bunların hiçbiri gelişmez. Bunlar, bir kuruluşun inşa etmesi gereken girdilerdir ve onları benimsemenin yan ürünleri olarak görmek, BCG katılımcılarının tanımladığı noktaya varmanın yoludur.

Bu durum, yargı ve karar vermenin, çalışmalarındaki tüm beceriler arasında beceri körelmesi riski en yüksek puanı neden aldığını da açıklıyor. Bunlar, aynı liderlerin uzun vadeli kurumsal performans için en önemli tek beceri olarak değerlendirdiği problem anlama ve çerçevelemeyle birlikte yer alıyor.

Yargıyı Görmenin Üç Yolu

Ne kadar kısa sürede başlayabileceğinize göre sıralanmıştır.

Kabul et, değiştir, reddet.

Her yapay zekâ oturumu, ne sorulduğuna, ne yanıt geldiğine ve kişinin daha sonra bununla ne yaptığına dair bir kayıt oluşturur. Doğru bir yanıtı kabul etmekle yanlış bir yanıtı kabul etmek aynı kullanım verisini üretir, ancak yargının birbirinin zıddı eylemlerini temsil eder. Değişiklik yapmak, birinin çıktıyı yayımlamadan önce okuduğunun ve üzerinde düşündüğünün kanıtıdır.

Aylar boyunca bir ekip genelinde bir araya getirildiğinde bu oran, anekdot olmaktan çıkar ve eğilimini takip edebileceğiniz bir şeye dönüşür.

Oturum Dökümleri Sinyaldir

“Her oturum bir dökümdür,” dedi McClung. “Kişinin ne sorduğunu, nasıl yanıt verdiğini, bir problemi nasıl bulduğunu, yapay zekânın ne döndürdüğünü ve bunu gerçekten ne zaman oluşturduğunu; ayrıca yanıtı olduğu gibi kabul edip etmediğini, değiştirip değiştirmediğini veya yapay zekâyı reddedip reddetmediğini gerçek zamanlı olarak söyler. Dolayısıyla kabul et, değiştir, reddet sinyali, görünür hâle gelmiş yargıdır.

 

“Kullanımın gösterge panelindeki sorununu düşünün. Doğru yanıtınızı kabul etmekle yanlış bir yanıtı kabul etmek, kullanım açısından birbirinin aynısı görünür. Bunları ayırmamızı sağlayan şey dökümdür. Dolayısıyla değişiklik yapmak, birinin okuyup eleştirel biçimde düşündüğünün ve çıktısını koruduğunun tek bir yerde yakalanmış kanıtıdır.”

Engel, erişimdir. İnsan kaynakları işlevlerinin çoğu şu anda bu verileri göremiyor ve bunlara ulaşmak, gelecek hafta başlatabileceğiniz bir şeyden ziyade BT ve yapay zekâ platformunuzun sahipleriyle yapılacak bir görüşmedir. Bu noktaya ilk ulaşan kuruluşlar, insan ve platform ekiplerinin zaten iletişim hâlinde olduğu kuruluşlar olacaktır.

Planlı hata

Gerçek bir görev alın. Modelin döndürdüğü yanıta önceden belirlenmiş, bilinen bir kusur yerleştirin. Yanlış bir rakam, atlanmış bir adım, doğrulanamayan bir iddia. Kişi, bu çıktı ilerlemeden önce hatayı yakalıyor mu?

Bunun herhangi bir teste göre gücü, gerçek çıktılar üzerinde çalışması ve her seferinde aynı şekilde puanlanmasıdır. Hata önceden seçildiği için puanlama belirsizliği yoktur ve bir ayı diğer ayla temiz bir biçimde karşılaştırabilirsiniz.

Ancak hassasiyet gerçektir. Kötü uygulandığında bu, bir tuzak kurma girişimi gibi algılanır ve güveni hemen zehirler. Ekipler uygulamanın varlığından haberdar olduğunda, nedenini anladığında ve sonuçların cezalandırıcı değil geliştirici amaçlarla kullanıldığını gördüğünde işe yarar.

Değerlendirici yargı

İki yanıt; ikisi de akıcı, ikisi de makul, ancak biri belli belirsiz yanlış. Kişi hangisinin yanlış olduğunu belirleyip nedenini açıklayabilir mi?

Bu, uzmanların yaptığı işe en yakın olan ve uygulanması en pahalı seçenektir; çünkü yanıt anahtarını oluşturmak, makul görünüp kusurlu olan alternatifler tasarlayabilecek gerçek alan uzmanlığına sahip birini gerektirir. Bunu uygulamaya koymadan önce bu maliyet konusunda kendinize karşı dürüst olun.

Halihazırda Kullanılan Sürümler

Bazı kuruluşlar kusursuz ölçüm altyapısını beklemeden harekete geçti.

Fransa'nın veri koruma kurumu CNIL'de yöneticiler, çalışanların yalnızca yapay zekâ araçlarını kullanıp kullanamadığını değil, yapay zekâ çıktılarını sorgulayıp sorgulayamadığını değerlendirmekten sorumlu. Eleştirel yaklaşım, performansın görünür ve değerlendirilen bir boyutu hâline geldi.

Benim ilk olarak benimseyeceğim yaklaşım bu olurdu. Yeni bir araç gerektirmiyor ve soruyu, İK'nın zaten sahip olduğu performans sistemine taşıyor. Ayrıca BCG'nin araştırmasının başka bir bölümünde belirlediği bir sorunu da çözüyor: sertifikasyon oranları yükselirken gerçek yetkinlik aynı ölçüde artmayabiliyor.

Shell, yeni çalışanların yapay zekâ işe dâhil olmadan önce problemi bağımsız biçimde çerçevelemesi, varsayımları test etmesi ve temel bir analiz üretmesi için başlangıç düzeyindeki öğrenme yollarını yeniden oluşturdu. Erken dönemde bildirilen sonuçlar arasında daha iyi sorular ve kararların ardındaki muhakemenin daha açık olması yer aldı.

Bazı şirketler yapay zekâ başarısızlığı tatbikatları düzenliyor; çıktıları sorgulamayı bir talimat olmaktan çıkarıp refleks hâline getirmek için eğitime kasıtlı olarak halüsinasyonlar ve beklenmedik zorluklar ekliyor. Hindistan'daki bir banka, her ayın ilk cuma günü tüm birimlerde yapılandırılmış bir yapay zekâsız çalışma oturumu düzenliyor.

Bunların hiçbiri tam anlamıyla ölçüm değil. Bunlar, ölçümün size gerekip gerekmediğini göstereceği uygulamalar.

Sorun Geç Ortaya Çıkıyor

BCG'nin araştırmasına katılan liderlerin yüzde 53'ü, genç yeteneklerin daha yavaş gelişmesine işaret etti.

Analitik angarya, geleneksel olarak muhakemenin geliştiği yerdir. Bu çalışma; ilk taslakları oluşturma, hata ayıklama, bir problemi parçalara ayırma ve hangi kısımları yanlış yaptığınızı keşfetme sürecinin yavaş ilerleyen işidir. Hiç kimse bu tekrarları sevmez, ancak herkesin bunlara ihtiyacı vardır.

Kuruluşların yapay zekâya devrettiği ilk iş de budur. Önceden bu işten öğrenen kişilerden ise artık, bazı durumlarda BCG katılımcılarından birinin beş ila on yıllık bir çalışanın yapacağı işler olarak tanımladığı düzeyde, bu iş olmadan performans göstermeleri bekleniyor.

Burada ölçüm açısından bir pürüz var. Yukarıdaki her şey, bir temel çizgiye kıyasla gerilemeyi tespit ediyor. Deneyimli kişilerde bu işe yarıyor; çünkü temel çizgi mevcut ve değişimini izleyebiliyorsunuz.

Geçen yıl işe alınmış bir kişide ise temel çizgi yoktur. Yetkinlik hiçbir zaman oluşmamıştır ve yokluğu, desteğe ihtiyaç duymadan karar vermeleri gereken ana kadar kariyerin ilk dönemlerindeki normal performansla tamamen aynı görünür. Siz aşınmayı ölçmüyorsunuz. Ortaya çıkamamış bir şeyi ölçüyorsunuz ve mevcut araçların hiçbiri bunun için tasarlanmış değil.

Bu da genç çalışan grubunun, bu durumun en yüksek maliyete yol açtığı ve en geç ortaya çıktığı yer olduğu anlamına geliyor.

Sıralama Neden Önemli?

İş yeniden tasarımı konuştuğum birçok kuruluşta önümüzdeki iki çeyreğin girişimi. Görev envanterleri, makinelerin üstlendiği ve insanların sürdürdüğü işler etrafında çizilen organizasyon şemaları, yapay zekâ aracısı pilot uygulamaları.

Bu kararlar katılaşır. Hangi yetkinliklere değer verildiğini, çalışanlarınızın sonrasında yıllarca hangilerini kullanma olasılığının yüksek olduğunu ve hangilerinin kalıcı olarak kullanım dışı kalacağını belirler.

Bunları ölçülmemiş bir gerilemenin üzerine inşa etmek, gerilemeyi yapının içine yerleştirir. İnsanlarınızın hâlâ neleri yapabildiğine ve hangi alanlarda köreldiğine dair dürüst bir değerlendirmeye sahip olmadan, insanların ne yapmaya devam etmesi gerektiğine karar vermiş olursunuz.

Bence başlamadan önce ölçüm aracının kusursuz olması gerekmiyor. Kasıtlı hata testi çoğu birimde bir ay içinde uygulanabilir. CNIL'in yaklaşımı ise yöneticilerle yapılacak bir görüşmeyi ve değerlendirme şablonunda yer alacak bir satırı gerektiriyor.

Bir yeniden tasarımı onaylamadan önce görmek istediğim şey, tek bir sorunun yanıtı ve bu yanıtı destekleyen kanıtlar olurdu.

Yarın ekibiniz genelinde yapay zekâyı kapatsaydınız, çalışanlarınız onu devreye almadan önceki hâllerinden daha mı iyi olurdu, yoksa daha mı kötü?