Ajanlarınız Siz Olmadan Neleri Tamamlayamaz?

Upwork artık kendisini bir yetenek pazaryeri olarak tanımlamıyor. Şimdi kullanılan terim “iş teslim platformu” ve bu değişim yalnızca bir konumlandırma meselesinden ibaret değil.

Bir pazaryerinde müşteri bir kişiyi işe alır. Bir iş teslim platformunda ise müşteri bir sonuç belirtir ve sistem, bunu hangi insan ve makine kombinasyonunun üreteceğine karar verir.

Upwork'te yapay zekâya liderlik eden Andrew Rabinovich, satın alınan birimin bir işten ve bir rolden daha küçük bir şey olduğunu söylüyor. AI4'te yaptığı açıklamaya göre, platformda yirmi yıl boyunca biriken veriler, Upwork'te yayımlanan muazzam iş çeşitliliğinin kabaca 500 ila 1.000 tekrarlanan göreve ayrıştığını gösteriyor. Bunlara, herhangi bir müşterinin yayımlayabileceği görevi yeniden birleştiren temel fonksiyonlar olan “işin atomik birimleri” adını veriyor.

Ayrıştırılmış iş satmayı amaçlayan bir şirket bu durumun getirdiği bir yükümlülüğü üstlenir. Bir makinenin hangi ayrıştırılmış parçaları kendi başına tamamlayabileceğini bilmesi ve bu yanıtın arkasına para koyabilecek kadar kesin bir bilgiye sahip olması gerekir.

Bu nedenle Upwork, gerçek müşteri işlerini bir kıyaslama testinden geçirdi, sonuçları İnsan+Ajan Üretkenlik Endeksi olarak yayımladı ve metodolojiyi Aralık ayında arXiv üzerinden yayımlanan bir makalede belgeledi. 

Öne çıkan bulgu, ajanların neyi tamamladığıdır. Daha yararlı bulgu ise bunları tamamlatmanın ne kadara mal olduğu ve bu maliyetin kimin üzerine kaldığıdır. 

Otomasyona En Uygun İşler

Metodoloji, sonuçlardan daha fazla ilgiyi hak ediyor; çünkü sonuçların ne anlama gelebileceği konusunda üst sınırı belirliyor.

Upwork, ödeme yapan müşteriler tarafından daha önce yayımlanmış ve insan serbest çalışanlar tarafından müşteri kabulüne sunularak tamamlanmış 322 gerçek işi seçti. Uzman serbest çalışanlar, her iş için 5 ila 20 kabul kriterinden oluşan ve kritik, önemli, isteğe bağlı ve risk noktası olarak sınıflandırılan bir değerlendirme ölçütü hazırladı. Bir iş, yalnızca her kritik ve önemli kriter karşılandığında tamamlanmış sayıldı.

İşleri üç model yürüttü: Claude, Gemini ve GPT-5.

Bir yöneticinin üzerinde durması gereken nokta, seçim kriterleridir. İşler, açıkça tanımlanmış kapsamı olan, sabit fiyatlı ve tek kilometre taşına sahip sözleşmelerle sınırlandırıldı. Süreler dokuz saatten 100 günden fazlaya kadar uzanıyordu; dolayısıyla bunların tümü mikro görevlerden oluşmuyordu. Açık uçlu ve karmaşık işler, ajanların bunları tamamlama konusunda makul bir şansı olmadığı gerekçesiyle kapsam dışında bırakıldı. 

Upwork, kapsam dışında bırakılan bu kategorinin platformda yürütülen işlerin büyük çoğunluğunu oluşturduğunu belirtiyor.

Sonuçları göz ardı etmek üzere olan herkes için bir kısıt daha önemli. Ajanlar özellikle temel düzeyde tutuldu. Her biri iş ilanını ve eklerini okudu, bir plan yaptı, teslim edilecek ürünü hazırladı ve durdu. İnternette arama yapmak, dış verilere erişmek, ek araçlar kullanmak ve görev türü üzerinde eğitim almak yoktu.

Bu nedenle yazarlar, bulguların araçlarla zenginleştirilmiş sistemleri temsil etmediğini belirtiyor ve kendi sayılarını ihtiyatlı tahminler olarak tanımlıyor.

Dolayısıyla aşağıdaki her rakam, zor vakalar önceden çıkarılmış, mevcut en temiz işler üzerinde ve çoğu şirketin fiilen kullandığı araçlardan yoksun bırakılmış ajanlarla ölçüldü.

İdari Destek Göründüğünden Daha Zor

Ajanlar tek başlarına çalıştıklarında, kategoriye ve modele bağlı olarak işlerin %4 ila %68'inde tüm kriterleri karşıladı. Web ve yazılım geliştirme en üst sırada yer aldı. Veri bilimi ise hemen arkasından geldi. 

İdari destek, üç model genelinde ortalama olarak son sırada yer aldı ve bunların ikisinde %6 puan aldı.

Bu sıralama, çoğu otomasyon yol haritasının izlediği sırayla doğrudan çelişiyor. İdari işler, binadaki en basit şey olduğu yönündeki kulağa makul gelen varsayım nedeniyle ilk hedef olarak seçiliyor. 

Kıyaslama, tanımlaması basit olan bir iş ile doğrulaması basit olan bir işin farklı özellikler olduğunu ve bir ajanın işi tamamlayıp tamamlayamayacağını yalnızca ikinci özelliğin öngördüğünü gösteriyor.

Rabinovich'in kendi çerçevesi, bu varsayımın ne kadar kolay yapılabildiğini gösteriyor. Serbest çalışanlar üzerindeki etkisi sorulduğunda, logo oluşturmak ve bir şeyleri özetlemek gibi düşük seviyeli işlerin zaten tamamen otomatikleştirildiğini söyledi. Şirketinin kıyaslama testinde yazma becerisi, modele bağlı olarak %4 ile %51 arasında puan aldı; Gemini bu aralığın en altındaydı. Sezgi ve ölçüm farklı yönlere işaret ediyor. 

Bir tur uzman geri bildirimi eklemek, her model için genel tamamlanma oranını yükseltti. Claude, yalnızca bir insan müdahalesinden sonra düşük karmaşıklıklı görevlerde %39,8'den %51,2'ye çıktı. Gemini %19,9'dan %32,3'e yükseldi. GPT-5 ise %19,6'dan %33,5'e çıktı. Mutlak anlamda bu, tek bir insan katkısıyla 11 ila 14 yüzde puanlık bir iyileşme demek. 

Upwork, göreli aralığın üst ucunu %70'e varan bir artış olarak pazarlıyor; bu, GPT-5'in düşük başlangıç düzeyi üzerinden yapılan doğru bir hesaplama ve mutlak rakamlarla birlikte değerlendirmeye değer.

Kategori düzeyindeki değişim eşit değildi. Claude'un veri bilimi alanındaki tamamlama oranı %64'ten %93'e çıktı. Gemini'nin yazma alanındaki oranı %4'ten %16'ya çıktı. Gemini'nin veri bilimi alanındaki oranı ise hiç değişmedi.

Hiçbir sonuç %100'e ulaşmadı. Uzman yönlendirmesiyle gerçekleştirilen en kolay mevcut işlerde bile.

Doğrulama, Henüz Çözmediğimiz Kısım

Rabinovich, platformdaki işlerin niteliksel payını %90'ın üzerinde gösteriyor ve bunun değerlendirme açısından ne anlama geldiğini açıkça ifade ediyor. Deterministik işlerin kendi kontrol mekanizması vardır. Bir çeviri başka bir model tarafından doğrulanabilir. Kod ya derlenir ve testleri geçer ya da geçmez. Diğer her şey için mevcut tek doğrulama, çıktıya bakıp iyi olup olmadığına karar veren, muhakeme yetisine sahip bir kişidir.

Bunu büyük ölçüde çözülmemiş bir konu olarak nitelendirdi ve daha da ileri gitti. 

Makalenin yazarları, kendi rakamlarının bu konuda kanıtladığı şey konusunda dikkatli davranıyor. Başarısız olan işlerde yalnızca ajanın yaptığı eşleştirilmiş ikinci denemeleri yürütmediler; bu da iyileşmenin ne kadarının modele yeniden deneme fırsatı verilmesinden kaynaklandığının ayrılamayacağı anlamına geliyor. Bu, sınırlamalar bölümünde yer alan kendi açıklamalarıdır.

Bu kıyaslamanın ortaya koyduğu şey, Upwork'ün çerçevesinin önerdiğinden daha dar kapsamlıdır. Uzman geri bildirimini izleyen ikinci deneme, ilk denemeden daha iyi sonuç verir. Bunun ne kadarının geri bildirime, ne kadarının yeniden denemeye ait olduğu ölçülmemiştir.

Kalıcı bulgu, üst sınırdır. Ajanın başarılı olması için seçilmiş koşullar altında, başlangıçta başarısız olan işlerin yaklaşık beşte biri insan yönlendirmeli ikinci bir denemeyle kurtarıldı ve en güçlü modelde tamamlama oranı %51'de kaldı. İnsan yönlendirmeli çalışmalar da yaklaşık dört kat daha uzun sürdü: 3,6 dakikaya karşı 14,5 dakika.

Upwork'ün kendi ürün kararı da aynı yöne işaret ediyor. Şirketin amiral gemisi yapay zekâ sistemi UMA, bir çalışan olarak değil, bir orkestrasyon ajanı olarak tasarlandı. Amacı yorumluyor, parçalara ayırıyor, parçaları insanlara veya makinelere yönlendiriyor ve sonucu kontrol ediyor. Görevi kendisi yapmıyor.

Otonom teslimatı satmak için her türlü ticari teşvike sahip bir şirket, merkezi sistemini bir insanın işin içinde kalacağı varsayımı üzerine kurdu.

Bir İş Akışına Yatırım Yapmadan Önce Sorulacak İki Soru

Ajanların ne yapmasını istediğiniz konusunda sorulması gereken iki temel soru var. 

Çıktı nesnel bir ölçütle kontrol edilebilir mi? Bir test paketi, mutabakat, uyumluluk kuralı veya eşleşip eşleşmediği kesin olarak belirlenebilen bir sayı.

İş tek bir işlev ve tek bir format içinde mi kalıyor? Yoksa herhangi biri işin tamamlandığını söyleyebilmeden önce arka uçtan ön yüze, metin yazımından marka onayına kadar farklı aşamalardan mı geçiyor?

Nesnel kontrol ve kendi içinde tamamlanan iş, otonom ajanların ait olduğu alandır. Yatırım yapın, ölçün, kapsamını genişletin.

Nesnel kontrol ve işlevler arası çalışma genellikle parçaların otomatikleştirilebilir, ancak aralarındaki geçişlerin otomatikleştirilemez olduğu anlamına gelir. Bileşenleri otomatikleştirin ve devir teslimlerin sorumluluğunu bir kişide tutun.

Muhakemeye dayalı ve kendi içinde tamamlanan iş, kıyaslamadaki en büyük artışları ortaya çıkaran ve bütçenin yanlış tahsis edildiği bölümdür. Buna aşağıda daha fazla değineceğiz.

Muhakemeye dayalı ve işlevler arası çalışma, Upwork'ün test ettiği her kategoride ajanların başarısız olduğu alandır. Bunu yapay zekâ destekli insan işi olarak ele alın ve buna karşılık bir çalışan sayısı hedefi vaat etmeyi bırakın.

Upwork'ün kendi ekonomik modellemesi de aşağı yukarı aynı sonuca varıyor. Ajanın tek başına çalışması, başarısızlık maliyetinin düşük olduğu düşük değerli görevlerde kazanıyor; iş birliği orta düzeyde kazanıyor; kötü bir çıktının otomasyonun sağladığı tasarruftan daha pahalıya mal olduğu yüksek değerli işlerde ise işi tamamen insanın yürütmesi kazanıyor. 

Upwork'ün Göstermeyi Seçtiği İş

HAPI sayfasında, indirebileceğiniz çıktılara sahip beş örnek iş yer alıyor. Bunlardan biri müşteri adayı oluşturma görevi. Bir mobil uygulama elektronik tablosunu yalnızca merkezi ABD'de bulunan uygulamalar kalacak şekilde filtreleyin, her biri için iki ila dört pazarlama bağlantısı bulun ve adlandırılmış dokuz sütunu doldurun.

Nesnel olarak denetlenebilir. Tek işlev, tek biçim. Değerlendirme ölçütleri sayfada görünür ve hiçbiri zevk gerektirmez.

Her iki teslimat da değerlendirmede başarısız olarak işaretlendi. Tek başına çalışan ajan başarısız oldu. Ona rehberlik eden bir uzmanla çalışan ajan serbest çalışan da başarısız oldu.

Upwork bunu, iş birliğinin tamamlanma oranını %70'e kadar artırdığı iddiasının yanında, kendi pazarlama sayfasına koydu. Şeffaflık konusunda şirkete hakkını verin ve ardından bu dersten yararlanın; çünkü bu iş, şirketlerin hâlihazırda bir ajana devrettiği işlerle yakından örtüşüyor.

Döngüdeki Doğru Kişi mi?

Her tedarikçi sunumu, döngüdeki insanı bir güvenlik özelliği olarak pazarlar. Değerlendirici ölçütlerini okuyunca farklı bir soru ortaya çıkıyor.

Upwork'ün değerlendiricilerinin tamamı, En Yüksek Puanlı veya En Yüksek Puanlı Plus statüsüne sahip %100 İş Başarısı Puanı taşıyordu. Toplamda, 96.000'den fazla saat boyunca platformda 1 milyon doların üzerinde kazanç elde etmişlerdi.

Bu, küresel bir yetenek pazarının en üst kesimidir. Aynı zamanda test edilen tek değerlendirici topluluğudur. Makalede, ekibin değerlendirici uzmanlığının profilini çıkarmadığı veya bir değerlendiricinin geçmişinin geri bildirimlerinin değerini nasıl değiştirdiğini incelemediği belirtiliyor. Daha düşük kıdemli bir koşul yoktu.

Dolayısıyla çalışmadaki her sayı, insan denetimi için en iyi durumu tanımlıyor; bu rolü kapasitesi olan herhangi biriyle doldurmanın etkisi ise hiç kimse tarafından ölçülmemiş.

Bu, kıyaslamanın değil benim argümanım ve henüz çoğu iş gücü planının maliyetlendirmediği iki sonucu beraberinde getiriyor.

İlki, incelemenin genel gider değil üretim kapasitesi olmasıdır. Yargıya dayalı çeyrekte uzman, otomatikleştirilmiş bir sürece sonradan eklenmiş bir kontrol noktası değildir. Uzman, taslağı teslim edilebilir bir şeye dönüştüren girdidir ve iki koşul arasındaki dört katlık zaman farkı, bu girdinin maliyetidir. 

Bunu denetim olarak sınıflandırırsanız iş akışını olduğundan küçük, tasarrufu ise olduğundan büyük gösterirsiniz. Yatırımı haklı çıkaran matematik, gerçekten oluşturduğunuz süreci tanımlamayı bırakır.

İkinci sonuç daha yavaş ortaya çıkar ve daha kötüdür. Yapay zekâ harcamalarını finanse etmek için orta düzey rolleri azaltan her plan, aynı zamanda üç yıl içinde bir modelin kararını geçersiz kılacak kadar kıdemli hâle gelecek kişilerin oluşturduğu havuzu da küçültüyor.

Uzman muhakemesi bir yeterlilik belgesi değildir; bir tortudur. İşi, başlangıçta kötü bir şekilde, daha deneyimli birinin sizi düzelttiği bir ortamda yaparak birikir. Giriş basamaklarını otomatikleştirdiğinizde bugünün değerlendiricilerini korurken yarının değerlendiricilerini üreten mekanizmayı ortadan kaldırırsınız.

Bu, personel sorunundan önce bir liderlik sorunudur ve otomasyon iş gerekçesini imzalayan kişiye aittir.

Ajanlar Alıcıya Dönüşürse Ürün Muhakemedir

Rabinovich'in bu pazarın bundan sonra nereye gideceğine ilişkin görüşü, ajanların yalnızca arz kaynağı olmaktan çıkıp talep kaynağı hâline gelmesidir. Bir model, doğrulayamadığı bir görevi (tıbbi bir soru, restoran önerisi veya zevke dayanan herhangi bir şey) yürütürken, gerçek zamanlı olarak bir insanı kontrol etmesi için görevlendirir. İnsan projeyi teslim etmez; yalnızca çıktıyı doğrular.

Bu, bir platform yöneticisinin kendi şirketinin yükseliş potansiyelini anlatmasıdır ve buna göre değerlendirilmelidir.

Bu mekanizmanın tam olarak bu biçimde ortaya çıkıp çıkmayacağına bakılmaksızın, iş gücü açısından sonuç geçerliliğini korur. Doğrulama kalıcı insan katkısıysa, değer taşıyan roller üretim hacminden çok çıktı kalitesi hakkında muhakeme yapma becerisiyle tanımlanır.

Bu roller şu anda kıdem düzeyleri, iş aileleri ve çoğu zaman haritası çıkarılmamış maliyet merkezleri arasında dağılmış durumda; bu da çoğu kuruluşun bu kişilerin kim olduğunu veya yerlerine koymanın ne kadara mal olacağını söyleyememesi anlamına geliyor.

Dört Hamle

Peki, işlerin en azından bir kısmını tamamlamaları için ajanlara devretmeye hazır olup olmadığınızı değerlendirmek üzere ne yapabilirsiniz? 

1. En çok otomatikleştirilmiş iş akışınızdan on çıktı alın ve bunları daha önce bu işin sorumluluğunu taşıyan kişinin önüne koyun. Değişiklik yapmadan kaç tanesini müşteriye göndereceklerini sorun. Bu sayı, gerçek otomasyon oranınızdır.

2. Her otomatikleştirilmiş iş akışı için çıktıyı reddetme yetkisine sahip kişiyi belirleyin. Ardından bu yetkiyi üst makama başvurmadan kullanıp kullanamayacağını kontrol edin.

3. Yargı çeyreğine giren iş akışlarındaki inceleme süresini yeniden sınıflandırın. Bunu denetimden üretime taşıyın ve iş gerekçesini yeniden çalıştırın.
4. Tamamlanmanın ne anlama geldiğini öğrenmek için tedarikçi sözleşmelerinizi okuyun. Her ölçüte göre puanlanan kabul ile "görev denendi" ifadeleri farklı iddialardır ve kıyaslamanın ölçtüğü şey bunlardan yalnızca biridir.