Gönder, Öğren, Ölçekle. Peki Sonra Ne Olacak?

Geçen hafta HumanX'teki canlı bir demo sırasında, ElevenLabs'ın kurucu ortağı Mati Staniszewski, dinleyicilere şirketinin platformu üzerine kurulmuş bir kamu hizmeti aracısını tanıttı.

Aracı, kurgusal bir kullanıcıya şirket kaydı sürecinde rehberlik etti. Kullanıcının kimliğini WhatsApp üzerinden doğruladı. Bağlı bir Google hesabından belgeleri çekti, kullanıcı İspanyolca konuşan çalışanlardan söz edince görüşmenin ortasında dil değiştirdi ve Kaliforniya'daki satıcı izni süreciyle ilgili soruları yanıtladı.

Ardından kullanıcı vergiler hakkında soru sordu. Aracı görüşmeyi sonlandırdı.

Belirsizlik konusunda uyarıda bulunmadı. Konuyu başka birine aktarmadı. Gerçek bir kullanıcının ilgilenildiğini varsayacağı bir görüşmeyi, aracının yönlendirme yapabileceği bir vergi departmanının varlığından haberdar olmaması nedeniyle sonlandırdı.

Staniszewski, sahnede birkaç dakika içinde sorunu çözdü; şirket aracısını bir vergi aracısına bağladı, değişikliği uygulamaya aldı ve sistemi yeniden başlattı. Dinleyiciler, canlı bir üretim güncellemesinin gerçek zamanlı olarak gerçekleşmesini izledi.

Üzerinde durmaya değer olan, aracının başarısız olması değil. Aracılar başarısız olur. Önemli olan, başarısızlığın nasıl göründüğüdür. Uyarı yoktu. Devir yoktu. Kullanıcının neye ihtiyaç duyduğuna dair kayıt yoktu. Boşluk ancak bir kullanıcı onun içine adım attığında görünür hâle geldi.

Şimdi bu senaryoyu, ElevenLabs aracılarını dört milyon müşterisinin hizmetine, 30'dan fazla dilde sunmuş olan Revolut'un içine yerleştirin. Ya da ağı artık müşteri sorularını gerçek zamanlı olarak yanıtlayan aracılar içeren Deutsche Telekom'un içine. Staniszewski'ye göre darboğaz artık teknoloji değil. Dağıtım.

Bu ifade hem doğru hem de bu aracıların ne yaptığından sorumlu olan herkes için oturumun tamamındaki en önemli cümle.

Yönetişimin Üzerine Kurulduğu Model

Son üç yılın büyük bölümünde kurumsal yapay zekâ yönetişimi, yönetilebilir bir dizi varsayım üzerine işledi. Bir yapay zekâ sistemi bir öneri sundu. Bir insan bunu inceledi. Bundan sonra olanlardan insan sorumluydu. Model kusursuz değildi ama anlaşılabilirdi. Bir kararın nerede alındığını ve onu kimin aldığını gösterebilirdiniz.

Bu mimari çözülüyor.

Credo AI'ın kurucusu ve CEO'su Navrina Singh, öngörücü makine öğrenimi döneminde başlayıp şimdi aracılı yapay zekâ döneminin derinliklerinde faaliyet göstererek, kendi tanımıyla yapay zekâ yönetişimi kategorisini oluşturmak için altı yıl harcadı.

HumanX'te merkezi değişimi anlattı. Yönetişim eskiden politikayla ilgiliydi; artık operasyonel ve çalışma zamanı güvenlik sınırlarıyla ilgili olmak zorunda. Bu ayrım, ilk bakışta göründüğünden daha önemli. Politika yazdığınız, yılda bir gözden geçirdiğiniz ve bir şeyler ters gittiğinde güncellediğiniz bir şeydir.

Çalışma zamanı yönetişimi, bir yapay zekâ sisteminin üretim ortamında gerçekte ne yaptığını, altında çalışan model geliştikçe değişmesi gerekebilecek ölçütlere göre sürekli izlemek anlamına gelir.

Gerçek Zamanlı Çalıştırın

“Yönetişimi yalnızca bir kez yapamazsınız. Bunu sürekli yapmanız gerekir,” dedi Singh.

Politikadan çalışma zamanına geçiş, danışman yapay zekâ ile aracılı yapay zekâ arasındaki farka doğrudan karşılık gelir. Danışman yapay zekâ, tanımlanmış bir kapsam içinde önerilerde bulunur. Aracılı yapay zekâ eylemleri gerçekleştirir, bu eylemleri sistemler arasında zincirler, diğer aracılara devreder ve gerçekleşmeden önce hiçbir insanın tek başına incelemediği sonuçlar üretir.

ElevenLabs demosu bunu birkaç dakikaya sığdırdı. Tek bir ilk kullanıcı etkileşimi, WhatsApp üzerinden kimlik doğrulama, Google Workspace'ten belge alma, dil değişikliği, sorunsuz bir aracı aktarımı ve hibe programı sunan proaktif bir giden arama üretti. Birbirinden farklı beş otonom eylem. Her adımı bir insan onaylamadı. Tek bir kullanım örneği düzeyinde aracılı yapay zekâ böyle görünür.

Kurumsal ölçekte yönetişim açığı, yönetilmesi çok daha zor bir şeye dönüşür.

Kurucuların Hesabı

Amazon Web Services CEO'su Matt Garman, kurumsal yapay zekâ değerinin gerçekte nerede biriktiği konusunda açık konuştu. İlk üretken yapay zekâ kazanımları olan içerik oluşturma ve belge özetleme, yerini daha temel bir şeye bırakıyor.

Amazon'un dahili uygulama süreçleri bu iddiayı destekliyor. Şirketin Quick Suite aracı, yüz binlerce çalışana Salesforce, Workday, e-posta ve dahili belgelerdeki kurumsal verilere bağlı yapay zekâ ajanlarına erişim sağlıyor.

Yazılım geliştiricileri, yapay zekâ desteğiyle desteksiz duruma kıyasla yaklaşık 4,5 kat daha fazla çıktı elde ediyor. Kiro adlı bir kodlama ajanı kısa süre önce bir müşterinin hata talebini çözüme kavuşturdu ve düzeltmeyi 25 dakika içinde uygulamaya aldı.

Bunlar gerçek kazanımlar ve Garman bunları abartmadan sundu. Ancak uygulamaya alma tezinin içinde, yönetişimin hesaba katması gereken bir öncelik sıralaması da yer alıyor. Staniszewski bu konuda açık konuştu.

Ürünü sun. Öğren. Ölçeklen. Sıralama bu. Yönetişim bu sıralamada yer almıyor; göz ardı edildiği için değil, mevcut dönemin rekabet mantığı hıza öncelik verdiği için. Bu sıralamadaki “öğrenme” aşaması, gerçek kullanıcılarla ve gerçek sonuçlar doğuracak şekilde üretim ortamında gerçekleşiyor.

Bu bir sinizm değil. Garman ve Staniszewski, yeteneklerin gelişim hızı yüksekken ve beklemenin maliyeti gerçekken teknoloji piyasalarının nasıl işlediğini anlatıyor. Ancak iş gücüyle ilgili yapay zekâ kararlarından sorumlu CHRO veya operasyonları ajan tabanlı sistemler etrafında yeniden yapılandırılan COO için hesap farklı sonuçlanıyor. İlk hareket etmenin getirisini onlar elde etmiyor. Bir şeyler ters gittiğinde sorumluluğu onlar üstleniyor.

Kimsenin Kapatamadığı Bir Açık

Credo AI, Singh'in dünyanın en büyük yapay zekâ riskleri deposu olarak tanımladığı bir kaynak oluşturdu ve şu anda yaklaşık 1.600 farklı kategoriyi katalogluyor. Bunların yaklaşık %85'i için azaltma önlemleri bulunuyor.

Kalan %15'lik bölüm, yani bilinen yaklaşık 240 risk kategorisi için henüz yerleşik bir azaltma önlemi bulunmuyor. Danışmanlık amaçlı yapay zekâ alanındaki yönetişimin mevcut durumu bu. Birden fazla modelin etkileşime girdiği, görevleri devrettiği ve daha ileri otomatik kararlara girdi oluşturan çıktılar ürettiği ajan tabanlı sistemler, bırakın azaltılmayı, henüz tam olarak tanımlanmamış hata biçimlerini ortaya çıkarıyor.

Singh'in belirlediği daha zor sorun ise köken takibi. Çok ajanlı bir sistemde sorumluluğu izlemek, yalnızca hangi kararın alındığını değil, bunun nasıl gerçekleştiğini de yanıtlamayı gerektiriyor. Yani hangi ajanın neye katkıda bulunduğu, hangi veri kaynaklarına başvurulduğu, zincirin hangi noktasında bir hatanın ortaya çıktığı ve bir düzeltmenin nasıl yayılacağı belirlenmeli.

Çoğu yönetişim çerçevesi, bir modelin çıktısını değerlendirmek üzere tasarlandı. Platformlar, modeller ve kurumsal sınırlar arasında çalışan birbirine bağlı bir sistemin muhakemesini yeniden oluşturmak için geliştirilmediler.

Yapay zekâ ajanları için arama API'leri oluşturmaya yönelmeden önce tüketici aramasına odaklanan You.com'un CTO'su Saahil Jain, yapısal sorunu çerçeveledi. İnsan kullanıcılar bilgiyle etkileşime girer ve gördükleri hakkında değerlendirme yapar. Bilgi tüketen ajanlar aynı öz-düzeltme kapasitesine sahip değil.

Temelde kendilerine verilen bağlamı kullanacak ve bunu insanları sürece dahil etmeyen bir şekilde alıntılayacaklar," dedi.

İşletmelerin oluşturduğu yönetişim mimarisi, zincirin bir yerinde insan incelemesi olduğunu varsayıyor. HumanX'te geçen hafta boyunca “ajanları yöneten ajanlar” ifadesini tekrar tekrar duydum. Görünüşe göre ajan tabanlı uygulama, bu varsayımı sistematik olarak ortadan kaldırıyor ve yerine yapısal olarak eşdeğer herhangi bir şey koymuyor.

Düzenleyici çerçeveler de açığı kapatmıyor. Singh, ABD, Avrupa, Avustralya ve Hindistan'daki hükümetlere yapay zekâ yönetişimi konusunda danışmanlık yaptı ve büyük bir gecikmenin varlığı konusunda açık konuştu.

Daha önceki makine öğrenimi sistemleri için tasarlanan kurallar, ajan tabanlı mimarilere sorunsuz biçimde uygulanamıyor. Colorado Yapay Zekâ Yasası etki değerlendirmelerini zorunlu kılmaya çalışıyor. Avrupa'nın gizlilik ve şeffaflık gereklilikleri, sınırdaki model düzeyinde sıkılaşıyor.

Ancak ajan tabanlı dağıtımın hızı, tüm düzenleyici döngülerin oldukça önünde ilerliyor ve Singh bunun öngörülebilir gelecekte de böyle kalmasını bekliyor.

Uyumluluk Tabanı Tavan Değildir

SOC 2 uyumluluğu, kurumsal yapay zekâ tedarikinde artık temel bir gereklilik hâline geldi. Singh, birden fazla tedarikçiyle bir yıl boyunca kapsamlı deneyler gerçekleştiren Fortune 500 müşterilerinin artık tedarikçileri; verilerinin korunup korunmadığı, hesap verebilirlik standartlarının belgelenip belgelenmediği ve yapay zekâlarını kurumsal yapıya dâhil etmenin net bir risk oluşturup oluşturmadığı gibi konular üzerinden titizlikle değerlendirdiğini anlattı.

Singh'e göre bunun sonucunda büyük kuruluşlarda üretim ortamına ulaşan yapay zekâ tedarikçilerinin oranı yalnızca yaklaşık %40. Seçim baskısı gerçek.

Ancak SOC 2 uyumluluğu ile ajan tabanlı yönetişim farklı şeylerdir ve bunları birbirine karıştırmak, kurumsal pazarın şu anda yaptığı en ciddi hatalardan biridir.

SOC 2, güvenlik ve kullanılabilirliği ele alır. Bir tedarikçinin sistemlerinin korunup korunmadığı ve güvenilir olup olmadığı hakkında anlamlı bir şey söyler. Bir ajanın kararlarının izlenebilir olup olmadığı, çıktılarının bağlamsal açıdan doğru olup olmadığı, uç durumları uygun biçimde üst makamlara aktarıp aktarmadığı veya temelindeki modeller haber verilmeksizin güncellendikçe davranışının sürüklenip sürüklenmediği hakkında hiçbir şey söylemez.

Bunlar yönetişim sorularıdır ve bir uyumluluk sertifikasyonunun sağladığından farklı türde bir altyapı gerektirir.

Singh bu altyapının uygulamada nasıl göründüğünü açıkladı: yalnızca güvenlik personelinden değil, veri bilimcilerini, risk ve gizlilik uzmanlarını ve davranış uzmanlarını da içeren yönetişim ekipleri. Ortaya çıkan AIUC standardı da dâhil olmak üzere, ajan tabanlı sistemleri dış taraflar aracılığıyla belirlenmiş kriterlere göre test eden bağımsız doğrulama kuruluşları. Yalnızca dağıtım öncesi değerlendirme değil, sürekli çalışma zamanı izleme.

Credo AI kısa süre önce, şu anda beta aşamasında olan ve güvenlik önlemlerini geliştirme sürecinin kendisinde daha erken bir aşamaya taşımak üzere tasarlanan bir yönetişim MCP'si başlattı. Bu sayede geliştiriciler, yönetişim mantığını sonradan eklemek yerine inşa aşamasında yerleşik hâle getirebiliyor.

Yön doğru. Benimsenmenin önem taşıyacak kadar hızlı ilerleyip ilerlemeyeceği ise ayrı bir soru.

Hesap Verebilirlik Sorunu

Garman, Amazon'daki yapay zekâ dönüşümünü belirgin bir iyimserlikle anlatıyor. Satış ekiplerinin zamanlarının çoğunu satış hunisi yönetimi yerine müşterilerle geçirmesi, yazılım geliştiricilerinin yıllardır biriken iş listelerinin önünün açılması, ürünlerin daha hızlı ve kullanıcıların gerçekte istediklerine daha duyarlı biçimde piyasaya sunulması. Kazanımlar gerçek. Mantık sağlam.

Ancak ajan tabanlı dağıtım tablosunun içinde, yönetişim çerçevelerinin net biçimde yanıtlamadığı bir soru yer alıyor. Bir yapay zekâ ajanı birine zarar veren bir eylemde bulunduğunda kim hesap verebilir?

Bir kullanıcıyı yardıma ihtiyaç duyduğu hâlde ortada bırakarak aramayı yanlış anda sonlandıran sesli ajan. Birini yanlış biçimde işaretleyerek krediye erişimini etkileyen finansal yapay zekâ. Tarihsel önyargıyı kodlayan kriterlere dayanarak bir adayı daha düşük önceliğe alan İK tarama ajanı. Bir talebi, karar talep sahibine ulaşmadan önce herhangi bir insan incelemesi yapılmaksızın otomatik olarak reddeden yan haklar platformu.

Her durumda bir ajan harekete geçti. Her durumda onu harekete geçiren bir insan vardı. Her durumda karar ile sonuç arasındaki zincir, mevcut yönetişim çerçevelerinin haritasını çıkarmak üzere tasarlandığı her şeyden daha uzun ve daha dağınık.

Singh'in beklemeye ilişkin gözlemi, sunduğu ticari mantığın ötesinde ciddiye alınmayı hak ediyor.

"Birçok şirket, onlarla konuştuğumuzda, bir olay gerçekleşene kadar bekleyelim, ardından yapay zekâ yönetişimine yatırım yapmamız gerekip gerekmediğine bakarız, diyor," şeklinde konuştu. "O zamana kadar önemsiz hâle gelecekler."

Bu, rekabetçi bir argüman. Daha zor bir argüman da var. Ajan tabanlı yapay zekâ yan haklar yönetimine, performans değerlendirmesine, iş gücü planlamasına, müşteri finansmanına ve klinik başvuruların alınmasına girdikçe, bu kararların alıcıları olan insanların kararların nasıl verildiği ve yanlış olduklarında kimin yanıt vereceği konusunda meşru çıkarları bulunuyor.

Danışman olarak yapay zekâ için ayarlanmış yönetişim çerçeveleri, eylemde bulunan yapay zekâ için yeterli değildir. Geliştiriciler bunu biliyor. Yine de dağıtım yapıyorlar. İş akışları bu sistemlerin etrafında yeniden düzenlenmeden önce hesap verebilirliği bu sistemlere yerleştirmek için mevcut fırsat penceresi sonsuza dek açık kalmayacak.