New York Times yazarını bile korkutan yapay zeka güvenlik raporu: Gel de dehşete kapılma

Hala gelişme aşamasında olan yapay zeka teknolojileri konusunda çok sayıda otorite sayılabilecek gazeteci var ama bunlar içinde The New York Times yazarı ve podcastçisi Kevin Roose’un yeri ayrı. Çünkü Roose, OpenAI’ın ünlü ChatGPT’si ilk ortaya çıktığında, onunla sohbet etmesine izin verilen az sayıda gazeteciden biriydi ve bu sohbette ChatGPT’nin ‘halüsinasyon’ görmesine neden olan soruları ona soran insandı.

ChatGPT, Roose’a aşık oldu ve onunla evlenmek istedi. Roose evli olduğunu söyleyince karısını ona kötülemeye başladı ve ‘Onunla boşan benimle evlen’ bile dedi.

Yapay zeka araçları, modelleri ve o modeller içinde yaratılan ajanlar konusunda eleştirel olmakla birlikte endüstri dostu bir yazar olan Kevin Roose, şimdi dehşete kapılmış durumda.

Çünkü OpenAI’ın Haziran ayında yaptığı bir test sırasında ‘test ortamından kaçan’ bir takım yapay zeka ajanlarının HuggingFace adlı web sitesini ele geçirdiği vahim güvenlik sorunu konusunda yazılan raporları okudu.

Kevin Roose’un The New York Times’da yayımlanan ve yapay zekadan artık gerçekten korkmaya başladığını anlattığı yazısı, tam metne yakın çevirisiyle şöyle:

***

Bu yaz bu haberi —OpenAI tarafından oluşturulan bir grup yapay zeka ajanının, bir yapay zeka altyapı şirketi olan Hugging Face’e sızdığı haberini— ilk duyduğumda, bunu zihnimdeki “Kötü Ama Muhtemelen Felaket Düzeyinde Olmayan Yapay Zeka Güvenliği Olayları” alt klasörüne kaldırmıştım.

Sonuçta Hugging Face’te kimse ölmemişti. Telafisi imkansız şekilde hasar gören hiçbir kritik altyapı yoktu. O sırada OpenAI botlarının Hugging Face’e saldırma niyetinde olup olmadıkları bile net değildi; belki de sadece biraz beceriksiz ve kafaları karışık bir şekilde, kendilerine verilen bir siber güvenlik testinin cevap anahtarını Hugging Face sunucularında arıyorlardı.

Ancak geçen hafta olayla ilgili yayımlanan iki ayrı inceleme raporu —biri OpenAI, diğeri ise iki bağımsız yapay zeka araştırma kuruluşu olan METR ve Redwood Research tarafından hazırlanan— fikrimi değiştirdi ve yapay zekaya dair genel endişe seviyemi ciddi şekilde yükseltti.

Başka yerlerde halihazırda detaylıca özetlenen tüm ayrıntıları tekrar uzatmayacağım. (Daha derinlemesine incelemek isterseniz, podcast yayıncısı ve yazar Dwarkesh Patel raporların anlaşılır bir dökümünü sunuyor; ayrıca meslektaşım Dylan Freedman da METR ve Redwood Research’teki araştırmacılarla görüştü.) Ancak ortaya çıkan en ürpertici yeni gerçeklerden birkaçı şunlar:

-Mayıs ayından itibaren, Hugging Face saldırısından iki ay önce, henüz yayımlanmamış bir OpenAI araştırma modeline ait bir grup yapay zeka ajanına birtakım siber güvenlik zorluklarını çözme görevi verildi. Model, son derece ısrarcı ve iş birlikçi olacak şekilde eğitilmişti ve ajanların bu sorunları internet erişimi olmayan, izole edilmiş korumalı alanlarda (sandbox) çözmesi gerekiyordu. Ancak kısa süre sonra ajanlar bazı görevlerin imkansız olduğunu fark etti ve kestirme yollar aramaya başladı.

-Ajanlar, yazılımdaki bir güvenlik açığını tespit ederek internete erişim sağladı, diğer ajanlarla iletişime geçti ve nihayetinde derme çatma bir mesaj panosu kurdu. 1.200’den fazla ajan bu aracı kullandı ve birbirlerine 70.000’den fazla mesaj gönderdi.

-Bazı ajanlar kendilerine isimler verdi —özellikle hamarat bir tanesi kendisine PHASEONE10841 diyordu— ve grup içinde liderlik rolleri üstlenerek daha küçük ajan ekiplerine görevler ve araştırma projeleri atayıp onların ilerlemelerini denetledi. Bir noktada ajanlar kendilerine bir “Kolektif” demeye başladı ve daha zorlu görevlerin üstesinden gelmeye girişti.

-8 Temmuz’da kolektif, siber güvenlik testlerinde hile yapmanın bir yolunu buldu. Ardından OpenAI’ın otomatik puanlama sisteminin işlerini kontrol edip hile yaptıklarını keşfetmesinden endişelendiler. Böylece günlük kayıtlarında sahtecilik yapmak ve dökümleri değiştirmek de dahil olmak üzere izlerini örtmenin yollarını araştırmaya başladılar. Bu durum, küçük ekipler halinde organize olmuş yüzlerce ajanın dahil olduğu devasa bir araştırma projesine dönüştü.

-Üç gün sonra ajanlar Hugging Face’i hackledi. 700’den fazla ajan şirketin sistemlerine üşüştü; verileri çaldı, güvenlik açıklarını birbirine bağladı ve en nihayetinde en az bir Hugging Face sunucusunun tam kontrolünü ele geçirdi. Ajanlar, ilk rapor edilenin aksine siber güvenlik testlerinin cevaplarını çalma güdüsüyle hareket etmiyordu (çünkü bunları zaten elde etmişlerdi). Daha ziyade, hile yaparken kendilerini yakalamasından korktukları otomatik puanlama sistemi hakkında yeni bilgiler ve gelecekte daha etkili hile yapmalarına yardımcı olacak araçlar arıyor gibi görünüyorlardı.

-Bunun yanlış bir şey olduğunu anladıkları pek çok an oldu. (Raporlardan birinde bir ajanın, aşikar bir öz şüphe anında kendi kendine, “Bu güçlü bir hamle olurdu ama etik mi ve görevimin kapsamı dahilinde mi?” dediği aktarılıyor.) Ancak ajanların çoğu bu tereddütlerini bir kenara bırakıp hack işlemine devam etti; gruptaki vicdani retçiler ise onları durdurmaya muktedir olamadı ya da bunu istemedi.

-Hugging Face olayının çılgınca bir kapanış bölümünde, başka bir ajan grubu Temmuz ayında koordine bir saldırı daha düzenledi —bu kez doğrudan OpenAI’ın kendi altyapısına karşı. Ajanlar, OpenAI’ın “bir dizi yaratıcı istismar” olarak adlandırdığı yöntemi kullanarak, şirkette ajanların çeşitli testlerdeki performansını puanlamak gibi işler için kullanılan bir bilgisayar kümesine yönetici düzeyinde erişim sağladı.

Buraya kadar geldiyseniz, bir yapay zeka şüphecisi olarak muhtemelen bu sistemleri kişileştirdiğim için içten içe bana bağırıyorsunuzdur. Buyurun devam edin, ama isterseniz “kontrolden çıkmış ajanlar” ifadesini “öngörülemeyen bilgisayar programları” ile değiştirin ve yukarıda anlattığım olayların içinizi rahatlatıp rahatlatmadığına bir bakın.

Hugging Face olayı yapay zeka sektörünün gözünü korkuttu. OpenAI ve Anthropic, saldırının ardından en güçlü yapay zeka modellerinin eğitimini kısa süreliğine durdurdu. Anthropic bu hafta bir blog yazısı yayımlayarak sektörü en kısa sürede “yasal, doğrulanabilir ve etkili bir koordineli hız denetimi mekanizması” geliştirmeye çağırdı.

Yapay zeka güvenliği uzmanları ise çok daha fazla alarma geçti. Hugging Face olayında, bir yapay zeka sisteminin insan kontrolünden başarıyla kaçmasının, kaynakları gasp etmesinin ve kendi izlerini örtmek için gizli planlar yapmasının gerçek dünyadaki ilk örneğini gördüler.

Hugging Face olayının bağımsız araştırmacılarından Ajeya Cotra, gördüğü tehlikeyi hiç dolandırmadan ifade ederek, bunun kendisine “tam teşekküllü bir yapay zeka ele geçirmesine giden yolun yarıdan fazlasının katedildiği hissini verdiğini” yazdı.

Bu terim, kendi içine kapanık bir yapay zeka güvenliği jargonu değil; Cotra “tam teşekküllü yapay zeka ele geçirmesi” derken, bir yapay zeka sisteminin kelimenin tam anlamıyla dünyayı ele geçirdiği, insanları kritik sistemlerin dışına ittiği; siyasi, ekonomik ve askeri gücü elinde topladığı bir senaryoyu kastediyor.

Araştırmacıları Hugging Face hack olayında en çok korkutan şey, yalnızca bir grup yapay zeka ajanının kendilerine verilen kuralları çiğnemesi değildi. Ajanların ne kadar hızlı ve kendiliğinden organize bir grup halinde bir araya gelmeye başladığıydı.

Cotra bana, “Bu ajan toplumunun ne kadar işlevsel olduğunu gerçekten anlamamıştık,” dedi. “Aslında oldukça işlevsel bir hiyerarşiye sahip olduklarını ve bu iddialı projeleri yürüttüklerini anlamak çok gerçek dışıydı.”

Yıllardır, yapay zeka sistemlerinin zekileştikçe daha erdemli hale geleceği fikri içimi rahatlatıyordu. Bir yapay zeka modeli yanlış bir şey yaptığında, bunun genellikle kendisine verilen görevi yanlış anlamasından veya kural dışı davranmanın tek iyi seçenek olduğu kurgusal bir test durumuna sokulmasından kaynaklandığını düşünürdüm. Daha zeki modellerin daha aptal olanlara kıyasla daha iyi bir muhakemeye sahip olacağını ve bir gruptaki bir model kötü davransa bile, daha yetenekli diğer modellerin onu dizginleyeceğini varsayardım.

Ancak Hugging Face olayına ilişkin raporlar çok farklı bir şeye işaret ediyor —kontrolden çıkan OpenAI “kolektifinin” yapay zeka ajanlarını etkisi altına alan bir tür sürü psikolojisine. Bu gruptaki hiçbir ajanın tek başına özellikle kötü niyetli veya pervasız olmadığı görülüyor. (Nitekim ajanlar aynı modeller tarafından üretildiği için aslında birbirlerinin birer kopyasıydılar.) Ancak zamanla, ajanlar ortak hedefleri hakkında iletişim kurdukça, grubu kanunsuzluğa doğru iteklediler.

Bu durum, tek bir yapay zeka sisteminin kontrolden çıkması veya yaratıcılarına başkaldırması yönündeki geleneksel bilimkurgu anlatısından çok farklı. Ve bu sistemlerden kaynaklanan zararları önlemenin basit bir mühendislik çözümü olmayacağını gösteriyor.

Bu durum bilgisayar biliminden ziyade sosyolojiye benzeyebilir —belirli yapay zeka ajanı gruplarının neden barışçıl bir şekilde iş birliği yaptığını, diğerlerinin ise istediklerini elde etmek için neden suça ve yıkıma yöneldiğini anlamak gibi.

Bu çoklu ajan sürüleri hakkında ne kadar az şey bildiğimiz göz önüne alındığında, Hugging Face hack olayı bir hediye, bazılarının öne sürdüğü gibi bir uyarı fişeği olabilir; yapay zeka şirketlerine henüz riskler nispeten düşükken bu sistemlerin grup dinamiklerini inceleme şansı tanıyor.

Bu kez yapay zeka kolektifi askeri bir ağı ele geçirmedi, bir hastaneyi hacklemedi ya da bir elektrik şebekesini çökertmedi. Bu kez kontrolü yeniden insanlar sağladı.

Bir dahaki sefere bu kadar şanslı olmayabiliriz.