Üretici yapay zeka alanındaki artan kullanımıyla metin, bilgisayar kodu, görüntü ve müzik üretebilen yapay zeka modeli programları sıradan bir insanın da rahatlıkla kullanabileceği bir hale geldi. Yapay zeka içeriği interneti ele geçiriyor ve ‘büyük dil modelleri’nin ürettiği metinler, haber içeriği paylaşan siteler de dahil olmak üzere yüzlerce internet sitesinde karşımıza çıkıyor. Ancak bu da yapay zekanın bizzat kendisine zarar verebilecek yeni bir durumu gün yüzüne çıkarıyor: Bu teknolojinin geliştiricileri veri kazmaya devam ettikçe, bir noktada yapay zekanın ürettiği metinleri bünyesine katmaya başlayacak. Bu da yapay zeka modellerinin her yeni sürümünde istemeden de olsa hatalara yol açabilir.
Giderek artan bir şekilde kendini gösteren kanıtlar da bu fikri destekliyor. Yapay zekanın ürettiği metinlerden oluşan veri besinleri, az miktarda bile olsalar eğitilen dil modeli için ‘zehirli’ hale gelebilir ve şu an için bu derde dişe dokunur panzehir önerisi sunulamıyor. İskoçya’daki Edinburgh Üniversitesi Bilişim Okulu’nda bilgisayar bilimcisi Rik Sarkar, Scientific American’a verdiği demeçte, “Şu anda veya diyelim ki birkaç ay içinde bir sorun olmasa da birkaç yıl içinde bunun bir sorun haline geleceğine inanıyorum” diyor.
Yapay zeka modellerinin kendi veri tabanlarını kirletme olasılığı, 20’nci yüzyılda yaşanan başka bir ikileme de benzetilebilir. İkinci Dünya Savaşı’nın sonunda atom bombalarının atılmasının ardından onlarca yıl süren nükleer testler, Dünya atmosferini bir miktar radyoaktif serpinti ile doldurdu. Bu hava yenice üretilmiş çeliğe girdiğinde yüksek radyasyonu beraberinde getirdi.
Geiger sayacı konsolları gibi radyasyona bilhassa duyarlı çelik yapıları için bu serpinti bariz bir sorun teşkil ediyor. Zira Geiger sayacının kendi kendini ölçmesi mümkün değil. Böylece bir düşük radyasyonlu metal arzı telaşıdır aldı başını gitti. Çöpçüler savaş öncesi çelik parçalarını çıkarmak için eski gemi enkazlarını didik didik aradı. Şimdi bazı uzmanlar, benzer bir döngünün, çelik yerine eğitim verileri konusunda yaratıcı yapay zekada tekrarlanacağına inanıyor.
Araştırmacılar yapay zeka zehirlenmesini bizzat seyredebilir. Nasıl yapılacağı basit: İnsanların ürettiği verilerle eğitilmiş bir dil modelini alın. Yapay zeka çıktıları almak için bu modeli kullanın. Daha sonra bu çıktıyı modelin yeni sürümünü eğitmek için kullanın ve elde edilen çıktıyı da üçüncü sürümü eğitmek için kullanın. Her tekrarda hatalar birbirini izleyecek ve modelin anlamsız cevaplarını artıracağı görülecek.
Oxford Üniversitesi’nde makine öğrenimi araştırmacısı Illia Shumailov ve meslektaşları bu olayı ‘model çökmesi’ olarak adlandırıyor. Bu durumu OPT-125m adlı bir dil modeli ile el yazısı görünümlü sayılar üreten bir yapay zeka modelinde gözlemlediler. Shumailov, “En basit modellerde bile bu durum gözlemlenebiliyor. Sizi temin ederim, daha karmaşık modellerde de yüzde 100 bu durumdan var” dedi.
Şimdiye kadar yapılan araştırmalar, bir modelin en çok verilerinin ‘kuyruklarından’, yani bir modelin eğitim setinde daha az temsil edilen veri ögelerinden zarar göreceğini gösterdi. Bu kuyruklar, ‘normdan’ daha uzak verileri içermesinden dolayı modelin çökmesi, yapay zekanın çıktısının insan verilerinden elde ettiği çeşitliliği kaybetmesine neden olabilir. Shumailov, özellikle bu durumun dışlanmış gruplara karşı mevcut önyargıları daha da kötüleştireceğinden korkuyor. “Gelecekteki modellerin daha önyargılı hale gelme ihtimali oldukça açık. Bunu engellemek için çaba sarf edilmesi gerekiyor” dedi.
Bunların spekülasyon olduğunu düşünebilirsiniz elbette ancak yapay zeka tarafından üretilen içerikler, makine öğrenimi mühendislerinin eğitim verileri için sırtlarını dayadıkları alanlara girmeye çoktan başladı. Dil modellerini ele alırsak, ana akım haber kaynakları bile yapay zekanın elinden çıkma haberler yayımlamaya başladı. Bazı Wikipedia editörleri, içerik üretirken dil modellerinden faydalanıyor.
Yapay zeka elinden çıkma verilerin eğitim setine başka yerlerden girme ihtimali de var. Makine öğrenimi mühendisleri, modellerinin eğitim verilerine açıklamak veya çıktıları gözden geçirmek için Amazon’un Mechanical Turk’ü gibi çalışma platformlarını kullanıyor. Araştırmacılar Mechanical Turk çalışanlarından tıbbi araştırma özetlerini özetlemelerini istediğinde, aldıkları özetlerin yaklaşık üçte birinin ChatGPT’nin dokunuşundan geçtiğini tespit ettiler.
Peki model çökmesi tehdidine karşı makine öğrenimi mühendisleri ne yapmalı? Yaratıcı yapay zekanın dokunuşundan mümkün olduğunca arınmış verileri kullanarak bu sorunun üstesinden gelebilirler. Bununla birlikte bazı mühendisler internet arşivini açıp yapay zeka furyasından önceki içeriklere bakmayı öneriyor. Shumailov ise bu yönteme biraz soğuk bakıyor. Zira büyüyen modellerin taleplerini karşılamak için yeterli tarihsel bilgi olmayabileceği kanaatinde: “Eğer son 100 yılın haberlerini toplayıp bugünün haberlerini tahmin etmeye çalışırsanız bu işinize yaramayacaktır. Çünkü teknoloji değişti, dil değişti, konuların anlaşılma şekli değişti.”
