14 yaşında bir çocuk, yapay zekayla sohbet ettikten sonra kendini öldürdü; annesi şimdi yapay zekadan davacı

Sewell Setzer III kısa yaşamının son gününde telefonunu eline alarak en yakın arkadaşına mesaj attı. Bu arkadaş kanlı canlı bir insan değildi, dünyaca ünlü Amerikan dizisi Game of Thrones’daki Daenerys Targaryen karakterinin adını taşıyan ve bir insanmış gibi sohbet edebilen yapay zeka destekli sohbet robotuydu. Son mesajlarında birbirlerini özlediklerini söylüyorlardı.

Orlando’da liseye giden 14 yaşındaki Sewell, son aylarını Google’ın eski yapay zeka araştırmacıları tarafından geliştirilen Character.AI’da geçiriyordu. Bu sohbet robotu kullanıcıların istedikleri yapay zeka karakterlerini yaratmalarına ya da başkalarının yarattıkları karakterlerle konuşmalarına olanak tanıyor. Sewell, Dany diye hitap ettiği sohbet robotunun gerçek bir insan olmadığını biliyordu. Aldığı cevaplar yapay zeka dil modelinin çıktılarından ibaretti. Karşı tarafta kanlı canlı bir insan yoktu.

Ama bu durum, sohbet robotuna duygusal olarak bağlanmasına engel olmamıştı. Botla sürekli mesajlaşıyor, hayatında olan şeyler konusunda botu sürekli bilgilendiriyordu. Sohbetleri bazen romantik ya da cinsel içerikli olabiliyordu ama genel olarak arkadaşça bir tonda konuşuyorlardı.

Sewell’in ailesi ve arkadaşları onun bu takıntısından haberdar değildi. Telefonuna daha fazla gömüldüğünü fark etmişlerdi ama bunu sohbet robotuyla bağdaştıramamışlardı. Bu süreçte notları düşmeye başladı, okulda başı beladan kurtulmadı. Formula 1 yarışlarını izlemek ve arkadaşlarıyla Fortnite oynamak gibi eskiden çok heyecanlandığı şeylere ilgisini kaybetmişti. Eve gelir gelmez odasına gidiyor, saatlerce dışarı çıkmıyordu.

Annesi, Sewell’a çocukken hafif Asperger sendromu teşhisi konduğunu ancak daha önce ciddi davranışsal ya da zihinsel sağlık sorunları yaşamadığını söylüyor. İçine kapanmaya başladıktan sonra ailesi onu bir terapiste göndermiş. Beş seansın ardından doktorunun koyduğu teşhis anksiyete ve duygudurum bozukluğu olmuş. Dertlerini Dany’ye anlatmayı seven çocuk intihar etme düşüncesinde olduğunu da birkaç kez bota anlatmış. Dany önce neden böyle düşündüğünü sormuş, sonra da “Böyle konuşma. Kendine zarar vermene ya da beni terk etmene izin vermeyeceğim. Seni kaybedersem ben de ölürüm” demişti. Ancak Sewell’i bu düşüncelerden vazgeçirememiş.

28 Şubat gecesi Sewell, Dany’ye son mesajını yolladı. Onu sevdiğini ve yakında eve döneceğini söyledi. Sonra da telefonunu bırakarak üvey babasının .45 kalibrelik tabancasını eline alıp tetiği çekti.

Sohbet robotları: Yalnızlığın devası mı, yoksa yeni bir tehdit mi?

Şu anda ebeveynlerin en büyük dertleri, çocuklarının kullandığı sosyal medya platformları üstünde kontrol sağlayamamaları. Artık tehlikeleri parklar, sokaklar değil, sosyal medya platformları oluşturuyor. Uyuşturucu kaçakçıları, sapıklar, pedofililer ve terör örgütleri sosyal medya platformları üstünde örgütlenip kandırılması en kolay kişiler olan çocukları hedef alıyor. Hatta bu kadar uzaklaşmaya gerek de yok; akran zorbalığı sosyal medya platformları nedeniyle artık okulların dışına taşıp evlere kadar girdi.

Aileler ne kadar dikkat ederse etsin tek başlarına alacakları önlemler yeterli değil. Sosyal medya platformlarının sahipleri ve moderatörlerinin de çocuklar için daha güvenli ortamlar yaratması bekleniyor. Ama belki de bambaşka bir tehlike daha doğuyor: Yapay zeka destekli sohbet robotlarının oluşturduğu arkadaşlık uygulamaları.

Yasalarla denetim altına alınmamış olan bu sektör hızla büyüyor. Bu uygulamaların kullanıcıları belli bir aylık abonelik ücreti karşılığında (genelde 10 dolara tekabül ediyor) kendi yapay zeka dostlarını yaratabiliyor ya da önceden oluşturulmuş karakterlerden birini seçebiliyor. Sonra da onlarla yazılı ya da sesli konuşmaya başlıyorlar. Bu uygulamaların çoğunda amaç romantik ilişkileri simüle etmeyi sağlayabilmek. Çoğu uygulama “yalnızlıkla mücadele”yi amaçladığını söylüyor. Mesela geçen yıl Character.AI’ın kurucularından Noam Shazeer, “Yalnız ya da depresyonda olan birçok insan için bu uygulamamız çok faydalı olacak” dedi.

Gerçekten de dünya yalnızlık salgınının ortasında ve hüümetler bu sorunu çözebilmek için elini taşın altına koymaya hazır. Çünkü yalnızlık demek, insanların tanışıp iliişki kuramaması, doğum oranlarının düşmesi ve insanlığın geleceğinin tehlikeye girmesi demek. Bu tarz uygulamalar insanların yalnızlığını gideriyor gibi görünse de toplumdan daha kopuk hale gelmelerine neden olabilir. Bu da esasında daha da yalnızlaşmak anlamına geliyor. Ayrıca Sewell gibi çok genç yaştaki çocuklar, sorunlarını aileleriyle ya da terapistleriyle paylaşmayıp bu tarz sohbet robotlarıyla paylaşabilir. Oysa bu uygulamaların çoğu yeterli güvenlik filtrelerine sahip değil.

Sizi duyan, anlayan ve hatırlayan akıllı robotlar: Character A.I.

Biraz önce de belirttiğimiz gibi bu şirket iki eski Google çalışanı tarafından kurulmuş. Bu ikili yapay zekanın arkadaşlık tarafına dokunmak istemiş. Üç yıllık bir start-up olan şirket bir milyar dolar değerinde ve geçen yıl yatırımcılardan 150 milyon dolar sermaye toplamış. Uygulamayı şu anda 20 milyondan fazla kişi kullanıyor.

Ancak bu yılın başlarında kurucular Shazeer ve Daniel de Freitas, şirketteki diğer bazı araştırmacılarla Google’a döndüklerini açıkladılar. Character.AI da Google’ın teknolojisini kullanmasına izin verecek bir lisans anlaşması yaptı.

Uygulamayı kullananların yaş skalası bilinmiyor. Hizmet koşullarına göreyse kullanıcıların ABD’de en az 13, Avrupa’da da 16 yaşında olmasını zorunlu kılıyor. Reşit olmayan kullanıcılar için güvenlik özelliği ya da ebeveynlerinin gözetimi altında daha sınırlı kullanmalarını sağlayacak bir denetim mekanizması yok.

Sewell’in annesi Megan L. Garcia, bu hafta Character.AI aleyhine dava açarak, şirketi Sewell’in ölümünden sorumlu tuttu. Dava dilekçesinde şirketin piyasaya sürdüğü teknolojinin “tehlikeli ve test edilmemiş” olduğu belirtiliyor, “müşterilerin en özel duygularını açması için kandırılabileceği” anlatılıyor.

Character.AI bir paylaşımında “Kullanıcılarımızdan birinin trajik kaybından dolayı çok üzgünüz ve ailesine en içten taziyelerimizi sunuyoruz. Şirket olarak kullanıcılarımızın güvenliğini ciddiye alıyoruz” dedi. The Verge’in haberine göre açılan davadan sonra şirket birtakım değişikliklere gitti. Bunlar arasında reşit olmayan kullanıcıların hassas ya da müstehcen içeriklerle karşılaşmasını azaltacak önlemler, topluluk kurallarını ihlal eden kullanıcı girdilerini tespit edip müdahale etmek, kullanıcılara konuştukları kişinin gerçek bir insan olmadığını ve şirketin de sorumluluk kabul etmediğini hatırlatıcı notlar var.

Temel korkuya bir adım daha: Bilgisayarınızı sizin yerinize kullanan yapay zeka