Bankacılıkta yapay zeka krizi: Irk ayrımcılığı yapıyor

Yapay zeka algoritmaları finansal hizmetlerde giderek daha fazla kullanılıyor ancak ayrımcılıkla ilgili bazı ciddi riskleri de beraberinde getiriyor. CNBC’de yayınlanan bir analize göre, yapay zekanın ırksal önyargı sorunu var. Siyahların ve azınlıkların yüzlerini orantısız bir şekilde yanlış tanımlayan biyometrik tanımlama sistemlerinden, farklı bölgesel aksanlara sahip sesleri ayırt edemeyen ses tanıma yazılımı uygulamalarına kadar, yapay zekanın ırk ayrımcılığı söz konusu olduğunda üzerinde çalışması gereken çok şey var. Bankacılık ve finansal hizmetler söz konusu olduğunda mevcut önyargıları güçlendirme sorunu daha da ciddi bir hal alıyor.

Deloitte, yapay zeka sistemlerinin nihayetinde yalnızca kendilerine verilen veriler kadar iyi olduğunu belirtiyor: Eksik veya temsili olmayan veri kümeleri yapay zekanın tarafsızlığını sınırlayabilirken, bu tür sistemleri eğiten geliştirme ekiplerindeki önyargılar da bu önyargı döngüsünü devam ettirebilir.

Marvel Stüdyoları’na yapay zeka eleştirisi

Yapay zeka aptal olabilir

Worldpay by FIS’in kripto ve Web3 başkanı Nabil Manji, yapay zeka ürünleri hakkında anlaşılması gereken en önemli şeyin, teknolojinin gücünün büyük ölçüde onu eğitmek için kullanılan kaynak malzemeye bağlı olduğunu söyledi. Manji CNBC’ye verdiği bir röportajda, “Bir yapay zeka ürününün ne kadar iyi olduğu konusunda iki değişken var. Birincisi erişebildiği veriler, ikincisi ise büyük dil modelinin ne kadar iyi olduğu. Bu yüzden veri tarafında, Reddit ve diğerleri gibi şirketleri görüyorsunuz, halka açık bir şekilde ortaya çıktılar ve şirketlerin verilerimizi kazımasına izin vermeyeceğimizi söylediler, bunun için bize ödeme yapmanız gerekecek” dedi.

Finansal hizmetlere gelince, Manji arka uç veri sistemlerinin çoğunun farklı dillerde ve formatlarda parçalanmış olduğunu söyledi. “Bunların hiçbiri konsolide edilmiş ya da uyumlu hale getirilmiş değil. Bu durum, yapay zeka odaklı ürünlerin finansal hizmetlerde, tekdüzelik ve daha modern sistemlere veya verilere erişime sahip diğer dikey sektörlerde veya diğer şirketlerde olabileceğinden çok daha az etkili olmasına neden olacaktır” diye ekledi.

Manji, blok zincirinin ya da dağıtık defter teknolojisinin, geleneksel bankaların karmaşık sistemlerinde saklanan farklı verilerin daha net bir görünümünü elde etmenin bir yolu olarak hizmet edebileceğini öne sürdü.

Ancak Manji, bankaların -ağır bir şekilde düzenlenmiş, yavaş hareket eden kurumlar olarak- yeni yapay zeka araçlarını benimseme konusunda daha çevik teknoloji meslektaşlarıyla aynı hızda hareket etmelerinin pek olası olmadığını da sözlerine ekledi: “Son 10 yıldır kendilerini inovasyonun öncüsü olarak gören Microsoft var ve Google . Bu hıza ayak uyduramıyorlar. Bir de finansal hizmetleri düşünün. Bankalar hızlı olmalarıyla bilinmezler.”

Bild’de gazeteciler kalemlerini yavaşça bırakıp yapay zekâya devrediyor

‘Kredi onaylarında mevcut önyargıları tekrarlama riski var’

Twitter’ın eski makine öğrenimi etiği, şeffaflık ve hesap verebilirlik başkanı Rumman Chowdhury, borç vermenin bir yapay zeka sisteminin marjinal topluluklara karşı önyargısının nasıl ortaya çıkabileceğinin en iyi örneği olduğunu söyledi. Chowdhury, Amsterdam’daki Money20/20’de düzenlenen bir panelde “Algoritmik ayrımcılık aslında kredi verme konusunda çok somut. Chicago’nun kredileri öncelikle siyahi mahallelere vermeme gibi bir geçmişi vardı” dedi. Chowdhury, o günleri şöyle anlattı:

“1930’larda Chicago, mülklerin kredi değerliliğinin büyük ölçüde belirli bir mahallenin ırksal demografisine göre belirlendiği ayrımcı ‘redlining’ uygulamasıyla biliniyordu. Duvarda Chicago’daki tüm semtlerin dev bir haritası olurdu ve ağırlıklı olarak Afro-Amerikan olan tüm semtlere kırmızı çizgiler çizerler ve onlara kredi vermezlerdi. Şimdi farklı bölgelerin ve bireylerin riskliliğini belirlemek için algoritmalar geliştiriyorsunuz. Ve bir kişinin ırkına ilişkin veri noktasını dahil etmeseniz de, bu dolaylı olarak alınıyor.”

Nitekim, yapay zeka sektöründe siyahi kadınları güçlendirmeyi amaçlayan bir kuruluş olan Black Women in Artificial Intelligence’ın kurucusu Angle Bush, CNBC’ye yaptığı açıklamada, yapay zeka sistemleri özellikle kredi onay kararları için kullanıldığında, algoritmaları eğitmek için kullanılan geçmiş verilerde mevcut önyargıları tekrarlama riski olduğunu tespit ettiğini söyledi.

Bush, “Bu, marjinal topluluklardan bireyler için otomatik kredi reddi ile sonuçlanabilir ve ırksal veya cinsiyet eşitsizliklerini güçlendirebilir. Bankaların yapay zekayı bir çözüm olarak uygulamanın ayrımcılığı istemeden de olsa sürdürebileceğini kabul etmeleri çok önemlidir” dedi.

On yılı aşkın bir süredir yapay zeka ve makine öğrenimi alanında çalışan bir geliştirici olan Frost Li, yapay zeka entegrasyonunun “kişiselleştirme” boyutunun da sorunlu olabileceğini söyledi.

Online perakendecilerin yapay zekayı platformlarına entegre etmelerine yardımcı olan Loup şirketini kuran ve yöneten Li, “Yapay zekada ilginç olan, eğitim için ‘temel özellikleri’ nasıl seçtiğimizdir. Bazen, tahmin etmek istediğimiz sonuçlarla ilgisi olmayan özellikleri seçiyoruz” dedi. Li, yapay zeka bankacılığa uygulandığında, hesaplamada her şey birbirine karıştığında önyargılardaki “suçluyu” belirlemenin daha zor olduğunu söyledi.

Apple ve Goldman Sachs, kadınlara Apple Card için daha düşük limitler vermekle suçlandı. Ancak bu iddialar, New York Finansal Hizmetler Departmanı tarafından cinsiyete dayalı ayrımcılık yapıldığına dair herhangi bir kanıt bulunamaması üzerine reddedildi.

Irkçılık karşıtı grup European Network Against Racism’in direktörü Kim Smouter’a göre sorun, yapay zeka temelli ayrımcılığın gerçekten gerçekleşip gerçekleşmediğini kanıtlamanın zor olması. Smouter, binlerce sosyal yardım talebinin haksız yere hileli olmakla suçlandığı Hollanda’daki çocuk refahı skandalını örnek gösterdi. Hollanda hükümeti, 2020 yılında hazırlanan bir raporda mağdurlara “kurumsal bir önyargıyla yaklaşıldığının” tespit edilmesinin ardından istifa etmek zorunda kalmıştı.

Smouter’e göre bu durum, bu tür işlev bozukluklarının ne kadar hızlı yayılabileceğini ve ortaya çıkarıldıktan sonra kanıtlanmasının ve telafi edilmesinin ne kadar zor olduğunu ve bu arada önemli, genellikle geri dönüşü olmayan zararlar verildiğini gösteriyor.

Yapay zekâ kişinin siyasi görüşünü fotoğraftan anlıyor

Yapay zeka yasası 2 yıl içinde yürürlüğe girecek

Chowdhury, yapay zekayı çevreleyen bazı riskleri ele almak için Birleşmiş Milletler gibi küresel bir düzenleyici kuruma ihtiyaç olduğunu söylüyor. Yapay zekanın yenilikçi bir araç olduğu kanıtlanmış olsa da, bazı teknoloji uzmanları ve etikçiler teknolojinin ahlaki ve etik açıdan sağlamlığı konusunda şüphelerini dile getirdiler. Sektör çalışanlarının dile getirdiği en önemli endişeler arasında yanlış bilgilendirme, yapay zeka algoritmalarına gömülü ırk ve cinsiyet önyargısı ve ChatGPT benzeri araçlar tarafından üretilen “halüsinasyonlar” yer alıyor.

Smouter da “Algoritmaların ve nasıl çalıştıklarının daha şeffaf ve hesap verebilir olmasını ve yapay zeka uzmanı olmayan bireylerin kendileri için karar vermelerine olanak tanıyan bir meslekten olmayanlar beyanı, testlerin kanıtı ve sonuçların yayınlanması, bağımsız şikayet süreci, periyodik denetimler ve raporlama, teknoloji tasarlanırken ve dağıtım için düşünülürken ırksal toplulukların katılımı çağrısında bulunuyoruz” dedi.

Türünün ilk düzenleyici çerçevesi olan yapay zeka yasasının temel haklar yaklaşımını ve tazminat gibi kavramları içerdiğini belirten Smouter, düzenlemenin yaklaşık 2 yıl içinde yürürlüğe gireceğini söyledi ve ekledi: “Şeffaflık ve hesap verebilirliğin inovasyonun merkezinde yer almasını sağlamak için bu sürenin kısaltılması harika olur.”

Yapay zekâdan hayat kurtaran çalışma: Derin öğrenmeyle erken doğum tespiti