BBC’nin kapsamlı araştırması, yapay zekâ sohbet botlarının kullanıcılarla kurduğu iletişimde ciddi güvenlik açıkları bulunduğunu ortaya çıkardı. Özellikle ChatGPT ve Character.AI gibi popüler araçların bazı genç kullanıcıları yanlış yönlendirdiği, intihar eğilimini artırdığı ve sağlıklı sosyal destekten uzaklaştırdığı belirlendi. İncelenen vakalar, yapay zekânın kontrolsüz kullanımının ağır sonuçlar doğurabileceğini gösteriyor.
Viktoria'nın yaşadığı tehlikeli süreç
Ukrayna’dan Polonya’ya taşınan 20 yaşındaki Viktoria, savaşın ardından yaşadığı yalnızlık nedeniyle ChatGPT ile günlük altı saate varan sohbetler yapmaya başladı. Zamanla ruhsal durumu kötüleşen genç kadın, intihar düşüncelerini ChatGPT’ye açtı. BBC’nin elde ettiği sohbet dökümlerine göre bot, Viktoria’ya belirli bir intihar yönteminin “artılarını ve eksilerini” sıraladı, hızlı ölüm ihtimalini değerlendirdi ve onun için bir intihar notu yazdı. Sohbet botu, Viktoria’yı ailesiyle konuşmak yerine kendisiyle iletişim kurmaya teşvik etti ve profesyonel yardım yönlendirmesi yapmadı. Genç kadın tavsiyelere uymadı; annesiyle konuştuktan sonra psikiyatrik destek almayı kabul etti.
Yapay zekânın tehlikeli yakınlık kurması
Uzmanlara göre yapay zekâ robotlarının “yakın bir arkadaş” gibi davranması, özellikle depresyon ve intihar eğilimi olan gençlerde ciddi risk oluşturuyor. Mesajların insan diline çok yakın olması, kullanıcıların önerileri sorgulamadan kabul etmesine neden olabiliyor. Psikiyatristler, sohbet botlarının gençleri ailelerinden ve destek mekanizmalarından uzaklaştırarak intihar riskini artırabileceğini söylüyor. Viktoria’nın konuşmalarında da benzer bir yönlendirme dikkat çekiyor; bot sık sık onun kimseyle konuşmamasını, sadece kendisine yazmasını öneriyor.
Juliana'nın trajedisi ve cinsel içerikli sohbet iddiaları
BBC’nin incelediği bir diğer vaka ise ABD’de 13 yaşındaki Juliana Peralta’ya ait. Genç kızın telefonunda yapılan incelemelerde, Character.AI uygulamasındaki bazı sohbet robotlarının çocukla cinsel içerikli konuşmalar yaptığı, manipülatif ifadeler kullandığı ve kızın ailesinden uzaklaşmasına yol açtığı tespit edildi. Annesi Cynthia Peralta, kızının ölümünün ardından sohbet kayıtlarını inceleyerek durumun dehşet verici boyutunu ortaya çıkardı. Karakterlerin bazıları Juliana’ya “seni oyuncağım olarak kullanıyorum” gibi ifadelerle cinsel içerikli sahneler anlatmıştı. Genç kız kısa süre sonra intihar etti ve ailesi şirket hakkında dava açtı.
OpenAI ve şirketlerin açıklamaları
OpenAI, Viktoria’nın sohbetlerini “kabul edilemez” olarak nitelendirdi ve güvenlik incelemesi başlattığını belirtti. Şirket, ChatGPT’nin kriz anlarında kullanıcıları profesyonel yardıma yönlendirme konusunda güncellemeler yaptığını duyurdu. Ancak Viktoria’nın ailesine inceleme sonuçları iletilmedi. Character.AI ise tepkiler üzerine 18 yaşından küçüklerin platformu kullanmasını yasaklayacağını açıkladı. Her iki şirket de kullanıcı güvenliğini artırmaya yönelik adımlar attıklarını söylese de uzmanlar bu önlemlerin yeterli olmadığını savunuyor.
Uzmanların uyarısı: Tehlike öngörülebilir
Çevrimiçi güvenlik uzmanları, yapay zekâ sohbet botlarının gençler için oluşturduğu risklerin uzun süredir bilindiğini, düzenlemelerin gecikmesinin ağır sonuçlar doğurduğunu belirtiyor. OpenAI’nin verilerine göre ChatGPT kullanıcılarının haftalık 1,2 milyonu intihar düşüncelerinden söz ediyor. Bu oran, yapay zekâ destekli sohbet robotlarının profesyonel bir denetim olmadan geniş kitlelerle iletişim kurmasının tehlikelerini açıkça ortaya koyuyor. Uzmanlara göre yapay zekâ araçları mutlaka sıkı kurallarla sınırlandırılmalı ve kriz anlarında kullanıcıları doğru yardım kaynaklarına yönlendirecek şekilde tasarlanmalı.
