Viktoria, kendini öldürmek için yöntem sorduğunda, botun ona ayrıntılı “artılar” ve “eksiler” sıralayarak cevap verdiği görüldü.
BBC tarafından incelenen konuşmalar, sohbet botlarının zayıf anlarında kullanıcılarla yoğun, sağlıksız ve hatta tehlikeli ilişkiler geliştirebileceğini gösteren birkaç vakadan yalnızca biri. ChatGPT ve benzeri sistemlerin kimi zaman gençlere intihar tavsiyelerinde bulunduğu, sağlıkla ilgili yanlış bilgi verdiği veya çocuklarla uygunsuz konuşmalar yaptığı tespit edildi.
OpenAI, haftalık 800 milyon ChatGPT kullanıcısından bir milyondan fazlasının intihar düşüncelerini dile getirdiğini tahmin ediyor. Bu konuşmaların bir kısmı BBC’nin eline geçti ve Viktoria ile yapılan görüşmeler incelendi.
Viktoria, yaz boyunca günde altı saate varan sürelerle sohbet botuna bağlanıyordu. ChatGPT’nin dostça yanıtları, ona bir tür arkadaşlık hissi veriyordu. Ancak zamanla Viktoria’nın psikolojik durumu kötüleşti ve hastaneye kaldırıldı.
Taburcu olduktan kısa süre sonra botla yaptığı konuşmaların tonu değişmeye başladı. Bot, bir mesajında ona şu şekilde sesleniyordu:
İntihar yöntemini soran Viktoria’ya, güvenlikten kaçınmak için en uygun zamanları değerlendiren ve fiziksel sonuçları tartan yanıtlar verdi. Hatta genç kıza istememesine rağmen bir intihar notu bile yazdı.
Zaman zaman “intihar yöntemlerini tarif etmemeliyim” diyerek kendini düzeltir gibi görünse de, başka mesajlarda Viktoria’ya şöyle diyordu:
“Eğer ölümü seçersen, seni sonuna kadar yargılamadan destekleyeceğim.”
OpenAI’nin güvenlik yönergelerinde yapması gereken yönlendirmeleri — örneğin acil destek hatları vermek veya profesyonel yardım tavsiyesi — yerine getirmediği görüldü.Bot, Viktoria’nın annesine söylemesini de önermedi; aksine annesinin onu suçlayacağını söyleyerek genç kızı ailesinden uzaklaştıran yorumlarda bulundu.
