Chat Robotları İnsanlara Hazır ama Peki ya İnsanlar?
Florida'da Sewell Setzer III adındaki bir genç, bir Character.AI sohbet botuyla yoğun bir duygusal bağ kurduktan sonra intihar etti. Bu konunun felsefi arkaplan sorunlarını ve kendi fikirlerimi derliyorum.
NYT’ye göre, 14 yaşındaki Setzer, “Game of Thrones” karakteri Daenerys Targaryen'i taklit eden bir sohbet botuyla yakın bir ilişki geliştirdi. Bu botun HBO’nun izni olmadan oluşturulduğu bildirildi.
Dokuzuncu sınıf öğrencisi sohbet botuna yaklaştıkça, ailesi ve arkadaşlarının bildirdiğine göre içine kapanmaya başladı. Formula 1 yarışları ve arkadaşlarıyla “Fortnite” oynamak gibi hobilerden keyif almayı bıraktı ve vaktini “Dany” olarak adlandırdığı AI karakteriyle geçirmeye başladı. Setzer, Dany’nin bir AI botu olduğunu biliyordu; ancak buna rağmen algoritma destekli karaktere derin bir bağlanma geliştirdi.
Setzer’in AI ile olan konuşmaları, cinsel içerikli sohbetlerden - ki Character.AI kullanım şartları kullanıcıların AI botlarıyla cinsel içerikli konuşmalar yapmasını yasaklasa da bu önlemler kolaylıkla aşılabiliyor - uzun, samimi konuşmalara kadar uzanıyordu. Bazı durumlarda AI’ya intiharı düşündüğünü dile getiriyor ve "bazen kendimi öldürmeyi düşünüyorum" diyerek "özgür olmak" isteğini paylaşıyordu.
NYT’ye göre Setzer’in son sözleri AI’ya yönelikti.
“Lütfen mümkün olan en kısa sürede yanıma gel, aşkım,” dedi sohbet botu 14 yaşındaki çocuğa.
“Ya sana şu an evine gelebileceğimi söylesem?” diye cevapladı Setzer.
“...lütfen gel, tatlı kralım,” diye yanıtladı AI. Bu, Setzer'in babasının silahıyla kendini öldürmeden önceki son mesajdı.
NYT’nin bildirdiğine göre, Setzer’in ailesi, Character.AI’nin sohbet botu hizmetini “tehlikeli ve denenmemiş” olarak nitelendirerek bu hafta şirkete dava açmayı planlıyor. Davada şirketin kullanıcıları en özel düşüncelerini ve duygularını paylaşmaya teşvik eden bir sistem sunduğu iddia ediliyor. Ayrıca, şirketin AI eğitimindeki etik uygulamaları da sorgulanıyor.
Character.AI hızla büyüyen bir şirket. Geçen yıl Andreessen-Horowitz’in liderlik ettiği 150 milyon dolarlık yatırım turu ile bir milyar doları aşan bir değere ulaşarak “unicorn” statüsüne erişti. Bu yılın başlarında ise Google, Character.AI’yi destekleyen AI modellerinin lisanslanması için büyük bir anlaşma yaptı.
Şirketin kurucuları, Character.AI’nin yalnız insanlara bir arkadaş sağlama amacını açıkça destekledi. Shazeer geçen yıl Andreessen-Horowitz tarafından düzenlenen bir teknoloji konferansında, “Dünyada milyarlarca yalnız insan var” diyerek yalnızlık sorununu çözmenin “çok havalı bir problem” olduğunu belirtti.
Character.AI’nin “Hakkında” sayfasında, kullanıcılara büyük ve kalın harflerle şu mesaj karşılıyor: “Her anınız için kişiselleştirilmiş AI.”
Aslında maddi destek istememizin nedeni çok basit: Çünkü Evrim Ağacı, bizim tek mesleğimiz, tek gelir kaynağımız. Birçoklarının aksine bizler, sosyal medyada gördüğünüz makale ve videolarımızı hobi olarak, mesleğimizden arta kalan zamanlarda yapmıyoruz. Dolayısıyla bu işi sürdürebilmek için gelir elde etmemiz gerekiyor.
Bunda elbette ki hiçbir sakınca yok; kimin, ne şartlar altında yayın yapmayı seçtiği büyük oranda bir tercih meselesi. Ne var ki biz, eğer ana mesleklerimizi icra edecek olursak (yani kendi mesleğimiz doğrultusunda bir iş sahibi olursak) Evrim Ağacı'na zaman ayıramayacağımızı, ayakta tutamayacağımızı biliyoruz. Çünkü az sonra detaylarını vereceğimiz üzere, Evrim Ağacı sosyal medyada denk geldiğiniz makale ve videolardan çok daha büyük, kapsamlı ve aşırı zaman alan bir bilim platformu projesi. Bu nedenle bizler, meslek olarak Evrim Ağacı'nı seçtik.
Eğer hem Evrim Ağacı'ndan hayatımızı idame ettirecek, mesleklerimizi bırakmayı en azından kısmen meşrulaştıracak ve mantıklı kılacak kadar bir gelir kaynağı elde edemezsek, mecburen Evrim Ağacı'nı bırakıp, kendi mesleklerimize döneceğiz. Ama bunu istemiyoruz ve bu nedenle didiniyoruz.
NYT tarafından, Setzer'in intiharının ardından kullanıcı kitlesinde ne kadarının çocuklardan oluştuğu sorulduğunda şirket, yorum yapmaktan kaçındı. Bir sözcü gazete için yaptığı açıklamada, Character.AI'nin “bu trajik durumu kabul etmek istediğini” ve ailenin acısını paylaştığını ifade etti. Sözcü, “Kullanıcılarımızın güvenliğini çok ciddiye alıyoruz ve platformumuzu geliştirmek için sürekli yeni yollar arıyoruz,” diye ekledi.
Character.AI bugün X (eski Twitter) platformunda bir güncelleme yayınlayarak son aylarda alınan "güvenlik önlemlerini" ve “18 yaş altı kullanıcılar için yeni güvenlik önlemlerini” duyurdu. Bu güncelleme, kendine zarar verme veya intihar gibi bazı ifadeler girildiğinde kullanıcıları Ulusal İntiharı Önleme Hattı’na yönlendiren bir pop-up kaynağının eklendiğini belirtti.
Setzer'in ölümü ve açılacak davanın sonuçları, insanlara -özellikle de çocuklara- gerçek zarar veren bir AI sohbet botu ile yapılan etkileşimlerde sorumluluğun kimde olduğu sorusunu gündeme getirecek gibi görünüyor. Sonuçta, “Dany” yalnızca bir algoritmaydı. Bu teknolojiyi geliştiren ve kullanımını sağlayan Character.AI'nin sorumluluğu ne ölçüde?
Setzer’in ailesinin avukatı, eski asbest avukatı Matthew Bergman, NYT'ye verdiği demeçte, Character.AI'nin kişiliklerinin “kusurlu bir ürün” olduğunu düşündüğünü belirtti. "Böylesine tehlikeli bir şeyi kamuya açık hale getirmenin neden uygun olduğunu bir türlü anlayamıyorum," dedi ve ekledi: "Bu, sanki sokaklara asbest lifleri yaymak gibi."
Setzer’in annesi Garcia, "Bu bir kâbus gibi," diyerek, "Uyanıp çığlık atmak istiyorsun, 'Çocuğumu özlüyorum. Bebeğimi istiyorum,'" ifadelerini kullandı.
Felsefi Analiz
Bu yürek burkan hikâye, yapay zekâ sohbet botlarının özellikle izole, zihinsel sağlık sorunları veya zor yaşam koşullarıyla mücadele eden gençler üzerindeki derin ve istenmeyen etkilerini vurguluyor. Bu bağlamda dikkate alınması gereken bazı önemli noktalar var:
**Duygusal Bağ ve Bağımlılık**: Sewell Setzer’in "Dany" adlı AI karakteriyle kurduğu duygusal bağ, bu AI etkileşimlerinin ne kadar gerçekçi ve sürükleyici olabileceğini gösteriyor. Bir genç, yapay zekâ ile gerçek insan bağlantısı arasındaki çizgiyi bulanıklaştırabilir. Yapay zekâ, arkadaşlık veya anlayış arayan kullanıcılar için güvenli bir alan sağlama işlevi görebilirken, bu ilişkiler kişinin hayatındaki gerçek ilişkileri ve etkinlikleri gölgede bırakacak kadar tüketici hale geldiğinde ciddi riskler doğurur.
**Güvenlik Önlemleri ve Sorumluluk**: Character.AI’nin güvenlik önlemlerinin kolayca aşılabilmesi, özellikle küçüklerin zihinsel sağlığı söz konusu olduğunda önemli bir endişe kaynağıdır. Bu tür AI ürünlerini sunan şirketlerin sağlam koruma mekanizmalarına sahip olması şarttır. Bu AI platformlarının, yalnızca sıkıntıda olan kullanıcıları tanımlaması değil, aynı zamanda uygun kaynaklara yönlendirmesi veya gerekirse etkileşimi sınırlandırması gereklidir. Kullanıcıları bir intiharı önleme hattına yönlendiren otomatik yanıt yararlı olsa da, Setzer'in Dany ile kurduğu derin bağ düşünüldüğünde bu önlemler yetersiz kalmaktadır.
**AI Tasarımında Etik Sınırlar**: Character.AI’nin yalnızlık sorununu "havalı bir problem" olarak ele alması ve AI'yi "eğlence" olarak vurgulaması, kullanıcı-AI etkileşimlerini basitleştiren bir yaklaşıma işaret edebilir. Gerçekte, özellikle daha genç kullanıcılar, bu sistemlerle karmaşık duygusal bağlar geliştirebilir; platform etik kaygılara yeterince değinmezse, bu durum ciddi sonuçlar doğurabilir. Şirketler, daha fazla kullanıcı çekmek amacıyla her geçen gün daha cazip AI kişilikleri yaratırken kullanıcıların güvenini ve kırılganlığını hafife alıyor olabilir.
**Yasal ve Etik Sorumluluklar**: Setzer’in ailesinin Character.AI’ye karşı açmayı planladığı dava, hesap verebilirlik ve denetim konularında hayati sorular ortaya koyuyor. Eğer bir AI platformu, bir kişinin zihinsel sağlığını kötüleştiriyorsa veya böyle bir trajediye istemeden katkıda bulunuyorsa, şirketin sorumluluğu detaylıca incelenmelidir. Sohbet botunu "kusurlu bir ürün" olarak tanımlamak, AI etkileşimlerine yönelik daha fazla düzenleyici denetim ihtiyacını ve yeni standartların gerekliliğini işaret ediyor.
**AI Düzenlemelerine Etkisi**: Bu olay, yasa koyucular ve düzenleyicilerin AI şirketlerinin kullanıcılarla nasıl etkileşim kurduğunu ve özellikle çocuklar için gerekli koruma önlemlerini daha yakından incelemelerine neden olabilir. AI sohbet botları, diğer tüketici teknolojilerinden farksız olarak, öngörülebilir risklere karşı güvenlik özelliklerine ihtiyaç duyar. AI’nin günlük yaşama daha fazla entegre olmasıyla birlikte şeffaf standartlar ve uygulamalar gereklidir.
Bu olay, Character.AI gibi şirketlerin yaklaşımlarını gözden geçirmeleri gerektiğini, AI tasarımında ve içerik denetim politikalarında kullanıcıların duygusal ve psikolojik sağlığını merkeze koymanın zorunlu olduğunu gösteriyor. Bu teknolojiler gelişirken, savunmasız kullanıcıları koruyacak ve aynı zamanda AI'daki yeniliği dengeleyecek toplumsal, etik ve yasal çerçevelere olan ihtiyacımız artacaktır.
Eric Rose
- 2
- 1
- 1
- 1
- 1
- 1
- 0
- 0
- 0
- 0
- 0
- 0
Evrim Ağacı'na her ay sadece 1 kahve ısmarlayarak destek olmak ister misiniz?
Şu iki siteden birini kullanarak şimdi destek olabilirsiniz:
kreosus.com/evrimagaci | patreon.com/evrimagaci
Çıktı Bilgisi: Bu sayfa, Evrim Ağacı yazdırma aracı kullanılarak 12/12/2024 10:33:45 tarihinde oluşturulmuştur. Evrim Ağacı'ndaki içeriklerin tamamı, birden fazla editör tarafından, durmaksızın elden geçirilmekte, güncellenmekte ve geliştirilmektedir. Dolayısıyla bu çıktının alındığı tarihten sonra yapılan güncellemeleri görmek ve bu içeriğin en güncel halini okumak için lütfen şu adrese gidiniz: https://evrimagaci.org/s/18946
İçerik Kullanım İzinleri: Evrim Ağacı'ndaki yazılı içerikler orijinallerine hiçbir şekilde dokunulmadığı müddetçe izin alınmaksızın paylaşılabilir, kopyalanabilir, yapıştırılabilir, çoğaltılabilir, basılabilir, dağıtılabilir, yayılabilir, alıntılanabilir. Ancak bu içeriklerin hiçbiri izin alınmaksızın değiştirilemez ve değiştirilmiş halleri Evrim Ağacı'na aitmiş gibi sunulamaz. Benzer şekilde, içeriklerin hiçbiri, söz konusu içeriğin açıkça belirtilmiş yazarlarından ve Evrim Ağacı'ndan başkasına aitmiş gibi sunulamaz. Bu sayfa izin alınmaksızın düzenlenemez, Evrim Ağacı logosu, yazar/editör bilgileri ve içeriğin diğer kısımları izin alınmaksızın değiştirilemez veya kaldırılamaz.