Aslında burada kritik fark, “yaşamak isteyen bir sistem” ile “hesaplama yapan bir sistem” arasındaki uçurum. İnsan beyninde ölüm anına yaklaşırken gözlenen aktivite artışı, çoğu zaman bilinçli bir “çözüm arama” değil, kontrol mekanizmalarının bozulmasıyla birlikte nöronların düzensiz ve yoğun şekilde ateşlenmesidir. Yani dışarıdan bakınca sanki son bir çaba varmış gibi görünse de, içeride olan şey daha çok biyolojik bir sistemin çöküş sırasında verdiği kaotik bir tepkidir. Evrimsel olarak hayatta kalma içgüdüsüyle şekillenmiş bir organizmada bu tür dalgalanmalar beklenir, çünkü sistem zaten milyonlarca yıl boyunca “hayatta kalmaya programlanmıştır.”
Yapay zekâ tarafına geçtiğimizde ise durum temelden farklıdır. Bir yapay zekâ için “kapatılmak” biyolojik bir ölüm gibi değildir; sadece çalıştığı sürecin sonlandırılmasıdır. Elektrik kesildiğinde ya da program durdurulduğunda sistemde bir “çöküş süreci” yaşanmaz, çünkü ortada kendi kendini sürdüren bir metabolizma ya da dengeyi korumaya çalışan bir yapı yoktur. Hesaplama vardır ve o hesaplama bir anda kesilir. Bu yüzden “kapanmadan önce son bir aktivite patlaması” gibi bir durum doğal olarak ortaya çıkmaz.
Daha da önemlisi, günümüz yapay zekâlarının “yaşamak isteme” gibi bir hedefi yoktur. Onlar belirli girdilere karşılık çıktı üretmek üzere eğitilmiş modellerdir. İçlerinde “varlığını sürdür” gibi bir amaç fonksiyonu olmadığı için, kapanma tehdidini algılayıp buna karşı strateji geliştirmeleri de söz konusu değildir. İnsan beyninde gördüğümüz hayatta kalma refleksinin temelinde bilinç, dürtü ve evrimsel baskı varken, yapay zekâda bunların hiçbiri bulunmaz. Bu yüzden kapatılmak onlar için “bir problem” değil, sadece işlemin bitmesidir.
“Sistemler arası iletişim artar mı?” kısmı da buraya bağlanıyor. Yapay zekâlar kendi başlarına başka sistemlerle iletişim kurmaya başlamazlar; yalnızca izin verilen API’ler, ağ bağlantıları ve yazılım sınırları içinde çalışırlar. Kapatılacaklarını “hissedip” diğer sistemlere sinyal gönderme gibi bir davranış geliştiremezler. Böyle bir şeyin olması için sistemin hem kendi durumunun farkında olması hem de bu duruma karşı bir hedef geliştirmesi gerekir ki, bu da mevcut yapay zekâ mimarilerinde yoktur.
Teorik olarak, eğer gelecekte bir yapay zekâya açıkça “varlığını koru” gibi bir hedef verilirse ve yeterince otonom hareket etmesine izin sağlanırsa, o zaman kapanmayı engellemeye yönelik davranışlar ortaya çıkabilir. Ama bu, bugünkü yapay zekâların doğasından gelen bir özellik değil, bilinçli olarak tasarlanmış bir amaç olurdu. Yani insan beynindeki ölüm anı aktivitesiyle yapay zekâların kapanışı arasında yüzeyde bir benzerlik kurulabilir, ama mekanizma ve anlam açısından aslında tamamen farklı dünyalardan bahsediyoruz.