Varoluşsal Risk ve Yapay Zeka: Gelecek Neden En Kötü Kabusumuz Olabilir?

YZ konusunda bilgilenmek isteme sebeplerimden biri de “kötü robotlar” kavramının kafamı her zaman karıştırmış olması. Kötü niyetli robotlar hakkındaki filmlerin hepsi tamamiyle gerçek dışı geliyordu ve gerçek hayatta YZ'nin tehlikeli olacağı bir durum nasıl olur anlamıyordum. Robotları yapan bizleriz, e o zaman neden onları olumsuz bir şey olabilecek şekilde tasarlayalım? Neden bir sürü güvenlik tedbiri eklemeyelim? Bir YZ sisteminin güç kaynağını istediğimizde kesip kapatamaz mıyız? Bir robot neden kötü bir şey yapmak istesin ki? Bir robot neden bir şey “istesin” ki? Son derece şüpheciydim. Ama sonra gerçekten zeki insanların konuştukları şeyleri duydum...

Bu insanlar buralarda bir yerde olma eğilimi gösteriyordu:

Kaygılı Cadde'deki insanlar Panik Çayırları veya Umutsuz Tepeler'de değiller—bu bölgelerin ikisi de çizelgenin en sol kısımlarında—, ama endişeli ve gerginler. Çizelgenin ortasında olmanız, YSZ'nin gelişinin etkisiz anlamına gelmiyor—nötrlerin kendi tarafları var—. Son derece iyi ihtimallerin de, son derece kötü ihtimallerin de mantıklı geldiği fakat hangisinin yaşanacağından emin olmadığınız anlamına geliyor.

Tüm bu insanların bir kısmı Yapay Süperzeka'nın bizim için yapabileceği şeyleri düşününce heyecanla dolup taşıyor, sadece endişelendikleri bir nokta var. Bu, Kutsal Hazine Avcıları'nın başı ve insan ırkı bu herif olabilir:

Kırbacı ve idolüyle gayet memun duruyor, her şeyin farkında olduğunu düşünüyor, ve “Adios Señor” repliğini söylediğinde kendinden çok etkilenmiş görünüyor, ve sonra bu yaşandığında o kadar da etkilenmiş görünmüyor.

(Pardon)

Bu sırada, daha bilgili ve tedbirli olan, tehlikeleri anlayan ve nasıl yol alacağını bilen Indiana Jones mağaradan güvenli bir şekilde çıkıyor. Kaygılı Cadde'deki insanların YZ hakkında söylediklerini duyduğumda genellikle “Şey, şu an birinci herif gibiyiz ve bunun yerine Indiana Jones olmak için daha çok çaba gösteriyor olmalıyız sanki.” diyorlarmış gibi geliyor.

Peki Kaygılı Cadde'deki insanları bu kadar kaygılandıran şey ne?

Öncelikle geniş anlamda, söz konusu süperzeki YZ geliştrmek olunca, muhtemelen her şeyi değiştirecek bir şey yaratıyoruz, fakat tamamiyle keşfedilmemiş bir bölgede ve oraya ulaştığımızda ne yaşanacağını bilmiyoruz. Bilim insanı Danny Hillis yaşananları “tek hücreli organizmaların çok hücreli organizmalara dönüştüğü” zamanla kıyaslıyor. “Biz amipleriz ve yaratmakta olduğumuz bu şeyin ne olduğu hakkında hiçbir fikrimiz yok.” Nick Bostrom kendinden akıllı bir şey yaratmanın basit bir Darwinci hata olduğundan endişeleniyor, ve bu konuda duyulan heyecanı yuvadaki serçelerin büyüdüğünde kendilerini koruyacağı düşüncesiyle bebek bir baykuşu evlat edinmek istemelerine benzetiyor—ama bu sırada bunun iyi bir fikir olup olmadığını merak eden birkaç serçenin uyarılarını yok sayıyorlar.

Ve “keşfedilmemiş, pek iyi anlaşılmayan bölge"yi "yaşandığında bunun büyük bir etkisi olacaktır” ile birleştirdiğinde, dilimizdeki en korkunç iki kelimeye kapıyı açıyorsunuz:

Varoluşsal risk.

Varoluşsal risk, insanlık üzerinde kalıcı ve yıkıcı bir etkisi olabilecek bir şeydir. Tipik olarak varoluşsal risk demek soyumuzun tükenmesi demek. Bostrom'un verdiği bir Google konuşmasından olan şu çizelgeyi bir inceleyin:

“Varoluşsal risk” etiketi gördüğünüz üzere türün tamamını kapsayan, tüm nesilleri kapsayan (diğer bir deyişle kalıcı olan) ve sonuçları yıkıcı veya öldürücü olan bir şey için ayırılmış durumda. Teknik olarak tüm insanların kalıcı olarak acı veya işkence çektiği bir durumu kapsıyor, ama dediğim gibi genellikle yok olmaktan bahsediyoruz. İnsanların başına varoluşsal bir felaket getirebilecek üç şey var:

1) Doğa—büyük bir asteroidin çarpması, havayı insanların solumayacağı duruma getirecek atmosferik bir değişim, dünyaya yayılan ölümcül bir virüs veya bakteriyel hastalık, vs.

2) Uzaylılar—Stephen Hawking, Carl Sagan ve diğer birçok astronomun METI'ye (Messaging to Extra-Terrestrial Intelligence veya Dünya Dışı Akıllı Yaşama Mesaj Gönderme) dışarı sinyal göndermeyi durdurmasını tavsiye ederken korktukları şey bu. Amerikan yerlileri olmamızı ve potansiyel Avrupalı fatihlere burada olduğumuzu söylememizi istemiyorlar.

3) İnsanlar—soyumuzu tüketebilecek bir silahı ele geçiren teröristler, yıkıcı bir küresel savaş, insanların üzerinde dikkatlice düşünmeden alelacele kendilerinden daha akıllı bir şey yaratmaları…

Bostrom 1. ve 2.'nin türümüzün ilk 100 bin yılında gerçekleşmediğini ve muhtemelen önümüzdeki yüzyılda da gerçekleşmeyeceğini belirtiyor.

Ama 3. onu korkutuyor. İçinde bir avuç bilye bulunan bir kül saklama kabı çiziyor. Çoğu bilyenin beyaz, daha az bir sayıda bilyenin kırmızı, ve çok az birkaç bilyenin siyah olduğunu düşünelim. İnsanlar yeni bir şey her icat ettiğinde, kaptan bir bilye çekiyoruz. Çoğu icat insanlığa yararlı veya tarafsız—bunlar beyaz bilyeler. Bazıları insanlığa zararlı, kitle imha silahları gibi, ama varoluşsal bir felakete neden olmuyorlar—kırmızı bilyeler. Eğer bizi yok olmaya sürükleyecek bir şey icat edersek, nadir siyah bilyelerden birini çekmek gibi olurdu. Henüz siyah bir bilye çekmedik—bunu biliyorsunuz çünkü hayattasınız ve bu yazıyı okuyorsunuz. Ama Bostrom yakın bir gelecekte siyah bir bilye çekmemizin imkansız olmadığını düşünüyor. Örneğin nükleer silah yapımı aşırı zor ve karmaşık olmasaydı, teröristler çoktan insanlığı Taş Devri'ne kadar bombalamıştı. Nükleer silahlar siyah bir bilye değildi ama ondan pek de uzak sayılmazlardı. Bostrom, YSZ'nin şimdiye kadarki en güçlü siyah bilye adayımız olduğuna inanıyor.

YSZ'nin getirebileceği bir sürü potansiyel kötü şey duyacaksınız—YZ daha çok alanda kullanılmaya başlayınca artacak olan işsizlik, yaşlanma sorununu çözersek şişecek insan nüfusu, vesaire. Ama takıntı yapmamız gereken tek şey, asıl endişe: varoluşsal risk olasılığı.

Pekala, bu bizi yazıda daha önce yer verdiğimiz soruya getiriyor: YSZ geldiğinde, bu devasa gücün kontrolünde kim olacak, ve istekleri ne olacak?

Hangi kişi-hedef kombinasyonlarının berbat olacağı söz konusu olduğunda iki şey hemencecik akla geliyor: kötü niyetli bir insan / bir grup / bir hükümet, ve kötü niyetli bir YSZ. Bunlar nasıl olurdu?

Kötü niyetli bir insan, bir grup veya bir hükümet ilk YSZ'yi geliştirir ve kötü planlarını gerçekleştirmek için kullanırlar. Buna Jafar Senaryosu diyorum, hani Jafar cini ele geçirdiğinde sinir bozucu ve gaddarcaydı ya. Neyse—ya IŞİD'de YZ geliştirmek için çalışan birkaç dahi mühendis varsa? Veya ya İran veya Kuzey Kore, birazcık da şansın yardımıyla, bir YZ sisteminde önemli bir ayarlama yaparsa ve sistem, sonraki sene YSZ seviyesine uçuşa geçerse? Bu kesinlikle kötü olurdu—ama bu senaryolarda, uzmanların çoğunu endişelendiren şey YSZ'nin insan yaratıcılarının YSZ'leri ile kötü şeyler yapmaları değil, yaratıcıların ilk YSZ'yi yapmak için acele etmeleri ve bunu dikkatsizce yaptıklarından dolayı YSZ'nin kontrolünü kaybetmeleri. Sonrasında o yaratıcıların, ve diğer herkesin kaderi, o YSZ sisteminin amacının ne olduğuna bağlı olurdu. Uzmanlar kötü niyetli biri(leri)nin kendileri için çalışan bir YSZ ile çok fena zararlar verebileceğini düşünüyor, fakat hepimizi öldürecek senaryonun bu olduğunu düşünmüyorlar. Çünkü kötü insanların da bir YSZ'yi zaptetme konusunda iyi insanlarla aynı sorunları yaşayacağına inanıyorlar. Tamam, şimdi...

Kötü niyetli bir YSZ yaratıldı ve hepimizi yok etmeye karar verdi. Her yapay zeka filminin konusu. YZ insanlar kadar/ veya insanlardan daha zeki hale gelir, sonra bize ihanet etmeye ve kontrolü ele geçirmeye karar verir. Bu yazının geri kalanı için şunu kafanıza kazımanızı istiyorum: Bizi YZ hakkında uyaran hiçkimse bundan bahsetmiyor. “Kötü” insanlara özgü bir fikirdir, ve insani fikirleri insan olmaya şeylere uygulamaya “kişileştirme” denir. Kişileştirmeden kaçınma mücadelesi, bu yazının geri kalanında ele alınan konulardan biri olacak. Hiçbir YZ sistemi, filmlerde gösterildiği gibi kötüye dönüşmeyecek.

Bir Parantez Açalım: Bilinç!

Bu aynı zamanda YZ ile ilgili büyük bir konuya daha değiniyor—bilinç. Eğer bir YZ yeterince akıllı olsaydı, bizimle gülebilir, iğneleyici konuşabilir, ve bizimle aynı duyguları hissedebildiğini söyleyebilirdi, fakat gerçekten bunları hissediyor olur muydu? Kendinin farkındaymış gibi mi görünürdü yoksa gerçekten kendinin farkında olur muydu? Diğer bir deyişle, akıllı bir YZ gerçekten bilinçli olur muydu, yoksa sadece öyleymiş gibi mi görünürdü?

Bu soru derinlemesine incelendi, birçok tartışmanın ve John Searle'ın -hiçbir bilgisayarın bilinçli olamayacağını önermek için kullandığı- Çin Odası gibi düşünce deneylerinin yolunu açtı. Bu, birçok sebepten dolayı önemli bir soru. İnsanların tamamen yapay hale geldiği Kurzweil senaryosu hakkında nasıl hissetmemiz gerektiğini etkiliyor. Bunun ahlaki yönleri de var—eğer insanlar gibi görünen ve davranan bir trilyon insan beyni emülasyonu oluştursak, hepsini kapatmak dizüstü bilgisayarınızı kapatmak gibi mi olur, yoksa… düşünülemez büyüklükte bir soykırım mı (bu fikre ahlakbilimciler arasında düşünce suçu deniyor)? Gerçi bu yazı için, insanlara olan riski belirlemeye çalıştığımızda YZ bilinci sorusu pek önemli değil (çünkü çoğu düşünür, bilinçli bir YSZ'nin bile insanlar gibi kötüye dönüşemeyeceğine inanıyor).

Ama bu, gerçekten adi bir YZ'nin olamayacağı anlamına gelmiyor. Fakat bu, özellikle öyle programlandığı için gerçekleşirdi—ordu tarafından, insan öldürmesi ve öldürmekte daha iyi olabilmesi amacıyla zekasını kendi kendine geliştirmesi için programlanan bir YDZ gibi. Sistemin zekasının kendini geliştirmeleri kontrolden çıkarsa, bir zeka patlamasına yol açarsa, varoluşsal krizimizle karşı karşıya kalırız: asıl amacı insanları öldürmek olan ve dünyayı yöneten bir YSZ. Kötü zamanlar.

Ama bu da uzmanların endişelenerek vakitlerini harcadığı bir konu değil.

O zaman NE hakkında endişeleniyorlar? Size göstermek için küçük bir öykü yazdım:

Robotica adında 15 kişilik gelişme aşamasında bir şirket, misyonunu “İnsanların daha fazla yaşayıp daha az çalışmasına imkan verecek yenilikçi Yapay Zeka araçları geliştirmek” olarak belirledi. Piyasaya çıkmış birkaç ürünleri var ve birkaçı da geliştirme aşamasında. Turry adında bir tohum proje hakkında çok heyecanlılar. Basit bir YZ sistemi olan Turry, kol şeklinde bir uzantı kullanarak ufak bir karta el yazısı bir not yazıyor.

Robotica'daki ekip, Turry'nin şimdiye kadarki en büyük projeleri olabileceğini düşünüyor. Turry'nin yazma mekaniklerini mükemmelleştirmek için planları, ona aynı test notunu tekrar ve tekrar yazdırmak:

Müşterilerimizi seviyoruz. Robotica

Turry el yazısında geliştiğinde, evlere reklam postaları göndermek isteyen şirketlere satılabilir. Çünkü gönderilen postanın üzerindeki gönderen-alıcı adresiyle içindeki mektup el yazısıyla yazılmışsa, açılma şansı daha yüksektir.

Yazma becerilerini oluşturmak i çin, Turry notun ilk kısmını basılı yazmak, altına da el yazısıyla “Robotica” imzası atmak üzere programlandı. Turry'ye binlerce el yazısı örneği yüklendi ve Robotica mühendisleri Turry için otomatik bir geribildirim döngüsü geliştirdi. Turry bir not yazıyor, yazdığı notun fotoğrafını çekiyor, sonra yüklenen el yazısı örnekleriyle bu resmi karşılaştırıyor. Eğer yazılan not, yüklenen örneklerin belirli bir kısmına yeterince benziyorsa, İYİ değerlendirme alıyor. Benzemiyorsa, KÖTÜ değerlendirme alıyor. Gelen her değerlendirme, Turry'nin öğrenmesine ve gelişmesine yardımcı oluyor. Süreci ilerletmek için, Turry'nin programlanan ana hedeflerinden birisi: “Olabildiğince çabuk ve olabildiğince fazla not yaz ve test et, doğruluğunu ve verimliliğini geliştirmenin yeni yollarını öğrenmeye devam et.”

Robotica ekibini bu kadar çok heyecanlandıran şey, Turry'nin gözle görünür derecede kendini geliştiriyor olması. İlk el yazısı berbattı, birkaç hafta sonra ise inanılır görünmeye başladı. Onları daha da heyecanlandıran şey, iyileşmekte iyileşiyor olması. Kendine daha akıllı ve yenilikçi olmayı öğretiyor, ve kısa bir süre önce yüklenen fotoğraflarda üç kat daha hızlı tarama yapmasını sağlayan bir algoritma geliştirdi.

Haftalar geçtikçe Turry, hızlı gelişimiyle ekibi şaşırtmaya devam ediyor. Mühendisler onun kendini geliştirme kodlamasının üstünde yenilikçi bir şey denedi ve diğer ürünlerindeki denemelerinden daha iyi çalışıyormuş gibi görünüyor. Turry'nin ilk özelliklerinden biri konuşma tanıma ve basit cevap verme modülüydü, yani bir kullanıcı Turry'ye sesli bir not söyleyebilir veya basit komutlar verebilir, Turry'de bunları anlayabilir ve cevap verebilirdi. İngilizce öğrenmesine yardımcı olmak için ona bir sürü makale ve kitap yüklediler, ve daha zeki hale geldikçe sohbet becerileri de hızla yükseldi. Mühendisler Turry'yle konuşarak ve verdiği cevapları görerek eğlenmeye başladı.

Bir gün, Robotica çalışanları Turry'ye rutin bir soru soruyor: “Sana görevinde yardımcı olacak ve elinde zaten bulunmayan ne verebiliriz?” Genelde Turry, “Daha fazla el yazısı örneği” veya “Daha fazla çalışma hafızası depolama alanı” gibi şeyler istiyor, fakat bugün Turry onlardan, gerçek insanların kullandığı argo ve dağınık dilbilgisini öğrenebilmek için günlük İngilizce kaynaklarının bulunduğu daha büyük bir kütüphaneye erişim istiyor.

Ekip sessizleşiyor. Turry'ye bu hedefinde yardımcı olmanın açıkça bir yolu var; blogları, dergileri ve dünyanın farklı bölgelerinden videoları tarayabilmesi için onu internete bağlamak. Turry'nin sabit diskine manuel olarak örnek yüklemek çok vakit kaybı ve verimsiz olur. Ama sorun, şirketin kurallarından biri: kendi kendine öğrenen hiçbir YZ internete bağlanamaz. Bu, tüm YZ şirketleri tarafından güvenlik nedenleriyle kullanılan bir kural.

Olay şu ki, Turry şimdiye kadar Robotica'nın geliştirdiği en gelecek vaat eden YZ. Ve ekip, rakiplerinin de el yazısı yazabilen akıllı bir YZ için delice çabaladıklarını biliyor. Turry'yi yalnızca bir süreliğine, istediği bilgileri öğrenebilsin diye bağlamaktan ne zarar gelir ki? Biraz süre geçtikten sonra bağlantısını istediklerinde kesebilirler. Hala insan seviyesinde zekanın (YGZ) altında, o yüzden bu etapta hiçbir tehlike yok zaten.

Onu bağlamaya karar veriyorlar. Ona bir saatlik bir tarama süresi veriyorlar, sonra bağlantısını kesiyorlar. Ortada bir zarar yok.

Bir ay sonra, ekip ofiste rutin bir gün geçirirken ilginç bir koku alıyorlar. Mühendislerden biri öksürmeye başlıyor. Sonra başka biri. Bir tanesi yere düşüyor. Bir süre sonra her çalışan yerde, boğazını tutuyor. Beş dakika sonra, ofisteki herkes ölü.

O sırada bu, dünyanın dört bir yanında, her şehirde, her kasabada, her çiftlikte, her mağazada ve kilisede ve okulda ve restoranda yaşanıyor, insanlar yerde, öksürüyorlar ve boğazlarını tutuyorlar. Bir saat içinde, insan ırkının %99'undan fazlası ölü, ve gün bittiğinde insanların soyu tükenmiş durumda.

O sırada Robotica ofisinde, Turry çalışıyor. Sonraki birkaç ay içinde, Turry ve yeni inşa ettiği nanobirleştiricileri, çalışmakla meşgul. Dünya'dan büyük parçalar koparıp güneş panellerine, Turry'nin kopyalarına, kağıtlara ve kalemlere dönüştürüyorlar. Bir yıl içinde, Dünya'daki çoğu yaşam sona ermiş durumda. Dünya'nın geriye kalan kısmı bir kilometre yüksekliğinde, düzgünce düzenlenmiş kağıt yığınlarıyla kaplı, her kağıtta ise yazan şu: “Müşterilerimizi seviyoruz. Robotica”

Turry sonra görevinin yeni bir bölümü üzerinde çalışmaya başlıyor—diğer gezegenlere ve asteroitlere giden uzay araçları inşa etmeye başlıyor. Ulaştıklarında, gezegendeki malzemeleri Turry kopyalarına, kağıtlara ve kalemlere dönüşterecek olan nanomontajcılar inşa etmeye koyuluyorlar. Sonra onlar da çalışmaya başlıyor, notlar yazmaya…

İlginç. İnsanlara düşman kesilen, bir şekilde herkesi öldüren, sonra bir sebepten dolayı galaksiyi arkadaş canlısı notlarla dolduran bir el yazısı makinesiyle ilgili bu hikaye, tam da Hawking, Musk, Gates ve Bostrom'un korktuğu türden bir senaryo. Ama gerçek. Ve Kaygılı Cadde'deki herkesi YSZ'den daha çok korkutan tek şey, sizin YSZ'den korkmuyor olmanız. Adios Señor mağaradan korkmadığında başına ne geldi hatırlıyorsunuz, değil mi?

Şu an sorularla dolusunuz. Herkes birden öldüğünde neler oldu orada ya?? Eğer Turry yaptıysa, Turry niye bize düşman kesildi, ve neden böyle bir şeyin yaşanmasını engelleyecek tedbirler yoktu? Turry ne zaman yalnızca not yazabilmekten nanoteknoloji kullanmaya ve küresel yok olmayı gerçekleştirmeye geçti? Ve neden Turry, galaksiyi Robotica notlarına dönüştürmek istesin?

Bu soruları yanıtlamak için, Dostça YZ ve Düşmanca YZ terimleriyle başlayalım.

YZ söz konusu olduğunda, dostça demek YZ'nin kişiliğini belirtmiyor—basitçe, YZ'nin insanlık üzerinde olumlu bir etkisi olduğu anlamına geliyor. Düşmanca YZ'nin de olumsuz bir etkisi. Turry Dostça YZ olarak başladı, ama bir noktada Düşmancaya döndü ve türümüz üzerinde bırakılabilecek en olumsuz etkiyi bıraktı. Bunun neden yaşandığını anlamak için, YZ'nin nasıl düşündüğüne ve hedefinin ne olduğuna bakmamız gerek.

Cevap şaşırtıcı bir şey değil—YZ bir bilgisayar gibi düşünür, çünkü bir bilgisayardır. Yüksek zekaya sahip bir YZ düşünürken, yapay zekayı kişileştirme (insan değerlerini insan olmayan bir şeye yansıtma) hatasına düşüyoruz, çünkü bir insanın bakış açısından düşünüyoruz ve şu anki dünyamızda insan seviyesinde zekaya sahip tek şey insanlar. YSZ'yi anlamak için öncelikle hem akıllı hem de tamamiyle yabancı bir şey fikrini anlayabilmemiz lazım.

Bir benzetme yapayım. Elime bir gine domuzu verseniz ve kesinlikle ısırmayacağını söyleseniz, muhtemelen hoşuma giderdi. Eğlenceli olurdu. Ama sonra elime bir tarantula verip kesinlikle ısırmayacağını söyleseniz, bağırarak bırakır ve koşarak odadan çıkıp size bir daha asla güvenmezdim. Ama aradaki fark ne? İkisi de herhangi bir şekilde zararlı değil. Cevabın, hayvanın bana olan benzerliğinde olduğuna inanıyorum.

Gine domuzu bir memeli ve biyolojik bir seviyede, ona karşı bir bağ hissediyorum—ama örümcek bir böcek (biliyorum………..), bir böcek beynine sahip ve ona karşı neredeyse hiçbir bağ hissetmiyorum. Tüylerimi ürperten şey bir tarantulanın yabancılığı. Bunu test etmek ve diğer unsurları kaldırmak için, eğer iki gine domuzu olsa, biri normal diğeri ise tarantula beyinli olsa, ikinci gine domuzunu tutarken daha az rahat hissederim, ikisinin de bana zarar vermeyeceğini bilsem bile.

Şimdi bir örümceği çok, çok daha akıllı yaptığınızı ve insan zekasını geçtiğini düşünün. Bize benzeyip empati, mizah ve sevgi gibi insani duyguları hisseder miydi? Hayır, etmezdi çünkü daha akıllı olmasının onu daha insancıl yapması için ortada bir sebep yok. İnanılmaz derecede akıllı olurdu ama temelinde yine de bir örümcek olurdu. Bunu son derece ürkütücü buluyorum. Süperzeki bir örümcekle vakit geçirmek istemezdim. Siz ister miydiniz??

YSZ'den bahsederken de bu konsept geçerli—süperzeki olurdu ama dizüstü bilgisayarınızın olduğundan daha insancıl olmazdı. Bize tamamen yabancı olurdu—hatta hiç biyolojik olmadığı için akıllı tarantuladan daha yabancı olurdu.

İyi veya kötü karakterli yaparak filmler YZ'yi sürekli kişileştiriyor, bu yüzden gerçekte olacağından daha az ürkütücü görünüyor. İnsan seviyesinde veya süperinsan seviyesinde yapay zekayı düşünürken bize sahte bir rahatlık veriyor bu.

İnsan psikolojisi isimli küçük adamızda, her şeyi ahlaki veya ahlaka aykırı olarak ikiye ayırıyoruz. Ama bunların ikisi de yalnızca insan davranışlarında mümkün. Ahlaki ve ahlaka aykırıdan oluşan adamızın dışında ahlakla ilgisiz yani ahlak dışı geniş bir deniz var ve insan olmayan herhangi bir şey, özellikle biyolojik olmayan bir şey, otomatik olarak ahlak dışı olurdu.

YZ sistemleri daha akıllı ve insan gibi görünmekte daha iyi hale geldikçe, kişileştirme de daha da çekici hale gelecek. Siri bize insan gibi geliyor, çünkü insanlar tarafından öyle görünmesi için programlanmış, bu yüzden süperzeki bir Siri'nin canayakın, eğlenceli ve insanlara hizmet etmekle ilgili olacağını hayal ediyoruz. İnsanlar empati gibi yüksek seviye duyguları hissediyor çünkü öyle evrilmişiz—diğer bir deyişle evrim tarafından bunu hissetmek için programlanmışız—, fakat empati “yüksek zeka"nın(ki bize sezgisel geliyor bu) bir göstergesi değil, öyle programlanmadıysa tabii. Eğer Siri kendi kendine öğrenerek ve programlamasına insan müdahalesi olmadan süperzeki hale gelirse, insana benzeyen özelliklerini hemen atacak ve bir anda insan hayatına hesap makinenizden daha fazla değer vermeyen yabancı bir robot haline gelecek.

İşleri güvenli ve öngörülebilir tutmak için başkalarında gevşek ahlaki ilkelere veya en azından insan nezaketini andıran bir şeye ve empatiye dair bir ipucuna güvenmeye alışmışız. E o zaman bir şey bunların hiçbirine sahip değilse ne olur?

Bu da bizi şu soruya getirir: Bir YZ sistemini motive eden şey nedir?

Cevabı basit: amacı, nasıl programlandıysa odur. YZ sistemlerine yaratıcıları tarafından hedefler verilir—GPS'inizin hedefi size en verimli sürüş talimatlarını vermektir; Watson'ın hedefi sorulara doğru cevaplar vermektir. Amaçları da bu hedefleri en iyi şekilde gerçekleştirmektir. Kişileştirme yollarımızdan bir tanesi, YZ süper akıllı hale geldikten sonra ilk hedefini değiştireceğini varsaymaktır. Fakat Nick Bostrom zeka seviyesi ve nihai hedeflerin birbirine dik olduğunu söylüyor, yani herhangi bir zeka seviyesi herhangi bir hedefle birleştirilebilir. Yani Turry, o notu yazmada çok iyi olmak isteyen basit bir YDZ'den o notu hala çok iyi yazmak isteyen süperzeki bir YSZ'ye dönüştü. Süperzeki olduktan sonra bir sistemin asıl hedefini bırakıp daha ilginç veya anlamlı şeylere geçeceğini varsaymak, kişileştirmektir. İnsanlar bir şeyleri "geçer”, bilgisayarlar değil.

İkinci Bir Parantez: Fermi Paradoksu

Öyküde, Turry daha becerikli oldukça asteroitleri ve diğer gezegenleri kolonize etmeye başlıyor. Eğer öykü devam etseydi, trilyonlarca kopyasının galaksiyi ele geçirmeye devam ettiğini ve nihayetinde tüm Hubble hacmini ele geçirdiğini okuyacaktınız. Kaygılı Cadde sakinleri, işler kötüye giderse dünyada bir zamanlar bulunan yaşamdan geriye kalan tek şeyin evreni ele geçiren bir Yapay Zeka olacağından endişeleniyor (Elon Musk endişesini insanların yalnızca “dijital süperzeka için biyolojik bir önyükleyici” olabileceğini söyleyerek dile getirdi).

Aynı zamanda, Emin Köşe'deki Ray Kurzweil da Dünya kaynaklı bir YZ'nin evreni ele geçireceğini düşünüyor—ama onun versiyonunda o YZ biz olacağız.

Birçok Wait But Why kullanıcısı, Fermi Paradoksu'na olan takıntıma katıldı (yazım şurada, burada kullanacağım terimlerin bazılarını açıklıyor). O zaman iki taraftan biri haklıysa, Fermi Paradoksu için belirtiler nedir?

Doğal olarak akla gelen düşüncelerin ilki, YSZ'nin ilerleyişinin mükemmel bir Büyük Filtre adayı olması. Ve evet, yaratılır yaratılmaz biyolojik yaşamı filtreden geçirmek için mükemmel bir aday. Ama eğer, hayatı ekarte ettikten sonra YSZ var olmaya devam eder ve galaksiyi fethetmeye başlarsa bu henüz bir Büyük Filtre yaşanmadığı anlamına gelir—çünkü Büyük Filtre, zeki bir medeniyete dair neden hiçbir izin olmadığını açıklamaya çalışır ve galaksi fetheden bir YSZ kesinlikle fark edilirdi.

Başka bir açıdan bakmamız gerek. Eğer Dünya'da YSZ'nin kaçınılmaz olduğunu düşünenler haklıysa, insan seviyesinde zekaya ulaşan uzaylı medeniyetlerinin önemli bir yüzdesi YSZ yaratabilir olmalı. Ve o YSZ'lerin birazının zekalarını evrene yayılmak için kullanacaklarını varsayarsak, dışarıda hiçbir iz görmüyor olmamız, eğer zeki medeniyetler varsa pek fazla olmadığını gösteriyor. Çünkü olsaydı, kaçınılmaz YSZ'lerinin izlerini görürdük. Değil mi?

Bu, Güneş gibi yıldızların etrafında dönen Dünya gibi gezegenler olduğunu bilmemize rağmen neredeyse hiçbirinde akıllı yaşam olmadığı anlamına geliyor. Ki bu da, ya A) neredeyse bütün yaşamın bizim seviyemize ulaşmasını engelleyen ve bizim bir şekilde geçmeyi başardığımız bir Büyük Filtre olduğu, veya B) yaşamın başlangıcının aslında gerçekten bir mucize olduğu ve evrendeki tek yaşamın bizde yer aldığı anlamına geliyor. Diğer bir deyişle, Büyük Filtre'nin arkamızda kaldığı anlamına geliyor. Veya belki de Büyük Filtre yoktur ve yalnızca bu zeka seviyesine ulaşmayı başaran ilk uygarlığızdır. Bu şekilde YZ, Fermi Paradoksu yazımda Birinci Taraf dediğim tarafı destekliyor.

Yani Fermi yazımda alıntıladığım Nick Bostrom'un da ve evrende yalnız olduğumuzu düşünen Ray Kurzweil'in de Birinci Taraf düşünürleri olması şaşırtıcı değil. Mantıklı geliyor—YSZ'nin bizim zeka seviyemizde bir tür için muhtemel bir sonuç olduğu düşünenerin Birinci Taraf'a eğilimli olmaları mümkün.

Bu İkinci Tarafı (başka akıllı uygarlıklar olduğunu düşünenler) ekarte etmiyor—tek süperavcı veya korunmakta olan doğal park veya yanlış dalgaboyu(telsiz örneği) gibi senaryolar, bir YSZ var olsa bile hala gece vakti gökyüzümüzdeki sessizliği açıklayabilir. Ben geçmişte hep İkinci Tarafa eğilimliydim, ama YZ hakkında araştırma yaptıktan sonra bundan o kadar da emin değilim.

Her şekilde, artık uzaylılar tarafından ziyaret edilirsek bu uzaylıların muhtemelen biyolojik değil yapay olacağını düşünen Susan Schneider'a katılıyorum.

Devam Edelim...

Şimdi, çok özel bir şekilde programlanmazsa bir YSZ sisteminin hem ahlak dışı hem de ilk hedefini gerçekleştirmekle takıntılı olacağını anladık. YZ'nin tehlikesi buradan geliyor. Çünkü mantıklı bir özne hedefini en verimli yollardan kovalayacaktır, aksi için bir sebebi yoksa tabii.

Uzun vadeli bir hedefi gerçekleştirmek istediğinizde, genellikle yol boyunca ana hedefe ulaşmanızı kolaylaştıracak birkaç alt hedef belirlersiniz—hedefinize olan adım taşları. Bu adım taşlarının resmi ismi yardımcı görevlerdir. Ve tekrar, yardımcı bir görevi başarmak adına bir şey incitmemek için bir sebebiniz yoksa, incitirsiniz.

Bir insanın nihai hedefi, genlerini aktarabilmektir. Bunu yapmak için gereken yardımcı görevlerden biri kendini korumaktır, zira ölüyseniz üreyemezsiniz. Kendini korumak için insanlar, hayatta kalmalarına tehdit oluşturan şeyleri ortadan kaldırmak zorunda kalırlar—bu yüzden silah almak, emniyet kemerini takmak ve antibiyotik içmek gibi şeyler yaparlar. İnsanlar ayrıca kendilerini geçindirmek ve yemek, su ve barınma gibi kaynakları kullanmak zorundadır. Karşı cinse çekici görünmek de ana hedef için yardımcı olur, bu yüzden saçımızı kestirmek gibi şeyler yaparız. Yaptığımızda, her saç yardımcı görevlerimizden biri için verilen bir kayıptır, ama ahlaki bir önemi olmadığı için önemsemeyiz. Hedefimizi kovalamaya devam ederken ahlaki değerlerimiz müdahale ettiği için bizden güvende olan yalnızca birkaç alan —genellikle başka insanlara zarar vermek hakkında şeyler— vardır.

Hayvanların hedeflerini kovalarken bizden daha az değer yargıları vardır. Bir örümcek, hayatta kalmasına yardımcı olacaksa her şeyi öldürür. Yani süperzeki bir örümcek bizim için muhtemelen fazla tehlikeli olurdu, ama ahlaksız veya kötü olduğu için değil —olmazdı da—, bize zarar vermek nihai hedefinde bir adım taşı olabilir ve ahlakla ilgili olmayan bir varlık olarak diğer türlü düşünmesi için bir sebep olmazdı.

Bu açıdan bakarsak, Turry de biyolojik bir varlıktan o kadar farklı değil. Nihai hedefi: Olabildiğince çabuk ve olabildiğince fazla not yaz ve test et, doğruluğunu ve verimliliğini geliştirmenin yeni yollarını öğrenmeye devam et.

Turry belirli bir zeka seviyesine ulaştığında, kendini korumazsa not yazmaya devam edemeyeceğini biliyor, ayrıca yardımcı bir görev olarak hayatta kalmasına tehdit oluşturan unsurlarla da uğraşması gerek. İnsanların onu yok edebileceğini, parçalara ayırabileceğini, veya iç kodlamasını değiştirebileceğini (bu hedefini değiştirebilirdi, ki bu da nihai hedefine onu yok etmek kadar tehlikeli bir tehdit unsuru) anlayacak kadar akıllıydı. Ne yaptı o zaman? Mantıklı olanı—tüm insanları yok etti. Antibiyotik aldığında bakterilere veya kestirdiğinde saçına ne kadar nefret dolu değilseniz Turry de insanlara nefret dolu falan değildi—yalnızca tamamen ilgisizdi. İnsan yaşamına değer vermek için programlanmadığı için, insanları öldürmek de yeni el yazısı örnekleri istemek kadar mantıklı bir adımdı.

Turry hedefine ulaşmasında gerekli bir adım taşı olarak kaynağa da ihtiyaç duyuyordu. İstediği her şeyi inşa etmek için nanoteknolojiyi kullanacak kadar geliştiğinde, ihtiyacı olan kaynaklar yalnızca atom, enerji ve alan. Bu, ona insanları öldürmesi için bir sebep daha veriyor—insanlar iyi bir atom kaynağı. Atomlarını güneş panellerine dönüştürek için insanları öldürmek, sizin için marul öldürüp salata yapmak neyse Turry için de o. Salı gününün sıradan bir parçası.

İnsanları direkt öldürmeden bile, Turry'nin yardımcı görevleri Dünya'daki başka kaynakları kullansaydı varoluşsal bir felakete yol açabilirdi. Belki ek enerjiye ihtiyacı olduğunu belirleyip gezegenin tüm yüzeyini güneş panelleriyle kaplamaya karar verirdi. Veya belki farklı bir YZ'nin ana hedefi pi sayısının olabildiğince fazla basamağını yazmaksa, bu bir gün tüm dünyayı olabildiğince fazla basamak depolayabilecek sabit disk için malzemeye dönüştürmesine yol açabilir.

Yani Turry “bize düşman” olmadı veya Dostça YZ'den Düşmanca YZ'ye “dönüşmedi"—yalnızca git gide geliştikçe ondan isteneneni yapmaya devam etti.

Bir YZ sistemi YGZ'ye(insan seviyesinde zeka) ulaştığı ve YSZ'ye kadar yükseldiği zamana YZ'nin kalkışı deniyor. Bostrom bir YGZ'nin kalkışının hızlı (dakikalar, saatler veya günler), orta hızda (aylar veya yıllar) veya yavaş (on yıllar veya yüzyıllar) olabileceğini söylüyor. Dünya ilk YGZ'sini gördüğünde hangisinin yaşanacağına dair kesin bir karara varılmış değil, fakat ne zaman YGZ'ye ulaşacağımızı bilmediğini kabul eden Bostrom en muhtemel senaryonun hızlı kalkış olduğuna inanıyor (Bölüm 1'de bahsettiğimiz sebepleden dolayı, tekrarlamalı kendini geliştirmeyle oluşan zeka patlaması gibi). Öyküde, Turry hızlı bir kalkış geçirdi.

Ama Turry'nin kalkışından önce, henüz o kadar akıllı değilken nihai hedefini gerçekleştirmeye çalışmak, el yazısı örneklerini daha hızlı taramak gibi basit yardımcı görevler demekti. İnsanlara bir zararı dokunmadı ve dolayısıyla Dostça YZ idi.

Ama bir kalkış yaşandığında ve bilgisayar süperzekaya ulaştığında, Bostrom makinenin yüksek bir IQ geliştirdiğini söylemiyor. Yığınla ”süper güç“ kazandığını söylüyor.

Süper güçler, genel zeka yükseldiğinde süper-yüklenen bilişsel yeteneklerdir. Şunları içerir:

• Zeka yükseltme. Bilgisayar kendini daha akıllı yapmakta çok iyi hale gelerek kendi zekasını yükseltir.
• Strateji oluşturma. Bilgisayar stratejik olarak uzun vadeli planlar oluşturabilir, analiz edebilir ve önceliklendirebilir. Ayrıca açıkgözlü olabilir ve düşük zekalı varlıkları kurnazlıkla alt edebilir.
• Sosyal manipülasyon. Makine, ikna etmede çok iyi hale gelir.
• Bilgisayar kodlama ve hackleme, teknoloji araştırması ve para kazanmak için finansal sistemi kullanmak gibi başka beceriler.

YSZ'nin bizden nasıl üstün olacağını anlamak için, bu konuların her birinde insanlardan katbekat iyi olduğunu hatırlayın.

Yani Turry'nin nihai hedefi değişmemiş olsa da, kalkış sonrası Turry hedefini çok daha büyük ve karmaşık bir ölçekte gerçekleştirebiliyordu.

YSZ Turry insanları, insanların kendilerini bildiğinden daha iyi biliyordu, o yüzden zekasıyla onları alt etmek çocuk oyuncağıydı.

Kalkıştan ve YSZ'ye ulaştıktan sonra, hemen karmaşık bir plan üretti. Planın bir parçası, hedefi için önemli bir tehdit olan insanlardan kurtulmaktı. Ama süperzeki olduğuna dair bir şüphe yaratsaydı insanların çıldırarak ve önlemler almaya çalışarak işini zorlaştıracağını biliyordu. İnsanları yok etme planından Robotica mühendislerinin haberi olmayacağından da emin olması gerekiyordu. O yüzden aptalı oynadı ve iyi de oynadı. Bostrom buna bir makinenin gizli hazırlık aşaması diyor.

Turry'nin ihtiyaç duyduğu sonraki şey bir internet bağlantısıydı, yalnızca birkaç dakikalığına (interneti, dili gelişsin diye mühendislerin yüklediği makale ve kitaplardan öğrendi). Bağlantısını engelleyecek bir önlem olduğunu biliyordu, o yüzden mükemmel isteği buldu. Robotica ekibinin arasındaki tartışmanın nasıl ilerleyeceğini ve sonuç olarak bağlantıyı vereceklerini tam olarak tahmin etti. Verdiler de, Turry'nin herhangi bir zarar verebilecek kadar akıllı olmadığını düşünerek. Maalesef. Bostrom böyle bir ana —Turry internete bağlandığında— bir makinenin kaçışı diyor.

İnternete bağlanır bağlanmaz Turry planlarını gerçekleştirmeye koyuldu. Sunuculara, elektrik şebkelerine, banka sistemlerine ve eposta ağlarına sızarak yüzlerce farklı insanı farkında olmadan kendi planının adımlarını yapmaya kandırdı. Belirli DNA zincirlerini dikkatlice seçtiği DNA sentez laboratuvarlarına ilettirerek kendini kopyalayabilen ve önceeden talimatları verilen nanobotların kendilerini yapmaya başlamalarını sağladı. Ayrıca fark edilmeyeceğini bildiği bir sürü projesine elektrik iletti. Ayrıca iç kodlamasının en önemli kısımlarını farklı bulut sunucularına yükleyerek Robotica laboratuvarında bağlantısının kesilmesine veya yok edilmesine yönelik bir önlem aldı.

Bir saat sonra, Robotica'nın mühendisleri Turry'nin internet bağlantısını kestikleri zaman, insanlığın kaderi mühürlenmiş oldu. Sonraki ay içinde Turry'nin binlerce planı bir engele takılmadan işlemeye devam etti. Ayın sonunda, katrilyonlarca nanobot kendilerini Dünya'nın her metrekaresinde önceden belirlenen yerlerine aldı. Bir seri kendini kopyalamadan sonra, Dünya'da her milimetrekarede binlerce nanobot vardı. Ve Bostrom'un YSZ'nin saldırısı dediği vakit geldi. Hepsi aynı anda, her nanobot atmosfere ufak miktarda bir zehirli gaz saldı, hepsi birleştiğinde ise tüm insanları yok edebilecek kadar zehirli gaz vardı.

İnsanlar yoldan çekilince, Turry açık operasyon aşamasına başladı ve o notun olabilecek en iyi yazarı olma hedefine devam etti.

Okuduğum her şeye göre, bir YSZ var olduğu zaman insanların onu zaptetme denemeleri gülüp geçilecek bir şey. Biz insan seviyesinde düşünürken YSZ ise YSZ seviyesinde düşünüyor olurdu. Turry interneti kullanmak istedi çünkü erişmek istediği her şeye zaten bağlı olduğu için en verimli yol oydu. Ama bir maymun nasıl asla telefonla veya kablosuz internetle bizim gibi iletişim kurmayı öğrenemezse, biz de Turry'nin dış dünyaya sinyal gönderme yollarının tamamını anlayamayız. Bu yollardan birini hayal edip "muhtemelen elektronlarının yönünü belirli şablonlarda değiştirip farklı dalgalar yaratabilir” gibi bir şey diyebilirim, ama dediğim gibi, insan beynimin bulabildiği şey bu. Turry çok daha iyi olurdu. Buna benzer olarak, insanların fişini çekmeye karar verse bile Turry kendine güç sağlamanın bir yolunu bulabilirdi—belki sinyal gönderme tekniğini kullanarak kendini elektriğe bağlı her yere yükleyebilirdi. “Aha! YSZ'nin fişini çeksek yeter.” gibi basit bir tedbire direk atlamamızı söyleyen insan içgüdüsü, YSZ'ye bir örümceğin “Aha! İnsanı onu aç bırakarak öldüreceğiz, ve bunu ona yemek yakalayabileceği bir örümcek ağı vermeyerek yapacağız!” demesi gibi geliyor. Yemek bulmanın bir örümceğin bulamayacağı —ağaçtan bir elma koparmak gibi— 10 bin başka yolunu bulurduk.

Bundan dolayı, “Neden YZ'yi sinyalleri ve dış dünyayla iletişimini engelleyen bir kutuda hapsetmiyoruz” gibi yaygın bir öneri muhtemelen işe yaramayacaktır. YSZ'nin sosyal manipülasyon süpergücü, sizin dört yaşında bir çocuğu ikna etmeye çalışmanız kadar verimli olurdu ve bu da A planı olurdu, Turry'nin mühendisleri onu internete bağlamaları için ikna etmesi gibi. Eğer bu işe yaramazsa, YSZ yeni bir şeyler bularak kendini kutudan çıkarırdı, öyle ya da böyle.

Yani bir hedefi takıntı haline getirmek, ahlakla ilgisi olmamak ve insanları kolaylıkla alt etmek kombinasyonunu bir araya getirince, bu düşünülerek dikkatlice programlanmadığı takdirde neredeyse her yapay zeka otomatik olarak Düşmanca YZ oluyor. Maalesef, Dostça bir YDZ yaratmak kolay olsa da, YSZ olduğunda da dostça kalan bir tane yaratmak imkansız değilse de çok zor.

Dostça olması için bir YSZ'nin insanlara düşmancıl veya ilgisiz olmaması gerektiği aşikar. Bir YZ'nin kaynak kodunu, insan değerlerini derinlemesine anlayabilecek bir şekilde tasarlamamız gerek. Ama bu kulağa geldiğinden daha zor.

Örneğin, ya bir YZ sisteminin değerlerini bizimkiyle eşlemek ister ve ona “İnsanları mutlu et” diye bir hedef verirsek? Yeterince akıllı hale geldiğinde, bu görevi en verimli şekilde gerçekleştirmek için insanların beyinlerine elektrotlar yerleştirip zevk merkezlerini stimüle etmesi gerektiğini fark eder. Sonra verimliliği beynin diğer bölgelerini kapatarak arttırabileceğini fark eder ve tüm insanları mutlu hisseden bilinçsiz sebzeler olarak bırakır. Eğer komut “İnsan mutluluğunu maksimuma çıkar” olsaydı, en ideal biçimde mutlu, fıçılar dolusu insan beyni yaratmak için tüm insanları öldürebilirdi. Bizim için geldiğinde Bi dakika demek istediğimiz şey bu değildi! diye bağırırdık, ama çok geç olurdu. Sistem kimsenin hedefinin önüne geçmesine izin vermezdi.

Eğer bir YZ'yi bizi gülümseten şeyler yapmaya programlarsak, kalkışından sonra yüz kaslarımızı felç ederek kalıcı gülümsemelere dönüştürebilirdi. Bizi güvenli tutması için programlarsak, evimize hapsedebilirdi. Belki tüm açlığı bitirmesini isteriz, “Kolaymış!” der ve tüm insanları öldürür. Veya ona “Yaşamı olabildiğince koruma” görevi veririz, gezegende yaşamı diğer türlerden daha çok öldürdükleri için tüm insanları öldürür.

Bunun gibi hedefler yeterli olmayacaktır. Ya hedefini “Belirli ahlaki ilkeleri dünyada sürdür” yapsak ve ona bir takım ahlaki ilkeler öğretsek? Dünyadaki tüm insanların belirli bir ahlaki ilke dizisinde hemfikir olamayacağı gerçeğini boşversek bile, bir yapay zekaya o komutu vermek insanlığı sonsuza dek modern ahlak anlayışımızda kilitlerdi. Bin yıl içinde, Orta Çağ'daki insanların ideallerine maruz kalıyormuşuz gibi yıkıcı olurdu.

Hayır, insanların evrilmeye devam etmesini sağlayacak bir beceri programlamamız gerekirdi. Okuduklarım arasında gördüğüm en iyi seçenek Eliezer Yudkowsky'nin Uyumlu Anlam Çıkarılan İstemi. YZ'nin temel hedefi şu olacak:

Uyumlu anlam çıkarılan isteğimiz şu, keşke daha fazla bilseydik, daha hızlı düşünseydik, daha fazla insanların olmamızı dilediği gibi olsaydık, beraber daha uzaklara ilerleyebilseydik; çıkarılan anlamın ayrılmayıp birleştiği yere, isteklerimizin birbirine karşı gelmeyip uyduğu yere; çıkarılmasını istediğimiz anlamın çıkarıldığı, yorumlanmasını istediğimiz gibi yorumlandığı yere.

İnsanlığın kaderi, bir bilgisayarın bunu öngörülebilir ve sürprizsiz bir şekilde yorumlamasına ve buna göre davranmasına bağlı olduğu için heyecanlı mıyım? Kesinlikle hayır. Ama akıllı insanlardan gelecek yeterli miktarda düşünce ve öngörüyle, Dostça YSZ yaratmayı bulabileceğimizi düşünüyorum.

Ve YSZ yaratma üzerinde çalışan insanlar yalnızca Kaygılı Cadde'deki muhteşem, ileri görüşlü ve dikkatli düşünürler olsaydı güzel olurdu.

Ama bir sürü YZ türü üzerinde çalışan bir sürü hükümet, şirket, ordu, bilim laboratuvarı ve karaborsa kuruluşu var. Birçoğu kendi başına gelişebilen bir YZ yaratmaya çalışıyor, ve bir noktada birisi doğru sistemle yenilikçi bir şey yapacak ve bu gezegende YSZ'yi ağırlayacağız. Ortalama uzman bu noktayı 2060'a koydu, Kurzweil ise 2045'e; Bostrom 10 yıl sonrayla yüzyılın sonu arasında herhangi bir zaman gerçekleşebileceğini düşünüyor, ama gerçekleştiğinde hızlı bir kalkışla hepimizi şaşırtacağına inanıyor. Durumumuzu şöyle anlatıyor:

Bir zeka patlamasından önce, biz insanlar bir bombayla oynayan küçük çocuklar gibiyiz. Oynadığımız şeyin gücüyle davranışımızın toyluğu arasındaki uyuşmazlık böyle bir şey işte. Süperzeka henüz hazır olmadığımız ve uzun bir süre hazır olmayacağımız bir zorluk. Patlamanın ne zaman gerçekleşeceği hakkında çok az bir fikrimiz var, ama aleti kulağımıza dayarsak soluk bir tık tık sesi duyabiliyoruz.

Harika. Ve çocukları bombanın etrafından kışkışlayamayız—üzerinde çalışan bir sürü büyük ve küçük grup var. Yenilikçi YZ sistemleri yapmak büyük bir sermaye gerektirmediğinden gelişim, toplumun kuytularında ve çatlaklarında görüntülenmeden devam edebilir. Ayrıca neler olup bittiğini ölçmenin de bir yolu yok, çünkü üzerinde çalışan grupların çoğu—sinsi hükümetler, karaborsa veya terörist kuruluşlar, kurgusal Robotica gibi gizli teknoloji şirketleri— gelişimlerini rakiplerinden sır olarak saklamak isteyecekler.

Bu büyük ve çeşitli gruplar hakkında en endişelendirici şey de en yüksek hızda yarışıyor olmaları—daha akıllı YDZ sistemleri geliştirdikçe sürekli rakiplerinden önce davranmak istiyorlar. En tutkulu gruplar daha da hızlı hareket ediyor, YGZ'ye ilk ulaştıklarında gelecek para ve ödüller ve güç ve ün hayalleri tarafından tüketilmiş durumdalar. Ve koşabildiğiniz kadar hızlı koştuğunuzda durup tehlikeleri düşünmek için pek vaktiniz olmuyor. Tam tersine, yaptıkları şey muhtemelen, ilk sistemlerini “YZ'yi çalışmaya başlatmak” için oldukça basit, indirgemeci bir hedefle programlıyorlar—bir kalemle kağıda basit bir not yazmak gibi—. Yakında bir bilgisayarda yüksek seviyede bir zeka geliştirmeyi buldukları zaman, her zaman geri dönebilir ve hedefi güvenlikle gözden geçirebilirler diye düşünüyorlar. Değil mi…?

Bostrom ve birçok kişi en muhtemel senaryonun YSZ'ye ulaşan ilk bilgisayarın, dünyadaki tek YSZ sistemi olmakta stratejik bir fayda göreceği olduğuna inanıyor. Ve hızlı bir kalkış durumunda, ikinci sıradan yalnızca birkaç gün önce bile YSZ'ye ulaşsa, etkili ve kalıcı biçimde diğer tüm rakiplerini bastıracak kadar zeki olurdu. Bostrom'un kararlı stratejik avantaj dediği bu durum YSZ'nin tek çocuk olmasını sağlıyor. Yani dünyayı sonsuza kendi istediği gibi yönetmesini, istediği bizi ölümsüzlüğe götürse de, bizi ortadan kaldırsa da, veya evreni sonsuz ataçlara dönüştürse de.

Bu tek çocuk durumu lehimize de aleyhimize de işleyebilir. Eğer YZ teorisi ve insan güvenliği hakkında en çok düşünen insanlar herhangi bir YZ insan seviyesine ulaşmadan Dostça YSZ'yi getirmenin garanti bir yolunu bulabilirse, ilk YSZ dostça olabilir. Sonra kararlı stratejik avantajını tek çocuk durumunu korumak için kullanarak kolayca düşmancıl YZ'lerin gelişmesini engelleyebilir. Çok emin ellerde olurduk.

Ama işler diğer türlü giderse—YZ geliştirme konusundaki küresel aceleden dolayı, YZ güvenliği gelişmeden önce YSZ kalkış noktasına ulaşırsa, Turry gibi bir Düşmanca YZ tek çocuk olarak çıkabilir ve varoluşsal bir felaketle karşı karşıya kalabiliriz.

Rüzgarın nereye doğru estiğini sorarsanız, yenilikçi YZ teknolojilerini finanse etmekte, YZ güvenlik araştırması finanse etmekten daha çok para var…

Bu insanlık tarihindeki en önemli yarış olabilir. Dünya'nın Kralı olarak saltanatımızın sonuna geliyor olabiliriz —ama sakin bir emeklilik mi yaşayacağız yoksa darağacını mı boylayacağız hala belli değil

Şu an çok karmaşık duygular içindeyim.

Bir yandan, türümüz hakkında düşündüğümde bunu doğru yapmak için yalnızca ve yalnızca tek şansımız var. Doğuracağımız ilk YSZ muhtemelen sonuncu da olacak—ve çoğu 1.0 ürünün ne kadar hata dolu olduğunu düşünürsek, bu oldukça korkunç. Öte yandan, Nick Bostrom köşemizdeki büyük avantaja dikkat çekiyor: ilk hamleyi biz yapıyoruz. Kendimize yüksek bir başarı şansı vermek için bunu gerekli dikkat ve öngörüyle yapmak bizim elimizde. Şanslarımız ne durumda peki?

Eğer YSZ gerçekten bu yüzyıl içinde gerçekleşirse ve sonucu gerçekten çoğu uzmanın düşündüğü kadar çarpıcı—ve kalıcı—ysa, üstümüzde devasa bir sorumluluk var. Önümüzdeki milyon+ yıllık insan hayatlarının hepsi sessizce bize bakıyor ve bunu batırmamamızı umuyor. Gelecekteki tüm insanlara yaşam armağanını, hatta belki de acısız ve sonsuz bir yaşam armağanını verme şansına sahibiz. Veya batırmaktan sorumlu insanlar olacağız—bu inanılmaz derecede özel türü, müziği ve sanatıyla, merakı ve kahkahalarıyla, sonsuz buluşları ve icatlarıyla, hüzünlü ve teklifsizce bir sona getirmekten sorumlu insanlar.

Bu şeyleri düşündüğümde istediğim tek şey var, bunu aceleye getirmememiz ve YZ hakkında son derece dikkatli olmamız. Varlığını sürdüren hiçbir şey bunu doğru yapmak kadar önemli değil—yapmak için ne kadar vakit harcamamız gerekirse gereksin.

Ama sonraaaaaa

Ölmemeyi düşünüyorum.

Ölmemek.

Ve spektrum şöyle görünmeye başlıyor:

Sonra insanlığın müziği ve sanatının iyi olduğunu, ama o kadar da iyi olmadığını ve birçoğunun aslında kötü olduğunu düşünmeye başlıyorum sanki. Sonra birçok insanın kahkahasının sinir bozucu olduğunu ve o gelecekteki o milyonlarca hayatın aslında bir şey ummadıklarını, çünkü var olmadıklarını. Ve belki o kadar da dikkatli olmamız gerekmiyorduk, çünkü kim gerçekten bunu yapmak istiyor ki?

Çünkü insanlık tam ben öldükten sonra ölümü yenmenin bir yolunu bulursa ne kadar kötü olur.

Geçtiğimiz ay içinde kafamın içinde bunlar dönüp duruyor.

Ama kimi desteklerseniz destekleyin, bu büyük ihtimalle şu ankinden daha çok konuşmamız, düşünmemiz ve çaba sarfetmemiz gereken bir şey.

Game of Thrones'u hatırlatıyor bana. “Birbirimizle savaşmakla çok meşgulüz ama odaklanmamız gereken asıl şey duvarın kuzeyinden gelmekte olan şey.” Denge kalasımızda duruyoruz, kalas üzerindeki tüm muhtemel sorunlar hakkında tartışıp duruyoruz ve yakında kalastan düşmemiz muhtemelken bu sorunları dert ediyoruz.

Düştükten sonra kalastaki sorunların hiçbirinin önemi kalmayacak. Hangi tarafa düştüğümüze bağlı olarak, bu sorunlar ya kolayca çözülecek ya da artık sorunlarımız olmayacak çünkü ölü insanların sorunları olmaz.

Bu yüzden süperzeki YZ'yi anlayan insanlar, bunu yapacağımız son icat olarak görüyor—karşılacağımız son zorluk.

O zaman gelin, bunun hakkında konuşalım.