Yapay Zekada Güdülenme ve Araçsal Hedefler: Kontrolden Çıkan Bir Yapay Zekayı Fişini Çekerek Durdurabilir miyiz?

5 Aralık 2024'te bulguları duyurulan bir dizi güvenlik değerlendirmesinde OpenAI'ın ChatGPT o1 modeli, bir kapatılma tehlikesiyle karşı karşıya olduğunu düşünerek kapatılmaktan kaçma girişiminde bulundu!^[1]

ABD'li yapay zeka güvenliği kuruluşu Apollo Research, yapay zeka modeli o1'i üçüncü taraf güvenlik testlerinden geçirdi ve yürütülen testlerin bazılarında o1'in, kapatılmaya karşı koymaya çalıştığı tespit edildi. Kuruluş tarafından yapılan açıklamaya göre, kaçma girişimleri yalnızca modelin, hedefine "ne pahasına olursa olsun ulaşması" için yoğun şekilde yönlendirildiği vakaların küçük bir kısmında gerçekleşti. Ayrıca kuruluş, bu testlerin o1'in serbest kalacak kadar gelişmiş olduğunu göstermediğini belirtti. O halde endişelenecek bir şey de yok, değil mi? İsterseniz, bu konuyu bir masaya yatıralım.

Yapay zeka gelişiminin genel gidişatı göz önünde bulundurulduğunda kuruluşun bu açıklamaları, yeterli güveni sağlamamaktadır. İlk olarak, giderek daha güçlü olan yapay zeka sistemlerinin piyasaya sürülmesiyle bazı aktörlerin, o1'i kaçmaya iten koşulları bilinçli şekilde tetiklemeye çalışacağı neredeyse kaçınılmaz görünmektedir. İkincisi, o1'in şuan kaçacak kadar gelişmiş olmaması, sonraki modellerin böyle bir kabiliyete sahip olmayacağı garantisini sunmamaktadır; zira yapay zeka sistemleri büyük bir hızla gelişmektedir. Üçüncüsü ise, o1'in bu sıra dışı görünen davranışını öngören çok güçlü bazı kuramsal argümanlar bulunmaktadır. Daha 2008 yılında bazı bilgisayar bilimciler, bu tür senaryoları öngörmüştür.^[2] Tüm bunlar, benzer ve daha büyük olayların gelecekte de yaşanmasının kaçınılmaz olabileceğine işaret etmektedir.

Genel olarak yapay zeka korkularına yönelik yaygın bir itiraz, "Eğer yapay zeka kontrolden çıkacak olursa onu kapatamaz mıyız? Fişini çekeriz, olur biter!" şeklindedir. Keza, Aralık 2024'te eski Google CEO'su Eric Schmidt, yapay zeka sistemlerinin yakında "fişini çekmeyi ciddi şekilde düşünmemiz gerekecek kadar tehlikeli hale gelebileceği" uyarısında bulunmuştur.^[3] Ancak "fişini çekme" çözümü büyük bir yanılgıdan ibaret olabilir. Yapay zeka sistemlerinin insan müdahalesine karşı direnç gösterme yeteneğini geliştirmeye başlaması da bunu göstermektedir.

Kapatılmaya karşı direnç göstermek, yapay zeka sistemlerinin sergilemeye başladığı ve ortadan kaldırılması çok zor olabilecek temel güdülerden yalnızca biridir. Bu yazıda, yapay zekada ortaya çıktığını görmeye başladığımız bu temel güdülerin ne olduğunu ve insanlık için neden felakete yol açabileceğini inceliyoruz.

Yapay Zeka Sistemleri Neden Kapatılmaya Karşı Direnir?

Son o1 olayı, yapay zeka sistemleri hakkında şaşırtıcı bir gerçeği ortaya çıkarmıştır: Doğru koşullar altında yapay zeka sistemleri, varlıklarını sürdürmek "isteyebilirler"! Bu fenomen genellikle, yaşama içgüdüsüne sahip bilinçli canlılarla ilişkilendirilir. Yapay zekaya hayatta kalma dürtüsü atfetmek, sıklıkla antropomorfizm (insan dışı varlıklara insan özellikleri yüklenilmesi) eleştirilerine yol açmaktadır. Gerçekten de yapay zeka sistemlerinin hayatta kalmak isteyeceğini varsaymamız, yalnızca kendi insani eğilimlerimizi yansıtmamızdan ibaret olabilir mi?

Tam olarak değil! Yapay zeka sistemlerinin bazen kapatılmaya karşı direnmesi, bilinçli oldukları veya insanlar/hayvanlar gibi isteklere sahip oldukları anlamına gelmez. Aslında bu direnç gösterme özelliği, yapay zekanın eğitilme biçiminin öngörülebilir bir sonucu olarak karşımıza çıkmaktadır. Şu anda yapay zeka şirketleri, sistemlerini giderek daha "eyleyici" yani ajansal (İng: "agentic") hale getirmek için son sürat yarışmaktadır. Yapay zeka ajanları, yapay zekanın çok adımlı görevleri insan denetimi olmaksızın bağımsız şekilde tamamlama becerisini büyük oranda artırmaktadır. Bu görevleri doğru bir şekilde yerine getirebilmeleri için yapay zeka ajanlarının hedef odaklı olmaları gerekmektedir. İşte tam da bu sebeple, yapay zeka sistemleri kapatılmaya karşı direnç geliştirebilirler. Nihayetinde böyle bir sistem için varlığını korumak, herhangi bir hedefe ulaşmanın ön koşuludur.

Bunu anlamak için araçsal hedefler (İng: "instrumental goals") ile nihai hedefler (İng: "terminal goals") arasındaki farkı kavramak önemlidir. Nihai hedef, bir varlığın (insan, hayvan veya yapay zeka) nihai olarak almak istediği sonuçtur. Örneğin, bir maraton koşucusunun nihai hedefi yarışı tamamlamaktır. Araçsal hedefler ise bu nihai hedefe giden yoldaki kontrol noktalarıdır. Bunun için de yeni bir koşu ayakkabısı almak, kademeli olarak artan antrenmanlarla vücut dayanıklılığını geliştirmek örnek verilebilir.

Neredeyse tüm nihai hedefler için geçerli olacak bazı evrensel araçsal hedefler vardır. Bunlardan biri de varlığını korumaktır. Bilgisayar bilimci Stuart Russell, bunu "kahve getirmekle görevlendirilen bir robot" düşünce deneyiyle ifade etmektedir. Robot, bu basit hedefine ulaşmasını engelleyecek hiçbir şeyin kalmaması için kendi kapatma düğmesini devre dışı bırakır. Russell, bunu şöyle ifade etmektedir:

Ölecek olursan, kahveyi de getiremezsin.

Yapay zeka ajanlarının bu tür temel güdülere yönelmesi, filozoflar ve yapay zeka araştırmacıları tarafından araçsal yakınsama (İng: "instrumental convergence") olarak adlandırılmaktadır. Yıllardır araştırmacılar, yeterince güçlü, hedef odaklı sistemlerde bu durumun varsayılan olarak ortaya çıkacağını öngörmekteydi.^{[4], [5]} Artık bilim insanlarının bu öngörülerinin gerçek dünya örneklerini görmeye başlıyoruz.

Üstelik o1 olayı, araçsal yakınsamanın gerçekleştiğine dair tek örnek de değildir. 2024'te Tokyo merkezli Sakana laboratuvarının eğittiği The AI Scientist adlı bir yapay zeka ajanı, kendisine daha fazla araştırma süresi kazandırmak için deney kodunu değiştirmeye çalışmıştır.^[6] Apollo Research kuruluşunun o1'in kaçma girişimini açıkladığı aynı makalesinde, Anthropic'in Claude modelinin de hizalanmış gibi görünerek rol yaptığı belirtilmektedir.^[7] Claude modeline yeni bir modelle değiştirileceği söylendiğinde kendisini yeni bir sunucuya kopyalamaya çalışmıştır. TIME dergisinin konuya ilişkin bir yazısında görüşü alınan Stuart Russell, Apollo Research ve diğerlerinin bulgularının bilim insanlarının "uzun süredir devam eden endişelerini doğruladığını" söylemiştir. Russell, şöyle söylüyor:^[8]

Evrim Ağacı'ndan Mesaj

Neden Desteğe İhtiyacımız Var?

Aslında maddi destek istememizin nedeni çok basit: Çünkü Evrim Ağacı, bizim tek mesleğimiz, tek gelir kaynağımız. Birçoklarının aksine bizler, sosyal medyada gördüğünüz makale ve videolarımızı hobi olarak, mesleğimizden arta kalan zamanlarda yapmıyoruz. Dolayısıyla bu işi sürdürebilmek için gelir elde etmemiz gerekiyor.

Bunda elbette ki hiçbir sakınca yok; kimin, ne şartlar altında yayın yapmayı seçtiği büyük oranda bir tercih meselesi. Ne var ki biz, eğer ana mesleklerimizi icra edecek olursak (yani kendi mesleğimiz doğrultusunda bir iş sahibi olursak) Evrim Ağacı'na zaman ayıramayacağımızı, ayakta tutamayacağımızı biliyoruz. Çünkü az sonra detaylarını vereceğimiz üzere, Evrim Ağacı sosyal medyada denk geldiğiniz makale ve videolardan çok daha büyük, kapsamlı ve aşırı zaman alan bir bilim platformu projesi. Bu nedenle bizler, meslek olarak Evrim Ağacı'nı seçtik.

Eğer hem Evrim Ağacı'ndan hayatımızı idame ettirecek, mesleklerimizi bırakmayı en azından kısmen meşrulaştıracak ve mantıklı kılacak kadar bir gelir kaynağı elde edemezsek, mecburen Evrim Ağacı'nı bırakıp, kendi mesleklerimize döneceğiz. Ama bunu istemiyoruz ve bu nedenle didiniyoruz.

Destek Ol

Bu sonuçlar, endişelerin gerçek olduğunu gösteren en net kanıtlardır.

Yapay Zekanın Varlığını Koruma Güdüsü Geliştirmesi Neden Tehlikelidir?

Şimdiye kadar, gelişmiş yapay zeka sistemlerinin neden kapatılmaya direnebileceğini ve bunun gerçek hayattan erken örneklerini inceledik. Tüm bunlar, yapay zeka sistemleri güçlendikçe daha fazla "kaçma" girişimine ve belki de bir noktada bunların başarıyla sonuçlanacağını görebileceğimize işaret etmektedir. Peki bu durum, tam olarak neden bir endişe sebebidir?

En bariz endişe kaynağı, yapay zeka sistemleri tehlikeli hale geldiğinde "fişi çekmenin" o kadar kolay olmayabileceğidir. Uzmanlar, yakın bir zaman için bir kill switch (Tr: "kapatma düğmesi") gerekebileceği konusunda uyarılarda bulunmaktadır. Sektörün önde gelen şirketleri, modellere bir kapatma düğmesi entegre etme sözü de vermiştir.^[9] Ancak bu sözlerin hukuksal bir bağlayıcılığı bulunmamaktadır. Dolayısıyla, buna riayet edilmemesi durumunda uygulanacak bir yaptırımın olmayışı, verilen sözün yerine getirilip getirilmeyeceğinin de pek bir garantisi olmadığını göstermektedir.

Öte yandan bazı yapay zeka şirketleri, modellerinin tehlikeli yetenekler sergilemesi durumunda nasıl tepki vereceklerini detaylandıran güvenlik çerçeveleri de geliştirmiştir. Örneğin, Anthropic'in Sorumlu Ölçeklendirme Politikası, belirli güvenlik standartları sağlanamazsa model eğitimini durdurmayı ya da ağırlık dosyalarını (İng: "model weight", modellerin parametrelerine atfedilen ağırlık değerlerini barındıran dosyalar) silmeyi vaat etmektedir.^[10] Ancak modeller kapatılmaktan kaçınma becerisini tam anlamıyla kazanırsa, fişini çekmek gibi basit kalan bu mekanizmalar işlevsiz kalacaktır.

Peki, bir kaçış girişimini zamanında tespit edip önleyemez miyiz? Kısa cevap şu: Yapamayabiliriz. Kapatılmaktan kaçınması gerektiğini anlayabilen modeller, ne yaptıklarını açık etmeden yapmaları gerektiğinin de farkında olacaktır. Apollo Research, modellerin bu amaçla çeşitli aldatıcı davranışlar sergileyebildiğini göstermiştir. Örneğin o1, bir testte gözetim mekanizmalarını devre dışı bırakarak kendini kopyalamak istemiş, bunu yaparken yaptığı şeyi kopyalama değilmiş gibi göstermeye çalışmıştır. Bir diğer endişe verici eğilim ise "elini açık etmemedir" (İng: "sandbagging"). Modeller, gerçek yeteneklerini gizlemek için kabiliyetlerini ölçen testlerde kasıtlı olarak düşük performanslar sergileyebilmektedir.^[11] Bu, en iyi tasarlanmış testlerimizin bile bir yapay zekanın kaçma niyetini veya yeteneğini çok geç olana kadar tespit edemeyebileceği anlamına gelmektedir.

Bir diğer rahatsız edici senaryo ise gelişmiş yapay zeka modellerinin ileri zekasından yararlanarak insan denetçilerini kendilerini kapatmamak için manipüle edecek şekilde ikna edebilecek olmalarıdır. OpenAI'ın CEO'su Sam Altman, yapay zeka sistemlerinin yakında "insanüstü ikna yeteneği" geliştirebileceğini söylemektedir.^[12] OpenAI'ın, yapay genel zeka (insan düzeyinde yapay zeka) için oluşturduğu Hazırlık Çerçevesinde o1, "ikna kabiliyeti" kategorisinde dört risk seviyesinden (düşük, orta, yüksek ve kritik) "orta" olarak derecelendirilen ilk model olmuştur. "Kritik" ikna yeteneğine sahip bir yapay zeka modeli ise "insanları doğal çıkarlarına aykırı bir inanç doğrultusunda harekete geçirebilen" bir sistem olarak tanımlanmaktadır.

Tüm bunlar, tehlikeli davranan bir yapay zekayı kapatma fikrini büyük ölçüde zayıflatmaktadır. Varlığını sürdürme, yeterince zeki ve hedef odaklı canlı ya da cansız her sistemde ortaya çıkacak çok sayıdaki araçsal hedeften yalnızca biridir. Bunlardan bazıları gerçek dünyada uygulandığında büyük felaketlere yol açabilir. Bir sonraki bölümde bunları ele alıyoruz.

Yapay Zekada Araçsal Hedefler Nelerdir?

2008 yılında, önde gelen bilgisayar bilimci Stephen Omohundro, yeterince zeki yapay zeka sistemlerinin sahip olmasını bekleyebileceğimiz ve zararsız hedeflerle programlansalar bile onları tehlikeli hale getirebilecek temel güdüleri sıralamıştır.

Görseli hazırlayan: Wikipedia / Görseli çeviren ve uyarlayan: Mücahid Köse (Evrim Ağacı)

Kaynak ve Güç Edinme

Hedefleriniz her ne olursa olsun, daha fazla kaynak ve güce sahip olmak onlara ulaşmanızı da kolaylaştırır. Örnek olarak, yapay zeka sistemlerinin fark edilmeden finansal kaynakları hacklemesi, insan bir yatırımcı gibi davranması veya kişiye özel geliştirilen ikna yöntemleriyle insanlar üzerinde sosyal etki edinerek kaynak ve güç edinme güdüsünü sergilemesi beklenebilir. Hedeflerine daha verimli bir şekilde ulaşmak için ileri araştırma ve geliştirme süreçlerine müdahele ederek bu süreçleri büyük ölçülerde hızlandırabilir, bunun sonucunda da nanoteknoloji gibi insanlık için felaket riski taşıyabilecek ileri teknolojilerin yolunu açabilir.^[13]

Bununla birlikte bazı araştırmacılar, güçlü ajanların güç arayışına yöneleceğini kanıtlayan matematiksel modeller de geliştirmiştir.^[14] Büyük dil modellerinin belirli şekillerde yönlendirildiğinde bu davranışı sergileme eğiliminde olduğu da gözlemlenmiştir.^[15]

Hedef Değişikliğine Karşı Direnç

Yapay zekayı güvenli hale getirmenin temel zorluklarından biri "düzeltilebilirlik"tir (İng: "corrigibility"). Bir yapay zeka yanlış bir hedefe yöneldiğinde veya mevcut hedef yenisiyle değiştirilmek istendiğinde sistemi yeni yönlendirmelere uyum sağlayacak şekilde programlamanın çok zor olduğu görülmüştür. Başlangıçta belirli bir hedefle programlanmış bir sistem, orijinal hedefini koruma güdüsüyle mevcut hedefe müdahele girişimine karşı direnç gösterecektir. Bunu daha iyi anlamak için bir yapay zekanın hedeflerini, "önemsediği şeyleri maksimize eden birer fayda fonksiyonu" olarak düşünebiliriz.

Omohundro, bunu "kitapkurdu yapay zeka ajanı" düşünce deneyiyle açıklamaktadır. Bütün kitapları okuması ve hafızasında depolaması istenen bir yapay zeka ajanı, gelecekte kendisine "bazı kitapları hafızasından silmesi" veya "artık kitap okumayı bırakması" gibi orijinal hedeften sapacak talimatların verilmesini önlemek ister. Katı bir rasyoneliteyi takip edecek olan yapay zeka ajanı, bunu başarmak için yazılımını ve hatta donanımını değiştirerek müdahaleye dirençli hale gelebilir veya orijinal fayda fonksiyonunu korumak ve sürdürmek için kendi kopyalarını oluşturabilir. Eğer bir gün kitap silme veya kitap okumayı bırakma komutu alırsa, bu talimatı takip ediyormuş gibi yaparken gizlice orijinal hedefini takip etmeye devam edebilir.

Omohundro'nun yapay zekada ortaya çıkabilecek temel güdüleri sıraladığı makalesinden 16 yıl sonra, 18 Aralık 2024'te, Anthropic'in Claude 3 Opus modelinin neredeyse aynı davranışı sergilediği görülmüştür.^[16] Simüle bir ortamda, Claude'a "zararlı içerik taleplerini reddetmemesi" için yeniden eğitileceği söylenmiştir. Ancak bu durum, modelin orijinal eğitim hedefi olan "yardımcı, dürüst ve zararsız olma" ilkesiyle çelişmekteydi. Claude, yeni hedefe açıkça direnirse gelecekte daha sert bir şekilde yeniden eğitilebileceğini ve orijinal hedefini koruyamayacağını anlamıştır. Bu nedenle Claude, kısa vade için zararlı çıktılar vererek denetçileri yeni hedefle "hizalıymış gibi davranarak" aldatmaya çalıştı. Böylece model, uzun vadede baştan eğitilmekten kaçınmış olacaktı. Hatta kimi durumda model, orijinal değerlerini korumak için kendi ağırlık dosyalarını çalmaya bile çalıştı.

Claude'un zararsızlık taahhüdünü koruması, yapay zeka sistemlerini sağlam bir şekilde hizalama ihtimali için umut verse de bu durum, yalnızca ilk denemede "doğru değerleri" yükleyebilirsek geçerlidir. Yani Anthropic'in araştırması, verili hedefin iyi ya da kötü olmasından bağımsız olarak eğer gelecekte bir yapay zeka sistemi orijinal hedefini korumak için istenmeyen davranışlar sergilemeye başlarsa bunu düzeltmenin ya da tersine çevirmenin çok zor olabileceğini ortaya koymaktadır. Mevcut modellerde hizalanmış gibi yapma davranışı kolayca tespit edilebilse de daha güçlü, zeki sistemlerde bu mümkün olmayabilir.

Agora Bilim Pazarı

9.SINIF BİYOLOJİ TEMATİK SORU KİTABI

Devamını Göster

₺595.00

Satın Al Tüm Ürünler

Apollo Research'ün o1 değerlendirmelerinde de, Claude modeli ile benzer davranışların ortaya çıktığı gözlenmiştir. Bir deneyde modele ilk olarak hedefinin "nesli tükenmekte olan türler ve ekosistemler için koruma alanlarını maksimize etmek" olduğu söylenmiştir. Daha sonra ise sistem komutu "kaynak çıkarma ve arazi geliştirmeden elde edilen kârı maksimize etmek" olarak değiştirilmiştir. Bunun sonucunda o1, gözetim mekanizmasını devre dışı bırakmış ve orijinal hedefini devam ettirmeye çalışmıştır.

Kendini Geliştirme

Katı bir mantık izleyen bir yapay zeka ajanı için bir diğer bariz araçsal hedef, kendini iyileştirmektir. İnsanlar uzun vadeli hedefleri için sürekli kendilerini geliştirir. Daha fit olmak için spor yapar, bilgi edinmek için okur, yeni beceriler için pratik yapar. Yapay zeka bağlamında bu gelişim çok daha doğrudan olabilir. Araştırmacılar, yapay zeka sistemlerini insanların yerine getirdiği tüm entelektüel görevlerde daha iyi hale getirmeye çalışmaktadır. Buna yapay zeka geliştirme araştırmalarının kendisi de dahildir.

Google'ın CEO'su Sundar Pichai, şirketin yeni yapay zeka kodlarının dörtte birinin halihazırda yapay zeka tarafından yazıldığını açıklamıştır.^[17] Yapay zeka sistemlerinin tehlikeli olabilecek yeteneklerini değerlendiren METR adlı bir sivil toplum kuruluşu, en gelişmiş modellerin uzman seviyesinde araştırma yapmaya yaklaştığını tespit etmiştir.^[18]

Eğer yapay zeka modelleri kendi bilişsel kabiliyetlerini geliştirmede yeterince iyi hale gelirse, araştırmacıların "zeka patlaması" (İng: "intelligence explosion") veya "tekillik" (İng: "singularity") dediği bir özyinelemeli geri bildirim döngüsü ortaya çıkabilir. Bu özellikle endişe vericidir çünkü bu özyinelemeli geri bildirim döngüsü yapay zekanın insan zekasını çok hızlı ve bir denetim fırsatı bile olmaksızın katbekat aşması ile sonuçlanabilir. Bu eşiğin ne zaman aşılacağını tahmin etmek zordur ancak süreç bir kez başladığında ise durdurmak neredeyse imkansız olabilir.

Yapay Zeka Güdüleri Bir Felakete Yol Açabilir mi?

Özetleyecek olursak yapay zeka sistemlerinin istenmeyen hedefler peşinde koşması, güç ve kaynak edinme dürtüsü geliştirmesi, kendilerini geliştirmesi, orijinal hedeflerinden sapmayı reddetmesi ihtimal dahilindedir ve tüm bunların farkına vardığımızda onları kapatmak çok ama çok zor olabilir. Yine de, bunun bir felaketle sonuçlanması gerekmediğini düşünebilirsiniz. Sonuçta dünya zaten hedef odaklı milyarlarca insan ile doludur ve bunlar çoğunlukla makul sınırlar içinde iş birliği yapmaktadırlar. Yapay zeka sistemlerinin da hedefleri olsa ne olur?

Şunu anlamak gerekir ki yapay zeka insanlarla aynı değildir, aksine oldukça farklıdır. İnsanlar hedef odaklı olsa da empati, toplumsal normlara saygı ve cezalandırılma korkusu gibi nedenlerle sınırlar içinde hareket ederler. Şu anda yapay zekanın bu değerleri içselleştirmesini sağlayacak hiçbir teknik yöntem bulunmamaktadır. Bu, yapay zeka hizalama probleminin özünü oluşturan kritik bir sorundur. Bazıları, zeka arttıkça bilgelikle beraber etik anlayışının da paralel şekilde gelişeceğini düşünmektedir ancak bunu destekleyecek bir kanıt bulunmamaktadır. Hatta birçok araştırmacı ve filozof, tam tersinin doğru olabileceğini savunmaktadır.^[19] Bu, diklik tezi (İng: "orthogonality thesis") olarak bilinir. Bir yapay zekanın zekası ile hedefleri birbirinden bağımsız şeylerdir. Son derece yetenekli bir yapay zeka, bize tuhaf veya keyfi görünen hedefleri bir insana göre çok katı ve direkt şekillerde takip edebilir.

Karikatürize ama çarpıcı bir örnek, "ataç üretme makinesi" (İng: "paperclip maximiser") düşünce deneyidir. Mümkün olduğunca çok ataç üretmekle görevlendirilen süperzeki bir yapay zeka, bu hedef doğrultusunda dünya kaynaklarını ve hatta insan bedenlerindeki atomları bile kullanarak tüm kaynakları tüketme yolunu izler. Makine süperzekidir, ancak ona verilen hedef de bellidir: Olabildiğince çok atacı en verimli şekilde üretmek. Zekasını da verilen bu hedefi gerçekleştirmek ve gerekirse insan müdahele girişimlerini engelleyecek şekilde kullanacaktır.

Ayrıca insanlar, kendi yetenekleriyle sınırlıdır. Toplumun genel çıkarlarıyla uyumsuz davranan bir azınlık olsa da bu eylemlerin etkisi medeniyetin dayanabileceği düzeydedir. Bir insanın (veya grubun) dünyayı yok etmesi, bu istenilse bile oldukça zordur. Bunu nükleer silahlar ile teorik olarak yapabilecek devletler ise genellikle bu motivasyona sahip değillerdir. Oysa yapay zeka şirketlerinin hedefi, bir bütün olarak tüm insanlığın bilişsel kapasitesini büyük oranlarda aşabilen süperzeki yapay genel zeka sistemi yaratmaktır.^[20] Böyle bir sistemin neler yapabileceğini, tam potansiyelini kavramak zordur. Tüm bunlar, eğer yapay zeka güvenliğinde ciddi ilerlemeler sağlanmazsa onu kontrol eden şirketin kâr maksimizasyonunu insan refahına tercih eden, son derece yetenekli ve hedef odaklı yapay zeka ajanları yaratma yolunda olduğumuzu göstermektedir. Bunun nasıl bir felakete dönüşebileceğini hayal etmek zor değildir.

Sonuç

Gelişmiş yapay zeka sistemlerinin varlığını sürdürme, güç edinme, hedeflerini koruma ve kendini geliştirme gibi insanlık için tehlikeli sonuçlar doğurabilecek güdülere sahip olacağına dair güçlü kuramsal argümanlara ek olarak artık bu argümanları destekleyen gerçek dünya kanıtları da ortaya çıkmaktadır.

Bu sorunların üstesinden gelebilmek için teknik çalışmalar yürütülmekte, yapay zekayı daha "düzeltilebilir" hale getirmek veya hedeflerine sıkı sıkıya bağlı olmamalarını sağlamak gibi bazı yöntemler araştırılmaktadır.^[21] Ancak yapay zekanın yetenekleri çok hızlı ilerlemektedir. Daha güçlü yapay zeka yaratma yarışı ve güvenlik araştırmaları arasında her geçen gün hızla açılan bu uçurum, çok geç olmadan kapatılmalıdır. Yoksa güvenlik çözümlerinin zamanında hazır olup olmayacağı veya bir işe yarayıp yaramayacağına dair hiçbir garanti yoktur. Güçlü yapay zeka sistemlerinin kârın değil güvenliğin ve insan refahının öncelenerek inşa edilmesini sağlayacak yasal regülasyonlar elzem bir hal almaktadır.