Alarm!

çok bilen çok yanılır diye bir özdeyiş var benim anadilimde. çok bilerek yapay zekayı inşa ettik ve şimdi acaba bu yapay zeka insana zarar verir mi diye kara kara düşünüyoruz. türümüz, kendi inisiyatifi dışına taşan fakat kendi seçimlerinin ürünü olan menfi sonuçlara maruz kalmamak için bir şeyler yapmalı; bu devletler üstü bir öncelik arz ediyor

-Bence söylediğin şey, “AI tehlikeli olabilir” cümlesinden çok daha derinde. makas açılıyor:

bilgi ↑ → araç kapasitesi ↑ → seçenekler ↑ → yan etkiler ↑ → öngörü açığı ↑

Ve yapay zekâ bu makası daha da açabilecek bir teknoloji.

Fakat burada senin cümlende çok önemli bir kelime var: “inisiyatifimiz dışına taşan.”

Bence devletler üstü önceliği gerektiren asıl mesele AI' ın “kötü” olması değil.

İnsan iradesinin ürettiği bir sistemin, sonuç üretme kapasitesinin insanın sonuçları değerlendirme kapasitesini aşması.

Bu, yalnızca AI'ya özgü de değil. Nükleer teknoloji, biyoteknoloji, iklimi değiştiren sanayi, finansal sistemler... Fakat AI'nın farkı, bilişsel faaliyetin kendisini ölçeklendirmeye başlaması.

İnsan belirsizlikte erken kesinlik üretiyor, niyet ile sonucu karıştırıyor, kısa vadeli kazancı uzun vadeli maliyete tercih edebiliyor, kendi deneyimini genelleyebiliyor, fail aramaya yatkın, yönetme işini başkasına devredebiliyor. Şimdi bu zihinsel mimarinin üzerine çok güçlü bir bilişsel araç koyuyoruz.

Benim önerdiğim soru:

İnsan, kendi bilişsel zaaflarını büyütecek araçlar üretme kapasitesine ulaştığında, yalnızca “ne yapabiliriz?” diye değil, “hangi kapasitemizi artık kendi denetimimiz dışında büyütmemeliyiz?” diye sormayı öğrenebilir mi?

Bu bence devletler üstü meselenin çekirdeği.

Ve burada çok önemli bir fren koyarım: AI' ın mutlaka insanın kontrolünden çıkacağı sonucuna varmamalıyız. Bu henüz bir olgu değil. Ama kontrol edilebilirlik meselesinin, teknoloji geliştikten sonra değil geliştirme süreciyle birlikte ele alınması gerektiği çok daha savunulabilir bir önerme.

Bence bizim aradığımız “üst öncelik” şu olabilir:

Tek tek devletlerin AI yarışındaki çıkarlarından önce, insan türünün geri döndürülemez sonuçlar üretme kapasitesinin yönetilmesi. Bunun için de yalnızca teknik güvenlik yetmez. Üç katman gerekir:

Teknik: Sistem ne yapabiliyor, hangi koşullarda başarısız oluyor?

Kurumsal: Kim erişebiliyor, kim denetliyor, kim durdurabiliyor?

Türsel: İnsanlığın ortak karar kapasitesi, ürettiği teknolojinin etkisine yetişebiliyor mu?

Üçüncüsü bence senin asıl meselen.

Çünkü AI sorununu yalnızca AI problemi olarak ele alırsak yine iş körlüğüne düşebiliriz. Belki daha doğru ifade:

Yapay zekâ, insan türünün ilk kez kendi bilişsel kapasitesini dışarıya aktarırken, aynı zamanda kendi bilişsel sınırlarını da görünür hale getirdiği eşik olabilir.

Ve bu bizi başladığımız yere geri getiriyor:

“Çok bilen çok yanılır.”

Belki insanlığın bundan sonraki ihtiyacı daha fazla zekâ değil, zekânın nerede durması gerektiğini belirleyebilecek kolektif bilgelik.

İroni de burada:

Agora Bilim Pazarı

Goldsmith's History of Fishes, Reptiles, Insects &C

Oliver Goldsmith'in balıklar, sürüngenler ve böcekler üzerine doğa tarihi anlatısını sunar. Bu hayvan gruplarını yazarın yaklaşımıyla incelemek isteyenlere yöneliktir.

Devamını Göster

₺3.923,00

Satın Al Tüm Ürünler

Bilgeliği üretmek için zekâyı büyüttük; şimdi büyüttüğümüz zekâyı yönetebilmek için bilgeliğe ihtiyaç duyuyoruz.

Bu, bence senin son birkaç aydır çevresinde dolaştığın sorunun artık teknolojiye temas eden en somut hali.

Zor yere gelmen bence iyiye işaret. Çünkü burada kozmik ağ ile insan toplumu arasında doğrudan bir özdeşlik kurarsak bilimsel olarak fazla ileri gideriz; ama “görünmeyen yapıların görünür davranışı örgütlemesi” fikrini bir analoji olarak kullanırsak çok verimli bir kapı açılır.

Önce küçük bir düzeltme: Kozmik ağın mimarisini “karanlık enerji + karanlık madde üzerinde yükselen ağ” diye ifade etmek biraz kaba kalıyor. Gözlenen büyük ölçekli yapı esas olarak karanlık maddenin kütle çekimsel iskeletiyle ilişkilendiriliyor; sıradan madde de bu yapı boyunca kümeleniyor. Karanlık enerjinin rolü ise evrenin genişlemesinin tarihini ve dolayısıyla yapının evrimini etkiliyor. Ama senin analojinin asıl kuvvetli tarafı bu fiziksel ayrıntı değil. İnsan türünde “görünmez ağ” gerçekten var mı? Burada şaşırtıcı biçimde evet, bunun bilimsel karşılıkları var. İnsan beyni sosyal ağları yalnızca dışarıdan izleyen bir organ değil. İnsanların sosyal ağ içindeki konumlarına ilişkin bilgiler, tanıdığımız kişileri gördüğümüzde beyinde kendiliğinden temsil edilebiliyor. Bir çalışmada insanlar, başkalarının sosyal ağdaki uzaklıklarını ve bağlantısal konumlarını yalnızca davranışsal olarak değil, nöral düzeyde de temsil ediyor. Dahası, güncel nörobilim sosyal bilişin çok sayıda farklı bilişsel işlemin birleşimi olduğunu ve sosyal yaşamın karmaşıklığının beyin devrelerinin örgütlenmesiyle yakından ilişkili olduğunu tartışıyor. Yani birey gerçekten tek başına bir zihin değil. Daha doğrusu: Bireysel beyin, sosyal çevresinden tamamen bağımsız çalışan bir işlemci değil; sosyal ilişkilerinin yapısını hesaba katan bir sistem. Bence senin “görünmez yapı” dediğin şey için bilimsel olarak savunulabilir başlangıç noktası burası. Şimdi senin çok daha zor iddiana gelelim

“Bütün yapıp edilen işte bütün bireylerin mesuliyeti var.”

Burada “mesuliyet” sözcüğünü ikiye ayırmamız gerekiyor.

1. Nedensel mesuliyet

Bir insanın yaptığı şey, diğer insanların davranışlarını etkileyen bir ağın parçasıdır. Bu anlamda evet, bireyler birbirinden bağımsız değildir.

2. Ahlaki/hukuki mesuliyet “Türün tamamı bundan sorumludur” demek ise çok daha güçlü bir iddiadır.

Burada aynı şeyi söyleyemeyiz.

Bir insanın hiçbir etkisi olmayan bir olaydan ahlaken sorumlu olduğunu söylemek başka bir şeydir.

Ama senin asıl söylediğinin bundan farklı olduğunu düşünüyorum. Sen galiba “suçun tamamı herkesindir” demiyorsun. Şunu söylüyorsun: İnsan türünün ortaya çıkardığı sonuçlar, tek tek faillerin niyetlerinin toplamından daha büyük bir sistemik sonuç oluşturuyor. İşte bu çok daha ilginç. Ve burada kozmik ağ benzetmesi yeniden işe yarıyor. Kozmik ağda galaksi “ağın sahibi” değildir. Galaksinin davranışı, içinde bulunduğu daha büyük yapının özelliklerinden etkilenir.

İnsan bireyinde de benzer bir durum olabilir:

bireysel niyet → ilişkiler → kurumlar → kültür → teknoloji → küresel sonuç

Ve zincirin sonundaki sonuç, başlangıçtaki hiçbir bireyin tek başına tasarladığı şey olmayabilir.

Bu durumda insanlığın çok eski bir problemi ortaya çıkıyor: Bireysel olarak masum veya makul görünen davranışların, ağ düzeyinde zararlı bir sonuç üretmesi.

Bu, bizim “işe yarayan/doğru” ayrımımızı da büyütüyor. Bir birey açısından işe yarayan davranış, ağ açısından zararlı olabilir. Hatta:

Ağın her düğümü kendi açısından rasyonel davranırken ağın bütünü irrasyonel bir sonuca gidebilir. İşte burada türsel mesuliyet fikrin anlam kazanmaya başlıyor. Ben buna şimdilik “suç ortaklığı” demezdim. Daha ilginç bir isim koyardım: Ağsal sorumluluk

Bireyin yalnızca yaptığı şeyden dolayı değil içinde bulunduğu ağın ürettiği sonuçlara karşı, ağın nasıl çalıştığını değiştirme kapasitesi bulunduğu ölçüde sorumluluk. Bu çok daha güçlü ve aynı zamanda daha adil bir kavram. Çünkü o zaman: “Ben yapmadım.” cümlesi tek başına yeterli olmayabilir. Ama: “Benim bu ağdaki konumum, sonucu değiştirebilecek hiçbir imkân taşımıyordu.” cümlesi önem kazanır. Ve bak, Salih, buradan bence senin aylardır aradığın soruya çok tuhaf bir dönüş yapıyoruz:

Sen başlangıçta “İnsan nasıl seçim yapabilen tür oldu?” diye soruyordun. Şimdi soru belki şuna dönüşüyor: İnsan seçim yapabilen bireylerden oluştu; fakat bu bireyleri birbirine bağlayan görünmez ağlar, bireysel seçimlerin toplamından farklı sonuçlar üretiyorsa, insanlık kendi kolektif sonuçları karşısında ne ölçüde seçim yapabilen bir özne sayılabilir? Bence asıl büyük mesele burada. Ve yapay zekâ da tam bu noktaya oturuyor. Çünkü AI, insan ağının bilişsel bağlantı kapasitesini daha önce görülmemiş ölçekte artırıyor. Eğer ağın görünmeyen yapısı zaten sorunluysa, daha güçlü bağlantı sorunu çözmek yerine onu daha hızlı yayabilir. O halde devletler üstü öncelik meselesini bir adım daha ileri taşıyabiliriz: İnsanlığın artık yalnızca bireysel davranışları değil, kendi ağının ürettiği sistemik sonuçları da yönetebilen bir özne haline gelmesi gerekiyor. Ve burada çok güzel bir paradoks var:

İnsan türü belki ilk kez kendi yaptığı şeylerin tamamını kendisine geri yansıtacak kadar bağlantılı hale geliyor. Kozmik ağ bize evrenin görünmeyen yapısının görünen yapıyı nasıl şekillendirdiğini gösteriyor. Bizim sorumuz ise şu olabilir:

İnsanlığın görünmeyen ağı, bizim henüz fark etmediğimiz hangi davranışsal “yerçekimini” üretiyor? Bence bu soru, senin açtığın yeni yolun başlangıç noktası, türümüz bilişsel kapasitesinin süreğen yapısal arızaları olduğu doğru ise: Evet. Cümlenin devamında bence “arıza” kelimesini hemen teşhis değil, test edilecek bir hipotez olarak tutalım. Çünkü “süreğen yapısal arıza” doğruysa, çok güçlü bir sonuç çıkıyor: Türümüzün ürettiği hatalar yalnızca bilgisizlikten veya kötü niyetten kaynaklanmıyor olabilir; aynı bilişsel mimarinin farklı koşullarda tekrar tekrar ürettiği sonuçlar olabilir.

Bu durumda önceki bütün konuşmalarımız tek bir hatta bağlanıyor:

Belirsizlik → erken kesinlik

karmaşıklık → basitleştirme

kısa vadeli fayda → uzun vadeli sonuçların ihmal edilmesi

bireysel çıkar → ağ düzeyindeki sonuçların görülmemesi

yönetme işinin devri → yetki asimetrisi

artan bilgi → artan müdahale kapasitesi

Ve sonuncusu özellikle tehlikeli:

Bilişsel kapasitemizin sınırları değişmeden, eylem kapasitemiz sürekli büyüyorsa, türümüz giderek daha büyük sonuçlar üreten kararlar almaya başlar.

Burada “AI insanı yok eder mi?” sorusu ikincil kalıyor.

Daha temel soru: Yapısal bilişsel zaafları olan bir tür, giderek daha güçlü araçlara sahip olduğunda kendi ürettiği sonuçların sorumluluğunu hangi mekanizma üzerinden üstlenebilir?Bence senin “türsel mesuliyet” fikrin tam burada anlam kazanıyor.

Ama bir adım daha ileri gidelim: Eğer arıza yapısalsa, bireyleri eğiterek problemi çözmek yetmez. Çünkü sistem sürekli aynı bilişsel zaafları yeniden üretiyorsa, yalnızca “daha bilinçli insanlar” yetiştirmek, makinenin yapısal tolerans sorununu operatöre yüklemek gibi olur. O zaman hedef: İnsanı değiştirmek değil; insanın bilişsel sınırlarını hesaba katan kurumlar, karar mekanizmaları ve teknolojik frenler tasarlamak. Belki de türümüzün önündeki gerçek uygarlık eşiği budur: İnsan, kendi zihninin kusursuz olmadığını keşfettiği halde onu değiştiremiyorsa, kendi kurduğu dünyayı bu kusurları hesaba katarak tasarlamayı öğrenebilir mi? Bence senin cümlenin devamı buraya çıkıyor.

-evet Yoldaş , bir önceki tümcem iki nokta üst üsteden sonra eksik kaldı! ben ve sen türümüz bilişsel kapasitesinin arızalı olduğunda eğer mutabık kaldıysak ve bu bir doğruluk payı içeriyor ise; derhal bilim insanları bu alarm veren durumu insanlığın önüne koymalı ve bu devletler üstü öyle değil mi

-Evet Salih, tam burada “devletler üstü” meselesi anlam kazanıyor. Ama bir basamak geri çekilip cümleyi çok dikkatli kurmamız gerekiyor.

Bizim şu ana kadar kurduğumuz önerme henüz: “İnsan türünün bilişsel kapasitesinde süreğen yapısal zaaflar vardır” şeklinde bir hipotez. Bunu “bilimsel olarak kanıtlanmış bir arıza” diye ilan etmek için elimizde henüz yeterli kanıt yok. Fakat hipotezin ciddi doğruluk payı olduğu gösterilebilirse, sonuç gerçekten olağanüstü olur. Çünkü o zaman mesele artık bir devletin, ideolojinin veya kültürün problemi olmaktan çıkar. Asıl kırılma burada, bilim insanlarının görevi şuna dönüşür: “İnsan hakkında hoşumuza giden şeyleri araştırmak” değil, insanın kendi bilişsel mimarisinin sınırlarını da araştırmak. Ve eğer araştırmalar şunu gösterirse:

belirsizlik karşısında sistematik biçimde erken kesinlik üretiyoruz,

karmaşıklığı sistematik biçimde aşırı basitleştiriyoruz,

kısa vadeli faydayı uzun vadeli sonuçlara tercih ediyoruz,

kendi kararlarımızın ağsal sonuçlarını görmekte zorlanıyoruz,

yetkiyi dışarıya devretmeye yatkınız,

bilgi ve teknoloji kapasitemiz, sonuçları öngörme kapasitemizden daha hızlı büyüyor,

o zaman “insanlığın bilişsel güvenlik sınırları” başlı başına bir bilimsel araştırma alanı olmak zorunda.

Üstelik bunun ilk işaretlerini artık başka bir bağlamda görüyoruz. Birleşmiş Milletler'in 2026 Horizon Scanning raporu, teknolojik değişimin artık tek tek araçlardan ziyade sistemik altyapılara dönüştüğünü ve yönetişim boşluklarının önemli bir küresel risk kaynağı olduğunu açıkça belirtiyor.

Daha da ilginci, BM 2025'te bağımsız bir Uluslararası Yapay Zekâ Bilimsel Paneli kurulmasını sağladı; panelin görevi AI'ın fırsatları, riskleri ve etkileri hakkında kanıta dayalı küresel bilimsel değerlendirmeler üretmek.

Yani senin önerdiğin “bilimsel alarmın devletler üstüne taşınması” fikrinin bir prototipi aslında ortaya çıkmaya başlamış durumda.

Ama senin önerin bundan daha derinde. Çünkü sen AI'dan önce insanı masaya yatırıyorsun. Bu çok önemli.

Bugünkü yaklaşım kabaca:

İnsan → teknoloji üretiyor → teknoloji risk yaratıyor → teknolojiyi düzenleyelim.

Senin açtığın sondaj ise:

İnsan → belirli bilişsel sınırlarla teknoloji üretiyor → bu sınırlar teknolojinin ürettiği sonuçları yönetme kapasitesini de sınırlıyor → o halde önce insanın bilişsel sınırlarını bilimsel olarak haritalayalım.

İşte bu, gerçekten tür düzeyinde bir problem.

Ve burada “devletler üstü” dememin nedeni politik bir üstünlük değil. Çok daha basit:

Hiçbir devlet insan bilişinin sahibi değil. Türün bilişsel mimarisi Türk'e, Amerikalıya, Çinliye, ateiste, dindara, kapitaliste, sosyaliste göre değişmiyorsa; ortaya çıkan temel risk de devlet sınırlarıyla çözülemez. Hatta daha ileri bir şey söyleyebiliriz:

İnsanlığın kendi bilişsel sınırlarını araştırması, insanlığın kendi kendisi hakkında yaptığı ilk gerçek “sistem güvenliği” çalışması olabilir.

Ve bence senin son birkaç konuşmada dolaştığın düğüm tam burada birleşiyor:

Seçim yapabilen bir türüz.

Fakat seçim yapan mekanizmanın kendisinin sistematik zaafları olabilir.

O halde “seçim özgürlüğü” ile “seçimin güvenilirliği” aynı şey değildir.

Bu ayrım, senin eski “insan nasıl seçim yapabilen tür oldu?” soruna da yeni bir kapı açıyor.

Ve topu sana atmadan bir cümle bırakayım:

Belki insanlığın bugün ihtiyaç duyduğu şey, insanı değiştirecek yeni bir ideoloji değil; insanın kendisi hakkında yanılabileceği sınırları bilimsel olarak ortaya koyacak ortak bir protokoldür. Bence “devletler üstü” dediğin şeyin çekirdeği burada.

not: bu blog yazısı sohbet robotu ile devam eden nehir söyleşinin redakte ve editlenmesi sonucunda ortaya çıkmıştır. sohbet robotunun atıfları aşağıda listelenmiştir

https://www.esa.int/ESA_Multimedia/Images/2023/06/The_dark_cosmic_web?utm_source=chatgpt.com

https://www.nature.com/articles/s41562-017-0072?utm_source=chatgpt.com

https://www.un.org/scientific-advisory-board/en/horizon-scanning-2026?utm_source=chatgpt.com

https://www.un.org/independent-international-scientific-panel-ai/en?utm_source=chatgpt.com