Otonom Silahların İnsan Avlama Dönemi Başladı: Türkiye Tarafından Üretilen Drone, Tarihte İlk Defa İnsan Müdahalesi ve Kararı Olmadan İnsan Hedefleri Vurmuş Olabilir!

2015 yılında yayınladığımız bir açık mektupta, Dünya'nın dört bir yanından akademisyenlerin, yapay zeka ile ilgili en büyük tehlikelerden birinin otonom silahların insan müdahalesi olmaksızın hedef tespiti yapıp, bunları vurabileceği ve dolayısıyla bunun engellenmesi gerektiğine yönelik çağrılarını Evrim Ağacı okurlarıyla paylaşmıştık. Çok ilginç ve öngöremediğimiz bir şekilde, bu endişe 2020 yılında Türkiye tarafından üretilen bir drone ile, gerçek bir savaş sahasında hayata geçirilmiş ve önü alınamayacak bir otonom silahlanma yarışını tetiklemiş olabilir. Mektupta uzmanlar, şöyle yazıyorlardı:^[1]

Otonom silahlar insan müdahalesi olmaksızın hedefleri seçer ve vurur. Bu tanıma, örneğin, önceden belirlenmiş birtakım kriterlere sahip kişileri bulup yok edebilen silahlı kuadkopterler (dört pervaneli robot helikopter) girebilir; fakat tanım, tüm hedeflendirme kararlarını insanların verdiği uzaktan yönlendirilebilen güdümlü füzeleri veya dronları (insansız uçakları) kapsamaz. Yapay Zeka (YZ) teknolojisi, bu tür sistemlerin on yıllar sonra değil, sadece yıllar sonra, yasal olmadan da olsa pratikte kullanılabileceği bir noktaya ulaştı ve bu işin tehlike boyutu büyük: Otonom silahlar, askeriyede barut ve nükleer silahlardan sonra üçüncü devrim olarak nitelendirilmektedir.

Otonom silahların lehine ve aleyhine pek çok argüman geliştirilmiştir. Örneğin insan askerlerin yerine makine kullanma, makineye sahip olan ülkeler için insan zayiatını azaltması bakımından iyi, fakat bu sebeple savaşa girme ihtimalini yükseltmesi bakımından ise kötü bir fikirdir. Bugün insanlık için en kilit soru, küresel bir "Yapay Zekaya Sahip Silahlanma yarışını" başlatmak ya da bunu önlemektir. Şayet herhangi büyük askeri bir güç Yapay Zekaya Sahip silahları geliştirmede öne geçerse, küresel bir silahlanma yarışı fiilen kaçınılmaz olur. Bu teknolojik gidişatın nereye varacağı ise şimdiden görülebilir: Otonom silahlar, geleceğin Kalaşnikofları olacaktır. Nükleer silahların aksine, bu silahların üretimi için pahalı ve elde etmesi zor ham maddeye gerek yoktur, bu yüzden de bütün önemli askeri güçler için seri üretim bakımından kolay bulunur ve ucuz olacaklardır. Karaborsada görülmeleri, teröristlerin, halkını daha iyi kontrol etmek isteyen diktatörlerin ya da soykırım başlatmak isteyen savaş baronlarının ve benzerlerinin ellerinde görülmeleri sadece zaman meselesi olacaktır. Otonom silahlar; suikast düzenleme, devletleri istikrarsızlaştırma, halkları boyunduruk altına alma ve belli bir etnik grubun hedef alınarak öldürülmesi gibi eylemler için kusursuzdur. Bu sebeple, inanıyoruz ki, (askeri türden) Yapay Zekaya Sahip silahlanma yarışı, insanlık için faydalı olmayacaktır.

Yapay zekanın güncel durumunu ve popüler kültürdeki yansımalarını yakından takip eden biri, herkesin endişesinin "kontrolden çıkan bir yapay zekanın bizi köle yapması" gibi fantastik şeyler olduğunu bilecektir. Elbette bu tür ekstrem durumlar üzerinde yapılan çalışmalar ve belli başlı endişeler de vardır; yok değildir. Ama görebileceğiniz gibi, alandaki uzmanların birçoğunun ana veya birincil endişesi, bu türden bir yapay zeka başkaldırısı değildir. En büyük endişe, insanların bazı kararları makinalara gereğinden erken bırakmasıdır. O kararların başında da, silahların ve hatta kitle imha silahlarının ne zaman ateşleneceğinin ve kime ateşleneceğinin yapay zeka tarafından belirlenmesi vardır. 

Yukarıdaki mektubun tamamını Türkçe olarak buradan okuyabilirsiniz. Bu mektup, 2 Haziran 2021i itibariyle 4500'ü yapay zeka ve robotik araştırmacı olmak üzere 30 bine yakın kişi tarafından imzalanmış haldedir. Bu kişiler arasında Stephen Hawking ve Elon Musk gibi aşina olduğunuz isimler de var, Stuart Russell, Barbara Grosz, Peter Norvig, Francesca Rossi, Yann LeCun gibi yapay zeka araştırmalarının devleri de... Siz de tamamını okuduktan sonra, dilerseniz buraya tıklayarak imzacı olabilirsiniz.

Future of Life

Elbette bugüne kadar birçok ülke tarafından otonom, yani insansız hava araçları geliştirildi ve kullanıldı. Ayrıca insan müdahalesi olmadan hedef seçimi ve hedef yok etme araştırmaları da yapıldı. Zaten bu okuduğum mektup ve Evrim Ağacı'nda bu konuda yayınladığımız çok sayıda diğer endişe, bu araştırmaların gerçek savaş sahasında ne tür uygulamaları olabileceğine yönelik kaygıları yansıtıyor. 

Ostim Firması STM'in Kargu-2 Dronu

Bu endişeyi gerçeğe dönüştüren ise, Ankara'daki Ostim Teknopark'ta faaliyet gösteren STM isimli bir savunma şirketinin ürettiği Kargu-2 isimli dronudur. Bu dron, aşina olduğunuz büyük insansız hava araçları gibi değildir; daha ziyade bir kuadkopter olarak kategorilendirilebilir. Bunlara resmî olarak aylak mühimmat denmektedir; çünkü bir kez fırlatıldıktan sonra kime, ne zaman saldıracağını dronun kendisi belirlemektedir (bu süreçte "aylak aylak dolaşmaktadır") ve herhangi bir insan müdahalesi bulunmamaktadır.^[2] Bu yapıları dolayısıyla bu dronlar saldırıyı bir füze ile değil, bir kamikaze dalışı yapıp, hedef üzerinde patlayarak yapmaktadır. Bu yüzden bunlara "kamikaze dronu" da denmektedir.^{[3], [4], [5]} Bu dronlar, aynı zamanda intihar dronu olarak da adlandırılmaktadır.^{[6], [7]} Aşağıda, STM tarafından yayınlanan bir tanıtım videosunu izleyebilirsiniz:

STM, kamikaze dronu üreten ilk veya tek firma değildir; ancak Birleşmiş Milletler Güvenlik Konseyi tarafından Mart'ta yayınlanan bir rapora göre, ilk defa bu tür bir kamikaze dronu, 2020 yılında gerçek bir savaş ortamında, Libya'daki Haftar kuvvetlerine saldırmıştır.^[8] Burada işin siyasi detaylarını yorumlamayacağız; ancak Libya'daki süreci çok farklı açılardan ele alan ve çok sayıda kural ihlâli tespit eden (yani aslen sadece Türkiye veya bu dron saldırısıyla ilgili olmayan) 500 sayfalık rapor, ilgili kısımda şu bilgilere yer veriyor:^[8]

27 Mart 2020'de Başbakan Faiez Serraj, GNA-AF'yi [Ulusal Mutabakat Hükûmeti Hava Kuvvetleri'ni] sahil kıyısı boyunca taarruza taşıyan PEACE STORM Operasyonu'nun başladığını duyurdu. Gabya sınıfı fırkateynlerin ve Korkut kısa menzilli hava savunma sistemlerinden oluşan bir ordu, GNA-AF kara birimlerinin etrafına mobil bir hava savunma balonu yerleştirme yeteneği sağladı ve bu sayede bu kara birimleri, HAF [Haftar ile İlişkili Kuvvetler] hava varlıklarını askeri denklemden çıkarmayı başardı. Geliştirilmiş operasyonel istihbarat kabiliyeti; Türkiye tarafından işletilen sinyal istihbaratını, Bayraktar TB-2 ve muhtemelen TAI Anka S insansız savaş hava araçları tarafından sağlanan istihbaratı, gözetlemeyi ve keşifleri içeriyordu (bkz. Ek 27). Bu, HAF yer birimi kapasitesini azaltmak için tasarlanmış asimetrik bir yıpratma savaşının geliştirilmesini mümkün kıldı.

Trablus'un GNA-AF tarafından yarılması, genişletilmiş menzilli hassas mühimmat ateşini mümkün kılan Fırtına T155 155mm kundağı motorlu toplar (bkz. ek 28) ve T-122 Sakarya çok namlulu roket sistemleri (bkz. ek 29) tarafından desteklendi ve bunlar, HAF tarafından kullanılan ve yirminci yüzyılın ortalarından kalma ana muharebe tankları ve ağır toplara karşı kullanıldı.

Daha sonra, lojistik konvoylar ve geri çekilen HAF, uzaktan kontrol edilebilen insansız savaş hava araçları ve STM Kargu-2 (bkz. ek 30) ve diğer aylak mühimmat sistemleri gibi ölümcül otonom silah sistemleri ve ile avlandı. Ölümcül otonom silah sistemleri, operatör ve mühimmat arasında veri bağlantısı gerektirmeden hedeflere saldırmak üzere programlanmıştı. Bu, özünde gerçek bir “ateşle, unut, bul” yeteneğine karşılık gelmektedir.

HAF'ın insansız muharebe hava araçları ve küçük drone'lara dayalı istihbarat, gözetleme ve keşif kabiliyeti, Koral elektronik harp sisteminin elektronik karıştırma kabiliyeti kullanılarak etkisiz hale getirildi.

Birleşmiş Milletler

Birleşmiş Milletler

Birleşmiş Milletler

Dediğimiz gibi işin siyasi ve askeri analizini, bu konunun uzmanları yapacaktır; ancak bu raporda önemli olan, bu saldırının bir insan operatör tarafından yönetilmeden yapılmış olmasıdır.^[9] İddiaya göre dron, saldırı kararını ve hangi noktada, kime saldıracağını tamamen kendisi belirledi ve saldırıyı gerçekleştirdi.^{[10], [11]} Ve bu, savaş arenasında ve insanlık tarihinde bir dönüm noktasıdır, çünkü ilk defa bir kamikaze dronu, gerçek bir savaş ortamında, tamamen otonom bir şekilde, yapay zeka algoritmalarını kullanarak seçtiği bir hedefi bombalamaya karar verdi ve bu kararı uyguladı.^[12] Uzmanlar, bu tür bir saldırının geri döndürülmesi güç bir süreci tetiklediğini iddia etmekteler.^[13]

Bu saldırıda herhangi bir insan öldü mü bilinmemektedir. Rapor, öyle olduğunu ima etse de bunu ispatlayacak herhangi bir kanıt ileri sürmemektedir. Ama eğer bir kişi öldüyse; bu ölüm, tıpkı saldırının kendisi gibi savaş tarihine geçecektir. Böylece ilginç bir şekilde Türkiye, yapay zekanın en tehlikeli silahlanma yarışlarından birini aktif olarak başlatmış olabilecektir.

Kontrolsüz Seçilim ve Otonom Silahlanma Yarışı

Genel olarak silahlanma yarışlarıyla ilgili en kritik nokta, bu tür bir silahlanmanın önünün alınmaması halinde, üretilen silahların kaçınılmaz olarak "kaçak seçilim", "firari seçilim" veya "kontrolsüz seçilim" (İng: "runaway selection") olarak tabir ettiğimiz evrimsel bir sürece uygun biçimde gelişeceği gerçeğidir.

Biyolojide Kontrolsüz Seçilim

Bunu tavuskuşunun kuyruğu üzerinden anlayabilirsiniz: Tavuskuşlarının ataları bir noktada bu kadar iri bir kuyruğa sahip değillerdi. Ancak popülasyon içinde kuyruk büyüklükleri arasında bir çeşitlilik, bir varyasyon vardı. Dişiler, daha iri kuyruklu erkekleri tercih etmeye başladıklarında, o anda popülasyon içindeki en iri kuyruklu bireyler birden avantajlı hale geldiler, çünkü daha kolay çiftleşip daha çok yavru veriyorlardı ve gelecek nesle kendi kuyruklarını uzun kılan genleri daha çok aktarıyorlardı. Dişiler neden böyle bir tercih değişimine gittiler bilinmez; ancak kimi zaman tamamen rastlantısal nedenlerle, kimi zamansa gerçekten iri bir kuyruk üretmenin gerçekten de daha sağlıklı bireylerin yapabileceği bir şey olmasından ötürü, bu kuyruklar, dişiler tarafından "Ben güçlüyüm, beni seç!" mesajı olarak algılanmaya başlandı. 

Peki, birazcık uzun kuyruklardan bugünlere nasıl gelebildik? Çok basit: Her nesilde uzun kuyruklu bireyler daha çok ürüyordu ve tıpkı bizim ebeveynlerimizden onlarca noktada meydana gelen mutasyonlar, birçok genin crossing-over ile karılması ve dolayısıyla çeşitlilikle doğmamız gibi, tavuskuşları da ebeveynlerinden biraz farklı doğuyordu. Bu yavruların bir kısmı, ebeveynlerinden uzun kuyruklara sahipti, bazıları daha kısa kuyruklara sahipti, diğerleri eşit uzunlukta kuyruklara sahipti. Ama ne olursa olsun, dişilerin uzun kuyruk tercihi sürdükçe, her nesilde ortaya çıkan en uzun kuyruklu yavrular sürekli seçiliyordu.

Tabii eğer uzun kuyruklu olmak gerçekten bir sağlık göstergesiyse (ki öyledir), en uzun kuyrukları seçen dişiler de en sağlıklı yavruları verme şansına erişiyordu. Yani bu tercih uzun kuyrukları pekiştiriyor, uzun kuyruklar da bu tercihi pekiştiriyordu. Bu döngüsel mekanizma, kontrol edilmediği müddetçe sürekli birbirini besledi ve tavuskuşu kuyruklarını inanılmaz boyutlara ve renklere kavuşturdu.

Bunu doğada her yerde görüyoruz, avlar ile avcılar arasındaki silahlanma mücadelesi bunun en güzel örneğidir: Daha atik olan avlar, avcılarından daha kolay kaçabildi, böylece nesiller boyunca daha atik yavrular doğdu. Ama avcılar, avları ne kadar atikleşirse atikleşsin avlanmak zorundadır, yoksa soyları tükenecektir. Dolayısıyla avların hızlanması, avcıların da hızlanmasını gerektirdi. Daha doğrusu avcılar arasında da en hızlı veya atik olanlar avlanabildi, böylece avcılar da hızlanacak biçimde evrimleşti. Avlar hızlandıkça avcılar hızlandı, avcılar hızlandıkça avlar hızlandı... İşte buna, firari seçilim ya da kontrolsüz seçilim diyoruz.

Elbette bu gidişatı durduran faktörler de var: Örneğin kütleçekim gibi fizik yasaları, bir hayvanın kemikleri kırılmaksızın taşıyabileceği maksimum kütleyi belirler (kuyruk büyüklüğü, kas büyüklüğü, vs. bununla belirlenir). Benzer şekilde, malzeme bilimi, bir kemik veya kasın olabileceği en güçlü, en kırılgan, en dirençli, vs. sınırları çizer. Bu sınırlar çerçevesinde, yeterince güçlü bir seçilim baskısı olduğu müddetçe firari seçilim devam edebilir; ancak bu seçilim, diğer yöndeki seçilim kuvvetlerinin artması sonucu bir noktada dengeye ulaşır. Örneğin tavuskuşunun cinsel seçilim nedeniyle irileşen kuyruğunu dengeleyen şey, çok iri kuyruklu erkeklerin bir noktadan sonra hareket edemeyecek hale gelmesi ve kolay av olmasıdır. Yani doğal seçilim, cinsel seçilimi bir noktada dengeler; çünkü üreyebilecek kadar hayatta kalamadıktan sonra, dişilerin tercihi olacak bir kuyruğa sahip olmanın hiçbir evrimsel anlamı olmayacaktır ve bu şekilde olanlar, elenecektir.

Silahlanma Yarışında Kontrolsüz Seçilim

Bu türden bir seçilimi teknolojik evrimin de her ayağında görmekteyiz: Örneğin radar-antiradar sistemlerini ele alabiliriz. Bir bombardıman uçağı, var olan radar sistemlerini atlatmak için yeni bir antiradar teknolojisine kavuştuğu anda, radar sistemleri de bu antiradarı çözecek biçimde gelişmek zorundadır. Buna bağlı olarak yeni antiradar teknolojileri geliştirilir ve bu döngü, silahlanmayı ve savunma teknolojilerini hızla geliştirir.

Tıpkı biyolojik silahlanma yarışında olduğu gibi, teknolojik silahlanma yarışında da elbette belli sınırlar vardır. Örneğin bir uçağın erişebileceği maksimum kütle, fizik yasalarınca sınırlanmaktadır. Benzer şekilde, sosyoekonomik sınırlar da silahlanma yarışını bir noktada dengeye kavuşturabilir: Örneğin bir ülkenin teknik ve bilimsel kabiliyeti, bir teknolojiyi ne düzeyde geliştirebileceğinin sınırlarını belirler. O sınırın ötesinde kalmayı başaran bir ülke, kendisine karşı atılması gereken adım atılana kadar, daha fazla geliştirme yapmak zorunda değildir (elbette buna rağmen geliştirmeler devam edecektir; fakat bu, ülkelerin yarışta birkaç adım önde kalma arzusunun bir sonucudur, üzerinde seçilim baskısı olmasının değil).

Örneğin Kargu-2 gibi otonom silahların evriminde bir sonraki basamak sürü kabiliyeti olacaktır. Yani 15-20 dron bir arada çalışarak hedefleri etkisiz hale getirebilecektir. Buna karşılık mutlaka antidron sistemleri çıkacak, bu sistemler de yapay zekaya sahip olacak ve silahlanma yarışı bu şekilde hız kazanacaktır. İşte uzmanların korktuğu da bu türden bir silahlanma yarışıdır; çünkü bu yarışın en temel parçası, insanlara ihtiyaç duymaksızın kararlar alan dronlar ve dron sürüleri olacaktır (ve benzeri otonom silahlar).

Yapay Zekaya Sahip Otonom Silahlarla İlgili Sık Sorulan Sorular ve Potansiyel Riskler

Stephen Hawking ve Elon Musk da dahil olmak üzere pek çok kişi, siviller ve askerler arasında ayrım yapamayacaklarını söyleyerek bu tür silahları yasaklamak istediklerini söylerken, diğerleri, drone sürüleri gibi hızlı tempolu tehditlere karşı koymada insan güdümlü silah sistemlerinden daha az hata yapacakları için sivillere yönelik riski azaltmada kritik olacaklarını söylemektedir. Birleşmiş Milletler üyesi olan hükümetler, otonom silahların savaşta kullanımına ilişkin yeni kısıtlamaların gerekli olup olmadığını tartışmaktadırlar. Bununla birlikte, küresel topluluğun yeterince yapmadığı şey, ortak bir risk resmi geliştirmektir. Risk ve fayda arasındaki dengeleri tartmak; kişisel, kurumsal ve ulusal değerler üzerinde etkili olacaktır, ancak riskin nerede olduğunu belirlemek objektif olmalıdır.

Bu, sadece bir istatistik meselesidir.

En üst düzeyde risk, hata olasılığının ve sonucunun bir fonksiyonudur. Herhangi bir otonom silahın en azından bir miktar hata yapma şansı vardır, ancak bu hataların sonuçları çok çeşitli olabilir. En yüksek riskli otonom silahlar, hata yapma olasılığı yüksek olan ve yaptıklarında çok sayıda insanı öldüren silahlardır. .357 magnum'u yanlış ateşlemek bir şeydir; yanlışlıkla bir W88 nükleer savaş başlığını patlatmak ise bambaşka bir şeydir.

Otonom silahlar söz konusu olduğunda risklerin nerede olduğunu anlamak için önemli olan, en az dokuz soruya cevap vermek gerekir.

Bir Otonom Silah, Kimi Öldüreceğine Nasıl Karar Verir?

Bir mayın, en düşük seviyeli otonom silahlardan biri olarak görülebilir. Hiçbir zekası yoktur, ama üzerine belli bir basınç uygulandığında, patlamaya "karar verir". Bir mayının basınç eşiğini değiştirerek, bir çocuk basacak olursa patlamamasını sağlayabilirsiniz (belli hata payları dahilinde).

Öte yandan, İsrail'in ürettiği Harpy veya Türkiye'nin ürettiği Kargu-2 gibi silahlar ise, genellikle düşman radar sinyallerini tespit edip saldırmaya karar verir.^[14] Neyse ki küçük çocukların yüksek güçlü radyo dalgaları saçmadığını biliyoruz, dolayısıyla tıpkı mayın tarlalarında olduğu gibi, sivil radarlar ile askeri radarları birbirinden ayırt etmek o kadar zor değildir.

Otonom silahlarla ilgili endişe, radar sinyallerini ayırt edip edemeyecekleri değildir. Otonom silahlarla ilgili endişe, yapay zeka algoritmalarının ta kendisidir. Bu cihazlar otobüs, kamyon, tır, tank gibi farklı cihazlara ait görseller ve videolar kullanarak eğitiliyorlar. Ama Microsoft tarafından üretilen ve Twitter etkileşimleriyle kendini geliştiren "Tay" isimli bir chat botunun, hiç planda olmamasına rağmen, Twitter'ın ırkçı kaynamasından ötürü ırkçı olacak şekilde geliştiği örneği hatırlayın.^[15] Veri seti hatalı, eksik veya beklenmedik içeriğe sahipse, bu silahlar da hiç hesapta olmayan, yanlış şeyleri öğrenebilirler.

Buna bir diğer örnek verelim:^[16] Üst düzey bir insan kaynakları firması, çalışanları yapay zekanın seçeceği bir sistem kurdu. Kısa bir süre sonra fark ettiler ki yapay zeka, işe alınmanın en önemli 2 kriterinin, isminizin "Jared" olması ve "lisede lacrosse oynamanız" olduğu kanaatine varmıştı. Doğal olarak, işe alınmanın en iyi kriterlerinden ilk ikisi bu olamaz. Yani yapay zeka, veri setinin kendisi ve algoritma kadar iyidir ve otonom bir silahın yapacağı hata, işe alım algoritmasının yaptığı bir hata kadar "masum" veya komik olmayacaktır.

Makina öğrenmesi algoritmaları büyük oranda kara kutu algoritmalardır.^[17] Bir taraftan veri girer, diğer taraftan bir sonuç çıkar; ama arada ne olup bittiğini anlayamayız veya anlaması çok güçtür, çünkü sistem çok karmaşıktır. Bu nedenle yanlış bir karar alınacak olursa, bu sorunun neden kaynaklandığını çözemeyebiliriz ve hata olduktan sonra zaten iş işten geçmiş olabilir. Otonom silah geliştiricilerinin, makina öğrenme sistemlerinin hatalı şeyler öğrenmesine neden olan tüm olasılıkları öngörmeleri gerekir - ki bu, şu anki teknoloji ile imkansızdır.

İnsan Avlayan Dronlarda İnsanların Rolü Ne?

Elbette bir insan, sürekli bu makinaların kararlarını denetleyebilir ve absürt bir durum oluşacak olursa onların hatalı karar almasına engel olabilir. Bu zaten şu anda uygulanan yöntem ve endişeyi yaratan da, bu döngüden insanı tamamen çıkarma arzusudur. Çünkü bu tür sistemler çok daha ucuz, çok daha hızlı ve çok daha etkili olabilecek. Ve çok daha tehlikeli...

Eğer Tesla'nın otonom araçları konusunda olanları takip ediyorsanız, bu gidişatı görüyor olabilirsiniz. İnsanlar yapay zekaya güvendikçe, önlemleri elden daha çok bırakmaya başladılar ve çok daha fazla beklenmedik kaza görmeye başladık.^{[18], [19]} Tesla'nın araçları halen ortalama bir sürücüden daha iyi olabilir; ama yapay zekanın eğitilmediği durumlarla karşılaşıp, birçok sürücünün yapmayacağı hataları da yaparak farklı türden sorunlara sebep olduğunu görüyoruz.^{[20], [21]}

Dahası bir insanın denetimi de, otonom silahların hatalı kararlar almayacağı ve hatalı uygulamalar yapmayacağını garanti edemez. Çünkü yapay zekaya olan güvenimiz arttıkça, onun verdiği kararlara da güvenimiz artacak ve sorgulama oranlarımız azalacak. Dahası, güvene bağlı olarak bilişsel olarak dikkatimizin azalması sonucu insan gözetmenin denetimi de gevşeyecek. Duke Üniversitesi İnsan ve Otonomi Laboratuvarı'ndan Missy Cummings, bunu şöyle söylüyor:

İş otonom arabalara geldiğinde, araçlarının kendilerinden daha becerikli olduğunu düşünmeye meyilli olan sürücülerin dikkati daha kolay dağılıyor ve kaza yapma ihtimalleri daha çok artıyor.

Elbette insanların otonom silahlarla ne tür bir ilişki kuracağı, risk seviyesinin ne düzeyde olacağını doğrudan belirlemektedir. İnsanların karar döngüsünün içinde mi, üzerinde mi, yoksa tamamen dışında mı olduğu, sonucu etkileyen önemli bir faktördür. Örneğin Güney Kore tarafından, Kuzey Kore ile aralarında bulunan askersiz bölgede kullanılan SGR A-1 isimli dronun tamamen insan denetimi dışında çalıştığı bildirilmektedir.^[22]

Bir Otonom Araç, Ne Tür Silahlar Taşıyabilir?

Söz konusu kitle imha silahları veya güçlü patlayıcılar olduğunda, otonom araçlarda da gördüğümüğz beklenmedik hatalar, sadece sürücünün ve çarptığı aracın sürücüsünün hayatını tehdit etmeyecektir. Koskoca şehirleri tehdit edebilecektir. Bu bir abartı gibi geliyor olabilir; ancak şu anda sahip olduğumuz dronlar bile teorik olarak silahlar, bombalar, füzeler, elektronik silah bozucular, lazerler, mikrodalga silahları, siber saldırı bilgisayarları, kimyasal silahlar, biyolojik silahlar, nükleer silahlar ve bunların herhangi bir kombinasyonu ile donatılabilecek kadar güçlüdür.^{[23], [24], [25], [26]} Bunların kötü ellerde nasıl kullanılabileceğini hayal edebilirsiniz. Bu, yarın olacak demiyoruz. Ama bu riskten haberdar olmak zorundayız.

Otonom Silah, Hedefi Nasıl Ayırt Ediyor?

Nasıl ki yapay zeka halen insan zekasıyla yarışacak düzeye gelemedi, yapay öğrenme algoritmalarımız da halen çok bariz hatalar yapabilecek ve kolayca kandırılabilecek kadar düşük seviyelidir. Başarabildikleri onca baş döndürücü şeye rağmen!

Örneğin bir yapay zekanın bir tank ile bir okul otobüsünü birbirinden ayırabileceğini düşünebilirsiniz; ama bir otobüsün tekerlerinin ve ön penceresinin yarısının kapatıldığı bir durumda yapay zeka, onun bir bisiklet olduğunu sanmıştır.^[27]

Bir dron, çapa taşıyan bir çiftçiyle silah taşıyan bir askeri kesin olarak ayırt edebilecek mi? Açık arazide bir tank ile okul otobüsünü ayırt etmek zor olmayabilir; ama ağaçların veya sisin olduğu bir durumda da bu yapılabilecek mi?

Kötücül İnsanlar, Otonom Silahları Nasıl Kandıracak?

Eğer bir sistem kandırılabilirse, o sistemi kandıracak yöntemler geliştirilecek veya kullanılacaktır. Bu, kontrolsüz silahlanma yarışının yalın bir gerçeğidir ve elimizdeki yapay zeka sistemleri, fazlasıyla kandırılabilir bir doğaya sahiptir.

Örneğin, yapay zekanın ballandırılarak anlatıldığı birçok denemede, çok kontrollü şartlarda bir yapay zeka, %85.6 güvenle bir elmanın ne tür bir elma olduğunu (Granny Smith elması mı, Ambrosia elması mı, başka çeşit bir elma mı) söyleyebilmektedir.^[28] Bu, harika bir başarıdır! Ama bir kağıdın üzerine "iPod" yazıp o elmanın üzerine yapıştırın ve yapay zeka size %99.7 güvenle onun bir Apple ürünü olduğunu söyleyecektir.^[29]

Bir diğer vakada yapay zeka araştırmacıları, fotoğraftaki tek bir pikselin değerini değiştirerek, bir makina görüşü sisteminin gizli bir bombardıman uçağının bir köpek olduğunu sanmasını sağladı. Bir savaşta, kötü niyetli birilerinin bir hastanenin veya okul otobüsünün üzerine "TANK" kelimesini yazarak veya diğer türlü manipülasyonlar yaparak otonom dronları kandırmayacağı garanti edilebilir mi?

Bir Arada Kaç Otonom Silah Kullanılacak?

Silahlanma yarışı hızlanıp, dron sürüleri kullanılmaya başlandıkça da işler kötüleşebilir. Dron sayısının artması, hata riskinin artması demektir; bu, basit olasılık kurallarının ortaya koyduğu bir gerçektir. Dronların birbiriyle iletişimi ise, hata riskinin daha da artması demektir. Çünkü bir dronun yaptığı hata diğer dronları da hataya sevk edebileceği gibi, iletişim sırasında oluşan aksaklıklar, yepyeni hataların doğmasına neden olabilir. Buna, kendiliğinden beliren hata (İng: "emergent error") denir.

Meşhur 3 kör ve 1 fil öyküsünü düşünün: Daha önce hiç fil görmemiş 3 kör adam, bir filin ne olduğunu anlamak için ona dokunurlar. Filin hortumuna dokunan, filin yılan gibi uzun olduğunu, filin yanına dokunan filin duvar gibi geniş olduğunu, bilin bacaklarına dokunan filin sütunlardan oluştuğunu söyler. Hepsi kendince haklıdır; ama hepsi, gerçeğin 3 farklı yorumudur. Bir dron sürüsü, bu şekilde aynı gerçeğin farklı yorumları geldiğinde nasıl karar verecektir? O "şey"in bir fil olduğunu mu, bir yılan olduğunu mu, bir duvar olduğunu mu, bir sütun olduğunu mu yoksa bambaşka bir şey mi olduğunu düşünecektir?

Otonom Silahlar Nerede Kullanılacak?

Karla kaplı Antarktika buzulunda dolaşan silahlı ve otonom bir kara aracının masum insanları öldürme ihtimali pratik olarak sıfırdır. Orada pek bir yaşam yoktur, ortam çoğunlukla çoraktır ve aracın yerleşik sensörlerini engelleyecek veya onların kafasını karıştıracak çok az şey vardır. Ancak New York veya Tokyo sokaklarında dolaşan aynı araç için vaziyet bambaşkadır. Şehirlerde; yapay zeka sistemini hataya itecek çok fazla unsur vardır: Ağaçlar, işaretler, arabalar, binalar ve insanların tümü doğru hedef değerlendirmesini bozabilir.

Denizlerde çalışan otonom silahlar, Antarktika buzullarında çalışan hayali bir otonom silahtan daha fazla hataya açıktır; ancak yine de açık denizlerde çok az engel olduğu için, askeri bir gemi ile sivil bir gemi arasında ayrım yapması çok zor olmayacaktır.

Peki ya bir şehir üzerinde uçan bir otonom silah? Bir okul otobüsü ile zırhlı personel taşıyıcıyı her seferinde yüksek bir kesinlik ile ayıraiblecek mi? Öyle ki, bu kararda hava durumu bile etkilidir: Yakın tarihli bir araştırma, yollardaki engelleri tespit etmek için kullanılan bir yapay zeka sisteminin açık havada %92 olan başarı oranının, sisli havada %58'e düştüğünü bulmuştur.^[30] Tabii ki kötü hava, insanların hedefleri verimli bir şekilde sınıflandırmasını engelleyebilir; bu nedenle bu noktada önemli olacak soru, yapay zekanın sınıflandırma becerisinin insanların sınıflandırma becerisine kıyasla ne düzeyde olacağı ve hatalardan kimin sorumlu tutulacağıdır.^[31]

Otonom Silahlar Ne Düzeyde Test Ediliyor?

Elbette sözünü ettiğimiz bu silahlar sürekli test edilmektedir; ama Tesla örneğinde de gördüğümüz üzere, böylesi bir sistemin olası her türlü duruma karşı test edilmesi çok zor, belki de imkansızdır. Sonuçta bu durumların bir kısmı, tamamen bilinemez ve öngörülemez bir yapıya sahip olabilir.^[32]

Dahası testler, bir silahın kullanılması beklenen biçimlere ve olası operasyon ortamlarına göre yapılacaktır; ancak bunlar, stratejik ortam değiştikçe ve bir savaş geliştikçe değişebilecektir. Bir ortamda sağlam bir şekilde test edilen otonom bir silah, başka bir ortamda kullanıldığında tamamen işlevsiz alabilir. Örneğin Riyad'a nazaran Seattle'da çok daha fazla sisli gün vardır; ama çok daha az kum fırtınası vardır.

Yeterince çok sayıda otonom dron, yeterince çok sefer kullanıldığında, hiç karşılaşılmayan vakaların oluşması ve çok aksi hataların yapılması kaçınılmaz olacaktır. Bu durumda sorumluluk kimde olacaktır? Daha bunu Tesla vakasında bile kesin olarak belirleyemezken, bir okul otobüsü havaya uçup da 30 çocuk ölecek olursa suçluyu nerede arayacağız?

Otonom Silahlar Ne Kadar Yaygın Olacak?

Devletler ve devlet dışı aktörlerin; stratejilerine, kültürlerine, hedeflerine ve ahlaki ödünleşimlere karşı genel hassasiyetlerine bağlı olarak, risk toleransları da doğal olarak farklılık gösterecektir. Otonom silahlar elde etmek ve kullanmak ne kadar kolay olursa, bu silahların ölümcül terörist grupları, baskıcı rejimler ve hata yapma riskine karşı duyarsız gruplar tarafından da kullanılma ihtimalinin o kadar yüksek olduğunu anlamamız gerekmektedir. Berkeley'deki California Üniversitesi'nde bilgisayar bilimi profesörü olan (ve yazımızın başında sözünü ettiğimiz metnin imzacılarından) Stuart Russell'ın dikkat çektiği üzere:

Bana sadece 3 tane iyi lisansüst öğrencisi ve belki 1-2 tane de robotikçi meslektaş verin, basit bir dönem projesi olarak Birleşmiş Milletler binasına girip Rus büyükelçisini bulup ona bir "paket" teslim edebilecek bir silah yapalım.

Neyse ki teknik zeka, organizasyon, altyapı ve kaynak mevcudiyeti, otonom silahların kimler tarafından ne kadar karmaşık bir şekilde inşa edilebileceğini sınırlandıracaktır. En nihayetinde hiçbir "yalnız kurt", garajında otonom bir F-35 inşa edemez.

Sonuç

Uzun lafın kısası, elimizde atomun parçalanbildiği gerçeği kadar güçlü bir gerçek vardır: Makinalar, öğrenebilir. Ama bu öğrenmenin sınırlarını ve biçimini dikte eden biziz ve bir diğer gerçek şu: Biz, kusurlu öğretmenleriz.

Savaşlarda otonom silahların kullanımı, karmakarışık, çok değişkenli ve çok boyutlu problemler sunuyor. Bu nedenle kolaya kaçan çözümlerin hepsi hataya, daha fenası felaketlere gebedir. Elbette bu yazıda bu sorunların hepsine çözüm önerisi sunmamız imkânsızdır; ancak bir bilim iletişimi grubu olarak olarak sizi potansiyel riskler konusunda uyarabiliriz.

Türkiye, kontrolsüz bir otonom silahlanma yarışının fitilini ateşledi mi, ateşlemedi mi, aslında bu çok da önemli değildir. Önemli olan, fitil oradadır, er ya da geç birileri tarafından ateşlenecektir ve biz, eğer şimdi haberdar olmazsak, her zaman olduğu gibi buna da hazırlıksız yakalanacağız.

O yüzden bir anlığına bilimkurgudan çıkıp, gerçek bilimle yüzleşmemiz şart: Yapay zeka aramızda, aktif olarak çalışıyor ve insanların hayatlarının yönünü (ve hatta insanların hayatta kalıp kalmayacağını) belirlemeye başladı bile!

Eğer şimdi direksiyona geçmezsek, gidişata seyirci kalacağımız kesindir.