İnsan Avlayan Otonom Silahlar, Hedef Vurmak İçin İzin İstemiyor!

218 B görüntülenme03.06.2021
Evrim AğacıBi' Başka Video
Bu Videonun YazısıYapay Zekanın Yönlendirdiği Otonom Silahlar Kontrolden Çıkabilir mi?
Derinlemesine

Özet

Video, otonom silahların ve yapay zekanın askerî kullanımına dair endişeleri, özellikle Türkiye'de üretilen Kargu-2 tipi kamikaze dron örneği üzerinden tartışıyor; veri seti yanlılıkları, kara kutu makine öğrenmesi, firari seçilim (runaway selection) ve silahlanma yarışının hızlanması gibi risklere odaklanıyor. Anlatıcı, geçmişte çevirdikleri 2015 tarihli açık mektubu hatırlatıp Libya'da bildirilen otonom saldırı örneğini aktararak, sorumluluk, test zorlukları ve olası kötüye kullanım senaryoları üzerinde uyarıda bulunuyor.

Terimler

  • Otonom silahlar

    İnsan müdahalesi olmadan hedef seçimi ve hedef yok etme gibi kararları yapay zekanın verdiği silahlar; mektupta ve videoda özellikle "yapay zekaya sahip silahların ne zaman ateşleneceğinin ve kime ateşleneğinin yapay zeka tarafından belirlenmesi" olarak tanımlanıyor. Ayrıca, mektupta otonom silahların nükleer silahların aksine pahalı ve elde etmesi zor ham maddeye gerek duymayacak kadar seri üretime ve yaygınlığa elverişli olacağı, bu yüzden geleceğin kalaşnikofları olacak şekilde ucuz ve kolayca bulunur hale gelebilecekleri vurgulanıyor.

  • Kamikaze dronu

    Büyük insansız hava araçlarından farklı olarak daha çok kuadkopter benzeri bir yapı olan ve saldırıyı bir füzeyle değil, bir kamikaze dalışı yapıp hedef üzerinde patlayarak gerçekleştiren dron. Örneğin STM'nin ürettiği Kargu-2, hedefe kamikaze dalışıyla patlayarak saldırıyor ve raporlara göre Libya'da otonom olarak saldırı kararı verdiği iddia edilmişti.

  • Sürü kabiliyeti (drone swarm)

    Dronların birlikte çalışabilme yeteneği; videoda bundan sonraki evrimsel aşama olarak 15-20 dronun bir arada çalışarak hedefleri etkisiz hale getirebilmesi örneği veriliyor. Bu yetenek ortaya çıktıkça antidron sistemleri ve yapay zekaya sahip karşı önlemler geliştirilecek ve silahlanma yarışı hızlanacak.

  • Kaçak/firari seçilim (kontrolsüz seçilim)

    Videoda tavuskuşu kuyruğu örneğiyle açıklanan, kontrol edilmediği sürece birbirini besleyen ve giderek şiddetlenen evrimsel bir süreç. Popülasyondaki varyasyonlar ve tercihlerin sürmesi durumunda belirli özelliklerin (örneğin daha büyük kuyruklar) her nesilde sürekli seçilip pekişmesiyle ortaya çıkan ve sonuçta olağanüstü aşamalara ulaşabilen seçilim türü. Aynı mekanizma teknolojik silahlanma ve savunma yarışlarında da görülebilir; av ile avcı arasındaki hızlanma örneği bunun bir başka ifadesidir.

  • Varyasyon

    Popülasyon içinde belli bir özelliğin (örneğin kuyruk büyüklüğü) bireyler arasında gösterdiği çeşitlilik. Tavuskuşu örneğinde dişilerin tercihleriyle birlikte varyasyon üzerinde seçilim işlemiş ve uzun kuyruklu bireyler avantajlı hale gelmiştir.

  • Mutasyon

    Ebeveynlerimizden onlarca noktada meydana gelen değişiklikler; videoda bunun, her nesilde ebeveynlerden biraz farklı doğmamıza yol açan ve çeşitliliğin bir parçası olan rastlantısal genetik değişimler olarak anılıyor.

  • Crossing-over

    Çok sayıda genin karışmasıyla oluşan genetik çeşitlenme süreci; videoda "birçok genin crossing-over ile karılması ve dolayısıyla çeşitlilikle doğmamız" şeklinde, yavruların ebeveynlerinden farklı olmasına neden olan mekanizmalardan biri olarak anlatılıyor.

  • Popülasyon

    Aynı türün bir arada bulunduğu grup; videoda tavuskuşu örneğinde kuyruk uzunlukları arasındaki çeşitliliğin ve seçilimin işlendiği birimler olarak kullanılıyor.

  • Makine öğrenmesi / yapay öğrenme

    Sistemlerin verilerle eğitildiği yöntemler; videoda Kargu-2 gibi silahların otobüs, kamyon, tır, tank gibi farklı cihazlara ait görseller ve videolar kullanılarak eğitildiği, fakat veri seti hatalı veya eksikse bu cihazların yanlış şeyler öğrenebileceği şeklinde tanımlanıyor. Ayrıca makine öğrenmesinin sınırları ve test edilmesinin zorluğu vurgulanıyor.

  • Veri seti

    Makine öğrenmesi için kullanılan görseller, videolar ve diğer eğitim verileri; videoda veri setinin hatalı veya eksik olması durumunda yapay zekanın yanlış şeyler öğreneceği, chatbot ve işe alım algoritması örnekleriyle açıklanıyor.

  • Kara kutu algoritmalar (black-box algoritmalar)

    Makine öğrenmesi algoritmalarının büyük oranda iç işleyişinin anlaşılamadığı yapısı; videoda "bir taraftan veri giriyor, diğer taraftan bir sonuç çıkıyor ama arada ne olup bittiğini anlayamıyoruz, çünkü sistem çok karmaşık" şeklinde tanımlanıyor ve bu yüzden yanlış kararın nedenini sonradan çözemeyebileceğimiz vurgulanıyor.

  • Makina görüşü (computer vision)

    Görsel veriyi işleyip nesneleri sınıflandıran yapay zeka sistemleri; videoda makina görüşü sistemlerinin bir iPod etiketi ya da tek bir piksel değişikliğiyle yüksek güvenle yanlış sınıflandırma yapabildiği örnekleriyle açıklanıyor.

  • Yapay zekanın kandırılabilirliği (adversarial örnekler)

    Yapay zekâ sistemlerinin, giriş verilerindeki küçük veya kasıtlı değişikliklerle yanıltılabilmesi olgusu; videoda bir elmanın üzerine "iPod" yazılmış bir kağıt yapıştırıldığında sistemin onu %99.7 güvenle Apple ürünü sanması ve tek piksel değiştirerek bir bombardıman uçağını köpek zannetmek gibi örneklerle açıklanıyor. Bu nedenle hastane veya okul otobüsleri üzerine yazı yazılarak otonom dronların kandırılabileceği endişesi dile getiriliyor.

  • Antidron sistemleri

    Dronlara karşı geliştirilen savunma/karşı önlem sistemleri; videoda otonom dron sürülerine karşı mutlaka çıkarılacağı ve bu sistemlerin de yapay zekâya sahip olacağı, böylece silahlanma yarışının hızlanacağı belirtiliyor.

  • Radar-antiradar sistemleri

    Birinin diğerine karşı geliştirdiği karşı önlemler zinciri; videoda bombardıman uçağının antiradar teknolojisi geliştirmesiyle radar sistemlerinin buna karşılık evrilip yeni çözümler üretmesi örneğiyle, teknolojik silahlanma ve savunmanın birbirini hızla geliştirmesine yol açan döngü olarak anlatılıyor.

  • Otonom araçlar

    Yapay zeka ile kendi başına sürüş yapan araçlar; videoda Tesla örneğiyle insanların yapay zekâya güvendikçe önlemleri elden bırakıp beklenmedik kazalarla karşılaşmaları ve otonom araçların eğitilmediği durumlarda beklenmedik hatalar yapabileceği açıklanıyor.

  • İnsansız hava araçları (İHA / drone)

    İnsan taşıyan müstakil uçaklardan farklı olarak insan operatör taşımaz veya operatörün uzaktan kontrolüyle çalışabilen hava araçları; videoda birçok ülke tarafından geliştirilen ve kullanılan otonom/insansız hava araçları bağlamında geçmiş uygulamalar ve hedef seçimi araştırmaları ile birlikte anılıyor.

  • Kitle imha silahları (KİS)

    Videoda örnekler halinde sayılan ve büyük yıkıma yol açabilen silah türleri (kimyasal, biyolojik, nükleer gibi) ile birlikte anılan, şehirleri tehdit edebilecek ve otonom sistemlerle birleşince riskleri büyüyen silah kategorisi. Metinde, yapay zekayla kontrol edilen sistemlerin bu tür silahları taşıyıp kullanabileceği ve hataların sonuçlarının çok daha yıkıcı olacağı vurgulanıyor.

  • Silah türleri ve muhtemel yüklemeler (örnekler)

    Videoda dronların teorik olarak donatılabileceği çeşitli araçlar ve silahlar listeleniyor: silahlar, bombalar, füzeler, elektronik silah bozucular, lazerler, mikrodalga silahları, siber saldırı bilgisayarları, kimyasal silahlar, biyolojik silahlar, nükleer silahlar ve bunların kombinasyonları. Bu liste, dronların kötü ellerde nasıl kullanılabileceğini hayal etmemiz için veriliyor.

Doğru Bilinen Yanlışlar

  • Uzmanların en büyük korkusu yapay zekanın isyan edip insanları köleleştirmesidir.

    Uzmanların birincil endişesi insanların kritik kararları (özellikle öldürme kararları) makinelerle gereğinden erken paylaşmasıdır; doğrudan 'isyana' odaklı endişe ikinci plandadır.

  • Otonom silahlar hâlâ kurgu veya uzak bir gelecek meselesidir.

    Kargu-2 gibi örnekler ve BM raporları gösteriyor ki otonom silahların saha uygulamaları ve buna bağlı riskler bugünün gerçekleri arasındadır.

  • Makine öğrenmesi sistemleri insanlardan daha doğru ve her koşulda güvenilirdir.

    Bu sistemler veri ve ortama bağlı olarak ciddi hatalar yapabilir, özel durumlar ve manipülasyonlar karşısında kolayca kandırılabilirler; her zaman insan yetisini aşmazlar.

  • Otonom bir silahın doğru hedefi seçmemesi, işe alım algoritmalarının yaptığı hatalar gibi masumdur.

    Otonom silah hatalarının sonuçları ölüm ve kitlesel zarar olabileceği için işe alım hatalarından çok daha ağır ve geri döndürülemez sonuçları vardır.

  • Basit otomatik aygıtlar (örneğin mayın) ile yapay zekâ tabanlı karar süreçleri aynıdır.

    Mayın basit bir mekanik/şartlı tetikleme iken, yapay zekâ görsel/bağlamsal veriyle öğrenir ve hatalı öğrenme, yanıltma ya da kara kutu davranışı gibi farklı riskler taşır.

  • Her durumu test edip otonom sistemleri tamamen güvenli hale getirmek mümkündür.

    Gerçek dünya çok değişken ve bazı senaryolar nadir olduğundan, olası her durumu test etmek çok zor veya imkansızdır; beklenmedik hatalar kaçınılmaz olabilir.

  • Sürü halinde çalışan dronlar hataları azaltır ve daha güvenilirdir.

    Sürüler hatanın yayılmasına ve iletişim kaynaklı yeni hata türlerine yol açabilir; birinin hatası diğerlerini de etkileyerek riskleri artırabilir.

  • Görsel sınıflandırma insan düzeyinde genelde her koşulda kesin sonuç verir.

    Görsel sınıflandırma sistemleri kısmi görünürlük, kötü hava koşulları veya manipülasyonlar karşısında yanlış sınıflandırmalar yapabilir ve tek bir piksel değişikliği gibi küçük manipülasyonlarla yanıltılabilir.

Sorular

  • Otonom silahlarla ilgili uzmanların en büyük endişesi nedir?

    Uzmanların asıl endişesi insanların öldürme gibi kritik kararları makinelerle gereğinden erken paylaşması ve bunun küresel bir silahlanma yarışına yol açmasıdır.

  • Otonom bir silah kimi vuracağına nasıl karar veriyor?

    Bu silahlar makine öğrenmesi ile eğitilmiş model ve veri setlerine dayanarak görüntü ve video analizleri yapar; kararları veri seti ve algoritmanın öğrendikleri belirler.

  • Kargu-2 nedir ve ne yapıyor?

    Kargu-2, STM tarafından üretilen bir kamikaze dronudur; quadkopter formunda olup hedefe dalarak patlayıp yok etme şeklinde çalışır ve raporlara göre en az bir olayda otonom şekilde saldırı gerçekleştirdiği iddia edilmiştir.

  • Otonom silahlar gerçek bir tehdit mi yoksa uzak bir tehlike mi?

    Uzak bir ihtimal olarak görülmemelidir; bugün bile otonom sistemlerin savaşa uygulanmasıyla ilgili somut örnekler ve riskler vardır, bu yüzden gerçek bir ve yakın risk olarak değerlendirilmelidir.

  • Makine öğrenmesi algoritmaları ne kadar güvenilir?

    Algoritmalar pek çok durumda etkileyici başarılara ulaşsa da hâlen bariz hatalar yapabilir, kolayca kandırılabilir ve kara kutu oldukları için hataların kaynağı anlaşılamayabilir.

  • Otonom dronlar şehir içi gibi karmaşık ortamlarda güvenilir hedef seçimi yapabilir mi?

    Karmaşık, kalabalık ve değişken ortamlar (trafik, hava durumu, işaretler, insanlar) doğru hedef seçimini zorlaştırır ve bu ortamlarda güvenilirlik düşer.

  • Veri seti hataları otonom silahlar için neden tehlikeli?

    Hatalı veya önyargılı veri setleri silahların yanlış hedefleri seçmesine veya zararlı önyargılar öğrenmesine yol açar; sonuçları insan hayatı açısından çok daha ciddi olur.

  • Dron sürüleri kullanıldığında hangi yeni riskler ortaya çıkıyor?

    Sürü içi iletişim hataları, hataların yayılması, farklı algıların birleştirilmesinden doğan belirsizlikler ve koordinasyon kaynaklı yeni hata modları gibi riskler artar.

  • Otonom silahlanma yarışının olası sonuçları nelerdir?

    Bu yarış, silahların ucuzlayıp yaygınlaşmasına, kötü niyetli aktörlerin eline geçmesine, suikast, soykırım, baskı ve devlet istikrarsızlığı gibi kötü kullanımlara yol açabilir.

  • Bir hata olduğunda sorumluluk nasıl belirlenecek?

    Sorumluluk belirleme zordur; Tesla örneğinde bile kesin sorumluluk tartışmalı iken, ölüme yol açan otonom silah vakalarında suçluyu belirlemek daha da karmaşık olacaktır.

Ön Bilgiler

  • Makine öğrenmesi ve yapay zekanın temel kavramlarına aşinalık
  • Görüntü işleme / bilgisayarla görme hakkında temel bilgi
  • Evrimsel biyoloji ve doğal seçilim kavramlarına temel düzeyde hakimiyet
  • Dronlar ve insansız hava araçları hakkında temel anlayış
  • Etik, hukuk ve askeri teknoloji bağlamında temel kavram bilgisi
  • Veri seti, eğitim ve test süreçlerinin ne demek olduğuna dair temel bilgi
  • Adversarial saldırılar ve model güvenilirliği hakkında temel fikir

Tarihsel Bağlam

  • 2010: Evrim Ağacı'nın yayın hayatına başlaması
  • 2015: 'Otonom Silahlar: Yapay Zeka ve Robotbilim Araştırmacılarından Açık Mektup' başlıklı mektubun Türkçeye çevrilmesi ve paylaşılması
  • 2015: Future of Life Institute önderliğindeki 'Otonom Silahlar' açık mektubunun yayımlanması
  • Açık mektubun 30.000 kişi tarafından imzalanması ve imzacılar arasında Stephen Hawking, Elon Musk, Stuart Russell, Barbara Grosz, Peter Norvig, Francesca Rossi, Yann LeCun gibi isimlerin bulunması
  • Mart - yıl belirtilmemiş: Birleşmiş Milletler Güvenlik Konseyi tarafından bir raporun yayımlanması
  • 2020: Kargu-2 kamikaze dronunun Libya'daki Haftar kuvvetlerine otonom saldırı yaptığı iddiası
  • Kargu-2'nin STM tarafından Ostim Teknopark'ta üretilmesi - tarih belirtilmemiş
  • 21. yüzyılda Tesla otonom sürüş sistemleri ile ilgili kazalar ve beklenmedik sorunların gündeme gelmesi
  • Atomun parçalanması gerçeği ve bunun nükleer silahlar ile nükleer çağın varlığına işaret etmesi
  • 2010
  • 2015
  • 2020
  • 21. yüzyıl
  • Nükleer Çağ

Kişiler

  • Stephen Hawking

    Otonom silahlar mektubunu imzalayan tanınmış kişiler arasında anıldı.

  • Elon Musk

    Otonom silahlar mektubunu imzalayan tanınmış kişiler arasında anıldı.

  • Stuart Russell

    Otonom silahlar mektubunu imzalayan yapay zeka araştırmacılarından biri olarak anıldı.

  • Barbara Grosz

    Otonom silahlar mektubunu imzalayan araştırmacılar arasında anıldı.

  • Peter Norvig

    Otonom silahlar mektubunu imzalayan araştırmacılar arasında anıldı.

  • Francesca Rossi

    Otonom silahlar mektubunu imzalayan araştırmacılar arasında anıldı.

  • Yann LeCun

    Otonom silahlar mektubunu imzalayan yapay zeka araştırmacılarından biri olarak anıldı.

  • Ayhan

    Kendi arkadaşlarından biri olarak, teknik kabiliyetleri anlatabilecek kişiler arasında zikredildi.

  • Jared

    İşe alım algoritmasının hatalı kriterlerine örnek olarak verilen isim.

  • Khalifa Haftar

    Transcript'te 'Haftar kuvvetleri' şeklinde anılan güçlere atıf yaparken ima edilen kişi/komutan.