Yapay Nöral Ağların Nasıl Öğrendiğini Anlamak İçin Yeni Bir Formül Oluşturuldu!

Yapay nöral ağlar, finanstan insan kaynaklarına ve sağlık hizmetlerine kadar oldukça geniş bir uygulama skalasında kullanılan geniş dil modelleri de dahil olmak üzere, yapay zekâ alanındaki atılımlara güç veriyor. Ancak bu ağlar aynı zamanda, mühendislerin ve bilim insanlarının iç işleyişini anlamakta zorlandıkları birer kara kutu olmaya da devam ediyor. Fakat işler değişiyor, Kaliforniya San Diego Üniversitesi'nden veri ve bilgisayar bilimcileri önderliğinde bir ekip, yapay nöral ağların aslında nasıl öğrendiğini adeta gözler önüne serdi.

Araştırmacılar, istatiksel analizde kullanılan bir formülün, ChatGPT'nin öncüsü olan GPT-2 gibi yapay nöral ağların verilerdeki ilişkili kalıpları nasıl öğrendiği hakkında basitleştirilmiş bir matematiksel açıklama sağladığını keşfettiler. Bu formül aynı zamanda yapay nöral ağların tahminde bulunmak için söz konusu ilişkili kalıpları nasıl kullandığını da açıklıyor. UC San Diego Bilgisayar Bilimleri ve Mühendisliği bölümünde doktora öğrencisi olan ve çalışmanın eş-başyazarı olan Daniel Beaglehole, durumu şöyle açıklıyor:

Yapay nöral ağları temel prensipleriyle anlamaya çalışıyoruz. Formülümüzle birlikte insanlar, ağın tahminde bulunmak için hangi özellikleri kullandığını kolaylıkla yorumlayabilecek.

Ekip, bulgularını 7 Mart'ta Science Dergisi'nde yayınladı. Peki ya bunun önemi nedir? Günümüzde, yapay zekâ destekli araçlar gündelik hayatımıza nüfuz etmiş durumda. Bankalarda kredilerin onaylanması için, hastanelerde röntgen ve MRI gibi medikal verilerin analizi için kullanılıyorlar. Şirketlerde ise iş başvurularının taranması için kullanılıyorlar. Fakat bütün bu yaygın kullanıma rağmen günümüzde hâlâ, yapay nöral ağların nasıl karar verdiğini anlamak ve ağın eğitiminde kullanılan verilerdeki ön yargı ve yanılmaları ayıklamak çok zor. Çalışmanın sorumlu yazarı ve de aynı zamanda UC San Diego Halıcıoğlu Veri Bilimi Enstitüsü'nde profesör olan Mikhail Belkin, şunları söylüyor:

Eğer yapay nöral ağların nasıl öğrendiğini anlamıyorsanız ağların sağlıklı, isabetli ve uygun yanıtlar üretip üretmediğini anlamak son derece zordur. Bu konu, son dönemdeki makine öğrenmesi ve yapay nöral ağ teknolojilerinin hızlı büyümesi göz önüne alındığında muazzam bir önem arz etmektedir.

Haberini okumakta olduğunuz bu çalışma, Belkin'in araştırma grubunun yapay nöral ağların nasıl çalıştığını açıklayan matematiksel bir teori geliştirmeye çalıştığı daha büyük bir çalışmanın bir parçası. Belkin'in ifadesiyle teknoloji, teoriyi fersah fersah geride bıraktı ve teorinin teknolojiye yetişmesi gerekiyor.

Ekip, aynı zamanda yapay nöral ağların nasıl öğrendiğini anlamak için kullandıkları AGOP olarak da bilinen ("Average Gradient Outer Product", Tr: "Ortalama Gradyan Dış Ürün") istatiksel formülün yapay nöral ağ içermeyen diğer makine öğrenimi biçimlerinde de performans ve verimi artırmak için kullanılabileceğini bu çalışmayla göstermiş oldu. Belkin, şunları söylüyor:

Eğer yapay nöral ağların arka planındaki mekanizmaları anlayabilirsek daha basit, daha verimli ve daha anlaşılabilir makine öğrenimi modelleri oluşturabiliriz. Bunun, yapay zekânın umuma yayılmasında yardımcı olmasını bekliyoruz.

Belkin'in öngördüğü makine öğrenimi sistemleri daha az hesaplama gücüne ve dolayısıyla da şebekeden daha az enerjiye ihtiyaç duyuyor. Bu sistemler, aynı zamanda çok daha az karmaşık ve anlaması da çok daha kolay.

Yeni Bulgulara Bir Örnek

Yapay nöral ağlar, veri karakteristikleri arasındaki ilişkileri (yani, bir resimdeki spesifik bir objeyi ya da bir yüzü algılamayı) öğrenen bilgi-işlemsel araçlardır. Mesela, bir fotoğraftaki kişinin gözlük takıp takmadığını anlamak, yaptığı işi anlamamız için iyi bir örnek olabilir.

Makine öğrenimi, bu problemi, eğitilmekte olan yapay nöral ağa "gözlüklü insan" ve "gözlüksüz insan" olarak etiketlenmiş pek çok örnek eğitim fotoğrafı sunarak çözüme kavuşturuyor. Bu sayede ağ, fotoğraflar ve etiketleri arasındaki ilişkiyi öğrenmiş oluyor ve karar vermek için odaklanması gereken veri kalıp ve özelliklerini "öğrenebiliyor".

Yapay zekâ sistemlerinin kara kutular olarak görülmesinin bir sebebi de sistemlerin olası önyargılar da dahil olmak üzere tahminlerini yaparken aslında hangi kriterleri göz önünde bulundurduğunun matematiksel olarak açıklanmasının genel anlamda zor olması. Bu yeni çalışma, sistemlerin bu özellikleri nasıl öğrendiğine dair basit bir matematiksel açıklama sunuyor.

"Özellikler", aslında verilerdeki kalıplarla ilişkilidir. Yukarıdaki örnekte, yapay nöral ağların öğreneceği ve gerçekten de fotoğraftaki kişinin gözlük takıp takmadığına karar vereceği geniş bir "özellik" skalası vardı. Bu görev için dikkat etmesi gereken özelliklerden birisi yüzün üst kısmıydı. Diğer bir özellik olarak gözlüğün genellikle bulunduğu yer olan göz ya da burun çevresine dikkat edilebilirdi. Böylece ağ, ilgili olduğunu öğrendiği özellikleri seçip dikkatini oralara yoğunlaştırabilir ve yüzün aşağı kısmı, saç gibi resmin gereksiz/lüzumsuz bulduğu kısımlarını odak noktasından çıkarır.

Özellik öğrenimi (İng: "Feature learning"), verilerdeki ilişkili kalıpları tanıma yetisi sağlar ve daha sonrasında bu kalıplar, tahminde bulunmak için sistem tarafından kullanılır. Gözlük örneğine dönecek olursak; ağ, yüzün üst kısmına dikkat etme kalıbını öğrenmiş olur. İşte bu yeni Science baskısında araştırmacılar, yapay nöral ağların özellikleri nasıl öğrendiğini açıklayan istatiksel bir formül tanımladılar.

Araştırmacılar, bu formülün yapay nöral ağlara dayanmayan bilgi işlem sistemlerine eklenmesi halinde daha hızlı ve daha verimli öğrenme sağlandığını da gözler önüne serdiler. Belkin son olarak şunları söylüyor:

Nasıl oluyor da lüzumsuz şeyleri göz ardı ediyoruz? İnsanlar bu konuda oldukça iyidir. Makineler, örneğin büyük dil modelleri de aynı şeyi yapıyorlar. Onlar da bu 'seçici dikkat' mantığını kullanıyorlar fakat nasıl yaptıklarını bilmiyoruz. Science makalemizde yapay nöral ağların nasıl 'seçici olarak dikkat ettiklerinin' en azından bir kısmını açıklayan bir mekanizma sunuyoruz.