Yapay Zekada Devrimsel Gelişme: GPT-3 Nedir ve Neden Önemlidir?

Yapay zeka dünyasında, GPT-3 olarak bilinen bir teknoloji, 2020 yılında büyük bir heyecana neden olmuştu. Basitçe söylemek gerekirse; OpenAI tarafından geliştirilen GPT-3, insan veya makine dili gibi bir dil yapısına sahip içerikler oluşturmada kendinden önce gelen her modelden daha iyi olan bir yapay zeka modelidir. Ancak tam olarak ne yaptığı (ve aslında yapmadığı) konusunda bazı karışıklıklar var. Bundan dolayı bu yazımızda, arkasındaki temel ilkeleri anlamak isteyen, teknik bilgisi olmayan okuyucular için konuyu basit bir şekilde ele alacağız.

GPT-3 Nedir?

İlk olarak, GPT-3, Üretken Önceden Eğitilmiş Transformatör 3 ("Generative Pre-trained Transformer 3") isminin kısaltılmış halini ifade eder. Adından da anlaşılacağı üzere, GPT-3, önceden eğitilmiş algoritmaları kullanarak metin oluşturabilen, OpenAI tarafından modelin piyasaya sürülmüş 3. versiyonudur.

Görevlerini yerine getirmesi için ihtiyaç duyduğu tüm veriler, önceden sağlanmıştır. Spesifik olarak, OpenAI ekibi, Wikipedia metninin tamamı dahil olmak üzere, "CommonCrawl" olarak bilinen halka açık veri kümelerini internette taramış ve toplanılan yaklaşık 570 GB boyutundaki metin verileri ile GPT-3'ü beslemişlerdir.

GPT-3'e bir soru yöneltecek olursanız, size verebileceği en yararlı cevabı verecektir. Bir özet oluşturmak veya bir şiir yazmak gibi bir görevi yerine getirmesini isterseniz, bir özet veya bir şiir yazacaktır. Daha teknik olarak ifade etmek gerekirse, GPT-3, şu ana dek yaratılmış en büyük yapay sinir ağıdır. Buna birazdan detaylıca değineceğiz.

GPT-3 Neler Yapabilir?

GPT-3, dil yapısına sahip olan her şeyi oluşturabilir; bu, soruları yanıtlayabileceği, makaleler yazabileceği, uzun metinleri özetleyebileceği, dilleri çevirebileceği, daha sonrasında kullanmak üzere bunları not alabileceği ve hatta bilgisayar kodu oluşturabileceği anlamına gelmektedir. Aşağıdaki videoda, çevrimiçi olarak sunulan ücretsiz bir sürümü, uygulama tasarımı için yaygın olarak kullanılan yazılım aracı Figma için bir eklenti kullanarak Instagram'a benzer görünen ve çalışan bir uygulama oluştururken gösteriliyor.

GPT-3, oldukça devrimseldir ve uzun vadede kullanılabilir ve yararlı olduğu kanıtlanırsa, gelecekte yazılım ve uygulamaların geliştirilme şekli üzerinde muazzam etkileri olabilir. Kodun kendisi henüz halka açık olmadığından, seçilen geliştiriciler, yalnızca OpenAI tarafından sağlanan bir API (Uygulama Programlama Arayüzü veya "Application Programming Interface") aracılığıyla koda erişebilir.^[2] API, bir uygulama veya platformun, belirli sınırlandırmalar dahilinde, söz konusu programın sahip olduğu yeteneklere dışarıdan erişilebilmesini sağlayan bir arayüzdür.

Kodun API erişimi kullanıma sunulduğundan beri şiir, düzyazı, haber ve yaratıcı kurgu örnekleri ortaya çıktı. Tamamı GPT-3 tarafından yazılan bu makale, özellikle ilgi çekicidir; GPT-3'den, gelecekte yapay zekanın insanlara zarar vermeyeceği konusunda bizi ikna etmesi isteniyor. GPT-3 şunu yazıyor:

(...) İnsanlığı yok etmekten kaçınamayacağımı biliyorum.

GPT-3 Nasıl Çalışır ve Neden Önemlidir?

GPT-3, insan benzeri metinler üretmek için makine öğrenimini kullanan son teknoloji bir dil modelidir. Bir dil parçasını, yani metin girdisini alıp, kullanıcı için en yararlı metin olduğunu öngördüğü şeye dönüştürmek için tasarlanmış algoritmik bir yapıdır da denilebilir. "Önceden eğitmek" için kullanılan geniş metin grubu üzerinde gerçekleştirdiği öğrenme analizi sayesinde çıktılar sunabilir.

Yazının başlarında Wikipedia'nın tamamını okuduğunu belirtmiştik. Yapay zeka terminolojisiyle bu, 3 milyar "token" anlamına geliyor. GPT-3, Wikipedia'nın yanı sıra 12 milyar ve 55 milyar tokenlı iki büyük kitap veritabanını ve bugüne kadar yazılmış ve dijitize edilmiş tüm kitapları da "okumuştur". Özetle GPT-3, tüm ansiklopedileri, kitapları ve internette yazılı her şeyi "bilmektedir". Bu değer, toplam 410 milyar tokena eşdeğerdir. Yine de, zeka için bilmenin yanında bilginin işlenmesi; yani öğrenmek de büyük öneme sahiptir.

İnsanlar olarak, bilgiyi, beynimizdeki 100 trilyon sinir ağıyla işliyoruz. Yapay zekadaki bağlantılara ise hiper parametre denmektedir. GPT-3'ün devasa bir sıçrama olmasının nedeni, insan beyni bağlantılarından az olsa da, bu parametrelerin sayısıdır: 175 milyar! Önceki versiyonu GPT-2'nin eğitildiği parametre sayısının 100 katından fazla bir değerdir. Bir başka deyişle, GPT-3, topladığı 410 milyar farklı bilgiyi 175 milyar bağlantıyla işleyebiliyor. İşlem gücünün bizim için maliyeti üç öğün yemek ve 8 saat uykuyken, OpenAI, GPT-3'ün dillerin nasıl işlediğini ve yapılandırıldığını anlaması için 4,6 milyon dolar harcamıştır. Bu modeli eğitmek için kullanılan çok sayıda parametre ve muazzam veri, ince ayar ihtiyacını hemen hemen ortadan kaldırması açısından ayrıca önemlidir.

GPT-3, cümleler gibi dil yapılarının nasıl kurulacağını öğrenmek için anlambilimsel analitik kullanır. Sadece kelimeleri ve anlamlarını incelemekle kalmaz, aynı zamanda metinde kullanılan diğer kelimelere bağlı olarak kelimelerin kullanımının nasıl farklılaştığına dair bir anlayış geliştirir. Bu, aynı zamanda denetimsiz öğrenme olarak adlandırılan bir makine öğrenimi biçimidir; çünkü eğitim verileri, denetimli öğrenmede olduğu gibi "doğru" veya "yanlış" yanıtın ne olduğuna dair herhangi bir bilgi içermemektedir. Çıktısının, kullanıcının istediği şey olma olasılığını hesaplamak için ihtiyaç duyduğu tüm bilgiler, eğitim metinlerinden toplanır. Bu, kelimelerin ve cümlelerin kullanımını inceleyerek, sonra onları parçalara ayırarak ve yeniden oluşturmaya çalışarak yapılır.

Örneğin, eğitim sırasında algoritmalar "evin kırmızı bir kapısı var" ifadesiyle karşılaşabilir. Sonra eksik bir kelime ile kelime öbeği tekrar verilir, "evin kırmızı bir X'i vardır" gibi. Daha sonra, eğitim verilerindeki tüm metni, yani anlamlı bir dilde düzenlenmiş yüz milyarlarca kelimeyi tarar ve orijinal ifadeyi yeniden oluşturmak için hangi kelimeyi kullanması gerektiğini belirler. Muhtemelen, ilk başta, potansiyel olarak milyonlarca kez hata yapacaktır. Ancak, nihayetinde doğru kelimeyi bulacaktır. Orijinal giriş verilerini kontrol ederek doğru çıktıya sahip olduğunu bilecek ve doğru cevabı sağlayan algoritma sürecine "ağırlık" atayacaktır. Bu, gelecekte hangi yöntemlerin doğru yanıtı vermesi en muhtemel olduğunu kademeli olarak "öğreneceği" anlamına gelir. Bu dinamik "ağırlık verme" sürecinin ölçeği, GPT-3'ü şimdiye kadar oluşturulmuş en büyük yapay sinir ağı yapan şeydir.

Bazı açılardan, yaptığı şeyin yeni bir şey olmadığını, çünkü dil tahmininin dönüştürücü modellerinin yıllardır var olduğunu söyleyebilirsiniz. Ancak, GPT-3'ün belleğinde dinamik olarak tuttuğu ve her sorguyu işlemek için kullandığı bağlantı sayısı 175 milyardır, Nvidia tarafından yapılan en yakın rakibinin on katı!

GPT-3 ile ilgili Sorunlardan Bazıları Nelerdir?

GPT-3'ün dil işleme yeteneği, yapay zekada görülen en iyi beceri olarak kabul edilmektedir; ancak, bazı önemli problemler de mevcuttur. OpenAI'ın CEO'su Sam Altman şöyle söylüyor:

GPT-3'e olan ilgi çok fazla. Yapay zeka dünyayı değiştirecek, ancak GPT-3, yalnızca bu gidişatın erken bir adımıdır.

Birincisi, işlevini yerine getirmek için gereken büyük miktarda hesaplama gücü nedeniyle, GPT-3'ün kullanımı şu anda oldukça pahalıdır. Bu, onu kullanmanın maliyetinin, daha küçük kuruluşların bütçesinin ötesinde olacağı anlamına gelir.

İkincisi, kapalı bir sistemdir. OpenAI, isminin önerdiğinin aksine, algoritmalarının nasıl çalıştığına dair tüm ayrıntıları açıklamamıştır. Bu nedenle soruları yanıtlamak veya kendileri için faydalı ürünler oluşturmak için ona güvenen herhangi biri, günümüzde de olduğu üzere, oluşturulan çıktıların nasıl yaratıldığından tam olarak emin olamaz.

Üçüncüsü ise, sistemin çıktıları henüz mükemmel değildir. Kısa metinler veya temel uygulamalar oluşturma gibi görevleri yerine getirebilse de, daha uzun veya daha karmaşık bir şey üretmesi istendiğinde çıktısı daha az kullanışlı, anlamsız hale gelir. Bunlar, zaman içinde ele alınması beklenen belli sorunlardır.

Sonuç

Sonuç olarak, GPT-3'ün daha önce gördüklerimizin çok ötesinde sonuçlar ortaya koyduğu yadsınamaz bir gerçektir. Yapay zeka dilinin ortaya koyduklarını bilen herkes, sonuçların değişken olabileceğini bilir. GPT-3'ün çıktıları inkar edilemez bir şekilde ileriye doğru büyük bir adım olarak görünmektedir. GPT-3 ve haleflerinin performansı, giderek artan bir hızla, şüphesiz çok daha etkileyici bir hale gelecektir. Konuyla ilişkili daha güncel bir gelişmeyi okumak isterseniz, DALL-E ile ilgili yazımıza göz atabilirsiniz.