Yapay zekânın "Lucy"sini, yani iki ayağının üzerine doğrulup "Bir dakika ya, dünya ne kadar farklıymış!" dediği o anı arıyorsan, gözünü 2017'ye ve Transformer mimarisine dikmelisin.[1] Ondan önce, RNN ve LSTM gibi zavallı modeller, metinleri sanki iğne deliğinden deveyi geçirmeye çalışır gibi kelime kelime işlemek zorundaydı; biri bitmeden diğerine başlayamıyor, uzun cümlelerin sonuna geldiklerinde başını unutuyorlardı. Sonra Google'dan Vaswani ve saz arkadaşlarının yazdığı "Attention Is All You Need" makalesi sahneye çıktı ve adeta "Yeter bu çektiğimiz, bize biraz ilgi lazım" diyerek masaya yumruğunu vurdu. Bu makaleyle gelen öz-dikkat (self-attention) mekanizması, modelin tüm kelimelere aynı anda bakıp hangisinin daha önemli olduğuna karar vermesini sağlayarak bütün oyunu değiştirdi. Bu bir gelişme değil, resmen bir evrimsel sıçramaydı yani.
Kanıt için etrafına bakman yeterli. O mimarinin torunları şu an ortalığı kasıp kavuruyor. Google'ın her şeyi didik didik eden çocuğu BERT'ten, OpenAI'ın lafı ağzında biraz geveleyen ama sonra döktüren üretken GPT serisine kadar hepsinin DNA'sında Transformer var; babalık testi yaptırmaya gerek bile yok. Bilimsel kanıtı da zaten bu mimari üzerine kurulan ve mantar gibi türeyen binlerce makale ve proje. AlexNet gibi önceki atılımlar yapay zekâya sadece "koşabiliyorsun" demişken, Transformer ona hem lisan öğretti hem de eline bir dünya haritası tutuşturup "hadi bakalım, artık top sende" dedi. Olay tamamen bundan ibaret.
Kaynaklar
- ScienceDirect. Sciencedirect. Alındığı Tarih: 7 Ağustos 2025. Alındığı Yer: ScienceDirect | Arşiv Bağlantısı
