CHAT GPT de aslında insanlara başka bir insanın cevabını vermiyor mu?

ChatGPT bir yerlerde oturup senin için interneti tarayan ve bulduğu forum cevabını kopyalayıp yapıştıran bir arama motoru değil. Arka planda devasa bir metin ambarında gezip birinin önceden yazdığı hazır cevabı sana paslamıyor. Ortada belirli bir insanın spesifik yanıtı yok, milyarlarca sayfalık insan üretimi metinden süzülmüş devasa bir istatistiksel olasılık yapısı var.

İşin mutfağında süreç bir veritabanı sorgusundan veya kopyala yapıştır mekanizmasından tamamen farklı işliyor. Modeli eğitirken internetteki devasa veriyi içeri akıtıyoruz, fakat model bu metinleri sabit diskine cümle cümle kaydetmiyor. Milyarlarca parametrelik derin yapay sinir ağlarında kelimelerin ve kavramların birbiriyle ilişkisi matematiksel ağırlıklara (weights) ve matrislere dönüşüyor. Model veriyi bir metin kütüphanesi gibi saklamıyor, verideki dil yapısını ve örüntüleri sıkıştırıp soyutluyor.

Prompt girdiğin anda çalışan mekanizma temelde bir sonraki kelimeyi tahmin etme (next token prediction) mantığına dayanıyor. Model, girdiğin bağlama bakarak sıradaki en mantıklı kelime veya hecenin ne olduğunu istatistiksel olarak hesaplıyor ve cevabı sıfırdan, token token inşa ediyor. Hatta eğitim sırasında overfitting dediğimiz aşırı ezber durumu gerçekleşir de model bir insanın yazdığı cümleyi birebir kopyalayıp kusarsa, bu bir başarı değil, modelin genelleme yapamadığını gösteren ciddi bir hata kabul ediliyor.

İşin içinde insan var, fakat bu tek bir bireyin cevabı şeklinde değil. İnsanlığın ürettiği dil mirasının kolektif bir ortalaması söz konusu. Üstelik model saçmalamasın ve tutarlı yanıt versin diye insan geri bildirimiyle pekiştirmeli öğrenme (RLHF) süreçlerinden geçiyor. Günün sonunda ChatGPT bir insanın cevabını sana taşıyan bir aracı değil, insanlığın kolektif dil verisini arkasındaki soğuk matematikle işleyip her seferinde sıfırdan cümle kuran bir olasılık motorudur.