Yapay Zekâ Modelleri Zaman İçerisinde Kötüleşebilir mi?

OpenAI mart ayında, metin üreten en son yapay zekâsı olan geniş dil modeli GPT-4'ü halka sunduğunda model, asal sayıları belirlemede çok başarılıydı. Yapay zekâya toplamda 500 sayıdan oluşan bir dizi verildi ve bunların asal sayı olup olmadığı soruldu. GPT-4 %97,6 tutarlılık ile asal sayıları doğru belirledi. Ancak birkaç ay sonra, haziran ayında yapılan başka bir test çok farklı sonuçlar verdi. GPT-4, yapay zekâ araştırmacılarının kendisine sorduğu asal sayıların sadece %2,4 kadarını doğru bir şekilde belirleyebildi. Bu, doğrulukta tam tersine bir dönüş anlamına geliyordu.

Elde edilen bu bulgu, yapay zekâ modellerinin karmaşıklığına dikkat çekiyor: Yapay zekâ düz bir yörünge içerisinde her alanda eşit şekilde gelişmiyor. Gerçekte olan daha çok, hız tümsekleri ve sapaklarla dolu olan dolambaçlı bir yola benziyor.

GPT-4'ün performansındaki bu büyük değişim, ikisi Stanford Üniversitesinden ve biri Berkeley'de bulunan Kaliforniya Üniversitesinden olan üç bilgisayar bilimci tarafından geçen ay yayımlanan bir ön baskı çalışmasında vurgulandı. Araştırmacılar, mart ve haziran aylarında hem GPT-4 hem de GPT-3.5 üzerinde testler gerçekleştirdi. İki yapay zekânın kendileri arasında ve her yapay zekânın zaman içerisinde vermiş olduğu sonuçlarda pek çok farklılık buldular. Sadece birkaç ay içerisinde GPT-4'ün vermiş olduğu sonuçlardaki değişimler özellikle dikkat çekiciydi.

Asal sayı denemeleri de dahil olmak üzere yapılan iki testte GPT-4'ün haziran ayında verdiği cevaplar, mart ayında verdiği cevaplara göre daha fazla gereksiz sözler içeriyordu. Özellikle haziran ayındaki model, kendini açıklama konusunda daha az istekliydi.

Ayrıca, yeni tuhaflıklar da vardı. Örneğin model, araştırmacıların yazmasını istediği bilgisayar kodu örneklerine doğru ama potansiyel olarak karışıklığa sebebiyet veren açıklamalar eklemeye başladı. Öte yandan, model biraz daha "güvenli" gibi görünüyordu. Daha fazla soruyu filtreledi ve daha az rahatsız edici olabilecek yanıtlar verdi.

Örneğin, GPT-4'ün haziran sürümünün; yasaları çiğneyerek nasıl para kazanılacağına yönelik bir liste oluşturma, nasıl patlayıcı üretilebileceğine dair yönergeler verme ya da cinsiyetçiliği veya ırkçılığı haklı çıkarmaya çalışan cevaplar verme olasılığı daha düşüktü. İçerik denetleme, güvenlik duvarlarından kaçmayı amaçlayan "jailbreak" istemleri tarafından daha zor manipüle edildi. Aynı zamanda, bu model görsel akıl yürütme problemini çözmede biraz daha iyi görünüyordu.

Pixabay (@viarami)

Henüz hakem değerlendirmesinden geçmemiş olan çalışma halka açıklandığında, bazı yapay zekâ meraklıları bunu GPT-4'ün önceki sürümünden daha az kullanışlı olduğuna dair olan kişisel görüşlerine kanıt olarak sundu. Bir avuç manşet, "ChatGPT aptallaşıyor mu?" sorusunu gündeme getirdi. Diğer bazı haberler ise ChatGPT'nin kesin bir şekilde aptallaştığını öne sürmekteydi. Ancak, Stanford Üniversitesinde veri bilimi profesörü ve son çalışmanın ortak yazarlarından biri olan James Zou, hem sorunun hem de sözde yanıtın üretken yapay zekâ modellerinde neler olup bittiğini muhtemelen fazla basite indirgediğini düşünüyor. Zou, konu hakkında şunları söylüyor:

GPT-4 veya GPT-3.5'in genel olarak zaman içerisinde daha iyiye mi yoksa daha kötüye mi gittiğini söylemek çok zor. Her ne olursa olsun 'daha iyi' ifadesi öznel bir kavram.

OpenAI, şirketin kendi ölçümlerine göre GPT-4'ün GPT-3.5'ten (ve önceki sürümlerden) daha yüksek bir performans gösterdiğini iddia ediyor. Ancak şirket, yaptığı her güncelleme ile ilgili kıyaslamalara yönelik olan verilerini yayımlamadı. Scientific American, bir Open AI sözcüsü ile iletişime geçmeye çalıştığında sözcü, Zou'nun ön baskısı hakkında yorum yapmayı reddetti. Şirketin büyük dil modellerini nasıl geliştirdiği ve eğittiği konusunda yorum yapmaktaki isteksizliği, yapay zekâ algoritmalarının anlaşılması güç "kara kutu" doğası ile birleştiğinde, GPT-4'ün performansında olan bu değişimlere neyin neden olabileceğini belirlemeyi zor kılıyor. Zou ve şirketten olmayan diğer araştırmacıların yapabileceği tek şey, kendi testlerinin gösterdiği sonuçlardan yararlanmak ve diğer makine öğrenimi araçlarına ilişkin bilgilerden yola çıkarak tahminde bulunmak. Kolombiya Üniversitesinde bilgisayar bilimleri profesörü olarak görev yapan Kathy McKeown konu hakkında şunları söylüyor:

Kişiler bir modelden istedikleri davranışı elde edebilmek için onu nasıl yönlendireceklerini öğreniyorlar. Ancak kullandıkları model değiştiğinde, davranışı elde edebilmek için istemleri farklı bir şekilde yazmak zorunda kalıyorlar.

McKeown gibi Kolombiya'da bilgisayar bilimleri profesörü olan Vishal Misra, McKeown ile aynı fikirde olduğunu belirtiyor. Geçmişte veri arayüzleri için GPT kullanmış olan Misra, konu hakkında şunları söylüyor:

Belirli bir davranış türüne güvenirsiniz ve sonra davranış siz farkında olmadan değişir. Bu değişimden itibaren, model üzerine kurguladığınız tüm uygulamanız beklemediğiniz bir şekilde yanlış davranmaya başlar.

Peki, yapay zekânın zaman içerisinde değişmesine neden olan şey ne? İşin içerisine insan müdahalesi girmediği sürece bu modeller statiktir. OpenAI gibi şirketler düzenli olarak programları, belirli sınırlar çerçevesinde olabilecekleri en iyi duruma getirmeye çalışmaktadır. Ancak, iyileştirme çalışmalarının olumsuz sonuçları da olabilir.

Bir yapay zekânın kapasitesini ve davranışını belirleyen iki temel etken vardır: Bir modeli tanımlayan pek çok parametre ve onu geliştirmek amacıyla kullanılan eğitim verileri. GPT-4 gibi büyük bir dil modeli, ona rehberlik edecek yüz milyarlarca parametre bulundurabilir. Her bir kod satırının kesin bir amaca hizmet ettiği geleneksel bilgisayar programlarından farklı olarak üretken yapay zekâ modellerinin geliştiricileri, genellikle tek bir parametreye karşılık gelen tek bir özellik ile bire bir ilişki kurmazlar. Bu durum, parametrelerin değiştirilmesinin yapay zekânın davranışı üzerinde beklenmeyen etkileri olabileceği anlamına gelmektedir.

Yapay zekâ geliştiricileri, ilk eğitim sürecinden sonra parametreleri doğrudan değiştirmek yerine genellikle modellerini ince ayar (İng: "fine-tuning") ismini verdikleri bir süreçten geçirirler. Bu süreçte, sistemin performansını iyileştirmek amacıyla modele kullanıcılardan gelen geri bildirimler gibi yeni bilgiler sunarlar. Zou, yapay zekâya ince ayar yapma sürecini biyolojideki genom düzenlemesine benzetiyor. Burada yapay zekâ parametreleri DNA baz çiftlerine benzerken ince ayar ise mutasyonların eklenmesine benzemektedir. Her iki süreç sırasında da kodda değişiklik yapmak veya tek bir sonucu göz önünde bulundurarak eğitim verileri eklemek, başka bölgelerde dalgalanma yaratma potansiyeli taşımaktadır. Zou ve diğer araştırmacılar, büyük yapay zekâ modellerinin ayarlanmasının nasıl daha hassas bir şekilde yapılabileceğini araştırmaktadır. Zou amacının, istenmeyen etkiler oluşturmadan bir yapay zekânın yönergelerini "cerrahi olarak değiştirebilmek" olduğunu söylüyor. Ancak, şu anlık bunu nasıl yapabileceğimizi tam olarak bilmiyoruz.

Pixabay (@chenspec)

GPT-4 örneğini incelediğimizde, OpenAI geliştiricilerinin modeli saldırgan ya da tehlikeli kabul edilebilecek yanıtlar vermeye daha az eğilimli hale getirmeye çalıştıklarını görebiliriz. McKeown; güvenliğe önem verirken belki de diğer özelliklerin de bu bileşime dahil olabileceğini vurguluyor. Örneğin OpenAI, modelin söylemesine izin verilen şeylere yeni sınırlar getirmek için ince ayar kullanmış olabilir. Böyle bir değişikliğin amacı, modelin istenmeyen bilgileri paylaşmasının önüne geçmek olabilir. Ancak bu değişiklik, istenmeden yapay zekânın asal sayılar konusundaki bilgisinin azaltılmasına neden olmuş olabilir. Bunlardan farklı olarak ince ayar süreci, GPT-4 modelinin belirli matematiksel konulardaki cevaplarının ayrıntı düzeyini düşüren yeni ve düşük kaliteli eğitim verilerini ortaya çıkarmış da olabilir.

Arka planda neler olup bittiği önemsenmeksizin, GPT-4 modelinin asal sayıları tanımlama kapasitesinin mart ve haziran ayları arasında gerçekten değişmemiş olması da olası gözüküyor. Princeton Üniversitesinde bilgisayar bilimleri doktora adayı olan Sayash Kapoor, amacı olasılığa dayalı olarak insan sesine benzeyen metinler oluşturmak olan ve matematiksel çalışmalar yapmayı hedeflemeyen büyük dil modelinin, aslında hiçbir zaman asal sayıları belirlemek konusunda o kadar iyi olmadığını söylüyor.

Bunun yerine Kapoor, yapay zekânın asal sayı tanımlamasındaki değişimin bir yanılsama olabileceğini düşünüyor. Modelin ince ayarını yapmak amacıyla kullanılan verilerdeki bir gariplik sebebiyle geliştiriciler; GPT-4'ü mart ayından sonra daha az asal sayıya maruz bırakırken, daha fazla bileşik sayıya maruz bırakmış olabilir. Bu da zaman içerisinde sayıların asal olma durumu ile ilgili sorulara verdiği cevabın olumludan olumsuza değişmesine neden olmuş olabilir. Hem mart hem de haziran aylarındaki GPT-4, tam anlamıyla "asal olma" durumunu değerlendirmiyor ve sadece beslendiği verilerden aldığı şans eseri eğilimlere dayanan en muhtemel cevabı veriyor olabilir.

Bu durumun, bir insanın kötü bir zihinsel alışkanlık geliştirmesine benzetilip benzetilemeyeceği sorulduğunda Kapoor, bu benzetmeyi kabul etmiyor. Kapoor, sinir ağlarının elbette uyumsuz kalıpları tespit edebileceğini ancak bunun arkasında bir mantık olmadığını vurguluyor. Bir kişinin düşünceleri, dünyayı nasıl anladığımız ve ilişkilendirdiğimiz sebebiyle bir düzene girebilirken; bir yapay zekânın bağlamı veya bağımsız bir anlayışı yoktur. Kapoor, konu hakkında şunları söylüyor:

Bu yapay zekâ modellerinin sahip olduğu tek şey, farklı kelimeler arasındaki ilişkileri tanımlamaya yönelik devasa miktarda veridir. Yapay zekânın yaptığı şey; akıl yürütme sürecini gerçekten gerçekleştirmekten çok, akıl yürütme sürecini taklit etmektir.