Yapay Zekanın Dil Konusundaki Yaratıcılığı İnsanları Geçemiyor!

Birkaç tuşa basarak herkes ChatGPT gibi bir yapay zeka programından kendilerine bir dönem ödevi, bir rap şarkısı veya bir oyun yazmasını isteyebilir. Ancak çıkan sonucun William Shakespeare'in kendi döneminde yazdıkları kadar özgün olmasını bekleyemezsiniz. OpenReview dergisinde henüz yayınlanmamış olan yeni bir çalışma, bu tür çıktıların en azından şimdilik omurgasının bir içerikten türetilmiş gibi göründüğünü ortaya koyuyor.

Araştırmacılar, yapay zekanın yaratıcılığını ölçmek için bir program tasarladı. Çalışmada yer almayan ancak yapay zekanın yaratıcılığı üzerine çalışmalar yürüten bilgisayar bilimcisi Mirco Musolesi şöyle anlatıyor:

Yaratıcılığı ölçmek, zor ve oldukça ilginç bir sorun. Bu çalışmadaki yeni yaklaşım, yaratıcılığı en azından dilsel yenilik açısından çok iyi ele alıyor.

Bilim insanları, ChatGPT gibi programların gücüne ortaya çıktıkları günden bu yana şüpheyle yaklaşıyor. Bu tür üretken yapay zeka ve büyük dil modelleri insanın yazacağına çok benzeyen yazılar üretebilse de bazı araştırmacılar, dil modellerinin aslında hiçbir yenilik üretmediğini savunuyor. Eleştirmenler, bu modellerin yalnızca "rastlantısal papağanlar" olduğunu ve eğitildikleri kelimeleri körü körüne yeniden harmanladıklarını söylüyor.

Bu yaratıcılığı nesnel olarak test etmek her zaman zorlu bir süreç olmuştur. Bilim insanları genellikle bunu test etmek için iki yöntem izliyor. İlk yöntem, intihal belirtilerini tespit etmek için başka bir bilgisayar programı kullanmaktır. Ancak intihalin olmaması her zaman yaratıcılığı göstermeye yetmeyecektir. Diğer yöntem ise yapay zekanın yazdığı metnin insanlar tarafından değerlendirmesidir. Bu yöntemde insanlar, akıcılık ve özgünlük gibi faktörlere dayanarak bu metinlere puan verir. Ancak, bu da hem öznel hem de oldukça zaman alan bir yöntemdir.

Bu nedenle, Washington Üniversitesi'nden bilgisayar bilimcisi Ximing Lu ve ekibi, hem nesnellik hem de biraz nüans içeren bir program geliştirdi. DJ Search adlı bu program, yapay zekanın ürettiği metinden minimum uzunluktaki bölümleri toplar ve bunları büyük çevrimiçi veri tabanlarında arar. DJ Search, yalnızca birebir eşleşmeleri aramakla kalmaz; aynı zamanda anlamları benzer olan kelimeler içeren dizileri de tarar. program, bir kelimenin veya ifadenin anlamını değerlendirmek için kelimelerin bağlamını temsil eden başka bir yapay zeka algoritmasına dayanıyor. Algoritma, kelimelerin genellikle hangi bağlamlarda geçtiğini temsil eden bir "gömülü temsil" (İng: "embedding") oluşturuyor. Anlamı aynı veya yakın olan kelimeler bu temsil üzerinden sayısal olarak yakın değerlere sahip oluyor. Örneğin, beklenti ve heyecan kelimelerinin yer değiştirildiği ifadeler eşleşme olarak kabul ediliyor.

Tüm eşleşmeler çıkarıldıktan sonra, program kalan kelimelerin sayısını orijinal metnin uzunluğuna oranlıyor. Bu oran, yapay zekanın ürettiği metnin ne kadarının özgün olduğunu tahmin etmekte kullanılıyor. Program, bu işlemi farklı dizi uzunluklarında (çalışmada minimum beş kelime) uyguluyor ve oranları tek bir dilsel yenilik endeksinde birleştiriyor. Ekip bunu "yaratıcılık endeksi" olarak tanımlıyor. Ancak yaratıcılığın yalnızca yenilik değil, aynı zamanda kalite gerektirdiği de unutulmaması gerekiyor. Bunu, istediğiniz kadar rastgele ve anlamsız yeni ifadeler üretebileceğiniz ama bunların yaratıcı sayılmaması gibi düşünebilirsiniz.

Araştırmacılar, yayınlanmış romanların, şiirlerin ve konuşmaların dilsel yeniliğini, modern dil modellerinin ürettikleriyle karşılaştırdı. İnsanlar, yapay zekaya kıyasla şiirlerde %80, romanlarda %100 ve konuşmalarda %150 daha başarılı puanlar elde etti.

DJ Search, insanlar ile makineleri karşılaştırmak için tasarlanmış olsa da iki ya da daha fazla insan yapımı eseri karşılaştırmak için de kullanılabiliyor. Örneğin, Suzanne Collins’in 2008’de yayımlanan Açlık Oyunları romanı, Stephenie Meyer’ın 2005 tarihli Alacakaranlık romanına göre %35 daha yüksek dilsel özgünlük puanı aldı. Aracı çevrimiçi olarak da deneyebiliyorsunuz. Peki, dil modelleri yalnızca birer "papağan" mı? Lu, bunun yerine onları DJ'lere benzetiyor:

Kopyalıyor, yapıştırıyor, kesiyor ve mevcut metinlerden parçalar alıp bir araya getirerek harika bir şey ortaya çıkarıyorlar. Bu, mevcut müzikleri remiksleyen bir DJ'e benziyor. Bu kesinlikle değerli, ancak bir besteci değiller.

Los Angeles'taki California Üniversitesi'nden bilgisayar bilimci Nanyun Peng ise bir sonraki adımda yalnızca kelime dizilerinin değil, bir hikayenin yapısı gibi daha genel içeriğin yeniliğine odaklanılması gerektiğini söylüyor. Peng, kendi kişisel deneyimlerine göre yapay zekanın oluşturduğu metinlerin yetersiz kaldığını gözlemlediğini, ancak bu değerlendirmelerin otomatik hale getirilmesi gerektiğini belirtiyor. Ancak bu yapmanın oldukça zor olduğunu da kabul ediyor. Yine de Lu'nun geliştirdiği araç, yalnızca dil düzeyinde çalışsa bile Peng bunun değerli olduğunu vurguluyor:

Bu araç, insanları klişe ifadelerden uzak durmaya teşvik eden bir yazma asistanı görevi görebilir.