Yapay Zekâ Otofajisi: Üretken Modeller, Hem Kendilerinin Hem de Bildiğimiz Anlamıyla İnternetin Sonu Olabilir!

OpenAI'ın GPT-4o'su veya StabilityAI'ın Stable Diffusion'u gibi üretken yapay zekâ modelleri kod, metin, resim ve video üretmekte şaşırtıcı derecede yetenekli. Ancak bu modelleri eğitmek o kadar büyük miktarda veri gerektiriyor ki yapay zekâ mühendisleri şimdiden teknik sınırlamalarla karşılaşmaya başladı ve yakında model eğitmek için veri bulamayabilirler!

Bu veri kıtlığı durumunda, yeni nesil yapay zekâ modellerini eğitmek için sentetik veriler kullanmak teknoloji endüstrisi için cazip bir fikir olabilir. Yapay zekâ tarafından üretilen veriler gerçek dünyadan alınmış verilere göre çok daha ucuz ve sınırsız şekilde üretilebilir; başka yapay zekâ modellerini eğitmekte kullanılabilirler. Ancak bu da tıbbi verilerin kullanıldığı durumlar gibi bazı senaryolarda güvenlik riskleri teşkil eder. Öte yandan bazı durumlarda ise sentetik veri kullanmak modelin performansını artırabilir.

Rice Üniversitesi Dijital Sinyal İşleme grubunun yürüttüğü bir çalışma ise sentetik veri kullanmanın yapay zekânın gelecekteki versiyonları üzerinde bariz negatif etkileri olabileceğini öne sürüyor. Rice Üniversitesinde Elektrik ve Bilgisayar Mühendisliği Profesörü olan Richard Baraniuk, çalışma hakkında şunları söylüyor:

Sentetik verilerle model eğittiğinizde kaçınılmaz olarak bir döngüye giriyorsunuz. Buna otofajik döngü veya "kendi kendini tüketen döngü" adını veriyoruz. Ekibimiz bu geri bildirim döngülerine odaklandı ve ne yazık ki sentetik verilerle birkaç nesillik bir eğitim sürdürdüğümüzde yeni modellerin düzeltilemez derecede bozulduğunu gördük. Büyük Dil Modelleri bağlamında, bu duruma "model çöküşü" ismi verilmişti, ancak biz deli dana hastalığına ithafen "model otofaji bozukluğu" (MAD, İngilizcede bu kısaltma "deli" anlamına geliyor.) isminin daha uygun olduğunu düşünüyoruz.

Deli dana hastalığı, ineklerde görülen ölümcül bir nörodejeneretif hastalıktır. İnsanlarda ise aynı prionlardan kaynaklanan Creutzfeldt-Jakob hastalığı, enfekte et tüketiminden kaynaklı olarak görülebilir. 1980 ve 90'lardaki salgın, hastalığın ineklere kesilen diğer ineklerin artıklarının verilmesiyle patlak vermiştir. Araştırmacıların kendi kendini tüketen yapay zekâlara bu ismi vermek istemesi de bundandır, bu yapay zekâ modelleri inekler gibi kendi türdeşlerinden kalanlarla beslenmektedir. Baraniuk, şunları söylüyor:

Otofajik eğitimin sorunlarını daha iyi gösterebilmek için görüntü üreten yapay zekâ modelleri üstünde çalıştık. Ancak başka ekiplerin de ifade ettiği gibi aynı durum Büyük Dil Modellerinde de gözleniyor.

Çoğu zaman, modelleri eğitmek için oluşturulan veri setleri internetten toplanır. Yani sentetik veriler çevrim içi ortamlara sızdığında yapay zekâ modellerinin çıktılarında otofajik döngülerin ortaya çıkması beklenebilir. Bunun ne gibi sonuçları olabileceğini anlamak isteyen Baraniuk ve ekibi, gerçek ve sentetik verilerin üretken modellerin eğitiminde nasıl birleştirildiğini göstermek için tasarlanmış kendini tüketen üç farklı eğitim döngüsünü inceledi:

• Tamamen Sentetik Döngü: Üretken bir model, önceki nesil modelin çıktılarıyla, yani tamamen sentetik verilerle beslendi (eğitildi).
• Sentetik Artırım Döngüsü: Aynı modelin her nesli, bir önceki nesilden gelen çıktılarla ve sabit bir gerçek veri setinin kombinasyonu ile eğitildi.
• Taze Veri Döngüsü: Aynı modelin her nesli, bir önceki nesilden gelen çıktılarla ve her nesil için taze eklenen gerçek bir veri setinin kombinasyonuyla eğitildi.

Bu döngülerin ilerleyen iterasyonlarında, zaman geçtikçe ve yeni gerçek veriler sağlanmadıkça modellerin gitgide çarpıklaşan, ya kalite ya da özgünlükten yoksun çıktılar verdiği gözlemlendi. Başka bir deyişle, ne kadar taze veri varsa yapay zekâ da o kadar sağlıklı oluyordu.

Bir modelin art arda ürettiği resim veri setlerini yan yana koyup baktığınızda yapay zekâ modellerinin geleceğine dair ürkütücü bir tablo ortaya çıkıyor. İnsan yüzleri temalı veri setlerinde her yeni üretimle birlikte çizgiler gözlenmeye başlıyor, araştırmacılar bu çizgiler gibi beklenmedik görüntülere "üretim hataları" (İng: "generative artifacts") adını veriyor.

Rice Univesity

İlgi çekici başka bir durumsa her yeni veri setinde, resimlerdeki insanların birbirlerine daha çok benzemeye başlaması. Sayılara ait görsellerin üretilmesi istenen veri setleri ise zamanla sayı sembollerinden ziyade anlamsız karalamalara benziyor.

Rice University

Baraniuk, bu durumu şöyle yorumluyor:

Teorik ve deneysel sonuçlarımız, üretken modeller giderek yaygınlaştıkça ve başka modelleri eğitmek üzere veri setleri üretip otofajik döngüler oluşturdukça işlerin nereye gideceğine dair çıkarımlar yapmamızı sağlıyor. Kesin olan birkaç şey var: Yeterince taze veri olmadan gelecekte eğitilecek modeller "kafayı yemeye" mahkûm!

Araştırmacılar, simülasyonları mümkün olduğunca gerçeğe yaklaştırmak adına, örneklem hatalarını ve cımbızlama safsatasını belirtecek bir parametre kullandı. Bu parametrenin pratikteki karşılığıysa veri setlerindeki resim veya metinlerin güzel görünmesi veya güzel bir anlatımla sunulması karşılığında gözden çıkarılan çeşitlilik. Yani, modeller daha az çeşitlilikle daha "nizami" sonuçlar sunuyorlar ve bunu ne derecede yaptıklarının ölçülmesi gerekiyor.

Veri setlerindeki belirli girdilerin seçilmesi ya da cımbızlanmasının nedeni, bu yöntemin farklı üretim döngülerinde kalitenin korunmasına yol açması. Yani örnekteki gibi tüm resimlerdeki yüzler tek bir yüze benzerse belirli bir standart korunmuş oluyor. Elbette bu da modellerin çıktı çeşitliliğinde dramatik bir düşüş anlamına geliyor. Baraniuk, bu konuda şunları söylüyor:

Olabilecek en kötü şeylerden birisi, bu otofaji durumunun elimizdeki verilerin kalitesine balta vurması ve internetteki çeşitliliği genel olarak ortadan kaldırmasıdır. Kısacası, yapay zekâ otofajisinin çok yakın gelecekte öngöremediğimiz sonuçlara yol açacağı kesin.