Yeni Yapay Zeka Modeli GPT o3, Yapay Genel Zekaya Yönelik Geliştirilen Bir Testte Büyük Başarı Gösterdi!

Yapay zeka şirketi OpenAI, 20 Aralık 2024'te yeni yapay zeka modeli o3'ü duyurdu.^[1] o1 modelinin ardından gelen bu model (o2 adlandırması es geçildi), insan düzeyinde yapay zekayı ifade eden bir yapay genel zeka sistemine yönelik geliştirilen ve prestijli bir test kabul edilen ARC-AGI Testi'nde ("Abstraction and Reasoning Corpus - Artificial General Intelligence Challenge" / Tr: "Soyutlama ve Akıl Yürütme - Yapay Genel Zeka Testi") yüksek bir puan elde ederek test rekorunu kırmayı başardı!

Yapay zeka alanında ses getiren bu başarı, yapay zeka meraklılarının o3 modelinin yapay genel zekaya ulaştığına dair spekülasyonlarda bulunmasına neden oldu. Ne var ki ARC-AGI Testi'ni yaratan bilim insanları, o3 modelinin bir yapay genel zeka olmadığını ancak bu yolda önemli bir kilometre taşı olarak değerlendirilebileceğini ifade ediyor.

ARC-AGI

o3 modeli, ChatGPT'nin ardındaki büyük dil modellerinin (İng: "LLM") devamı niteliğinde olan bir dizi yapay zeka sürümünün en yenisidir. ARC-AGI Testi'nin ana yaratıcısı olan ve Google'da yapay zeka araştırmacısı olarak çalışan bilim insanı François Chollet, yayımladığı bir blog yazısında bu başarıyı şu şekilde değerlendiriyor:^[2]

o3, GPT ailesindeki modellerde daha önce eşine rastlanmamış bir şekilde yeni görevlere uyum yeteneği göstermektedir ve bu atılım, yapay zeka yeteneklerinde beklenmedik ve önemli bir sıçramadır.

o3 Modeli Tam Olarak Neyi Başardı?

2019'da François Chollet, 600 bin dolar tutarında ödüle sahip olan ARC-AGI Testi'ni, yapay zekaların renkli ızgara çiftleri arasındaki doğru desenleri bulma yeteneğini değerlendirme amacıyla geliştirmiştir. Bu tür görsel bulmacalar, yapay zekanın temel akıl yürütme yetenekleriyle bir tür genel zeka sergilemesini gerektirmektedir. Ancak bu bulmacalarda yeterli miktarda hesaplama gücü kullanılacak olursa yapay zeka modeli, akıl yürütme yapmaksızın yalnızca kaba kuvvet kullanarak bu bulmacaları çözebilir. Bundan ötürü test, resmi puanların belirli hesaplama gücü sınırları içinde kalmasını şart koşmaktadır.

2025'in başlarında piyasaya sürülmesi planlanan OpenAI'ın yeni o3 modeli, "yarı-özel" ARC-AGI Testi'nde %75,7’lik resmi bir atılım puanı elde etmiştir. Bu test, katılımcı modellerin herkese açık şekilde bir liderlik tablosunda sıralanmasını sağlamaktadır. o3 modeli, görsel bulmaca görevi başına yaklaşık 20 dolar olan hesaplama maliyeti ve toplamda 10 bin doların altında kalma şartını yerine getirerek bu sonuca imza atmayı başarmıştır. Ancak 600 bin dolarlık büyük ödül sonucunu belirlemek için kullanılan daha zorlu olan "özel" testte, görev başına yalnızca 10 cent harcanmasını gerektiren daha katı bir hesaplama sınırı ve kullanılan modelin açık kaynak olması zorunluluğu bulunmaktadır ve OpenAI'ın o3 modeli bu gereksinimleri karşılayamamıştır.

o3 modeli, bu testte resmi sınırın yaklaşık 172 katından daha fazla bir hesaplama gücü kullanarak %87,5'lik resmi olmayan bir puan elde etmiştir. Karşılaştırma yapmak gerekirse, sıradan bir insanın bu testteki ortalama puanı %84'tür ve %85'lik bir puan, hesaplama maliyetinin belirlenen sınırlar içinde kalması koşuluyla ARC-AGI Testi'nin 600 bin dolarlık büyük ödülünü kazanmaya yeterlidir. Ancak o3 modelinin maliyeti, resmi olmayan bu %87,5'luk puana ulaşmak için her görev başına binlerce dolara ulaşmıştır. OpenAI, testin geliştiricilerinden bu maliyetlerin tam detaylarını yayımlamamaları talebinde bulunmuştur.

Yüksek hesaplama kapasitesine sahip o3 modelinin testlerinden elde edilen verileri (sonuçlar, denemeler ve istem) aşağıdan inceleyebilirsiniz.

ARC-AGI

ARC-AGI

ARC-AGI

o3 Modelinin Başarısı Yapay Genel Zekaya Ulaşıldığını Gösteriyor mu?

Kısa cevap: Hayır. ARC-AGI Testi'nin geliştiricileri, bu yarışma kriterinin aşılmasının yapay genel zekaya ulaşıldığının bir göstergesi olmadığını açıkça belirtmektedirler. ARC-AGI Testi'nin geliştiricilerinden biri olan Mike Knoop, sosyal medya platformu X üzerinden yaptığı bir paylaşımda o3 modelinin çok yüksek miktarda hesaplama gücü kullanmasına rağmen 100'den fazla görsel bulmaca görevini çözmeyi başaramadığını belirtmektedir.

Santa Fe Enstitüsünde profesörlük yapan bilişsel bilimci Melanie Mitchell ise sosyal medya platformu Bluesky'da yaptığı bir paylaşımda şöyle söylüyor:

Bu görevlerin kaba kuvvet kullanarak hesaplama yoluyla çözülmesi, orijinal amacın boşa çıkarılması anlamına gelir.

François Chollet, o3 modelinin ilerlemesini değerlendirdiği bir X paylaşımında şu ifadeleri kullanıyor:

Yeni model çok etkileyici ve yapay genel zekaya giden yolda büyük bir dönüm noktasını temsil ediyor. Ancak bu model bir yapay genel zeka değildir; halen o3'ün testte çözemediği oldukça kolay görevler bulunmaktadır.

Ayrıca Chollet yapay zekanın bir insan seviyesinde zeka sergilediğinin nasıl anlaşılacağı konusunda şunları söylüyor:

Sıradan insanlar için kolay ama yapay zeka için zor olan görevler oluşturmanın imkânsız hale geldiği gün, yapay genel zekanın burada olduğunu anlayacaksınız.

Oregon Üniversitesinde yapay zeka araştırmacısı olan önde gelen bilgisayar bilimci Thomas Dietterich, yapay genel zekanın tanımlanması konusunda şöyle söylüyor:

Bu tür sistemlerin insan bilişinde gerekli olan tüm işlevsel bileşenleri içereceği öne sürülmektedir. Bu ölçüte göre piyasadaki yapay zeka sistemleri; episodik bellek, planlama, mantıksal akıl yürütme ve en önemlisi metabilişim gibi bileşenlerden yoksundur.

Sonuç: o3 Modelinin Başarısının Önemi

o3 modelinin aldığı yüksek puan, yapay zeka modellerinin 2024'teki gelişim hızının 2023'teki sarsıcı ilerlemelerle karşılaştırıldığında daha yavaş bir seyir izlediği bir dönemde elde edilmiş olması bakımından önemlidir.

ARC-AGI Testi'ni geçememiş olsa da o3'ün yüksek puanı, yapay zeka modellerinin yakın gelecekte önemli kriterleri aşabileceğini açıkça göstermektedir. Chollet, o3 modelinin resmi olmayan yüksek puanının ötesinde, resmi olarak düşük hesaplama gücüyle teste giren birçok diğer yapay zeka modelinin, "özel" değerlendirme test setinde daha şimdiden %81'in üzerinde puanlar aldığını belirtmektedir.

Yapay genel zeka kavramına şüpheyle yaklaşan bilgisayar bilimci Dietterich de, bu performans sıçramasını "çok etkileyici" olarak nitelendirmektedir. Dietterich, şöyle söylüyor:

Bu sonuç çok etkileyici olsa da OpenAI'ın o1 ve o3 modellerinin nasıl çalıştığı hakkında daha fazla bilgi olmadan bu yüksek puanın ne derece etkileyici olduğunu değerlendirmek mümkün değildir. Tam anlamıyla bir değerlendirme yapabilmek için testin açık kaynaklı şekilde tekrarlanmasını beklememiz gerekecek.

Ayrıca, o3 modelinin ARC-AGI Testi'ndeki problemleri uygulama imkânına erişmiş olması, gelecek modellerin başarısını kolaylaştırabilir. Öte yandan ARC-AGI geliştiricileri, 2025 yılında daha zorlu bir dizi yeni kıyaslama testi başlatmayı planlamaktadır.