OpenAI'ın Yeni Çıkacak "Orion" Modeli, GPT-4 Üzerine Pek Bir Şey Koyamayacak!

The Information, OpenAI'nin kod adı "Orion" olan bir sonraki büyük dil modelinin beklenenden çok daha küçük performans artışları sağladığını bildirdi.^[1] GPT-4 ve Orion arasındaki kalite iyileştirmesi, GPT-3 ve GPT-4 arasında gördüğümüzden çok daha az olacak gibi...

Dahası, The Information'ın kaynaklarına göre Orion, programlama gibi alanlarda selefi GPT-4'ü istikrarlı olarak da geçemiyor ve yalnızca dil yeteneklerinde gelişme gösteriyor. Modelin veri merkezlerinde çalıştırılması da önceki sürümlere göre daha maliyetli olacağa benziyor.

Eğitim Materyalleri Tükeniyor!

OpenAI araştırmacıları yavaşlamanın bir nedeni olarak yüksek kaliteli eğitim verilerinin yetersizliğine işaret ediyor. Kamuya açık metinlerin ve verilerin çoğu zaten kullanılmış durumda. The Information'ın haberine göre, OpenAI buna karşılık olarak Nick Ryder liderliğinde bir "Temeller Ekibi" oluşturdu.

Bu, CEO Sam Altman'ın Haziran 2024'te yaptığı, yeterli miktarda veri mevcut olsa da, odak noktasının daha az veriden daha fazlasını öğrenmeye kayacağı açıklamasıyla da uyumlu. Şirket, bu açığı kapatmaya yardımcı olmak için yapay zeka modelleri tarafından üretilen sentetik verileri (eğitim materyalleri) kullanmayı planlıyor.

The Information, Orion'un, GPT-4 ve OpenAI'nin yeni "akıl yürütme" modeli o1'den elde edilen sentetik veriler üzerinde kısmen eğitildiğini belirtiyor. Ancak bir OpenAI çalışanına göre bu yaklaşım, yeni modelin sadece "belirli yönlerden eski modellere benzemesi" riskini taşıyor.

LLM'deki Durgunluk, Sektör İçin Bir Zorluk Teşkil Ediyor!

Büyük Dil Modelleri (İng: "Large Language Model" veya kısaca "LLM") ilerlemesindeki yavaşlama OpenAI'nin da ötesine geçiyor. The Verge kısa süre önce Google'ın yakında çıkacak Gemini 2.0'ın şirket içi hedeflerin gerisinde kaldığını bildirdi. Anthropic'in, muhtemelen kullanıcıları ve yatırımcıları hayal kırıklığına uğratmaktan kaçınmak için amiral gemisi Opus'un 3.5 sürümünün geliştirilmesini durdurduğu ve bunun yerine geliştirilmiş bir Sonnet yayınladığı söyleniyor.

Açık kaynaklı modellerin son 18 ayda milyar dolarlık tescilli modellere yetişmesi, sektör genelindeki bu duraksamayı daha da belirginleştiriyor. Büyük teknoloji şirketleri devasa yatırımlarını etkin bir şekilde daha iyi yapay zeka performansına dönüştürebilseydi bu ilerleme pek mümkün olmazdı.

Maxime Labonne

Ancak yakın zamanda verdiği ve aşağıdan izleyebileceğiniz bir röportajda, OpenAI CEO'su Sam Altman iyimserliğini korudu. "Yapay genel zeka"ya (AGI) giden yolun açık olduğunu ve ihtiyaç duyulan şeyin mevcut modellerin yaratıcı bir şekilde kullanılması olduğunu söyledi. Altman, LLM'lerin o1 ve ajansal yapay zeka gibi muhakeme yaklaşımlarıyla kombinasyonuna atıfta bulunuyor olabilir.

OpenAI'de önde gelen bir yapay zeka geliştiricisi ve o1'in oluşturulmasına yardımcı olan eski Meta çalışanı Noam Brown, Altman'ın açıklamasının çoğu OpenAI araştırmacısının görüşlerini yansıttığını söylüyor.

Yeni o1 modeli yeni ölçeklendirme fırsatları yaratmayı amaçlıyor. Odak noktasını eğitimden çıkarsamaya, yani yapay zeka modellerinin görevleri tamamlamak için sahip olduğu hesaplama süresine kaydırıyor. Brown bu yaklaşımın "ölçeklendirme için yeni bir boyut" olduğuna inanıyor.

Ancak bunun için milyarlarca dolar ve önemli miktarda enerji kullanımı gerekecek. Bu, önümüzdeki aylar için kilit bir endüstri sorusu: Her zamankinden daha güçlü yapay zeka modelleri ve bunların ihtiyaç duyduğu devasa veri merkezleri inşa etmek ekonomik ve çevresel açıdan mantıklı mı? OpenAI öyle düşünüyor gibi görünüyor.

AlphaProof'taki Gemini-LLM "Büyük Oranda Kozmetik" İdi!

Google yapay zeka uzmanı François Chollet ise, matematiksel görevler için dil modellerinin ölçeklendirilmesini eleştiriyor. Matematiksel ölçütlerdeki ilerlemenin yapay genel zekanın kanıtı olarak gösterilmesini "özellikle aptalca" olarak nitelendiriyor.

Chollet, ampirik verilerin derin öğrenme ve büyük dil modellerinin matematik problemlerini bağımsız olarak çözemeyeceğini gösterdiğini savunuyor. Bunun yerine, dil modellerinin yaptığı gibi olası yanıtları tahmin etmek yerine çeşitli çözüm yollarını kontrol eden sistematik yaklaşımlar olan ayrık arama yöntemlerine ihtiyaç duyduklarını söylüyor.

Ayrıca, dil modelleriyle ilgisi olmayan durumlarda bile "LLM" tabirinin mevcut tüm yapay zeka gelişmeleri için bir pazarlama terimi olarak kullanılmasını da eleştiriyor. Örneğin Gemini'nin Google Deepmind'ın AlphaProof'una entegrasyonunun "temelde kozmetik ve pazarlama amaçlı" olduğunu belirtiyor.