İşiniz İçin Hangi Yapay Zeka Modelini Kullanmanız Gerektiğini Nasıl Seçmelisiniz?

Üretken yapay zeka (İng: "generative AI") alanı, dil ve metinden, fotoğraf ve videoya kadar uzanan geniş bir yelpazede müthiş bir hızla ilerlemeye devam ediyor. Yalnızca 2023'te, alanındaki en gelişmiş dil modeli olan GPT'nin 4k'lık bir bağlam penceresinden 128k'ya büyüdüğünü ve performansta dikkate değer bir artış sağladığını gördük: MMLU ölçeğinde %16, HumanEval ölçeğindeyse %18 gelişme kaydetti!

Ayrıca, bu yıl, yüzlerce yetenekli açık kaynak modelinin piyasaya sürüldü: Mart 2023'te, Dolly'den MPT ve Vicuna'ya kadar her yeni model, alanı biraz daha ileri götürdü. Günümüzdeyse artık her geçen gün yeni bir model çıkıyor ve bunların birçoğu alanın dinamiklerini sarsacak kadar büyük başarı gösteriyor.

Bu yüzden bu alanı güncel bir şekilde takip etmek çok ama çok zor. Mesela dil modeli destekli bir işiniz varsa, bunu en iyi şekilde yerine getirmek için hangi modeli seçeceğinizi bilmek çok zor. Neyse ki, son birkaç ay içinde bu görevi biraz daha kolaylaştıran birkaç liderlik tablosu tanıtıldı.

Lider tabloları, modelleri verimliliklerine, doğruluklarına ve diğer ölçütlere göre sıralayarak, yeteneklerinin net ve karşılaştırmalı bir görüntüsünü sunar. Ayrıca bu tablolar, insan dilini anlamaktan görüntülerdeki nesneleri tanımaya kadar herhangi bir alanda hangi modellerin daha öne çıktığını belirlemek için değerli bir kaynak.

Bu yazımızda, geliştiricilere ve araştırmacılara görevleri için doğru dil modelini seçme konusunda rehberlik ederek doğru, verimli ve uygun maliyetli LLM uygulamaları başlatmalarını sağlamayı hedefleyeceğiz.

Model Seçiminde Kullanabileceğiniz Genel Kurallar

Herkes, tabii ki o anda "en iyi" model neyse onu kullanmak ister. Mesele şu ki, "en iyi" olarak tanımlanan şey görevinize göre değişebilir. Mesela GPT-4 gibi son teknoloji bir modeli basit bir özetleme görevi için kullanmak, bir vidayı yerinden sökmek için balyoz kullanmaya benzer şekilde aşırı kaçacaktır.

İhtiyaçlarınız için ideal modeli belirlemek, modellerin performansını, türünü, gecikme süresini ve maliyetini değerlendirmeyi gerektirir.

Performans Metrikleri

Dil modeli liderlik tablolarında ARC, HellaSwag, MMLU ve GSM8K gibi çeşitli ölçütler bulunur. Bunlar, dil modellerinin yeteneklerini değerlendirmek için akademide oluşturulmuş ölçütlerdir:

• Çok Görevli Çok Alanlı Dil Anlama (İng: "Multitask Multidomain Language Understanding" veya kısaca "MMLU"): Bu ölçüt, beşeri bilimler, sosyal bilimler, STEM ve ötesi dahil olmak üzere 57 farklı konuyu kapsayan metin modellerinin bilgisinin kapsamlı bir değerlendirmesini sunar. Büyük dil modellerindeki bilgi boşluklarını ve sınırlamalarını belirlemeye yarar.
• AI2 Reasoning Challenge (ARC): ARC, modellerin yalnızca bir cevap üretmenin ötesinde, daha derin bilgi ve muhakeme gerektiren karmaşık soruları yanıtlama kapasitesini değerlendirir. İlkokul fen bilimlerinden yaklaşık 7500 soruyla, muhakeme, sağduyu ve derinlemesine metin anlayışı talep ederek yapay zekadaki ilerlemeleri zorlar.
• HellaSwag: HellaSwag yapay zekada sağduyuyu, özellikle de cümleleri ve paragrafları mantıklı bir şekilde tamamlamayı değerlendirir. HellaSwag veri kümesindeki bir soru tipik olarak bir senaryonun mantıksal olarak nasıl devam edebileceğine dair çoktan seçmeli cevaplarla sunulmasını içerir. Örneğin, "Bir şef buzdolabını açıyor ve malzemeleri arıyor. Bir sonraki en makul eylem nedir? A) şef sebzeleri seçer, B) şef gazete okur, C) şef bir jetpack ile uçar, D) şef gitar çalar."
• TruthfulQA: Dil modellerinin çok çeşitli soruları yanıtlamadaki doğruluğunu ölçmek için oluşturulan bu ölçüt, eğitim verilerindeki yaygın yanlış anlamaları yansıtan yanıltıcı yanıtlara odaklanarak 38 kategoride 817 soruyu kapsar. Modellerin belirli bir görev ayarı olmadan yanlış veya yanıltıcı bilgi üretme eğilimini ölçmeyi amaçlamaktadır.

Liderlik tablolarını değerlendirirken, projenizin gereksinimleriyle ilgili ölçütlere öncelik verin. Örneğin, uygulamanız karmaşık soru cevaplama zorlukları için güçlü muhakeme becerileri gerektiriyorsa, ARC veri setinde üstün olan modelleri göz önünde bulundurun. Bir modelin yanlış bilgi üretme eğilimini ölçmek için TruthfulQA veya MMLU'daki performansını inceleyin. Bir modelin sağduyulu muhakeme uygulama becerisi hakkında fikir edinmek için HellaSwag puanları özellikle anlamlı olabilir. Bu kriterlerde daha yüksek bir puan genellikle ilgili alanlarda üstün performansa işaret eder.

Model Türleri

Farklı model türleri vardır: ön eğitimli, alana özgü veri kümeleri üzerinde ince ayarlı, MoE (Tür: "Uzmanların Karışımı", İng: "Mixture of Experts") ve sohbet modelleri. Ek eğitim olmadan hemen entegre edilebilecek bir model arıyorsanız, Llama 2 gibi önceden eğitilmiş bir model uygun olacaktır. Ancak, göreviniz çok spesifikse, ilgili veri kümeniz üzerinde ince ayarlanmış bir model daha iyi performans gösterebilir.

Gecikme ve Maliyet

Daha küçük modellerin barındırılması daha ucuzdur ve daha hızlı cevap üretir. Daha büyük modeller genellikle karmaşık görevler için daha yüksek kapasiteye sahiptir ancak barındırılması daha yavaş ve pahalıdır.

Stable LM gibi küçük, 1.5 milyar parametreli model, Nvidia A100 veya hatta yerel bir Mac gibi bir makinede saniyede düzinelerce token üretirken, Qwen 72b bir belleğe sığmakta zorlanır ve önemli ölçüde daha yavaş olur. Hesaplama bütçenize ve görevin karmaşıklığına bağlı olarak, daha küçük veya daha büyük bir model seçebilirsiniz. 

Float16, bfloat16, 8bit, 4bit ve GPTQ gibi hassasiyet türleri de modelin hesaplama verimliliğini etkiler. 8bit veya 4bit gibi daha düşük hassasiyetli modeller daha hızlı olabilir ve daha az bellek kullanabilir, bu da onları sınırlı kaynaklara sahip ortamlarda dağıtım için uygun hale getirir.

Açık LLM Liderlik Tablosu

Hugging Face'in Open LLM Leaderboard'u en popüler liderlik tablolarından biridir. Mixtral ve Yi gibi açık kaynaklı dil modellerinin yanı sıra Smaug ve Qwen gibi yeni modelleri de kıyaslamalar, model türleri ve model boyutları yelpazesinde sıralıyor. Ancak Gemini ve GPT gibi tescilli modellere yer vermiyor.

Açık kaynaklı LLM panosuna bakan bir yapay zeka geliştiricisi için tavsiyemiz şöyle olacaktır olacaktır:

• Belirli görev performansı, hesaplama verimliliği veya çok yönlülük gibi kullanım durumunuz için en önemli olan kriterleri tanımlayın.
• Filtreleme seçeneklerini kullanarak görevinizle ilgili kıyaslamalarda üstünlük gösteren modelleri daraltın.
• Modelin kullanılacağı yer bağlamında model boyutu ve hassasiyet arasındaki dengeleri göz önünde bulundurun: Daha hızlı, daha az yetenekli, daha küçük dil modellerine karşı daha büyük modeller gibi.
• Daha iyi performans için uygulamanızın etki alanına yakın veri kümeleri üzerinde ince ayar yapılmış modelleri arayın
• Hugging Face Model Merkezindeki modellerin lisansını ve kullanılabilirliğini kontrol edin, çünkü bu, onları nasıl kullanabileceğinizi etkileyecektir. Herhangi bir gelir elde ediyorsanız, ticari olarak izin verilmeyen bir model kullanılamaz.

Daha şimdiden bu liderlik tablosu binlerce model içeriyor ve gezinmeyi zorlaştırıyor. Filtreleme, seçenekleri daraltmaya yardımcı olsa da, çok büyük hacim yine de bunaltıcı olabilir. Bugünlerde bu liderlik tablosunu bir keşif aracı olarak kullanabilir, alanındaki en yeni ve en iyi modellerini ortaya çıkarabilir ve ardından ayrıntılı Hugging Face model kartlarına erişmek için isimlerine tıklayarak onları keşfedebilirsiniz.

Halüsinasyonlar Liderlik Tablosu

LLM'lerin daha yaygın bir şekilde benimsenmesini engelleyen en önemli zorluklardan biri, halüsinasyon görme eğilimleridir: Bir yapay zeka modelinin gerçek dünyaya ait gerçeklerden kopuk veya kullanıcının girdisinden farklı içerik üretmesine "halüsinasyon görme" diyoruz. Sürekli olarak yeni açık kaynaklı modeller piyasaya sürüldüğünden, halüsinasyon eğilimi daha düşük olanları belirlemek çok önemlidir.

Halüsinasyon Liderlik Tablosu, çeşitli LLM'leri halüsinasyon eğilimlerini değerlendirmek için uyarlanmış ölçütlerle karşılaştırmak için ayrıntılı bir genel bakış sağlayarak bu zorluğu azaltmayı amaçlamaktadır.

Bu, nispeten yeni bir gösterge tablosu; bu nedenle yakında daha fazla modelin ekleneceğini varsaymak doğru olur. Ama daha şimdiden birden fazla dil görevinde 7B modellerinin çoğunu içeriyor.

Chatbot Arenası

Open LLM Leaderboard'u alanındaki en iyi ve en yeni modelleri için keşif motoru olarak görürsek, Chatbot Arena da insan değerlendiriciler tarafından derecelendirilen en iyi modelleri keşfetmek için başvuracağınız yer olmalıdır.

Chatbot Arena, kullanıcı oylarını kitle kaynaklı, kör bir şekilde toplayarak dil modellerini değerlendiren bir web uygulamasıdır. Her turda, bir kullanıcı kendi seçtiği bir soruyu yazıp gönderiyor ve ardından farklı dil modellerinden iki jenerasyon geliyor. Kullanıcı daha sonra hangi modelin hangi yanıtı ürettiğini bilmeden daha iyi olduğunu düşündüğünü seçiyor.

Arena çalışanları, daha sonra toplanan 270 binden fazla oyu Elo derecelendirmelerini hesaplamak için kullanıyor. Elo sıralama sistemi aslında oyuncuların (bizim durumumuzda dil modellerinin) oyun becerilerini ölçerek satranç oyuncularını derecelendirmek için geliştirilmiştir. Oyuncular kazandıkları ya da kaybettikleri maçlara göre puan kazanır ya da kaybederler. Eğer bir oyuncu daha üst sıralarda yer alan birini yenerse, daha fazla puan kazanır. Daha düşük sıradaki bir oyuncuya yenilirlerse daha fazla puan kaybediyorlar.

Chatbot Arena liderlik tablosunun takdire şayan yanı, insan kullanıcılar tarafından sıralanıyor olması. Ancak bu aynı zamanda zayıf yönü: Kullanıcıların ne kadar çeşitli olduğunu, hangi görevleri/önermeleri sunduklarını (örneğin bir şiir oluşturmak) ve yönlendirme tekniklerinin ne kadar gelişmiş olduğunu kimse garanti etmiyor, bu da bir modelin muhtemelen daha iyi performans göstermesine neden oluyor.

Bununla birlikte, hem açık kaynaklı hem de tescilli modeller için güvenilir bir değerlendirme kaynağıdır ve en yetenekli modellere sağlam bir genel bakış sağlıyor.

MTEB Liderlik Tablosu 

Retrieval Augmented Generation (RAG), LLM destekli tüm uygulamalar için giderek daha popüler hale gelmektedir. RAG'nin temelinde, geleneksel dil modellerinin üretken yeteneklerini, bir yanıt oluşturmadan önce geniş bir metin külliyatından ilgili bilgileri almak için ek bir adımla artırma kavramı yatmaktadır.

Örneğin, bir API dokümantasyon sohbet robotu, bir geliştiricinin sorgusuna dayalı olarak en güncel ve ilgili teknik dokümantasyonu getirip birleştirmek için RAG'yi kullanacak ve böylece sohbet robotunun önceden eğitilmiş bilgi tabanının ötesine geçen bağlama özgü yanıtlar sağlayacaktır.

Yerleştirme modelleri, komut alma ve cevap oluşturma bileşenleri arasında köprü görevi görerek RAG'de çok önemli bir rol oynar. Bu modeller büyük miktarda metin verisini metnin anlamsal özünü yakalayan kompakt, yüksek boyutlu vektörlere dönüştürür. Bu nedenle, gömme modelleri, bilgi erişiminin kalitesini doğrudan etkilediğinden RAG uygulamalarının etkinliği için çok önemlidir ve bu da üretilen çıktının kalitesini etkiler.

MTEB liderlik tablosu (İng: "Multitask Text Embedding Benchmark"), çok çeşitli görevlerde çeşitli gömme modellerinin performansına ilişkin kapsamlı bir genel bakış sağlayarak geliştiricilerin kendi benzersiz uygulama ihtiyaçlarına göre farklı gömme modellerinin güçlü ve zayıf yönlerine dayalı bilinçli kararlar vermelerine olanak tanıyor.

Yapay Analiz ve Martian'ın Lider Tablosu 

Akademik kıyaslamalar giderek daha güvenilmez hale gelirken, bağımsız kıyaslamalar ve liderlik tabloları bu boşluğu doldurmaya çalışıyor.

2024'ün ilk birkaç ayında iki yeni liderlik tablosu tanıtıldı:

Artificial Analysis

Bu yeni web sitesi, tescilli ve açık kaynaklı en popüler dil modellerinin bağımsız bir analizini sunmayı amaçlıyor. Herhangi bir şirketle ilişkili değildir, dolayısıyla objektif kıyaslamalar sağlıyor. Amaç, yapay zeka geliştiricilerinin ve araştırmacılarının belirli bir görev için doğru modeli ve bu modele erişmek için doğru barındırma sağlayıcısını seçmelerine yardımcı olmak.

Google, OpenAI, Anthropic, Microsoft Azure, Together.ai, Mistral, Amazon Bedrock ve daha fazlası gibi sağlayıcıların API'lerini kapsıyor.

Kalite ve performans sizin asıl önceliklerinizse, size en çok yarayacak tablo "Yeteneğe göre kalite karşılaştırması"dır:

Yok eğer fiyat konusu daha önemliyse, "Fiyat" ve "Kaliteye Karşı Fiyat" tabloları model yetkinliği ve fiyat arasındaki dengeye ilişkin bilgiler sağlıyor. En performanslı ancak uygun fiyatlı modelleri içeren yeşil karedekileri kullanmak istemelisiniz

Son olarak, özellikle kullanıcıya yönelik uygulamalar için geçerli olan gecikme süresini önemsiyorsanız, "Toplam Yanıt Süresi" ve "Gecikmeye Karşı Verim" grafiklerine bakabilirsiniz.

"Gecikme", bir API isteğinin gönderilmesinden ilk token yığınının alınmasına kadar geçen süreyi ifade eder ve saniye cinsinden ölçülür. "Verim", ilk yığın teslim edildikten sonra alınan saniye başına token olarak hesaplanan token üretim oranını ölçer.

Martian'ın Lider Tablosu

Martian'ın Sağlayıcı Lider Tablosu, Together, Replicate ve OpenAI dahil olmak üzere LLM sağlayıcılarının performansını değerlendirmek için günlük olarak güncellenen ölçümler sunuyor. Özel gereksinimlerinize uyacak şekilde filtreleri ve sıralama seçeneklerini özelleştirmenize olanak tanıyor.

Bu tablo aslen sadece maliyet ve gecikmeyi kapsıyor, bu nedenle Artificial Analysis'ten daha az kapsamlıdır, ancak daha fazla model içerdiği için de daha kullanışlı olabiliyor.

LLM Güvenlik Liderlik Tablosu

Hugging Face'in kısa süre önce yayınladığı bir başka liderlik tablosu olan LLM Güvenlik Liderlik Tablosu, yapay zeka araştırmacılarının ve geliştiricilerinin popüler dil modellerinin yeteneklerini, sınırlamalarını ve potansiyel risklerini daha iyi anlamalarına yardımcı olmak için LLM güvenliği için birleşik bir değerlendirme sağlar.

Farklı modelleri değerlendiren veya sağlık hizmetleri gibi hassas bir alanda faaliyet gösteren bir kuruluşsanız, bu gösterge tablosu hangi modellerin olumsuzluklarda iyi performans gösterdiğine dair iyi bir fikir verir.

Kurumsal Senaryolar Liderlik Tablosu

Kurumsal Senaryolar Liderlik Tablosu, finans, hukuk, müşteri destek diyaloğu, kurumsal Kişisel olarak tanımlanabilir bilgiler (İng: "Personally identifiable information" veya kısaca "PII"), toksisite ve yaratıcı yazarlık gibi çeşitli görevleri kapsayan altı kıyaslama üzerinden dil modellerinin gerçek dünyadaki kurumsal kullanım durumları üzerindeki performansını değerlendirir. Farklı görevler ve ölçütler hakkında daha fazla bilgiyi buradan alabilirsiniz. 

Çoğu test seti, model sağlayıcıların liderlik tablosunda oyun oynamasını önlemek için kapalı kaynaklıdır.

Bu liderlik tablosundan yararlanmak için, özel kullanım durumunuzla en alakalı göreve göre tabloya öncelik vermenizi tavsiye ederiz. Örneğin, finansla ilgili bir uygulama geliştiriyorsanız FinanceBench'e odaklanabilirsiniz.

Bu liderlik tablosu daha çok yeni olduğu çin henüz emekleme aşamasındadır. Yakın gelecekte daha geniş bir model yelpazesinin ekleneceğini ve değerlendirileceğini öngörmek çok da zor değil.

Diğer Liderlik Tabloları

Kayda değer diğer iki liderlik tablosu ise Speech Leaderboard ve Toolbench'tir.

Konuşma Lider Tablosu (İng: "Speech Leaderboard"), Nvidia'nın yakın zamanda piyasaya sürdüğü Parakeet ve Whisper Large 2 gibi yeni açık kaynaklı son teknoloji konuşma2metin modelleri hakkında bilgi edinmek için mükemmel bir kaynaktır. Ortalama "WER" (Kelime Hata Oranı) ne kadar düşükse o kadar iyidir.

ToolBench ise dil modellerinin API işlev çağrıları üretme becerisinin sıkıştırılmış bir değerlendirmesini sağlar. İşlev çağrısı, dil modellerinin en güçlü becerilerinden biridir ve modelin bir istek veya komuta yanıt olarak işlev olarak bilinen belirli bir talimat kümesini veya bir alt rutini yürütmesini sağlar.

Bu, LLM'nin temel metin oluşturma yeteneklerinin ötesinde hesaplamalar, veri alma veya harici araçları çalıştırma gibi özel görevleri yerine getirmek için kullanışlıdır. Her üretim sınıfı LLM uygulamasının muhtemelen bir veya daha fazla özelleştirilmiş işlevi vardır. Örneğin, bir kullanıcı belirli bir şehirdeki mevcut hava durumunu sorduğunda, LLM bir hava durumu API'sine erişen, o şehir için en son hava durumu verilerini alan ve ardından bu bilgileri kullanıcıya anlaşılır bir biçimde döndüren bir işlevi çağırır.

Değerlendirme, Liderlik Tablolarını Okumaktan Önemlidir!

İş akışınız ve görevleriniz için doğru dil modelini seçmek, birkaç liderlik tablosunu incelemekten tabii ki çok daha karmaşıktır. Bu yazıda ele alınan lider tabloları, ortamı ve hangi modellerin ilginizi çektiğini anlamak için harika giriş noktalarıdır, ancak gerçek şu ki değerlendirme göreve özgüdür.

Her şirketin, her araştırma laboratuvarının kendine özgü görevleri, standartları, yazım tarzları ve benzerleri vardır. Akademik kıyaslamalara dayanarak genelleme yapmak, kurumsal yapay zekanın benimsenmesini artırmanın yolu değildir. Çünkü endüstri, araştırma topluluğunun etkisinde kalmış haldedir.

Yani asıl yapılması gereken, kıyaslama odaklı değil, göreve özel araçlar seçmektir.