Seviyeler bizim hesabımızdır: bir modelin sıralamadaki yeri, yalnızca güven aralığının tamamı onun üzerinde olan modeller sayılarak belirlenir. S — ilk %10, A — %30'a kadar, B — %60'a kadar, C — %85'e kadar, D — geri kalanlar.
Kalite ve fiyatdikeyde puan, yatayda karma fiyat (3 birim girdi : 1 birim çıktı), 1 milyon token başına USD
Web geliştirme sıralaması, LMArena'nın WebDev arenasından gelir ve metin arenasından biraz farklı işler. Burada iki model aynı istemi alır, örneğin «filtreli bir yapılacaklar listesi yap», ve her biri çalışan bir web uygulaması kurar. İstemi yazan kişi iki sürümü de dener ve hangi modelin arkada olduğunu bilmeden beğendiğine oy verir.
Oylar neyi ödüllendiriyor?
Oy, yalnızca kod stiline değil bütün sonuca verilir. Aynı anda birkaç şey etkili olur:
uygulamanın açılıp istenen işi yapması;
sayfa düzeninin nasıl göründüğü;
modelin istemdeki tüm talimatlara uyması;
sonucu üreten kodun kalitesi.
Bu karşılaşmalardan %95 güven aralıklı bir Elo puanı hesaplanır. Her satırdaki çubuk bu aralığı gösterir; iki çubuk örtüşüyorsa modeller arasındaki fark belirsizdir.
Tabloyu kullanmanın üç adımı
Seviyeye bakın. Aynı harfi taşıyan modeller birbirinden net biçimde ayrılmaz.
Fiyatı kontrol edin. Sütunlar metin tablosuyla aynıdır: 1M token başına girdi ve çıktı fiyatı, 30 günlük değişim ve bağlam. «Düşük fiyat» sınırı 1M token başına 1 USD'dir.
Maliyeti hesaplayın. «Aylık maliyet» hesaplayıcısı ve 3 : 1 karma fiyatla çizilen «Kalite ve fiyat» grafiği adayları daraltmanıza yardım eder.
Kendi model grubu olan bir tablo
WebDev arenasının model listesi metin ve kodlama tablolarından farklıdır. Bazı modeller üçünde de vardır, bazıları yalnızca birinde. Fiyatlar models.dev ve LiteLLM'den gelir. Seviye kuralı bölümün tamamındakiyle aynıdır: en az 300 oy gerekir, aksi hâlde «Henüz seviye yok» görünür; harfler %10, %30, %60 ve %85 eşikleriyle dağıtılır.
Sınırlar
Arenadaki uygulamalar küçüktür: tek sayfa, basit bir oyun, bir panel. Çok dosyalı ve bağımlılıklı büyük projeler değerlendirilmez. Buradaki iyi bir sıra, modelin hızlı prototiplerde başarılı olduğunu gösterir ama geniş bir kod tabanını sürdürebileceğini garanti etmez. Bunun için kendi deponuzla bir kodlama ajanı deneyin.