Kodlama

Burada tam olarak ne sıralanıyor?

LMArena metin arenasının kodlama kategorisi. Yöntem genel sıralamayla aynıdır: insanlar adı gizli iki yanıt arasında kör oy verir, ancak burada yalnızca kodla ilgili istemler sayılır. «Bu SQL sorgusu neden hata veriyor?» ya da «bu fonksiyonu Python'da yeniden yaz» gibi sorular bu tabloya düşer. Sonuç, %95 güven aralığıyla birlikte bir Elo puanıdır.

Web geliştirme ve ajan tablolarından farkı ne?

Bu tablo, kod üzerine bir sohbetteki yanıtları değerlendirir. Tek bir istemden eksiksiz bir web uygulaması kurmak web geliştirme sıralamasında, araç kullanan çok adımlı işler ise ajanlar sıralamasında ölçülür. Bir model birinde iyi, diğerinde daha zayıf olabilir; çalışma biçiminize yakın olan tabloya bakın.

Hangi sütunlar var?

• Seviye ve aralık çubuğuyla Elo.
• 1M token başına girdi ve çıktı fiyatı ile 30 günlük değişimi.
• Bağlam penceresi.
• «Aylık maliyet» hesaplayıcısı, «Kalite ve fiyat» grafiği ve karşılaştırma kutucuğu.

Fiyatlar models.dev ve LiteLLM'den gelir. «Düşük fiyat» etiketi, 1M token başına karma fiyatı 1 USD'nin altında kalan modellerde görünür.

Bağlam penceresine neden bakmalı?

Modelin tüm bir depo üzerinde çalışmasını istiyorsanız, bağlam penceresi tek istekte ne kadar kodun sığacağını belirler. Pahalı ama geniş pencereli bir model, daha ucuz bir modelle yapılan iki istekten pahalıya gelebilir; tersi de olabilir. Bu yüzden bağlamı fiyatın hemen yanında okuyun ve hesaplayıcıda kendi hacminizle deneyin.

Seviyeler nasıl verilir?

Metin tablosundakiyle aynı biçimde: yalnızca en az 300 oy alan modeller girer, diğerlerinde «Henüz seviye yok» yazar. Sıra, aralığı tamamen üstte kalan modellerin sayısına göre belirlenir; harfler %10, %30, %60 ve %85 eşikleriyle dağıtılır.

Seçim için bu tablo yeterli mi?

Tam olarak değil. Kod üzerine sohbette iyi yanıt vermek, gerçek bir projenin testlerini geçmekle aynı şey değildir. Tabloyu kısa bir liste çıkarmak için kullanın, ardından adayları kendi kodunuzla deneyin ya da yan yana karşılaştırın.