Text

Cum se construiește clasamentul

Baza este arena de text LMArena, categoria generală. Cineva trimite o întrebare, două modele anonime răspund, iar persoana votează răspunsul care i se pare mai bun; abia apoi se afișează numele modelelor. Din foarte multe astfel de dueluri rezultă un scor de tip Elo, ca la șah.

Fiecare rând adaugă la scor date din alte surse: producătorul, marcajul pentru ponderi deschise, cel mai mic preț actual per 1M de tokeni la intrare și la ieșire, fereastra de context, evoluția prețului în ultimele 30 de zile și, dacă producătorul are o aplicație în catalogul nostru, un link de descărcare.

Cum citiți un rând

• Tier: litera noastră, de la S la D.
• Elo cu bară: bara arată intervalul de încredere de 95%. Dacă intervalele a două modele se suprapun, diferența dintre ele nu este clară statistic.
• Preț: cea mai mică ofertă găsită la furnizori în ziua datelor, în USD, separat pentru intrare și ieșire.
• Context: câți tokeni primește modelul într-o cerere.

Un clic pe rând deschide detaliile: furnizorii de la cel mai ieftin, modalitățile, ieșirea maximă, numărul de voturi, locul la sursă, licența, data lansării și limita cunoștințelor. Căsuța „Comparare” adaugă modelul în comparația de până la 4 modele.

Cum stabilim tier-urile

Intră în calcul modelele cu cel puțin 300 de voturi. Locul unui model este 1 plus numărul modelelor al căror interval de 95% se află în întregime deasupra intervalului său. Împărțim locul la numărul de modele: sub 10% — S, sub 30% — A, sub 60% — B, sub 85% — C, restul — D. Modelele la egalitate statistică cu modelul de pe locul întâi împart acel loc, de aceea în tier-ul S pot fi mai multe modele. Un model cu mai puține voturi apare cu mențiunea „Fără tier deocamdată”.

Prețul și calculatorul

Filtrele „Ponderi deschise”, „Gratuit” și „Preț mic” restrâng lista; „Preț mic” înseamnă aici un preț combinat sub 1 USD per 1M de tokeni. Calculatorul „Cost pe lună” estimează costul după numărul de tokeni pe lună și ponderea intrării, iar graficul „Calitate și preț” pune scorul lângă prețul combinat, calculat din 3 părți intrare la 1 parte ieșire.

Limitele clasamentului

Scorul reflectă preferințele utilizatorilor arenei, cu întrebări mai ales în engleză. El nu măsoară viteza, costul sau o sarcină anume. Prețul furnizorului poate diferi de cel al producătorului: reducerile pentru cache, procesarea în lot și prețurile regionale nu apar în tabel.