Tekst

Jak powstaje ranking

Podstawą jest arena tekstowa LMArena w kategorii ogólnej. Ktoś wysyła pytanie, dwa anonimowe modele odpowiadają, a człowiek głosuje na lepszą odpowiedź – dopiero potem widzi nazwy modeli. Z bardzo wielu takich pojedynków powstaje ocena w stylu Elo, znanym z rankingu szachistów.

Do oceny dokładamy dane z innych źródeł: producenta, oznaczenie otwartych wag, aktualną minimalną cenę za 1M tokenów wejścia i wyjścia, okno kontekstu, zmianę ceny w ciągu 30 dni oraz link do pobrania aplikacji, jeśli producent ma ją w naszym katalogu.

Jak czytać wiersz tabeli

• Tier – nasza litera od S do D.
• Elo z paskiem – pasek to 95-procentowy przedział ufności. Jeśli przedziały dwóch modeli na siebie zachodzą, różnica między nimi nie jest statystycznie pewna.
• Cena – minimalna oferta znaleziona u dostawców w dniu danych, w USD, osobno dla wejścia i wyjścia.
• Kontekst – ile tokenów model przyjmie w jednym zapytaniu.

Kliknięcie wiersza rozwija szczegóły: dostawców uszeregowanych od ceny minimalnej, modalności, maksymalną długość odpowiedzi, liczbę głosów, miejsce w źródle, licencję, datę premiery i datę granicy wiedzy. Pole „Porównaj” dodaje model do zestawienia do 4 pozycji.

Skąd biorą się tiery

Liczymy tylko modele z co najmniej 300 głosami. Miejsce modelu to 1 plus liczba modeli, których cały 95-procentowy przedział leży powyżej jego przedziału. Miejsce dzielimy przez liczbę modeli: poniżej 10% – S, poniżej 30% – A, poniżej 60% – B, poniżej 85% – C, reszta – D. Modele statystycznie zrównane z pierwszym modelem dzielą z nim pierwsze miejsce, dlatego w S bywa kilka pozycji. Model z mniejszą liczbą głosów ma oznaczenie „Jeszcze bez tieru”.

Ceny i kalkulator

Filtry „Otwarte wagi”, „Darmowy” i „Niska cena” zawężają listę; „Niska cena” oznacza tu cenę łączoną poniżej 1 USD za 1M tokenów. Kalkulator „Koszt miesięczny” liczy wydatki na podstawie liczby tokenów w miesiącu i udziału wejścia, a wykres „Jakość a cena” zestawia ocenę z ceną łączoną w proporcji 3 części wejścia do 1 części wyjścia.

Czego ranking nie mówi

Ocena to preferencje użytkowników areny, w większości piszących po angielsku. Nie mierzy szybkości, kosztu ani skuteczności w twoim konkretnym zadaniu. Cena u dostawcy może się też różnić od ceny producenta – rabaty za cache, przetwarzanie wsadowe i ceny regionalne nie są pokazywane.