Przejdź do treści
fedi.software

Programowanie

Modele uszeregowane na zadaniach programistycznych: tier, Elo z przedziałem ufności, cena za milion tokenów i okno kontekstu.

Zaktualizowano · Źródła: LMArena, LiteLLM, models.dev

Koszt miesięczny
Tier Model Elo Wejście / wyjście, za 1M Miesięcznie Kontekst Aplikacja Porównaj
S1 4970,75 USD / 6 USD 1M
S1 4950,2462 USD / 1,23 USD 1M
S1 4940,6154 USD / 3,08 USD 1M
S1 4930,3892 USD / 2,34 USD 1M
S1 4900,1231 USD / 0,6154 USD 1M
S1 4850,1231 USD / 0,7385 USD 1M
S1 4820,1557 USD / 0,7784 USD 1M
A1 4670,0123 USD / 0,0738 USD 1M
A1 4531,07 USD / 8,50 USD 400K
A1 4508 USD / 40 USD 1M
A1 4480,1231 USD / 0,6154 USD 1M
A1 4461,75 USD / 14 USD 112K
A1 4420,25 USD / 2 USD 128K
A1 4402 USD / 10 USD 1M
A1 4380,375 USD / 4 USD 400K
A1 4361,07 USD / 8,50 USD 400K
A1 4340,04 USD / 0,20 USD 1M
B1 4134,50 USD / 14 USD 128K
B1 4071,82 USD / 7,27 USD 200K
B1 4071,60 USD / 13 USD 128K
B1 4060,04 USD / 0,29 USD 400K
B1 4040,1818 USD / 1,14 USD 400K
B1 3911,82 USD / 7,27 USD 1M
B1 382— —
B1 3790,0291 USD / 0,1455 USD 131K
B1 374— —
B1 3680,99 USD / 4 USD 200K
B1 3670,3636 USD / 1,45 USD 1M
B1 36714 USD / 54 USD 200K
B1 3630,99 USD / 4 USD 200K
B1 3621,10 USD / 4,40 USD 128K
B1 3520,0455 USD / 0,3636 USD 400K
B1 312— —
B1 312— —
B1 3060,009 USD / 0,045 USDZa darmo 131K
B1 3060,09 USD / 0,36 USD 1M
B1 2975 USD / 15 USD 128K
B1 2900,15 USD / 0,60 USD 128K
C1 2832,27 USD / 9,09 USD 128K
C1 2689 USD / 27 USD 128K
C1 267— —
C1 2310,056 USD / 0,112 USD 16K
C1 230— —
C1 20930 USD / 60 USD 8K
C1 190— —
C1 169— —
C1 164— —
C1 159— —
C1 143— —
C1 1360,45 USD / 1,40 USD 16K
C1 132— —
C1 129— —
C1 116— —
C1 113— —
C1 112— —
C1 097— —
D1 089— —
D1 081— —
D1 080— —
D1 078— —
D1 064— —
–1 053— —
D1 048— —
D1 045— —
D1 041— —
–1 039— —
D1 035— —
D1 010— —
D1 001— —
–995— —
D945— —
D928— —
D913— —
D900— —
D886— —
D799— —
D776— —
D764— —
Porównaj ()

Tiery są nasze: miejsce modelu w rankingu liczone tylko względem modeli, których cały przedział ufności leży powyżej. S — górne 10%, A — do 30%, B — do 60%, C — do 85%, D — reszta.

Jakość a cena ocena w pionie, cena łączona (3 części wejścia : 1 wyjścia) w poziomie, USD za 1M tokenów
1 000 1 200 1 400 1 600 0,01 USD 0,10 USD 1 USD 10 USD 100 USD Gemini 4 Carbon Gemini 4 Neon Claude Opus 5.5

Co mierzy ten ranking

Ranking programistyczny korzysta z kategorii „coding” areny tekstowej LMArena. Metoda jest ta sama co w rankingu ogólnym – ślepe głosowanie między dwiema anonimowymi odpowiedziami, przeliczane na ocenę Elo – ale liczą się wyłącznie pytania dotyczące kodu. Model, który świetnie prowadzi rozmowę, może tu zająć inne miejsce, bo ludzie oceniają co innego: poprawność kodu, jasność wyjaśnień i to, czy rozwiązanie w ogóle da się uruchomić.

Kolumny tabeli

  • tier liczony według tej samej zasady co w rankingu tekstowym: co najmniej 300 głosów, 95-procentowy przedział ufności i progi 10, 30, 60 i 85%;
  • ocena Elo z paskiem przedziału;
  • cena za 1M tokenów wejścia i wyjścia – minimalna znaleziona u dostawców;
  • okno kontekstu i zmiana ceny w ciągu 30 dni;
  • kalkulator, wykres „Jakość a cena” i pole porównania do 4 modeli.

Jak wybrać model do kodu

Zacznij od tieru, a nie od pojedynczego miejsca: modele w tym samym tierze różnią się w granicach błędu statystycznego. Potem zestaw okno kontekstu z ceną. Jeśli chcesz, by model pracował na całym repozytorium, długi kontekst ma większe znaczenie niż kilka punktów Elo, ale każde zapytanie z dużym kontekstem więcej kosztuje. Kalkulator „Koszt miesięczny” pomoże oszacować wydatki przy twoim wolumenie tokenów.

Granice tej oceny

Arena ocenia odpowiedzi na czacie o kodzie. To nie to samo, co uruchamianie testów na prawdziwym projekcie. Budowanie całych aplikacji webowych ma osobny ranking WebDev, a wieloetapową pracę z narzędziami – ranking agentów. Jeśli wybierasz model do agenta programistycznego, sprawdź wszystkie trzy i porównaj je na stronie porównania. Ocena pochodzi z pytań zadawanych przez użytkowników areny, w większości po angielsku, więc nie odzwierciedla każdego języka programowania ani każdej dziedziny. Najpewniejszą weryfikacją pozostaje krótki test na twoim własnym kodzie.