Przejdź do treści
fedi.software

Programowanie

Modele uszeregowane na zadaniach programistycznych: tier, Elo z przedziałem ufności, cena za milion tokenów i okno kontekstu.

Zaktualizowano · Źródła: LMArena, LiteLLM, models.dev

Koszt miesięczny
Tier Model Elo Wejście / wyjście, za 1M Miesięcznie Kontekst Aplikacja Porównaj
S1 5642 USD / 10 USD 1M
S1 5553 USD / 15 USD 1M
S1 5390,60 USD / 3 USD 1M
S1 5121,50 USD / 7,50 USD 1M
S1 5090,3429 USD / 1,71 USD 1M
S1 5031,54 USD / 4,63 USD 1M
S1 5030,03 USD / 0,12 USDZa darmo 1M
S1 5010,3429 USD / 1,71 USD 1M
S1 4970,825 USD / 2,48 USD 1M
S1 4930,1857 USD / 1,11 USD 1M
S1 4910,3429 USD / 1,71 USD 1M
S1 487— —
S1 4831,18 USD / 5,30 USD 1M
S1 4810,57 USD / 3,43 USD 1M
S1 4810,045 USD / 0,32 USD 262K
A1 4720,228 USD / 0,92 USD 1M
S1 4701,04 USD / 6,24 USD 262K
A1 4690,348 USD / 0,696 USD 1M
A1 4670,2593 USD / 1,54 USD 1M
A1 4640,1644 USD / 0,9864 USD 262K
A1 4600,07 USD / 0,43 USD 1M
A1 4590,10 USD / 0,25 USDZa darmo 262K
A1 4570,076 USD / 0,153 USD 1M
A1 4560,36 USD / 1,43 USD 262K
A1 4540,2174 USD / 0,326 USD 164K
A1 4540,225 USD / 1,88 USD 1M
A1 4520,87 USD / 7 USD 1M
A1 4470,0354 USD / 0,0943 USDZa darmo 262K
A1 4450,09 USD / 0,10 USD 131K
A1 4400,144 USD / 0,574 USD 131K
A1 4390,22 USD / 0,33 USD 164K
A1 4390,20 USD / 0,88 USD 131K
A1 4360,1126 USD / 0,9008 USD 262K
A1 4270,20 USD / 0,80 USD 164K
A1 4260,0846 USD / 0,6768 USD 262K
A1 4260,27 USD / 1 USD 128K
A1 4260,287 USD / 2,87 USD 131K
A1 4250,11 USD / 0,60 USD 131K
B1 4230,09 USD / 0,71 USD 1M
B1 4170,19 USD / 0,71 USD 164K
B1 4160,09 USD / 0,30 USD 256K
B1 4130,20 USD / 0,80 USD 262K
B1 4120,0282 USD / 0,282 USD 1M
B1 4100,0564 USD / 0,4512 USD 262K
B1 4000,125 USD / 0,75 USD 1M
B1 3920,15 USD / 1,20 USD 131K
B1 3730,10 USD / 0,10 USD 1M
B1 3710,55 USD / 2,20 USD 80K
B1 3680,15 USD / 0,60 USD 164K
B1 359— —
B1 3570,08 USD / 0,28 USD 131K
B1 3500,10 USD / 0,42 USD 990K
B1 3370,076 USD / 0,228 USD 41K
B1 3330,40 USD / 0,40 USD 24K
B1 3280,115 USD / 0,287 USD 1M
B1 3220,064 USD / 0,128 USD 131K
B1 3220,052 USD / 0,21 USD 990K
B1 314— —
B1 309— —
B1 294— —
B1 2920,11 USD / 0,38 USD 131K
B1 2880,345 USD / 1,38 USD 33K
B1 2810,04 USD / 0,12 USDZa darmo 131K
C1 2760,06 USD / 0,20 USD 33K
C1 261— —
C1 255— —
C1 251— 33K
C1 2300,04 USD / 0,05 USDZa darmo 131K
C1 218— —
C1 2110,65 USD / 0,65 USD 8K
C1 191— —
C1 184— —
C1 1730,20 USD / 0,20 USD 8K
C1 165— —
C1 155— —
C1 138— —
C1 1082 USD / 10 USD 1M
C1 107— —
C1 095— —
D1 084— —
D1 071— —
D1 0480,15 USD / 0,15 USD 8K
D1 034— —
D1 010— —
D999— —
D994— —
Porównaj ()

Tiery są nasze: miejsce modelu w rankingu liczone tylko względem modeli, których cały przedział ufności leży powyżej. S — górne 10%, A — do 30%, B — do 60%, C — do 85%, D — reszta.

Jakość a cena ocena w pionie, cena łączona (3 części wejścia : 1 wyjścia) w poziomie, USD za 1M tokenów
1 000 1 200 1 400 1 600 0,01 USD 0,10 USD 1 USD 10 USD 100 USD Gemini 4 Carbon Gemini 4 Neon Claude Opus 5.5

Co mierzy ten ranking

Ranking programistyczny korzysta z kategorii „coding” areny tekstowej LMArena. Metoda jest ta sama co w rankingu ogólnym – ślepe głosowanie między dwiema anonimowymi odpowiedziami, przeliczane na ocenę Elo – ale liczą się wyłącznie pytania dotyczące kodu. Model, który świetnie prowadzi rozmowę, może tu zająć inne miejsce, bo ludzie oceniają co innego: poprawność kodu, jasność wyjaśnień i to, czy rozwiązanie w ogóle da się uruchomić.

Kolumny tabeli

  • tier liczony według tej samej zasady co w rankingu tekstowym: co najmniej 300 głosów, 95-procentowy przedział ufności i progi 10, 30, 60 i 85%;
  • ocena Elo z paskiem przedziału;
  • cena za 1M tokenów wejścia i wyjścia – minimalna znaleziona u dostawców;
  • okno kontekstu i zmiana ceny w ciągu 30 dni;
  • kalkulator, wykres „Jakość a cena” i pole porównania do 4 modeli.

Jak wybrać model do kodu

Zacznij od tieru, a nie od pojedynczego miejsca: modele w tym samym tierze różnią się w granicach błędu statystycznego. Potem zestaw okno kontekstu z ceną. Jeśli chcesz, by model pracował na całym repozytorium, długi kontekst ma większe znaczenie niż kilka punktów Elo, ale każde zapytanie z dużym kontekstem więcej kosztuje. Kalkulator „Koszt miesięczny” pomoże oszacować wydatki przy twoim wolumenie tokenów.

Granice tej oceny

Arena ocenia odpowiedzi na czacie o kodzie. To nie to samo, co uruchamianie testów na prawdziwym projekcie. Budowanie całych aplikacji webowych ma osobny ranking WebDev, a wieloetapową pracę z narzędziami – ranking agentów. Jeśli wybierasz model do agenta programistycznego, sprawdź wszystkie trzy i porównaj je na stronie porównania. Ocena pochodzi z pytań zadawanych przez użytkowników areny, w większości po angielsku, więc nie odzwierciedla każdego języka programowania ani każdej dziedziny. Najpewniejszą weryfikacją pozostaje krótki test na twoim własnym kodzie.