Przejdź do treści
fedi.software

Programowanie

Modele uszeregowane na zadaniach programistycznych: tier, Elo z przedziałem ufności, cena za milion tokenów i okno kontekstu.

Zaktualizowano · Źródła: LMArena, LiteLLM, models.dev

Koszt miesięczny
Tier Model Elo Wejście / wyjście, za 1M Miesięcznie Kontekst Aplikacja Porównaj
S1 5642 USD / 10 USD 1M
S1 5553 USD / 15 USD 1M
S1 5440,8999 USD / 4,50 USD 1M
S1 5390,60 USD / 3 USD 1M
S1 5340,2828 USD / 0,5655 USD 1M
S1 5343,25 USD / 16,25 USD 1M
S1 5321,17 USD / 5,84 USD 1M
S1 5273,85 USD / 19,23 USD 1M
S1 5234 USD / 20 USD 1M
S1 5191,17 USD / 5,84 USD 1M
S1 5183 USD / 18,50 USD 1M
S1 5121,50 USD / 7,50 USD 1M
S1 5100,10 USD / 0,20 USD 1M
S1 5090,3429 USD / 1,71 USD 1M
S1 5090,0062 USD / 0,0185 USDZa darmo 1M
S1 5050,90 USD / 4,50 USDZa darmo 1M
S1 5040,10 USD / 0,20 USD 1M
S1 5030,90 USD / 5,55 USD 1M
S1 5031,54 USD / 4,63 USD 1M
S1 5030,03 USD / 0,12 USDZa darmo 1M
S1 5030,71 USD / 3,57 USD 200K
S1 5010,3429 USD / 1,71 USD 1M
S1 5010,2244 USD / 0,7013 USDZa darmo 1M
S1 5000,435 USD / 0,87 USD 1M
S1 5000,70 USD / 3,50 USD 1M
S1 4981,25 USD / 4,25 USD 1M
S1 4970,75 USD / 6 USD 1M
S1 4970,825 USD / 2,48 USD 1M
S1 4960,10 USD / 0,25 USD 1M
S1 4950,2462 USD / 1,23 USD 1M
S1 4940,6154 USD / 3,08 USD 1M
S1 4930,3892 USD / 2,34 USD 1M
S1 4930,1857 USD / 1,11 USD 1M
S1 4910,3429 USD / 1,71 USD 1M
S1 4910,425 USD / 2,12 USD 1M
S1 4900,1231 USD / 0,6154 USD 1M
S1 4890,1557 USD / 0,7784 USDZa darmo 262K
S1 4880,43 USD / 2,14 USD 200K
S1 4880,53 USD / 1,72 USD 1M
S1 4880,5634 USD / 2,54 USD 119K
S1 487— —
S1 4873,20 USD / 16 USD 1M
S1 4850,1231 USD / 0,7385 USD 1M
S1 4850,615 USD / 2,46 USD 203K
S1 4840,45 USD / 2,25 USD 262K
S1 4841,17 USD / 5,84 USD 1M
S1 483— —
S1 4830,70 USD / 3,50 USD 1M
S1 4831,18 USD / 5,30 USD 1M
S1 4820,1557 USD / 0,7784 USD 1M
S1 482— —
S1 4810,4579 USD / 1,24 USDZa darmo 1M
S1 4810,57 USD / 3,43 USD 1M
S1 4810,045 USD / 0,32 USD 262K
S1 47913 USD / 64 USD 197K
S1 4761 USD / 3 USD 1M
S1 4750,25 USD / 1 USD 1M
A1 4742 USD / 6 USD 500K
A1 4720,228 USD / 0,92 USD 1M
A1 4720,63 USD / 3,79 USD 256K
A1 470— 131K
S1 4701,04 USD / 6,24 USD 262K
A1 4690,14 USD / 0,28 USD 1M
A1 4690,348 USD / 0,696 USD 1M
A1 4680,10 USD / 0,10 USDZa darmo 1M
A1 4680,066 USD / 0,26 USD 262K
A1 4670,20 USD / 0,90 USD 1M
A1 4670,2593 USD / 1,54 USD 1M
A1 4670,0123 USD / 0,0738 USD 1M
A1 4670,95 USD / 4,05 USD 262K
A1 466— 262K
A1 4642 USD / 4,50 USD 500K
A1 4640,1644 USD / 0,9864 USD 262K
A1 4620,40 USD / 1,75 USD 203K
A1 4611,50 USD / 7,50 USD 256K
A1 4600,07 USD / 0,43 USD 1M
A1 4590,10 USD / 0,25 USDZa darmo 262K
A1 4590,68 USD / 2,09 USD 1M
A1 4591,25 USD / 2,50 USD 2M
A1 4581,25 USD / 2,50 USD 1M
A1 4570,076 USD / 0,153 USD 1M
A1 4560,36 USD / 1,43 USD 262K
A1 4560,15 USD / 0,50 USD 1M
A1 455— —
A1 4540,2740 USD / 1,10 USD 203K
A1 4540,2174 USD / 0,326 USD 164K
A1 4540,225 USD / 1,88 USD 1M
A1 4540,0062 USD / 0,0185 USD 205K
A1 4530,0778 USD / 0,3892 USD 200K
A1 4531,07 USD / 8,50 USD 400K
A1 4520,05 USD / 0,25 USD 1M
A1 4520,30 USD / 1,20 USD 66K
A1 4520,87 USD / 7 USD 1M
A1 4508 USD / 40 USD 1M
A1 4490,50 USD / 1,50 USD 256K
A1 4490,2740 USD / 1,10 USD 203K
A1 4480,1231 USD / 0,6154 USD 1M
A1 4470,0354 USD / 0,0943 USDZa darmo 262K
A1 447— —
A1 4461,75 USD / 14 USD 112K
A1 4452 USD / 10 USD 200K
A1 4450,09 USD / 0,10 USD 131K
A1 4430,10 USD / 0,30 USD 262K
A1 44213 USD / 64 USD 193K
A1 4420,25 USD / 2 USD 128K
A1 4400,144 USD / 0,574 USD 131K
A1 4402 USD / 10 USD 1M
A1 4390,22 USD / 0,33 USD 164K
A1 4390,20 USD / 0,88 USD 131K
A1 4380,375 USD / 4 USD 400K
A1 437— —
A1 4361,07 USD / 8,50 USD 400K
A1 4360,1126 USD / 0,9008 USD 262K
A1 4350,09 USD / 0,30 USD 256K
A1 4340,20 USD / 0,80 USD 131K
A1 4340,04 USD / 0,20 USD 1M
A1 4330,4232 USD / 2,12 USD 131K
A1 4330,08 USD / 0,45 USDZa darmo 1M
A1 4323 USD / 15 USD 131K
A1 429— 2M
A1 4270,20 USD / 0,80 USD 164K
A1 4260,0846 USD / 0,6768 USD 262K
A1 4260,27 USD / 1 USD 128K
A1 4260,287 USD / 2,87 USD 131K
A1 4250,11 USD / 0,60 USD 131K
B1 4230,09 USD / 0,71 USD 1M
B1 4230,1996 USD / 0,5988 USD 500K
A1 4210,17 USD / 0,5667 USD 262K
B1 4210,27 USD / 1,10 USD 205K
A1 420— —
A1 418— —
B1 4170,19 USD / 0,71 USD 164K
B1 4160,09 USD / 0,30 USD 256K
B1 4152,60 USD / 13 USD 983K
B1 4141,25 USD / 2,50 USD 1M
B1 4134,50 USD / 14 USD 128K
B1 4130,20 USD / 0,80 USD 262K
B1 4120,0282 USD / 0,282 USD 1M
B1 4120,19 USD / 0,475 USD 2M
B1 4100,0564 USD / 0,4512 USD 262K
B1 4092,85 USD / 14,25 USD 256K
B1 4071,82 USD / 7,27 USD 200K
B1 4071,60 USD / 13 USD 128K
B1 4060,04 USD / 0,29 USD 400K
B1 4040,1818 USD / 1,14 USD 400K
B1 4040,05 USD / 0,25 USD 262K
B1 4000,125 USD / 0,75 USD 1M
B1 3990,40 USD / 1,80 USD 131K
B1 3970,1165 USD / 0,2911 USD 131K
B1 394— —
B1 3920,15 USD / 1,20 USD 131K
B1 3920,25 USD / 0,75 USD 128K
B1 3910,137 USD / 0,411 USD 131K
B1 3911,82 USD / 7,27 USD 1M
B1 389— 131K
B1 388— —
B1 3860,30 USD / 2,50 USD 1M
B1 3860,4232 USD / 2,12 USDZa darmo 131K
B1 3820,06 USD / 0,40 USDZa darmo 203K
B1 3820,0115 USD / 0,17 USD 262K
B1 382— —
B1 3810,22 USD / 0,88 USD 205K
B1 3790,0291 USD / 0,1455 USD 131K
B1 3790,30 USD / 0,50 USD 131K
B1 3790,05 USD / 0,20 USD 131K
B1 3750,06 USD / 0,15 USD 131K
B1 374— —
B1 3730,10 USD / 0,10 USD 1M
B1 3710,55 USD / 2,20 USD 80K
B1 3710,20 USD / 1 USD 205K
B1 3680,99 USD / 4 USD 200K
B1 3680,15 USD / 0,60 USD 164K
B1 3670,3636 USD / 1,45 USD 1M
B1 36714 USD / 54 USD 200K
B1 366— —
B1 3630,99 USD / 4 USD 200K
B1 363— —
B1 3621,10 USD / 4,40 USD 128K
B1 361— 131K
B1 3612,60 USD / 13 USD 197K
B1 359— —
B1 359— —
B1 3590,132 USD / 1,25 USD 1M
B1 3570,08 USD / 0,28 USD 131K
B1 3570,25 USD / 0,80 USD 262K
B1 3560,40 USD / 0,40 USD 131K
B1 3520,0455 USD / 0,3636 USD 400K
B1 3500,10 USD / 0,42 USD 990K
B1 3470,1499 USD / 0,8996 USD 64K
B1 347— —
B1 3422,60 USD / 13 USD 189K
B1 339— —
B1 3370,076 USD / 0,228 USD 41K
B1 3330,40 USD / 0,40 USD 24K
B1 3302,50 USD / 10 USD 256K
B1 3280,115 USD / 0,287 USD 1M
B1 322— —
B1 3220,064 USD / 0,128 USD 131K
B1 3220,052 USD / 0,21 USD 990K
–1 319— —
B1 3192 USD / 5 USD 262K
B1 318— —
B1 314— —
B1 3130,05 USD / 0,10 USD 131K
B1 312— —
B1 312— —
B1 312Za darmo 128K
B1 309— —
B1 3090,10 USD / 0,30 USD 128K
B1 308— —
B1 307— —
B1 3060,009 USD / 0,045 USDZa darmo 131K
B1 3060,09 USD / 0,36 USD 1M
B1 3010,14 USD / 0,59 USD 1M
B1 2975 USD / 15 USD 128K
B1 294— —
B1 2920,11 USD / 0,38 USD 131K
B1 2913,50 USD / 3,50 USD 4K
B1 2900,15 USD / 0,60 USD 128K
B1 2880,345 USD / 1,38 USD 33K
C1 2872 USD / 10 USD 131K
C1 2860,68 USD / 3,40 USD 189K
C1 2860,08 USD / 0,30 USD 328K
C1 2832,27 USD / 9,09 USD 128K
B1 2810,04 USD / 0,12 USDZa darmo 131K
C1 277— —
C1 2760,06 USD / 0,20 USD 33K
C1 2750,50 USD / 1,50 USD 131K
C1 2720,357 USD / 0,408 USDZa darmo 128K
C1 2702,40 USD / 9,60 USD 317K
C1 270— —
C1 268— —
C1 2689 USD / 27 USD 128K
C1 2680,05 USD / 0,23 USD 131K
C1 267— —
C1 26415 USD / 75 USD 200K
C1 261— —
C1 2600,72 USD / 0,72 USD 131K
C1 255— —
C1 251— 33K
C1 2490,06 USD / 0,25 USD —
C1 2460,05 USD / 0,08 USD 33K
C1 2390,069 USD / 0,28 USD 317K
C1 235— —
C1 2310,056 USD / 0,112 USD 16K
C1 231— —
C1 2300,04 USD / 0,05 USDZa darmo 131K
C1 230— —
C1 228— —
C1 2272 USD / 8 USD 256K
C1 223— —
C1 2233 USD / 15 USD 200K
C1 2180,04 USD / 0,16 USD 133K
C1 218— —
C1 2110,65 USD / 0,65 USD 8K
C1 210— —
C1 209— —
C1 20930 USD / 60 USD 8K
C1 2060,51 USD / 0,74 USD 8K
C1 2020,135 USD / 0,135 USD 262K
C1 1990,21 USD / 1,10 USD 189K
C1 196— —
C1 1950,02 USD / 0,03 USD 128K
C1 191— —
C1 190— —
C1 1870,15 USD / 0,60 USD 128K
C1 1860,03 USD / 0,25 USD —
C1 184— —
C1 183— —
C1 1780,20 USD / 0,40 USD 256K
C1 1730,20 USD / 0,20 USD 8K
C1 1720,15 USD / 0,60 USD 128K
C1 169— —
C1 1660,60 USD / 0,60 USD 66K
C1 165— —
C1 164— —
C1 1620,40 USD / 2 USD 131K
C1 160— —
C1 159— —
C1 155— —
C1 1520,04 USD / 0,04 USD 8K
C1 1490,03 USD / 0,25 USD —
C1 143— —
C1 138— —
C1 1360,45 USD / 1,40 USD 16K
C1 132— —
C1 129— —
C1 1260,40 USD / 0,40 USD 32K
C1 116— —
C1 113— —
C1 1120,05 USD / 0,25 USD —
C1 112— —
C1 1082 USD / 10 USD 1M
C1 107— —
C1 0980,02 USD / 0,02 USD 80K
C1 097— —
C1 095— —
C1 0900,03 USD / 0,25 USD —
D1 089— —
D1 084— —
D1 0820,159 USD / 0,219 USD 32K
D1 081— —
D1 080— —
D1 0791 USD / 1 USD 4K
D1 078— —
D1 071— —
D1 0700,01 USD / 0,01 USD 60K
D1 067— —
D1 064— —
D1 0620,10 USD / 0,50 USD 4K
–1 053— —
D1 0480,15 USD / 0,15 USD 8K
D1 048— —
D1 046— —
D1 045— —
D1 041— —
–1 039— —
D1 035— —
D1 034— —
D1 025— —
D1 0180,07 USD / 0,28 USD 33K
D1 016— —
D1 010— —
D1 010— —
D1 0020,05 USD / 0,25 USD 4K
D1 001— —
D999— —
–995— —
D994— —
D964— —
D945— —
D928— —
D919— —
D913— —
–902— —
D900— —
D886— —
D799— —
D776— —
D764— —
D683— —
Porównaj ()

Tiery są nasze: miejsce modelu w rankingu liczone tylko względem modeli, których cały przedział ufności leży powyżej. S — górne 10%, A — do 30%, B — do 60%, C — do 85%, D — reszta.

Jakość a cena ocena w pionie, cena łączona (3 części wejścia : 1 wyjścia) w poziomie, USD za 1M tokenów
1 000 1 200 1 400 1 600 0,01 USD 0,10 USD 1 USD 10 USD 100 USD Gemini 4 Carbon Gemini 4 Neon Claude Opus 5.5

Co mierzy ten ranking

Ranking programistyczny korzysta z kategorii „coding” areny tekstowej LMArena. Metoda jest ta sama co w rankingu ogólnym – ślepe głosowanie między dwiema anonimowymi odpowiedziami, przeliczane na ocenę Elo – ale liczą się wyłącznie pytania dotyczące kodu. Model, który świetnie prowadzi rozmowę, może tu zająć inne miejsce, bo ludzie oceniają co innego: poprawność kodu, jasność wyjaśnień i to, czy rozwiązanie w ogóle da się uruchomić.

Kolumny tabeli

  • tier liczony według tej samej zasady co w rankingu tekstowym: co najmniej 300 głosów, 95-procentowy przedział ufności i progi 10, 30, 60 i 85%;
  • ocena Elo z paskiem przedziału;
  • cena za 1M tokenów wejścia i wyjścia – minimalna znaleziona u dostawców;
  • okno kontekstu i zmiana ceny w ciągu 30 dni;
  • kalkulator, wykres „Jakość a cena” i pole porównania do 4 modeli.

Jak wybrać model do kodu

Zacznij od tieru, a nie od pojedynczego miejsca: modele w tym samym tierze różnią się w granicach błędu statystycznego. Potem zestaw okno kontekstu z ceną. Jeśli chcesz, by model pracował na całym repozytorium, długi kontekst ma większe znaczenie niż kilka punktów Elo, ale każde zapytanie z dużym kontekstem więcej kosztuje. Kalkulator „Koszt miesięczny” pomoże oszacować wydatki przy twoim wolumenie tokenów.

Granice tej oceny

Arena ocenia odpowiedzi na czacie o kodzie. To nie to samo, co uruchamianie testów na prawdziwym projekcie. Budowanie całych aplikacji webowych ma osobny ranking WebDev, a wieloetapową pracę z narzędziami – ranking agentów. Jeśli wybierasz model do agenta programistycznego, sprawdź wszystkie trzy i porównaj je na stronie porównania. Ocena pochodzi z pytań zadawanych przez użytkowników areny, w większości po angielsku, więc nie odzwierciedla każdego języka programowania ani każdej dziedziny. Najpewniejszą weryfikacją pozostaje krótki test na twoim własnym kodzie.