К содержимому
fedi.software

Программирование

Модели, ранжированные по задачам программирования: тир, Elo с доверительным интервалом, цена за миллион токенов и контекстное окно.

Обновлено · Источники: LMArena, LiteLLM, models.dev

Стоимость в месяц
Тир Модель Elo Вход / выход, за 1M В месяц Контекст Приложение Сравнить
S1 5090,0062 $ / 0,0185 $Бесплатно 1M
S1 5010,2244 $ / 0,7013 $Бесплатно 1M
S1 4970,75 $ / 6 $ 1M
S1 4950,2462 $ / 1,23 $ 1M
S1 4940,6154 $ / 3,08 $ 1M
S1 4930,3892 $ / 2,34 $ 1M
S1 4900,1231 $ / 0,6154 $ 1M
S1 4880,53 $ / 1,72 $ 1M
S1 4850,1231 $ / 0,7385 $ 1M
S1 4850,615 $ / 2,46 $ 203K
S1 4820,1557 $ / 0,7784 $ 1M
A1 4670,0123 $ / 0,0738 $ 1M
A1 4620,40 $ / 1,75 $ 203K
A1 4540,2740 $ / 1,10 $ 203K
A1 4531,07 $ / 8,50 $ 400K
A1 4508 $ / 40 $ 1M
A1 4490,2740 $ / 1,10 $ 203K
A1 4480,1231 $ / 0,6154 $ 1M
A1 4461,75 $ / 14 $ 112K
A1 4420,25 $ / 2 $ 128K
A1 4402 $ / 10 $ 1M
A1 4380,375 $ / 4 $ 400K
A1 4361,07 $ / 8,50 $ 400K
A1 4340,20 $ / 0,80 $ 131K
A1 4340,04 $ / 0,20 $ 1M
B1 4134,50 $ / 14 $ 128K
B1 4071,82 $ / 7,27 $ 200K
B1 4071,60 $ / 13 $ 128K
B1 4060,04 $ / 0,29 $ 400K
B1 4040,1818 $ / 1,14 $ 400K
B1 3970,1165 $ / 0,2911 $ 131K
B1 3910,137 $ / 0,411 $ 131K
B1 3911,82 $ / 7,27 $ 1M
B1 3820,06 $ / 0,40 $Бесплатно 203K
B1 3790,0291 $ / 0,1455 $ 131K
B1 3680,99 $ / 4 $ 200K
B1 3670,3636 $ / 1,45 $ 1M
B1 36714 $ / 54 $ 200K
B1 3630,99 $ / 4 $ 200K
B1 3621,10 $ / 4,40 $ 128K
B1 3520,0455 $ / 0,3636 $ 400K
B1 3470,1499 $ / 0,8996 $ 64K
B1 3060,009 $ / 0,045 $Бесплатно 131K
B1 3060,09 $ / 0,36 $ 1M
B1 2975 $ / 15 $ 128K
B1 2900,15 $ / 0,60 $ 128K
C1 2832,27 $ / 9,09 $ 128K
C1 2689 $ / 27 $ 128K
C1 228— —
C1 20930 $ / 60 $ 8K
C1 1360,45 $ / 1,40 $ 16K
D964— —
D919— —
–902— —
Сравнить ()

Тиры — наши: место модели в рейтинге с учётом только тех моделей, чей доверительный интервал целиком выше её. S — лучшие 10%, A — до 30%, B — до 60%, C — до 85%, D — остальные.

Качество и цена вверх — рейтинг, вправо — смешанная цена (3 части входа : 1 выхода), USD за 1M токенов
1 000 1 200 1 400 1 600 0,01 $ 0,10 $ 1 $ 10 $ 100 $ Gemini 4 Carbon Gemini 4 Neon Claude Opus 5.5

Чем этот рейтинг отличается от текстового?

Методика та же — два анонимных ответа и голос человека, — но в зачёт идут только запросы о программировании из категории coding текстовой арены LMArena: написать функцию, найти ошибку, объяснить чужой код, переписать фрагмент. У каждой модели — рейтинг Elo с 95% доверительным интервалом.

А веб-разработка и агенты — это не то же самое?

Нет. Здесь оцениваются ответы в чате о коде. Как модель собирает целое веб-приложение по одному запросу, показывает отдельный рейтинг веб-разработки, а многошаговую работу с инструментами — рейтинг агентов. Модель может быть сильна в одном и заметно слабее в другом, поэтому для помощника программиста стоит заглянуть во все три.

Какие колонки важны для кода?

  • тир и рейтинг Elo с полоской интервала;
  • цена за миллион входных и выходных токенов у самого дешёвого провайдера;
  • контекст — сколько кода модель примет за один запрос, что критично при работе с целым репозиторием;
  • график цены за 30 дней.

Калькулятор здесь особенно полезен. При работе с кодом модели отправляют гораздо больше, чем получают в ответ, так что поставьте долю входных токенов повыше — и увидите реальную стоимость месяца для каждой модели.

Как считаются тиры?

По общему правилу раздела. Нужно не меньше 300 голосов. Место модели — это один плюс число моделей, у которых весь доверительный интервал выше её собственного. Если место попадает в первые 10% таблицы — S, до 30% — A, до 60% — B, до 85% — C, дальше — D. Лидеры, между которыми нет статистической разницы, делят S.

Откуда цены?

Из models.dev и LiteLLM, с ежедневным обновлением. Мы храним историю, поэтому видно, дешевеет модель или дорожает.

О чём помнить?

Голосование за ответ в чате — не то же самое, что прогон тестов на реальном проекте. Модель может красиво объяснить решение, а её код всё равно не соберётся в вашем окружении; к тому же запросы на арене короткие. Используйте рейтинг, чтобы сузить выбор, а затем проверьте две-три модели на своём коде.