Программирование

Чем этот рейтинг отличается от текстового?

Методика та же — два анонимных ответа и голос человека, — но в зачёт идут только запросы о программировании из категории coding текстовой арены LMArena: написать функцию, найти ошибку, объяснить чужой код, переписать фрагмент. У каждой модели — рейтинг Elo с 95% доверительным интервалом.

А веб-разработка и агенты — это не то же самое?

Нет. Здесь оцениваются ответы в чате о коде. Как модель собирает целое веб-приложение по одному запросу, показывает отдельный рейтинг веб-разработки, а многошаговую работу с инструментами — рейтинг агентов. Модель может быть сильна в одном и заметно слабее в другом, поэтому для помощника программиста стоит заглянуть во все три.

Какие колонки важны для кода?

• тир и рейтинг Elo с полоской интервала;
• цена за миллион входных и выходных токенов у самого дешёвого провайдера;
• контекст — сколько кода модель примет за один запрос, что критично при работе с целым репозиторием;
• график цены за 30 дней.

Калькулятор здесь особенно полезен. При работе с кодом модели отправляют гораздо больше, чем получают в ответ, так что поставьте долю входных токенов повыше — и увидите реальную стоимость месяца для каждой модели.

Как считаются тиры?

По общему правилу раздела. Нужно не меньше 300 голосов. Место модели — это один плюс число моделей, у которых весь доверительный интервал выше её собственного. Если место попадает в первые 10% таблицы — S, до 30% — A, до 60% — B, до 85% — C, дальше — D. Лидеры, между которыми нет статистической разницы, делят S.

Откуда цены?

Из models.dev и LiteLLM, с ежедневным обновлением. Мы храним историю, поэтому видно, дешевеет модель или дорожает.

О чём помнить?

Голосование за ответ в чате — не то же самое, что прогон тестов на реальном проекте. Модель может красиво объяснить решение, а её код всё равно не соберётся в вашем окружении; к тому же запросы на арене короткие. Используйте рейтинг, чтобы сузить выбор, а затем проверьте две-три модели на своём коде.