Текст

Как читать таблицу

Каждая строка — одна модель. Слева тир, наша буква от S до D. Дальше название и производитель, пометка об открытых весах, рейтинг Elo с полоской, самая низкая цена за миллион входных и выходных токенов, размер контекста, график цены за 30 дней и, если у производителя есть приложение в нашем каталоге, ссылка на скачивание.

Полоска у рейтинга — это 95% доверительный интервал. Если интервалы двух моделей пересекаются, разница между ними статистически не доказана, даже когда одна стоит в таблице выше. Щелчок по строке раскрывает подробности: провайдеры от дешёвого к дорогому, модальности, максимальный ответ, число голосов, место у источника, лицензию, дату выхода и границу знаний.

Откуда рейтинг

Основа — текстовая арена LMArena, общая категория. Посетитель пишет запрос, получает два ответа от анонимных моделей, выбирает понравившийся, и только потом видит названия. Из множества таких голосов складывается рейтинг по принципу Elo, как у шахматистов. Цены и технические данные мы берём из models.dev и LiteLLM и показываем минимальную цену среди провайдеров на день данных, в долларах.

Как присваиваются тиры

В расчёте участвуют модели, набравшие не меньше 300 голосов. Для каждой считаем, у скольких моделей весь интервал лежит выше её интервала; это число, делённое на общее количество, и есть её место. Меньше 10% — тир S, меньше 30% — A, меньше 60% — B, меньше 85% — C, остальные — D. Модели, статистически не отличимые от лидера, вместе делят S. Новинка с малым числом голосов помечена «Тир ещё не присвоен».

Что ещё есть на странице

• Фильтры-чипы: открытые веса, бесплатные, «Низкая цена» (смешанная цена меньше 1 доллара за миллион токенов) и производители.
• Калькулятор «Стоимость в месяц»: укажите токены в месяц и долю входных — у каждой модели появится сумма.
• График «Качество и цена»: смешанная цена считается как 3 части входа к 1 части выхода.
• Флажок «Сравнить» — до 4 моделей рядом.

Чего рейтинг не скажет

Голоса арены — это вкус пользователей, причём чаще на английских запросах. О скорости работы они ничего не говорят, а об узких задачах вроде юридических документов или олимпиадной математики — немного. Цена у провайдера может отличаться от прайса производителя: скидки за кэширование, пакетные запросы и региональные цены в таблице не учитываются.