Сравнение ИИ-моделей
Поставьте рядом до четырёх моделей: тир и Elo в каждом рейтинге, цены, контекстное окно и дата выхода.
Обновлено · Источники: LiteLLM
| Показатель | claude-3-sonnet-20240229 Anthropic |
|---|---|
| Текст | C 1 218 1 214–1 222 |
| Программирование | C 1 223 1 215–1 230 |
| Вход / выход, за 1M | 3 $ / 15 $ |
| Контекстное окно | 200K |
| Макс. ответ | 4K |
| Выпущена | 29 февраля 2024 г |
| Данные обучения до | — |
| Лицензия | — |
| Вход | — |
| Приложение | — |
Что показывает сравнение
Поставьте рядом до 4 моделей и посмотрите по колонкам, как они выглядят: тир и рейтинг в каждом рейтинге, где модель участвует, цены за единицу, контекст, максимальный ответ, модальности, открыты ли веса и когда модель вышла. Рейтинги — из LMArena, цены и технические данные — из models.dev и LiteLLM.
Как выбрать модели
- Начните вводить название в одном из полей и выберите вариант из подсказок.
- Или отметьте флажок «Сравнить» в любой таблице рейтинга — внизу появится панель с выбранными моделями, которая откроет эту страницу.
Выбранные модели записываются в адрес страницы, так что ссылкой на сравнение можно поделиться с коллегой. Поисковики индексируют только пустую страницу сравнения, а варианты с выбранными моделями остаются служебными.
Как не ошибиться при чтении
Сравнивайте рейтинги внутри одной таблицы. Elo текстового рейтинга и оценка из рейтинга агентов — разные шкалы, и даже два рейтинга Elo — это разные арены с разными голосующими. Лидерство в генерации изображений ничего не говорит о месте модели в программировании.
Пустая ячейка означает, что у источника нет значения — например, ни один провайдер не продаёт модель или неизвестна граница знаний, — а не что значение равно нулю. Цены — минимальные текущие предложения на день данных; остальных провайдеров можно посмотреть в подробностях модели на страницах рейтингов.
Когда сравнение полезнее всего
В конце выбора, а не в начале: сравнивать сразу десятки моделей по всем колонкам неудобно и бессмысленно. Сначала сузьте круг по рейтингам и графику «Качество и цена», затем сравните финалистов по тому, что важно именно вам: длине контекста для больших документов, модальностям, если нужны изображения или звук, открытым весам, если хотите запускать модель сами.