К содержимому
fedi.software

Сравнение ИИ-моделей

Поставьте рядом до четырёх моделей: тир и Elo в каждом рейтинге, цены, контекстное окно и дата выхода.

Обновлено · Источники: LiteLLM

Показатель claude-3-sonnet-20240229 Anthropic
Текст C 1 218 1 214–1 222
Программирование C 1 223 1 215–1 230
Вход / выход, за 1M 3 $ / 15 $
Контекстное окно 200K
Макс. ответ 4K
Выпущена 29 февраля 2024 г
Данные обучения до —
Лицензия —
Вход —
Приложение —

Что показывает сравнение

Поставьте рядом до 4 моделей и посмотрите по колонкам, как они выглядят: тир и рейтинг в каждом рейтинге, где модель участвует, цены за единицу, контекст, максимальный ответ, модальности, открыты ли веса и когда модель вышла. Рейтинги — из LMArena, цены и технические данные — из models.dev и LiteLLM.

Как выбрать модели

  • Начните вводить название в одном из полей и выберите вариант из подсказок.
  • Или отметьте флажок «Сравнить» в любой таблице рейтинга — внизу появится панель с выбранными моделями, которая откроет эту страницу.

Выбранные модели записываются в адрес страницы, так что ссылкой на сравнение можно поделиться с коллегой. Поисковики индексируют только пустую страницу сравнения, а варианты с выбранными моделями остаются служебными.

Как не ошибиться при чтении

Сравнивайте рейтинги внутри одной таблицы. Elo текстового рейтинга и оценка из рейтинга агентов — разные шкалы, и даже два рейтинга Elo — это разные арены с разными голосующими. Лидерство в генерации изображений ничего не говорит о месте модели в программировании.

Пустая ячейка означает, что у источника нет значения — например, ни один провайдер не продаёт модель или неизвестна граница знаний, — а не что значение равно нулю. Цены — минимальные текущие предложения на день данных; остальных провайдеров можно посмотреть в подробностях модели на страницах рейтингов.

Когда сравнение полезнее всего

В конце выбора, а не в начале: сравнивать сразу десятки моделей по всем колонкам неудобно и бессмысленно. Сначала сузьте круг по рейтингам и графику «Качество и цена», затем сравните финалистов по тому, что важно именно вам: длине контекста для больших документов, модальностям, если нужны изображения или звук, открытым весам, если хотите запускать модель сами.