К содержимому
fedi.software

Llama 3.1 405B Instruct (BF16) в fedi-index

Балл в каждом срезе, из чего он состоит, выгода, локальный запуск и история.

fedi-index · Общий

C 1 268 ±8

Процентиль 31 · #205

Люди предпочитают / Решает задачи

1 275 / 1 257

Голоса людей и бенчмарки, Elo-eq

Выгода

-144

3,50 $ за 1M токенов, медиана 1 провайдеров

На твоём железе

Закрытые веса: только облако.

Разложение балла

C Общий 1 268 [1 261–1 276] Процентиль 31 · #205 · компонентов: 8
Источник Компонент Значение Elo-eq Вес Измерено Вариант
Epoch AI eci 128 ±1,47 1 263 ±12 32,6% 2024-07-23 —
LMArena text/overall 1 284 ±1,89 1 284 ±2 17,1% 2026-11-11 bf16
LMArena text/hard_prompts 1 269 ±3,03 1 277 ±3 16,8% 2026-11-11 bf16
LMArena text/instruction_following 1 258 ±2,68 1 279 ±2 8,4% 2026-11-11 bf16
LMArena text/expert 1 243 ±5,81 1 266 ±5 7,9% 2026-11-11 —
LMArena text/multi_turn 1 297 ±3,91 1 305 ±4 4,1% 2026-11-11 bf16
LMArena text/longer_query 1 266 ±4,08 1 275 ±4 4,1% 2026-11-11 bf16
Epoch AI gpqa_diamond устаревание ×0,25 0,51 ±0,03 1 277 ±12 1,3% 2025-01-27 —

Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика

C Код 1 275 [1 269–1 281] Процентиль 29 · #203 · компонентов: 1 предварительно
Источник Компонент Значение Elo-eq Вес Измерено Вариант
LMArena text/coding 1 291 ±3,81 1 284 ±3 88,4% 2026-11-11 bf16

Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика

C Математика 1 270 [1 264–1 277] Процентиль 32 · #173 · компонентов: 1 предварительно
Источник Компонент Значение Elo-eq Вес Измерено Вариант
LMArena text/math 1 281 ±3,86 1 279 ±4 88,3% 2026-11-11 —

Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика

C Тексты 1 278 [1 273–1 284] Процентиль 35 · #173 · компонентов: 2 предварительно
Источник Компонент Значение Elo-eq Вес Измерено Вариант
LMArena text/creative_writing 1 262 ±3,92 1 287 ±4 62,4% 2026-11-11 —
LMArena text/longer_query 1 266 ±4,08 1 275 ±4 31,4% 2026-11-11 bf16

Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика

D Язык: 繁體中文 1 246 [1 237–1 254] Процентиль 23 · #168 · компонентов: 1 предварительно
Источник Компонент Значение Elo-eq Вес Измерено Вариант
LMArena text/chinese 1 242 ±5,64 1 248 ±4 93,6% 2026-11-11 bf16

Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика

D Язык: Deutsch 1 269 [1 254–1 285] Процентиль 19 · #118 · компонентов: 1 предварительно
Источник Компонент Значение Elo-eq Вес Измерено Вариант
LMArena text/german 1 252 ±9,94 1 275 ±9 92,3% 2026-11-11 bf16

Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика

C Язык: English 1 289 [1 285–1 294] Процентиль 36 · #172 · компонентов: 1 предварительно
Источник Компонент Значение Elo-eq Вес Измерено Вариант
LMArena text/english 1 312 ±2,35 1 295 ±2 94,0% 2026-11-11 bf16

Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика

D Язык: Español 1 262 [1 237–1 287] Процентиль 9 · #136 · компонентов: 1 предварительно
Источник Компонент Значение Elo-eq Вес Измерено Вариант
LMArena text/spanish 1 260 ±15 1 269 ±14 89,3% 2026-11-11 bf16

Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика

D Язык: Français 1 268 [1 242–1 293] Процентиль 11 · #126 · компонентов: 1 предварительно
Источник Компонент Значение Elo-eq Вес Измерено Вариант
LMArena text/french 1 279 ±16 1 275 ±14 89,3% 2026-11-11 bf16

Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика

D Язык: 日本語 1 277 [1 263–1 292] Процентиль 16 · #107 · компонентов: 1 предварительно
Источник Компонент Значение Elo-eq Вес Измерено Вариант
LMArena text/japanese 1 208 ±11 1 283 ±8 92,6% 2026-11-11 bf16

Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика

D Язык: 한국어 1 266 [1 250–1 282] Процентиль 12 · #121 · компонентов: 1 предварительно
Источник Компонент Значение Elo-eq Вес Измерено Вариант
LMArena text/korean 1 184 ±11 1 271 ±9 92,3% 2026-11-11 —

Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика

C Язык: Русский 1 280 [1 274–1 287] Процентиль 27 · #169 · компонентов: 1 предварительно
Источник Компонент Значение Elo-eq Вес Измерено Вариант
LMArena text/russian 1 265 ±4,04 1 286 ±4 93,8% 2026-11-11 —

Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика

История

fedi-index по месяцам
То же таблицей
Модель 2026-11
Llama 3.1 405B Instruct (BF16) 1 268 C

Бейдж

Покажите fedi-index модели на своём сайте или в README. Бейдж обновляется сам и ведёт на эту страницу.

fedi-index: Llama 3.1 405B Instruct (BF16)

Данные CC BY 4.0: сохраните ссылку на fedi.software.