Llama 3.1 405B Instruct (BF16) в fedi-index
Балл в каждом срезе, из чего он состоит, выгода, локальный запуск и история.
fedi-index · Общий
C 1 268 ±8
Процентиль 31 · #205
Люди предпочитают / Решает задачи
1 275 / 1 257
Голоса людей и бенчмарки, Elo-eq
Выгода
-144
3,50 $ за 1M токенов, медиана 1 провайдеров
На твоём железе
Закрытые веса: только облако.
Разложение балла
C Общий 1 268 [1 261–1 276] Процентиль 31 · #205 · компонентов: 8
| Источник | Компонент | Значение | Elo-eq | Вес | Измерено | Вариант |
|---|---|---|---|---|---|---|
| Epoch AI |
eci
|
128 ±1,47 | 1 263 ±12 | 32,6% | 2024-07-23 | — |
| LMArena |
text/overall
|
1 284 ±1,89 | 1 284 ±2 | 17,1% | 2026-11-11 | bf16 |
| LMArena |
text/hard_prompts
|
1 269 ±3,03 | 1 277 ±3 | 16,8% | 2026-11-11 | bf16 |
| LMArena |
text/instruction_following
|
1 258 ±2,68 | 1 279 ±2 | 8,4% | 2026-11-11 | bf16 |
| LMArena |
text/expert
|
1 243 ±5,81 | 1 266 ±5 | 7,9% | 2026-11-11 | — |
| LMArena |
text/multi_turn
|
1 297 ±3,91 | 1 305 ±4 | 4,1% | 2026-11-11 | bf16 |
| LMArena |
text/longer_query
|
1 266 ±4,08 | 1 275 ±4 | 4,1% | 2026-11-11 | bf16 |
| Epoch AI |
gpqa_diamond
устаревание ×0,25 |
0,51 ±0,03 | 1 277 ±12 | 1,3% | 2025-01-27 | — |
Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика
C Код 1 275 [1 269–1 281] Процентиль 29 · #203 · компонентов: 1 предварительно
| Источник | Компонент | Значение | Elo-eq | Вес | Измерено | Вариант |
|---|---|---|---|---|---|---|
| LMArena |
text/coding
|
1 291 ±3,81 | 1 284 ±3 | 88,4% | 2026-11-11 | bf16 |
Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика
C Математика 1 270 [1 264–1 277] Процентиль 32 · #173 · компонентов: 1 предварительно
| Источник | Компонент | Значение | Elo-eq | Вес | Измерено | Вариант |
|---|---|---|---|---|---|---|
| LMArena |
text/math
|
1 281 ±3,86 | 1 279 ±4 | 88,3% | 2026-11-11 | — |
Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика
C Тексты 1 278 [1 273–1 284] Процентиль 35 · #173 · компонентов: 2 предварительно
| Источник | Компонент | Значение | Elo-eq | Вес | Измерено | Вариант |
|---|---|---|---|---|---|---|
| LMArena |
text/creative_writing
|
1 262 ±3,92 | 1 287 ±4 | 62,4% | 2026-11-11 | — |
| LMArena |
text/longer_query
|
1 266 ±4,08 | 1 275 ±4 | 31,4% | 2026-11-11 | bf16 |
Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика
D Язык: 繁體中文 1 246 [1 237–1 254] Процентиль 23 · #168 · компонентов: 1 предварительно
| Источник | Компонент | Значение | Elo-eq | Вес | Измерено | Вариант |
|---|---|---|---|---|---|---|
| LMArena |
text/chinese
|
1 242 ±5,64 | 1 248 ±4 | 93,6% | 2026-11-11 | bf16 |
Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика
D Язык: Deutsch 1 269 [1 254–1 285] Процентиль 19 · #118 · компонентов: 1 предварительно
| Источник | Компонент | Значение | Elo-eq | Вес | Измерено | Вариант |
|---|---|---|---|---|---|---|
| LMArena |
text/german
|
1 252 ±9,94 | 1 275 ±9 | 92,3% | 2026-11-11 | bf16 |
Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика
C Язык: English 1 289 [1 285–1 294] Процентиль 36 · #172 · компонентов: 1 предварительно
| Источник | Компонент | Значение | Elo-eq | Вес | Измерено | Вариант |
|---|---|---|---|---|---|---|
| LMArena |
text/english
|
1 312 ±2,35 | 1 295 ±2 | 94,0% | 2026-11-11 | bf16 |
Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика
D Язык: Español 1 262 [1 237–1 287] Процентиль 9 · #136 · компонентов: 1 предварительно
| Источник | Компонент | Значение | Elo-eq | Вес | Измерено | Вариант |
|---|---|---|---|---|---|---|
| LMArena |
text/spanish
|
1 260 ±15 | 1 269 ±14 | 89,3% | 2026-11-11 | bf16 |
Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика
D Язык: Français 1 268 [1 242–1 293] Процентиль 11 · #126 · компонентов: 1 предварительно
| Источник | Компонент | Значение | Elo-eq | Вес | Измерено | Вариант |
|---|---|---|---|---|---|---|
| LMArena |
text/french
|
1 279 ±16 | 1 275 ±14 | 89,3% | 2026-11-11 | bf16 |
Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика
D Язык: 日本語 1 277 [1 263–1 292] Процентиль 16 · #107 · компонентов: 1 предварительно
| Источник | Компонент | Значение | Elo-eq | Вес | Измерено | Вариант |
|---|---|---|---|---|---|---|
| LMArena |
text/japanese
|
1 208 ±11 | 1 283 ±8 | 92,6% | 2026-11-11 | bf16 |
Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика
D Язык: 한국어 1 266 [1 250–1 282] Процентиль 12 · #121 · компонентов: 1 предварительно
| Источник | Компонент | Значение | Elo-eq | Вес | Измерено | Вариант |
|---|---|---|---|---|---|---|
| LMArena |
text/korean
|
1 184 ±11 | 1 271 ±9 | 92,3% | 2026-11-11 | — |
Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика
C Язык: Русский 1 280 [1 274–1 287] Процентиль 27 · #169 · компонентов: 1 предварительно
| Источник | Компонент | Значение | Elo-eq | Вес | Измерено | Вариант |
|---|---|---|---|---|---|---|
| LMArena |
text/russian
|
1 265 ±4,04 | 1 286 ±4 | 93,8% | 2026-11-11 | — |
Вес — доля компонента в балле (остальное — априорное значение, которое тянет модели с малым количеством данных к медиане популяции). Методика
История
То же таблицей
| Модель | 2026-11 |
|---|---|
| Llama 3.1 405B Instruct (BF16) | 1 268 C |
Бейдж
Покажите fedi-index модели на своём сайте или в README. Бейдж обновляется сам и ведёт на эту страницу.
Данные CC BY 4.0: сохраните ссылку на fedi.software.