Llama 3.1 405B Instruct (BF16) v fedi-index
Ocena na vsakem področju, iz česa je sestavljena, vrednost, lokalni zagon in zgodovina.
fedi-index · Splošno
C 1.268 ±8
Percentil 31 · #205
Ljudje raje izberejo / Rešuje naloge
1.275 / 1.257
Človeški glasovi proti primerjalnim testom, Elo-eq
Vrednost
−144
3,50 $ na 1M žetonov, mediana ponudnikov: 1
Na vaši strojni opremi
Zaprte uteži: samo v oblaku.
Razčlenitev ocene
C Splošno 1.268 [1.261–1.276] Percentil 31 · #205 · komponente: 8
| Vir | Komponenta | Vrednost | Elo-eq | Utež | Izmerjeno | Različica |
|---|---|---|---|---|---|---|
| Epoch AI |
eci
|
128 ±1,47 | 1.263 ±12 | 32,6% | 2024-07-23 | — |
| LMArena |
text/overall
|
1.284 ±1,89 | 1.284 ±2 | 17,1% | 2026-11-11 | bf16 |
| LMArena |
text/hard_prompts
|
1.269 ±3,03 | 1.277 ±3 | 16,8% | 2026-11-11 | bf16 |
| LMArena |
text/instruction_following
|
1.258 ±2,68 | 1.279 ±2 | 8,4% | 2026-11-11 | bf16 |
| LMArena |
text/expert
|
1.243 ±5,81 | 1.266 ±5 | 7,9% | 2026-11-11 | — |
| LMArena |
text/multi_turn
|
1.297 ±3,91 | 1.305 ±4 | 4,1% | 2026-11-11 | bf16 |
| LMArena |
text/longer_query
|
1.266 ±4,08 | 1.275 ±4 | 4,1% | 2026-11-11 | bf16 |
| Epoch AI |
gpqa_diamond
zastaranje ×0,25 |
0,51 ±0,03 | 1.277 ±12 | 1,3% | 2025-01-27 | — |
Utež je delež komponente v oceni (preostanek je apriorna vrednost, ki modele z malo podatki vleče proti mediani populacije). Metodologija
C Programiranje 1.275 [1.269–1.281] Percentil 29 · #203 · komponente: 1 začasno
| Vir | Komponenta | Vrednost | Elo-eq | Utež | Izmerjeno | Različica |
|---|---|---|---|---|---|---|
| LMArena |
text/coding
|
1.291 ±3,81 | 1.284 ±3 | 88,4% | 2026-11-11 | bf16 |
Utež je delež komponente v oceni (preostanek je apriorna vrednost, ki modele z malo podatki vleče proti mediani populacije). Metodologija
C Matematika 1.270 [1.264–1.277] Percentil 32 · #173 · komponente: 1 začasno
| Vir | Komponenta | Vrednost | Elo-eq | Utež | Izmerjeno | Različica |
|---|---|---|---|---|---|---|
| LMArena |
text/math
|
1.281 ±3,86 | 1.279 ±4 | 88,3% | 2026-11-11 | — |
Utež je delež komponente v oceni (preostanek je apriorna vrednost, ki modele z malo podatki vleče proti mediani populacije). Metodologija
C Pisanje 1.278 [1.273–1.284] Percentil 35 · #173 · komponente: 2 začasno
| Vir | Komponenta | Vrednost | Elo-eq | Utež | Izmerjeno | Različica |
|---|---|---|---|---|---|---|
| LMArena |
text/creative_writing
|
1.262 ±3,92 | 1.287 ±4 | 62,4% | 2026-11-11 | — |
| LMArena |
text/longer_query
|
1.266 ±4,08 | 1.275 ±4 | 31,4% | 2026-11-11 | bf16 |
Utež je delež komponente v oceni (preostanek je apriorna vrednost, ki modele z malo podatki vleče proti mediani populacije). Metodologija
D Jezik: 繁體中文 1.246 [1.237–1.254] Percentil 23 · #168 · komponente: 1 začasno
| Vir | Komponenta | Vrednost | Elo-eq | Utež | Izmerjeno | Različica |
|---|---|---|---|---|---|---|
| LMArena |
text/chinese
|
1.242 ±5,64 | 1.248 ±4 | 93,6% | 2026-11-11 | bf16 |
Utež je delež komponente v oceni (preostanek je apriorna vrednost, ki modele z malo podatki vleče proti mediani populacije). Metodologija
D Jezik: Deutsch 1.269 [1.254–1.285] Percentil 19 · #118 · komponente: 1 začasno
| Vir | Komponenta | Vrednost | Elo-eq | Utež | Izmerjeno | Različica |
|---|---|---|---|---|---|---|
| LMArena |
text/german
|
1.252 ±9,94 | 1.275 ±9 | 92,3% | 2026-11-11 | bf16 |
Utež je delež komponente v oceni (preostanek je apriorna vrednost, ki modele z malo podatki vleče proti mediani populacije). Metodologija
C Jezik: English 1.289 [1.285–1.294] Percentil 36 · #172 · komponente: 1 začasno
| Vir | Komponenta | Vrednost | Elo-eq | Utež | Izmerjeno | Različica |
|---|---|---|---|---|---|---|
| LMArena |
text/english
|
1.312 ±2,35 | 1.295 ±2 | 94,0% | 2026-11-11 | bf16 |
Utež je delež komponente v oceni (preostanek je apriorna vrednost, ki modele z malo podatki vleče proti mediani populacije). Metodologija
D Jezik: Español 1.262 [1.237–1.287] Percentil 9 · #136 · komponente: 1 začasno
| Vir | Komponenta | Vrednost | Elo-eq | Utež | Izmerjeno | Različica |
|---|---|---|---|---|---|---|
| LMArena |
text/spanish
|
1.260 ±15 | 1.269 ±14 | 89,3% | 2026-11-11 | bf16 |
Utež je delež komponente v oceni (preostanek je apriorna vrednost, ki modele z malo podatki vleče proti mediani populacije). Metodologija
D Jezik: Français 1.268 [1.242–1.293] Percentil 11 · #126 · komponente: 1 začasno
| Vir | Komponenta | Vrednost | Elo-eq | Utež | Izmerjeno | Različica |
|---|---|---|---|---|---|---|
| LMArena |
text/french
|
1.279 ±16 | 1.275 ±14 | 89,3% | 2026-11-11 | bf16 |
Utež je delež komponente v oceni (preostanek je apriorna vrednost, ki modele z malo podatki vleče proti mediani populacije). Metodologija
D Jezik: 日本語 1.277 [1.263–1.292] Percentil 16 · #107 · komponente: 1 začasno
| Vir | Komponenta | Vrednost | Elo-eq | Utež | Izmerjeno | Različica |
|---|---|---|---|---|---|---|
| LMArena |
text/japanese
|
1.208 ±11 | 1.283 ±8 | 92,6% | 2026-11-11 | bf16 |
Utež je delež komponente v oceni (preostanek je apriorna vrednost, ki modele z malo podatki vleče proti mediani populacije). Metodologija
D Jezik: 한국어 1.266 [1.250–1.282] Percentil 12 · #121 · komponente: 1 začasno
| Vir | Komponenta | Vrednost | Elo-eq | Utež | Izmerjeno | Različica |
|---|---|---|---|---|---|---|
| LMArena |
text/korean
|
1.184 ±11 | 1.271 ±9 | 92,3% | 2026-11-11 | — |
Utež je delež komponente v oceni (preostanek je apriorna vrednost, ki modele z malo podatki vleče proti mediani populacije). Metodologija
C Jezik: Русский 1.280 [1.274–1.287] Percentil 27 · #169 · komponente: 1 začasno
| Vir | Komponenta | Vrednost | Elo-eq | Utež | Izmerjeno | Različica |
|---|---|---|---|---|---|---|
| LMArena |
text/russian
|
1.265 ±4,04 | 1.286 ±4 | 93,8% | 2026-11-11 | — |
Utež je delež komponente v oceni (preostanek je apriorna vrednost, ki modele z malo podatki vleče proti mediani populacije). Metodologija
Zgodovina
Isto v tabeli
| Model | 2026-11 |
|---|---|
| Llama 3.1 405B Instruct (BF16) | 1.268 C |
Značka
Prikažite fedi-index modela na svoji spletni strani ali v datoteki README. Značka se posodablja sama in vodi na to stran.
Podatki CC BY 4.0: ohranite povezavo na fedi.software.