fedi-indexにおけるLlama 3.1 405B Instruct (BF16)
各カテゴリのスコア、その内訳、コスパ、ローカル実行、推移。
fedi-index · 総合
C 1,268 ±8
パーセンタイル 31 · #205
人間の評価 / タスク解決
1,275 / 1,257
人間の投票とベンチマーク、Elo-eq
コスパ
-144
100万トークンあたり$3.50、1社のプロバイダーの中央値
手元のハードウェアで
クローズドウェイト:クラウドのみ。
スコアの内訳
C 総合 1,268 [1,261–1,276] パーセンタイル 31 · #205 · 要素数:8
| ソース | 要素 | 値 | Elo-eq | 重み | 測定日 | バリアント |
|---|---|---|---|---|---|---|
| Epoch AI |
eci
|
128 ±1.47 | 1,263 ±12 | 32.6% | 2024-07-23 | — |
| LMArena |
text/overall
|
1,284 ±1.89 | 1,284 ±2 | 17.1% | 2026-11-11 | bf16 |
| LMArena |
text/hard_prompts
|
1,269 ±3.03 | 1,277 ±3 | 16.8% | 2026-11-11 | bf16 |
| LMArena |
text/instruction_following
|
1,258 ±2.68 | 1,279 ±2 | 8.4% | 2026-11-11 | bf16 |
| LMArena |
text/expert
|
1,243 ±5.81 | 1,266 ±5 | 7.9% | 2026-11-11 | — |
| LMArena |
text/multi_turn
|
1,297 ±3.91 | 1,305 ±4 | 4.1% | 2026-11-11 | bf16 |
| LMArena |
text/longer_query
|
1,266 ±4.08 | 1,275 ±4 | 4.1% | 2026-11-11 | bf16 |
| Epoch AI |
gpqa_diamond
減衰 ×0.25 |
0.51 ±0.03 | 1,277 ±12 | 1.3% | 2025-01-27 | — |
重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法
C コーディング 1,275 [1,269–1,281] パーセンタイル 29 · #203 · 要素数:1 暫定
| ソース | 要素 | 値 | Elo-eq | 重み | 測定日 | バリアント |
|---|---|---|---|---|---|---|
| LMArena |
text/coding
|
1,291 ±3.81 | 1,284 ±3 | 88.4% | 2026-11-11 | bf16 |
重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法
C 数学 1,270 [1,264–1,277] パーセンタイル 32 · #173 · 要素数:1 暫定
| ソース | 要素 | 値 | Elo-eq | 重み | 測定日 | バリアント |
|---|---|---|---|---|---|---|
| LMArena |
text/math
|
1,281 ±3.86 | 1,279 ±4 | 88.3% | 2026-11-11 | — |
重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法
C 文章作成 1,278 [1,273–1,284] パーセンタイル 35 · #173 · 要素数:2 暫定
| ソース | 要素 | 値 | Elo-eq | 重み | 測定日 | バリアント |
|---|---|---|---|---|---|---|
| LMArena |
text/creative_writing
|
1,262 ±3.92 | 1,287 ±4 | 62.4% | 2026-11-11 | — |
| LMArena |
text/longer_query
|
1,266 ±4.08 | 1,275 ±4 | 31.4% | 2026-11-11 | bf16 |
重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法
D 言語:繁體中文 1,246 [1,237–1,254] パーセンタイル 23 · #168 · 要素数:1 暫定
| ソース | 要素 | 値 | Elo-eq | 重み | 測定日 | バリアント |
|---|---|---|---|---|---|---|
| LMArena |
text/chinese
|
1,242 ±5.64 | 1,248 ±4 | 93.6% | 2026-11-11 | bf16 |
重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法
D 言語:Deutsch 1,269 [1,254–1,285] パーセンタイル 19 · #118 · 要素数:1 暫定
| ソース | 要素 | 値 | Elo-eq | 重み | 測定日 | バリアント |
|---|---|---|---|---|---|---|
| LMArena |
text/german
|
1,252 ±9.94 | 1,275 ±9 | 92.3% | 2026-11-11 | bf16 |
重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法
C 言語:English 1,289 [1,285–1,294] パーセンタイル 36 · #172 · 要素数:1 暫定
| ソース | 要素 | 値 | Elo-eq | 重み | 測定日 | バリアント |
|---|---|---|---|---|---|---|
| LMArena |
text/english
|
1,312 ±2.35 | 1,295 ±2 | 94.0% | 2026-11-11 | bf16 |
重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法
D 言語:Español 1,262 [1,237–1,287] パーセンタイル 9 · #136 · 要素数:1 暫定
| ソース | 要素 | 値 | Elo-eq | 重み | 測定日 | バリアント |
|---|---|---|---|---|---|---|
| LMArena |
text/spanish
|
1,260 ±15 | 1,269 ±14 | 89.3% | 2026-11-11 | bf16 |
重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法
D 言語:Français 1,268 [1,242–1,293] パーセンタイル 11 · #126 · 要素数:1 暫定
| ソース | 要素 | 値 | Elo-eq | 重み | 測定日 | バリアント |
|---|---|---|---|---|---|---|
| LMArena |
text/french
|
1,279 ±16 | 1,275 ±14 | 89.3% | 2026-11-11 | bf16 |
重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法
D 言語:日本語 1,277 [1,263–1,292] パーセンタイル 16 · #107 · 要素数:1 暫定
| ソース | 要素 | 値 | Elo-eq | 重み | 測定日 | バリアント |
|---|---|---|---|---|---|---|
| LMArena |
text/japanese
|
1,208 ±11 | 1,283 ±8 | 92.6% | 2026-11-11 | bf16 |
重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法
D 言語:한국어 1,266 [1,250–1,282] パーセンタイル 12 · #121 · 要素数:1 暫定
| ソース | 要素 | 値 | Elo-eq | 重み | 測定日 | バリアント |
|---|---|---|---|---|---|---|
| LMArena |
text/korean
|
1,184 ±11 | 1,271 ±9 | 92.3% | 2026-11-11 | — |
重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法
C 言語:Русский 1,280 [1,274–1,287] パーセンタイル 27 · #169 · 要素数:1 暫定
| ソース | 要素 | 値 | Elo-eq | 重み | 測定日 | バリアント |
|---|---|---|---|---|---|---|
| LMArena |
text/russian
|
1,265 ±4.04 | 1,286 ±4 | 93.8% | 2026-11-11 | — |
重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法
推移
同じデータを表で表示
| モデル | 2026-11 |
|---|---|
| Llama 3.1 405B Instruct (BF16) | 1,268 C |
バッジ
モデルのfedi-indexをあなたのサイトやREADMEに表示できます。バッジは自動更新され、このページにリンクします。
データはCC BY 4.0:fedi.softwareへのリンクを残してください。