本文へスキップ
fedi.software

fedi-indexにおけるLlama 3.1 405B Instruct (BF16)

各カテゴリのスコア、その内訳、コスパ、ローカル実行、推移。

fedi-index · 総合

C 1,268 ±8

パーセンタイル 31 · #205

人間の評価 / タスク解決

1,275 / 1,257

人間の投票とベンチマーク、Elo-eq

コスパ

-144

100万トークンあたり$3.50、1社のプロバイダーの中央値

手元のハードウェアで

クローズドウェイト:クラウドのみ。

スコアの内訳

C 総合 1,268 [1,261–1,276] パーセンタイル 31 · #205 · 要素数:8
ソース 要素 値 Elo-eq 重み 測定日 バリアント
Epoch AI eci 128 ±1.47 1,263 ±12 32.6% 2024-07-23 —
LMArena text/overall 1,284 ±1.89 1,284 ±2 17.1% 2026-11-11 bf16
LMArena text/hard_prompts 1,269 ±3.03 1,277 ±3 16.8% 2026-11-11 bf16
LMArena text/instruction_following 1,258 ±2.68 1,279 ±2 8.4% 2026-11-11 bf16
LMArena text/expert 1,243 ±5.81 1,266 ±5 7.9% 2026-11-11 —
LMArena text/multi_turn 1,297 ±3.91 1,305 ±4 4.1% 2026-11-11 bf16
LMArena text/longer_query 1,266 ±4.08 1,275 ±4 4.1% 2026-11-11 bf16
Epoch AI gpqa_diamond 減衰 ×0.25 0.51 ±0.03 1,277 ±12 1.3% 2025-01-27 —

重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法

C コーディング 1,275 [1,269–1,281] パーセンタイル 29 · #203 · 要素数:1 暫定
ソース 要素 値 Elo-eq 重み 測定日 バリアント
LMArena text/coding 1,291 ±3.81 1,284 ±3 88.4% 2026-11-11 bf16

重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法

C 数学 1,270 [1,264–1,277] パーセンタイル 32 · #173 · 要素数:1 暫定
ソース 要素 値 Elo-eq 重み 測定日 バリアント
LMArena text/math 1,281 ±3.86 1,279 ±4 88.3% 2026-11-11 —

重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法

C 文章作成 1,278 [1,273–1,284] パーセンタイル 35 · #173 · 要素数:2 暫定
ソース 要素 値 Elo-eq 重み 測定日 バリアント
LMArena text/creative_writing 1,262 ±3.92 1,287 ±4 62.4% 2026-11-11 —
LMArena text/longer_query 1,266 ±4.08 1,275 ±4 31.4% 2026-11-11 bf16

重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法

D 言語:繁體中文 1,246 [1,237–1,254] パーセンタイル 23 · #168 · 要素数:1 暫定
ソース 要素 値 Elo-eq 重み 測定日 バリアント
LMArena text/chinese 1,242 ±5.64 1,248 ±4 93.6% 2026-11-11 bf16

重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法

D 言語:Deutsch 1,269 [1,254–1,285] パーセンタイル 19 · #118 · 要素数:1 暫定
ソース 要素 値 Elo-eq 重み 測定日 バリアント
LMArena text/german 1,252 ±9.94 1,275 ±9 92.3% 2026-11-11 bf16

重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法

C 言語:English 1,289 [1,285–1,294] パーセンタイル 36 · #172 · 要素数:1 暫定
ソース 要素 値 Elo-eq 重み 測定日 バリアント
LMArena text/english 1,312 ±2.35 1,295 ±2 94.0% 2026-11-11 bf16

重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法

D 言語:Español 1,262 [1,237–1,287] パーセンタイル 9 · #136 · 要素数:1 暫定
ソース 要素 値 Elo-eq 重み 測定日 バリアント
LMArena text/spanish 1,260 ±15 1,269 ±14 89.3% 2026-11-11 bf16

重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法

D 言語:Français 1,268 [1,242–1,293] パーセンタイル 11 · #126 · 要素数:1 暫定
ソース 要素 値 Elo-eq 重み 測定日 バリアント
LMArena text/french 1,279 ±16 1,275 ±14 89.3% 2026-11-11 bf16

重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法

D 言語:日本語 1,277 [1,263–1,292] パーセンタイル 16 · #107 · 要素数:1 暫定
ソース 要素 値 Elo-eq 重み 測定日 バリアント
LMArena text/japanese 1,208 ±11 1,283 ±8 92.6% 2026-11-11 bf16

重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法

D 言語:한국어 1,266 [1,250–1,282] パーセンタイル 12 · #121 · 要素数:1 暫定
ソース 要素 値 Elo-eq 重み 測定日 バリアント
LMArena text/korean 1,184 ±11 1,271 ±9 92.3% 2026-11-11 —

重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法

C 言語:Русский 1,280 [1,274–1,287] パーセンタイル 27 · #169 · 要素数:1 暫定
ソース 要素 値 Elo-eq 重み 測定日 バリアント
LMArena text/russian 1,265 ±4.04 1,286 ±4 93.8% 2026-11-11 —

重みはスコアに占める要素の割合です(残りは事前値で、データの少ないモデルを母集団の中央値に近づけます)。 算出方法

推移

月別fedi-index
同じデータを表で表示
モデル 2026-11
Llama 3.1 405B Instruct (BF16) 1,268 C

バッジ

モデルのfedi-indexをあなたのサイトやREADMEに表示できます。バッジは自動更新され、このページにリンクします。

fedi-index: Llama 3.1 405B Instruct (BF16)

データはCC BY 4.0:fedi.softwareへのリンクを残してください。