fedi-index의 Llama 3.1 405B Instruct (BF16)
분야별 점수와 그 구성, 가성비, 로컬 실행, 추이.
fedi-index · 종합
C 1,268 ±8
백분위 31 · #205
사람의 선호 / 문제 해결
1,275 / 1,257
사람 투표와 벤치마크, Elo-eq
가성비
-144
100만 토큰당 US$3.50, 제공업체 1곳 중앙값
내 하드웨어에서
비공개 가중치: 클라우드 전용.
점수 구성
C 종합 1,268 [1,261–1,276] 백분위 31 · #205 · 구성 요소: 8
| 소스 | 구성 요소 | 값 | Elo-eq | 가중치 | 측정일 | 변형 |
|---|---|---|---|---|---|---|
| Epoch AI |
eci
|
128 ±1.47 | 1,263 ±12 | 32.6% | 2024-07-23 | — |
| LMArena |
text/overall
|
1,284 ±1.89 | 1,284 ±2 | 17.1% | 2026-11-11 | bf16 |
| LMArena |
text/hard_prompts
|
1,269 ±3.03 | 1,277 ±3 | 16.8% | 2026-11-11 | bf16 |
| LMArena |
text/instruction_following
|
1,258 ±2.68 | 1,279 ±2 | 8.4% | 2026-11-11 | bf16 |
| LMArena |
text/expert
|
1,243 ±5.81 | 1,266 ±5 | 7.9% | 2026-11-11 | — |
| LMArena |
text/multi_turn
|
1,297 ±3.91 | 1,305 ±4 | 4.1% | 2026-11-11 | bf16 |
| LMArena |
text/longer_query
|
1,266 ±4.08 | 1,275 ±4 | 4.1% | 2026-11-11 | bf16 |
| Epoch AI |
gpqa_diamond
감쇠 ×0.25 |
0.51 ±0.03 | 1,277 ±12 | 1.3% | 2025-01-27 | — |
가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론
C 코딩 1,275 [1,269–1,281] 백분위 29 · #203 · 구성 요소: 1 잠정
| 소스 | 구성 요소 | 값 | Elo-eq | 가중치 | 측정일 | 변형 |
|---|---|---|---|---|---|---|
| LMArena |
text/coding
|
1,291 ±3.81 | 1,284 ±3 | 88.4% | 2026-11-11 | bf16 |
가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론
C 수학 1,270 [1,264–1,277] 백분위 32 · #173 · 구성 요소: 1 잠정
| 소스 | 구성 요소 | 값 | Elo-eq | 가중치 | 측정일 | 변형 |
|---|---|---|---|---|---|---|
| LMArena |
text/math
|
1,281 ±3.86 | 1,279 ±4 | 88.3% | 2026-11-11 | — |
가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론
C 글쓰기 1,278 [1,273–1,284] 백분위 35 · #173 · 구성 요소: 2 잠정
| 소스 | 구성 요소 | 값 | Elo-eq | 가중치 | 측정일 | 변형 |
|---|---|---|---|---|---|---|
| LMArena |
text/creative_writing
|
1,262 ±3.92 | 1,287 ±4 | 62.4% | 2026-11-11 | — |
| LMArena |
text/longer_query
|
1,266 ±4.08 | 1,275 ±4 | 31.4% | 2026-11-11 | bf16 |
가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론
D 언어: 繁體中文 1,246 [1,237–1,254] 백분위 23 · #168 · 구성 요소: 1 잠정
| 소스 | 구성 요소 | 값 | Elo-eq | 가중치 | 측정일 | 변형 |
|---|---|---|---|---|---|---|
| LMArena |
text/chinese
|
1,242 ±5.64 | 1,248 ±4 | 93.6% | 2026-11-11 | bf16 |
가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론
D 언어: Deutsch 1,269 [1,254–1,285] 백분위 19 · #118 · 구성 요소: 1 잠정
| 소스 | 구성 요소 | 값 | Elo-eq | 가중치 | 측정일 | 변형 |
|---|---|---|---|---|---|---|
| LMArena |
text/german
|
1,252 ±9.94 | 1,275 ±9 | 92.3% | 2026-11-11 | bf16 |
가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론
C 언어: English 1,289 [1,285–1,294] 백분위 36 · #172 · 구성 요소: 1 잠정
| 소스 | 구성 요소 | 값 | Elo-eq | 가중치 | 측정일 | 변형 |
|---|---|---|---|---|---|---|
| LMArena |
text/english
|
1,312 ±2.35 | 1,295 ±2 | 94.0% | 2026-11-11 | bf16 |
가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론
D 언어: Español 1,262 [1,237–1,287] 백분위 9 · #136 · 구성 요소: 1 잠정
| 소스 | 구성 요소 | 값 | Elo-eq | 가중치 | 측정일 | 변형 |
|---|---|---|---|---|---|---|
| LMArena |
text/spanish
|
1,260 ±15 | 1,269 ±14 | 89.3% | 2026-11-11 | bf16 |
가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론
D 언어: Français 1,268 [1,242–1,293] 백분위 11 · #126 · 구성 요소: 1 잠정
| 소스 | 구성 요소 | 값 | Elo-eq | 가중치 | 측정일 | 변형 |
|---|---|---|---|---|---|---|
| LMArena |
text/french
|
1,279 ±16 | 1,275 ±14 | 89.3% | 2026-11-11 | bf16 |
가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론
D 언어: 日本語 1,277 [1,263–1,292] 백분위 16 · #107 · 구성 요소: 1 잠정
| 소스 | 구성 요소 | 값 | Elo-eq | 가중치 | 측정일 | 변형 |
|---|---|---|---|---|---|---|
| LMArena |
text/japanese
|
1,208 ±11 | 1,283 ±8 | 92.6% | 2026-11-11 | bf16 |
가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론
D 언어: 한국어 1,266 [1,250–1,282] 백분위 12 · #121 · 구성 요소: 1 잠정
| 소스 | 구성 요소 | 값 | Elo-eq | 가중치 | 측정일 | 변형 |
|---|---|---|---|---|---|---|
| LMArena |
text/korean
|
1,184 ±11 | 1,271 ±9 | 92.3% | 2026-11-11 | — |
가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론
C 언어: Русский 1,280 [1,274–1,287] 백분위 27 · #169 · 구성 요소: 1 잠정
| 소스 | 구성 요소 | 값 | Elo-eq | 가중치 | 측정일 | 변형 |
|---|---|---|---|---|---|---|
| LMArena |
text/russian
|
1,265 ±4.04 | 1,286 ±4 | 93.8% | 2026-11-11 | — |
가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론
추이
표로 보기
| 모델 | 2026-11 |
|---|---|
| Llama 3.1 405B Instruct (BF16) | 1,268 C |
배지
내 사이트나 README에 모델의 fedi-index를 표시하세요. 배지는 자동으로 업데이트되며 이 페이지로 연결됩니다.
데이터는 CC BY 4.0: fedi.software 링크를 유지해 주세요.