본문으로 건너뛰기
fedi.software

fedi-index의 Llama 3.1 405B Instruct (BF16)

분야별 점수와 그 구성, 가성비, 로컬 실행, 추이.

fedi-index · 종합

C 1,268 ±8

백분위 31 · #205

사람의 선호 / 문제 해결

1,275 / 1,257

사람 투표와 벤치마크, Elo-eq

가성비

-144

100만 토큰당 US$3.50, 제공업체 1곳 중앙값

내 하드웨어에서

비공개 가중치: 클라우드 전용.

점수 구성

C 종합 1,268 [1,261–1,276] 백분위 31 · #205 · 구성 요소: 8
소스 구성 요소 값 Elo-eq 가중치 측정일 변형
Epoch AI eci 128 ±1.47 1,263 ±12 32.6% 2024-07-23 —
LMArena text/overall 1,284 ±1.89 1,284 ±2 17.1% 2026-11-11 bf16
LMArena text/hard_prompts 1,269 ±3.03 1,277 ±3 16.8% 2026-11-11 bf16
LMArena text/instruction_following 1,258 ±2.68 1,279 ±2 8.4% 2026-11-11 bf16
LMArena text/expert 1,243 ±5.81 1,266 ±5 7.9% 2026-11-11 —
LMArena text/multi_turn 1,297 ±3.91 1,305 ±4 4.1% 2026-11-11 bf16
LMArena text/longer_query 1,266 ±4.08 1,275 ±4 4.1% 2026-11-11 bf16
Epoch AI gpqa_diamond 감쇠 ×0.25 0.51 ±0.03 1,277 ±12 1.3% 2025-01-27 —

가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론

C 코딩 1,275 [1,269–1,281] 백분위 29 · #203 · 구성 요소: 1 잠정
소스 구성 요소 값 Elo-eq 가중치 측정일 변형
LMArena text/coding 1,291 ±3.81 1,284 ±3 88.4% 2026-11-11 bf16

가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론

C 수학 1,270 [1,264–1,277] 백분위 32 · #173 · 구성 요소: 1 잠정
소스 구성 요소 값 Elo-eq 가중치 측정일 변형
LMArena text/math 1,281 ±3.86 1,279 ±4 88.3% 2026-11-11 —

가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론

C 글쓰기 1,278 [1,273–1,284] 백분위 35 · #173 · 구성 요소: 2 잠정
소스 구성 요소 값 Elo-eq 가중치 측정일 변형
LMArena text/creative_writing 1,262 ±3.92 1,287 ±4 62.4% 2026-11-11 —
LMArena text/longer_query 1,266 ±4.08 1,275 ±4 31.4% 2026-11-11 bf16

가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론

D 언어: 繁體中文 1,246 [1,237–1,254] 백분위 23 · #168 · 구성 요소: 1 잠정
소스 구성 요소 값 Elo-eq 가중치 측정일 변형
LMArena text/chinese 1,242 ±5.64 1,248 ±4 93.6% 2026-11-11 bf16

가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론

D 언어: Deutsch 1,269 [1,254–1,285] 백분위 19 · #118 · 구성 요소: 1 잠정
소스 구성 요소 값 Elo-eq 가중치 측정일 변형
LMArena text/german 1,252 ±9.94 1,275 ±9 92.3% 2026-11-11 bf16

가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론

C 언어: English 1,289 [1,285–1,294] 백분위 36 · #172 · 구성 요소: 1 잠정
소스 구성 요소 값 Elo-eq 가중치 측정일 변형
LMArena text/english 1,312 ±2.35 1,295 ±2 94.0% 2026-11-11 bf16

가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론

D 언어: Español 1,262 [1,237–1,287] 백분위 9 · #136 · 구성 요소: 1 잠정
소스 구성 요소 값 Elo-eq 가중치 측정일 변형
LMArena text/spanish 1,260 ±15 1,269 ±14 89.3% 2026-11-11 bf16

가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론

D 언어: Français 1,268 [1,242–1,293] 백분위 11 · #126 · 구성 요소: 1 잠정
소스 구성 요소 값 Elo-eq 가중치 측정일 변형
LMArena text/french 1,279 ±16 1,275 ±14 89.3% 2026-11-11 bf16

가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론

D 언어: 日本語 1,277 [1,263–1,292] 백분위 16 · #107 · 구성 요소: 1 잠정
소스 구성 요소 값 Elo-eq 가중치 측정일 변형
LMArena text/japanese 1,208 ±11 1,283 ±8 92.6% 2026-11-11 bf16

가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론

D 언어: 한국어 1,266 [1,250–1,282] 백분위 12 · #121 · 구성 요소: 1 잠정
소스 구성 요소 값 Elo-eq 가중치 측정일 변형
LMArena text/korean 1,184 ±11 1,271 ±9 92.3% 2026-11-11 —

가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론

C 언어: Русский 1,280 [1,274–1,287] 백분위 27 · #169 · 구성 요소: 1 잠정
소스 구성 요소 값 Elo-eq 가중치 측정일 변형
LMArena text/russian 1,265 ±4.04 1,286 ±4 93.8% 2026-11-11 —

가중치는 점수에서 해당 구성 요소가 차지하는 비중입니다(나머지는 사전값으로, 데이터가 적은 모델을 모집단 중앙값 쪽으로 끌어당깁니다). 방법론

추이

월별 fedi-index
표로 보기
모델 2026-11
Llama 3.1 405B Instruct (BF16) 1,268 C

배지

내 사이트나 README에 모델의 fedi-index를 표시하세요. 배지는 자동으로 업데이트되며 이 페이지로 연결됩니다.

fedi-index: Llama 3.1 405B Instruct (BF16)

데이터는 CC BY 4.0: fedi.software 링크를 유지해 주세요.