ระเบียบวิธีของ fedi-index
แหล่งข้อมูล สัญญาอนุญาต น้ำหนัก และสูตรของดัชนี — แสดงจากค่าตั้งค่าเดียวกับที่ใช้คำนวณจริง
ระเบียบวิธี v1 · ข้อมูลสดของ 2026-10 (คำนวณใหม่ทุกวัน) · ประวัติ · JSON
- เฉพาะแหล่งข้อมูลที่มีสัญญาอนุญาตแบบเปิดอย่างชัดเจน (CC BY, MIT, Apache) เท่านั้นที่เข้าสู่ดัชนี แหล่งที่ยังรออนุญาตจะถูกปิดไว้
- นับเฉพาะผลรันอิสระ ข้อมูลที่ผู้พัฒนารายงานเองจะแสดงพร้อมป้ายกำกับและไม่ได้รับน้ำหนัก
- แหล่งข้อมูลหนึ่งกลุ่มเท่ากับหนึ่งเสียง: หมวดที่สัมพันธ์กันจากผู้โหวตกลุ่มเดียวกันจะไม่ถูกนับซ้ำ
- ทุกคะแนนมีรายละเอียดเปิดเผย: องค์ประกอบ แหล่งข้อมูล ค่า น้ำหนัก และวันที่
- เห็นความไม่แน่นอนได้ชัด: คะแนนมาพร้อมช่วง ข้อมูลน้อยจะระบุว่า “เบื้องต้น”
แหล่งข้อมูลและสัญญาอนุญาต
| แหล่งข้อมูล | กลุ่ม | สัญญาอนุญาต | อยู่ในดัชนี |
|---|---|---|---|
| LMArena Arena Leaderboard Dataset by LMArena, CC BY 4.0. Modified by fedi.software (equated, weighted, aggregated). Not endorsed by LMArena. | Arena (โหวตจากผู้คน) | CC BY 4.0 | ใช่ |
| Epoch AI Epoch AI, 'Capabilities & benchmarking'. Published online at epoch.ai. Retrieved from 'https://epoch.ai/benchmarks'. CC BY. ECI by Epoch AI; Epoch-run results only. Modified by fedi.software. | Epoch AI (เบนช์มาร์ก) | CC BY 4.0 | ใช่ |
| τ²-bench (Sierra) τ²-bench leaderboard, © Sierra Research, MIT License (Yao et al. 2024, arXiv:2406.12045; Barres et al. 2025, arXiv:2506.07982). Sierra-run text submissions only. | τ²-bench (เอเจนต์) | MIT | ใช่ |
| LiveBench | LiveBench | — | รออนุญาต |
| Terminal-Bench | Terminal-Bench | — | รออนุญาต |
| SWE-rebench | SWE-rebench | — | รออนุญาต |
| Toolathlon | Toolathlon | — | รออนุญาต |
| models.dev Pricing: models.dev, MIT License, © 2025 models.dev. | modelsdev | MIT | ใช่ |
| LiteLLM Pricing: LiteLLM model_prices_and_context_window.json, MIT License, © 2023 Berri AI. | litellm | MIT | ใช่ |
| Hugging Face Downloads (30 days): Hugging Face Hub, as of the snapshot date. | hf | — | ใช่ |
หมวดและน้ำหนัก
ภาพรวม
Arena (โหวตจากผู้คน) สัดส่วน 50%
- text/overall
text/overall2 - text/hard_prompts
text/hard_prompts2 - text/expert
text/expert1 - text/instruction_following
text/instruction_following1 - text/multi_turn
text/multi_turn0.50 - text/longer_query
text/longer_query0.50
Epoch AI (เบนช์มาร์ก) สัดส่วน 50%
- Epoch Capabilities Index
eci3 - GPQA Diamond
gpqa_diamond0.50 - SimpleQA Verified
simpleqa_verified0.50
เขียนโค้ด
Arena (โหวตจากผู้คน) สัดส่วน 60%
- text/coding
text/coding1.5 - webdev/overall
webdev/overall1.5
Epoch AI (เบนช์มาร์ก) สัดส่วน 40%
- SWE-bench Verified
swe_bench_verified1
เอเจนต์
Arena (โหวตจากผู้คน) สัดส่วน 60%
- agent/overall
agent/overall1
τ²-bench (เอเจนต์) สัดส่วน 40%
- τ-Knowledge banking
tau2/banking_knowledge1.5 - τ²-bench retail
tau2/retail1 - τ²-bench airline
tau2/airline1 - τ²-bench telecom
tau2/telecom1
คณิตศาสตร์
Arena (โหวตจากผู้คน) สัดส่วน 50%
- text/math
text/math1
Epoch AI (เบนช์มาร์ก) สัดส่วน 50%
- FrontierMath Tiers 1–3
frontiermath_t1_32 - FrontierMath Tier 4
frontiermath_t41
ภาพ เบื้องต้น
Arena (โหวตจากผู้คน) สัดส่วน 100%
- vision/overall
vision/overall2 - vision/ocr
vision/ocr0.50 - vision/diagram
vision/diagram0.50
ค้นหา เบื้องต้น
Arena (โหวตจากผู้คน) สัดส่วน 100%
- search/overall
search/overall1
งานเขียน เบื้องต้น
Arena (โหวตจากผู้คน) สัดส่วน 100%
- text/creative_writing
text/creative_writing2 - text/longer_query
text/longer_query1
ภาษา เบื้องต้น
โหวตของ Arena ในแต่ละภาษา หมวดนั้นจะแสดงบนเว็บไซต์เวอร์ชันภาษานั้น
English — text/english · Русский — text/russian · Deutsch — text/german · Español — text/spanish · Français — text/french · 日本語 — text/japanese · 한국어 — text/korean · 繁體中文 — text/chinese · Polski — text/polish
เบนช์มาร์กและอายุ
| องค์ประกอบ | วันที่ออกเวอร์ชัน |
|---|---|
Epoch Capabilities Index eci |
สด (ไม่ลดทอน) |
GPQA Diamond gpqa_diamond |
2023-11-20 |
SimpleQA Verified simpleqa_verified |
2025-09-09 |
FrontierMath Tiers 1–3 frontiermath_t1_3 |
2026-06-12 |
FrontierMath Tier 4 frontiermath_t4 |
2026-06-12 |
SWE-bench Verified swe_bench_verified |
2024-08-13 |
τ²-bench retail tau2/retail |
2024-06-17 |
τ²-bench airline tau2/airline |
2024-06-17 |
τ²-bench telecom tau2/telecom |
2025-06-09 |
τ-Knowledge banking tau2/banking_knowledge |
2026-03-04 |
เบนช์มาร์กเวอร์ชันเก่าได้น้ำหนักน้อยลง (ข้อมูลรั่วไหลเข้าชุดฝึก, อิ่มตัว): น้ำหนักลดลงครึ่งหนึ่งทุก decay_half_life เดือน แต่ไม่ต่ำกว่า decay_min
สูตร
ทุกองค์ประกอบถูกแปลงเข้าสเกลของ Arena ด้วยการปรับเทียบเชิงเส้นจากโมเดลที่ถูกวัดโดยทั้งสองแหล่ง (จุดยึด A = Arena text overall) พารามิเตอร์ถูกตรึงไว้ที่สแนปช็อตอ้างอิงของระเบียบวิธีเวอร์ชันนั้น จึงเปรียบเทียบข้ามเดือนได้
x_eq = μ_A + (x − μ_c) · σ_A / σ_c se_eq = se · σ_A / σ_c w_c = 8 · family_share[f] · base_w[c] / Σ base_w(f, present) rel_c = τ² / (τ² + se_eq²) w_eff = w_c · rel_c · decay_c · (self_report ? 0 : 1) Q = (Σ w_eff · x_eq + w0 · prior) / (Σ w_eff + w0) SE(Q) = √Σ (w_eff · se_eq)² / (Σ w_eff + w0)
ภายในหมวด องค์ประกอบจะถูกเฉลี่ยตามน้ำหนัก ความน่าเชื่อถือ (τ) และอายุของเบนช์มาร์ก โมเดลที่มีข้อมูลน้อยจะถูกดึงเข้าหาค่าก่อนหน้า พารามิเตอร์:
anchor- arena:text/overall
total_weight- 8
tau- 15
w0- 0.50
prior_pct- 25
min_anchors- 8
min_votes- 300
min_confidence- 0.90
decay_half_life- 18
decay_min- 0.25
outlier_sigma- 3
outlier_factor- 0.50
population_months- 18
jump_sigma- 3
ระดับ = ค่าที่แย่กว่าระหว่างระดับตามเปอร์เซ็นไทล์กับระดับตามช่วงความเชื่อมั่น โมเดลที่มีแหล่งข้อมูลกลุ่มเดียวได้สูงสุด A
ระดับ = ค่าที่แย่กว่าระหว่างระดับตามเปอร์เซ็นไทล์กับระดับตามช่วงความเชื่อมั่น โมเดลที่มีแหล่งข้อมูลกลุ่มเดียวได้สูงสุด A
provisional_max- A
S ≥ p95A ≥ p80B ≥ p50C ≥ p25 D < p25
ระดับตามช่วงความเชื่อมั่น (ขอบบนของอันดับ / จำนวนโมเดล): S ≤ 10% · A ≤ 30% · B ≤ 60% · C ≤ 85%
ความคุ้มค่า: คุณภาพเทียบกับราคา
ความคุ้มค่าคือระยะที่อยู่เหนือเส้นถดถอยของคุณภาพเทียบกับ log₂ ของราคา ราคาคือค่ามัธยฐานของผู้ให้บริการ
slice- general
input_share- 3
output_share- 1
price_sources- modelsdev, litellm
unit- 1m_tokens
บนฮาร์ดแวร์ของคุณ
บนเครื่อง: เฉพาะโอเพนเวต ใช้ควอนไทซ์ที่ดีที่สุดที่รันบนเครื่องนั้นได้ และปรับคะแนนตามความเร็วในการสร้างข้อความ
slice- general
context- 8,192
speed_ref- 20
low_penalty- 0.60
- GPU 12 GB
- GPU 24 GB
- Mac 64 GB
- หน่วยความจำรวม 128 GB
- CPU, RAM 32 GB
ข้อมูล สัญญาอนุญาต และคลังข้อมูล
ดัชนี (ตัวเลขและรายละเอียดของเรา) เป็น CC BY 4.0: “fedi-index by fedi.software” พร้อมลิงก์ องค์ประกอบใช้สัญญาอนุญาตตามแหล่งข้อมูลเดิม ซึ่งระบุไว้ใน sources[] ของ JSON
สแนปช็อตจะถูกตรึงทุกวันที่ 1 ของเดือนและจะไม่เปลี่ยนอีก ระเบียบวิธีเวอร์ชันใหม่จะเริ่มชุดข้อมูลใหม่
JSON รายเดือน: 2026-10
บันทึกการเปลี่ยนแปลง
- v1 2026-10-01 First version: LMArena + Epoch AI + τ²-bench, linear equating to Arena text Elo with parameters fixed on the reference snapshot, family shares, sub-scores arena / bench, value = residual of the price regression + Pareto, local = Fit on 5 stacks.
- v1.1 2026-10-01 Local quant floor: the quant is picked like local-fit (Q3 floor; below it only when nothing of Q3+ fits — "strong compression", ×0.6, ranked after every Q3+ model). Local only; the v1 scale and the published 2026-10 snapshot are unchanged.