Gå til indhold
fedi.software

fedi-index-metodik

Indeksets kilder, licenser, vægte og formler — genereret fra den samme konfiguration, som beregningen bruger.

Metodik v1 · Live-data for 2026-10 (genberegnes dagligt) · Historik · JSON

  • Kun kilder med en udtrykkelig åben licens (CC BY, MIT, Apache) indgår i indekset; kilder, der venter på tilladelse, forbliver slået fra.
  • Uafhængige kørsler tæller; leverandørernes egne resultater vises med en mærkning og får ingen vægt.
  • Én kildefamilie er én stemme: korrelerede kategorier fra de samme vælgere lægges ikke sammen.
  • Hver score har en offentlig opdeling: komponent, kilde, værdi, vægt og dato.
  • Usikkerheden er synlig: en score vises med sit interval, få data betyder »foreløbig«.

Kilder og licenser

Kilde Familie Licens I indekset
LMArena Arena Leaderboard Dataset by LMArena, CC BY 4.0. Modified by fedi.software (equated, weighted, aggregated). Not endorsed by LMArena. Arena (menneskelige stemmer) CC BY 4.0 ja
Epoch AI Epoch AI, 'Capabilities & benchmarking'. Published online at epoch.ai. Retrieved from 'https://epoch.ai/benchmarks'. CC BY. ECI by Epoch AI; Epoch-run results only. Modified by fedi.software. Epoch AI (benchmarks) CC BY 4.0 ja
τ²-bench (Sierra) τ²-bench leaderboard, © Sierra Research, MIT License (Yao et al. 2024, arXiv:2406.12045; Barres et al. 2025, arXiv:2506.07982). Sierra-run text submissions only. τ²-bench (agenter) MIT ja
LiveBench LiveBench — venter på tilladelse
Terminal-Bench Terminal-Bench — venter på tilladelse
SWE-rebench SWE-rebench — venter på tilladelse
Toolathlon Toolathlon — venter på tilladelse
models.dev Pricing: models.dev, MIT License, © 2025 models.dev. modelsdev MIT ja
LiteLLM Pricing: LiteLLM model_prices_and_context_window.json, MIT License, © 2023 Berri AI. litellm MIT ja
Hugging Face Downloads (30 days): Hugging Face Hub, as of the snapshot date. hf — ja

Udsnit og vægte

Generelt

Arena (menneskelige stemmer) andel 50%

  • text/overall text/overall2
  • text/hard_prompts text/hard_prompts2
  • text/expert text/expert1
  • text/instruction_following text/instruction_following1
  • text/multi_turn text/multi_turn0,50
  • text/longer_query text/longer_query0,50

Epoch AI (benchmarks) andel 50%

  • Epoch Capabilities Index eci3
  • GPQA Diamond gpqa_diamond0,50
  • SimpleQA Verified simpleqa_verified0,50

Kodning

Arena (menneskelige stemmer) andel 60%

  • text/coding text/coding1,5
  • webdev/overall webdev/overall1,5

Epoch AI (benchmarks) andel 40%

  • SWE-bench Verified swe_bench_verified1

Agenter

Arena (menneskelige stemmer) andel 60%

  • agent/overall agent/overall1

τ²-bench (agenter) andel 40%

  • τ-Knowledge banking tau2/banking_knowledge1,5
  • τ²-bench retail tau2/retail1
  • τ²-bench airline tau2/airline1
  • τ²-bench telecom tau2/telecom1

Matematik

Arena (menneskelige stemmer) andel 50%

  • text/math text/math1

Epoch AI (benchmarks) andel 50%

  • FrontierMath Tiers 1–3 frontiermath_t1_32
  • FrontierMath Tier 4 frontiermath_t41

Billedforståelse foreløbig

Arena (menneskelige stemmer) andel 100%

  • vision/overall vision/overall2
  • vision/ocr vision/ocr0,50
  • vision/diagram vision/diagram0,50

Søgning foreløbig

Arena (menneskelige stemmer) andel 100%

  • search/overall search/overall1

Skrivning foreløbig

Arena (menneskelige stemmer) andel 100%

  • text/creative_writing text/creative_writing2
  • text/longer_query text/longer_query1

Sprog foreløbig

Arena-stemmer på hvert sprog; et udsnit vises på websitets version på det sprog.

English — text/english · Русский — text/russian · Deutsch — text/german · Español — text/spanish · Français — text/french · 日本語 — text/japanese · 한국어 — text/korean · 繁體中文 — text/chinese · Polski — text/polish

Benchmarks og deres alder

Komponent Version udgivet
Epoch Capabilities Index eci live (ingen nedvægtning)
GPQA Diamond gpqa_diamond 2023-11-20
SimpleQA Verified simpleqa_verified 2025-09-09
FrontierMath Tiers 1–3 frontiermath_t1_3 2026-06-12
FrontierMath Tier 4 frontiermath_t4 2026-06-12
SWE-bench Verified swe_bench_verified 2024-08-13
τ²-bench retail tau2/retail 2024-06-17
τ²-bench airline tau2/airline 2024-06-17
τ²-bench telecom tau2/telecom 2025-06-09
τ-Knowledge banking tau2/banking_knowledge 2026-03-04

En ældre benchmarkversion får mindre vægt (kontaminering, mætning): vægten halveres hver decay_half_life måned, ned til decay_min.

Formler

Hver komponent flyttes til Arena-skalaen ved lineær ækvivalering på de modeller, der er målt af begge (anker A = Arena tekst samlet). Parametrene fastlægges på metodikversionens reference-øjebliksbillede, så månederne forbliver sammenlignelige.

x_eq  = μ_A + (x − μ_c) · σ_A / σ_c          se_eq = se · σ_A / σ_c
w_c   = 8 · family_share[f] · base_w[c] / Σ base_w(f, present)
rel_c = τ² / (τ² + se_eq²)
w_eff = w_c · rel_c · decay_c · (self_report ? 0 : 1)
Q     = (Σ w_eff · x_eq + w0 · prior) / (Σ w_eff + w0)
SE(Q) = √Σ (w_eff · se_eq)² / (Σ w_eff + w0)

Inden for et udsnit beregnes et gennemsnit af komponenterne med deres vægte, pålidelighed (τ) og benchmarkens alder; en model med få data trækkes mod priorværdien. Parametre:

anchor
arena:text/overall
total_weight
8
tau
15
w0
0,50
prior_pct
25
min_anchors
8
min_votes
300
min_confidence
0,90
decay_half_life
18
decay_min
0,25
outlier_sigma
3
outlier_factor
0,50
population_months
18
jump_sigma
3

Niveau = det dårligste af niveauet efter percentil og niveauet efter konfidensintervallet; en model med én kildefamilie får højst A.

Niveau = det dårligste af niveauet efter percentil og niveauet efter konfidensintervallet; en model med én kildefamilie får højst A.

provisional_max
A

S ≥ p95A ≥ p80B ≥ p50C ≥ p25 D < p25

Niveau efter konfidensintervallet (øvre grænse for placeringen / modeller): S ≤ 10% · A ≤ 30% · B ≤ 60% · C ≤ 85%

Værdi: kvalitet for pengene

Værdi er afstanden over regressionslinjen for kvalitet mod log₂ af prisen; prisen er medianen af udbydere.

slice
general
input_share
3
output_share
1
price_sources
modelsdev, litellm
unit
1m_tokens

På din hardware

Lokalt: kun åbne vægte, den bedste kvantisering, der passer til en opsætning, scoren skaleret efter genereringshastighed.

slice
general
context
8.192
speed_ref
20
low_penalty
0,60
  • GPU 12 GB
  • GPU 24 GB
  • Mac 64 GB
  • 128 GB delt hukommelse
  • CPU, 32 GB RAM

Data, licens og arkiv

Indekset (vores tal og opdelinger) er CC BY 4.0: »fedi-index by fedi.software« med et link. Komponenterne bevarer deres kilders licenser, angivet i sources[] i JSON.

Et øjebliksbillede fryses den 1. i hver måned og ændres aldrig; en ny metodikversion starter en ny serie.

Månedlig JSON: 2026-10

Ændringslog

  • v1 2026-10-01 First version: LMArena + Epoch AI + τ²-bench, linear equating to Arena text Elo with parameters fixed on the reference snapshot, family shares, sub-scores arena / bench, value = residual of the price regression + Pareto, local = Fit on 5 stacks.
  • v1.1 2026-10-01 Local quant floor: the quant is picked like local-fit (Q3 floor; below it only when nothing of Q3+ fits — "strong compression", ×0.6, ranked after every Q3+ model). Local only; the v1 scale and the published 2026-10 snapshot are unchanged.