Hopp til innholdet
fedi.software

fedi-index-metodikk

Kilder, lisenser, vekter og formler for indeksen — generert fra den samme konfigurasjonen som beregningen bruker.

Metodikk v1 · Live-data for 2026-10 (beregnes daglig) · Historikk · JSON

  • Bare kilder med en uttrykkelig åpen lisens (CC BY, MIT, Apache) inngår i indeksen; kilder som venter på tillatelse, forblir avslått.
  • Uavhengige kjøringer teller; leverandørenes egne resultater vises med merking og får ingen vekt.
  • Én kildefamilie er én stemme: korrelerte kategorier fra de samme velgerne summeres ikke.
  • Hver poengsum har en offentlig oppdeling: komponent, kilde, verdi, vekt og dato.
  • Usikkerheten er synlig: en poengsum kommer med sitt intervall, lite data betyr «foreløpig».

Kilder og lisenser

Kilde Familie Lisens I indeksen
LMArena Arena Leaderboard Dataset by LMArena, CC BY 4.0. Modified by fedi.software (equated, weighted, aggregated). Not endorsed by LMArena. Arena (menneskelige stemmer) CC BY 4.0 ja
Epoch AI Epoch AI, 'Capabilities & benchmarking'. Published online at epoch.ai. Retrieved from 'https://epoch.ai/benchmarks'. CC BY. ECI by Epoch AI; Epoch-run results only. Modified by fedi.software. Epoch AI (benchmarks) CC BY 4.0 ja
τ²-bench (Sierra) τ²-bench leaderboard, © Sierra Research, MIT License (Yao et al. 2024, arXiv:2406.12045; Barres et al. 2025, arXiv:2506.07982). Sierra-run text submissions only. τ²-bench (agenter) MIT ja
LiveBench LiveBench — venter på tillatelse
Terminal-Bench Terminal-Bench — venter på tillatelse
SWE-rebench SWE-rebench — venter på tillatelse
Toolathlon Toolathlon — venter på tillatelse
models.dev Pricing: models.dev, MIT License, © 2025 models.dev. modelsdev MIT ja
LiteLLM Pricing: LiteLLM model_prices_and_context_window.json, MIT License, © 2023 Berri AI. litellm MIT ja
Hugging Face Downloads (30 days): Hugging Face Hub, as of the snapshot date. hf — ja

Utsnitt og vekter

Generelt

Arena (menneskelige stemmer) andel 50%

  • text/overall text/overall2
  • text/hard_prompts text/hard_prompts2
  • text/expert text/expert1
  • text/instruction_following text/instruction_following1
  • text/multi_turn text/multi_turn0,50
  • text/longer_query text/longer_query0,50

Epoch AI (benchmarks) andel 50%

  • Epoch Capabilities Index eci3
  • GPQA Diamond gpqa_diamond0,50
  • SimpleQA Verified simpleqa_verified0,50

Koding

Arena (menneskelige stemmer) andel 60%

  • text/coding text/coding1,5
  • webdev/overall webdev/overall1,5

Epoch AI (benchmarks) andel 40%

  • SWE-bench Verified swe_bench_verified1

Agenter

Arena (menneskelige stemmer) andel 60%

  • agent/overall agent/overall1

τ²-bench (agenter) andel 40%

  • τ-Knowledge banking tau2/banking_knowledge1,5
  • τ²-bench retail tau2/retail1
  • τ²-bench airline tau2/airline1
  • τ²-bench telecom tau2/telecom1

Matematikk

Arena (menneskelige stemmer) andel 50%

  • text/math text/math1

Epoch AI (benchmarks) andel 50%

  • FrontierMath Tiers 1–3 frontiermath_t1_32
  • FrontierMath Tier 4 frontiermath_t41

Syn foreløpig

Arena (menneskelige stemmer) andel 100%

  • vision/overall vision/overall2
  • vision/ocr vision/ocr0,50
  • vision/diagram vision/diagram0,50

Søk foreløpig

Arena (menneskelige stemmer) andel 100%

  • search/overall search/overall1

Skriving foreløpig

Arena (menneskelige stemmer) andel 100%

  • text/creative_writing text/creative_writing2
  • text/longer_query text/longer_query1

Språk foreløpig

Arena-stemmer på hvert språk; et utsnitt vises på nettstedsversjonen på det språket.

English — text/english · Русский — text/russian · Deutsch — text/german · Español — text/spanish · Français — text/french · 日本語 — text/japanese · 한국어 — text/korean · 繁體中文 — text/chinese · Polski — text/polish

Benchmarks og deres alder

Komponent Versjon utgitt
Epoch Capabilities Index eci live (ingen nedvekting)
GPQA Diamond gpqa_diamond 2023-11-20
SimpleQA Verified simpleqa_verified 2025-09-09
FrontierMath Tiers 1–3 frontiermath_t1_3 2026-06-12
FrontierMath Tier 4 frontiermath_t4 2026-06-12
SWE-bench Verified swe_bench_verified 2024-08-13
τ²-bench retail tau2/retail 2024-06-17
τ²-bench airline tau2/airline 2024-06-17
τ²-bench telecom tau2/telecom 2025-06-09
τ-Knowledge banking tau2/banking_knowledge 2026-03-04

En eldre benchmark-versjon får mindre vekt (kontaminering, metning): vekten halveres hver decay_half_life måned, ned til decay_min.

Formler

Hver komponent flyttes til Arena-skalaen ved lineær ekvivalering på modellene som er målt av begge (anker A = Arena tekst samlet). Parameterne fastsettes på referanse-øyeblikksbildet for metodikkversjonen, slik at månedene forblir sammenlignbare.

x_eq  = μ_A + (x − μ_c) · σ_A / σ_c          se_eq = se · σ_A / σ_c
w_c   = 8 · family_share[f] · base_w[c] / Σ base_w(f, present)
rel_c = τ² / (τ² + se_eq²)
w_eff = w_c · rel_c · decay_c · (self_report ? 0 : 1)
Q     = (Σ w_eff · x_eq + w0 · prior) / (Σ w_eff + w0)
SE(Q) = √Σ (w_eff · se_eq)² / (Σ w_eff + w0)

Innenfor et utsnitt beregnes et gjennomsnitt av komponentene med deres vekter, pålitelighet (τ) og benchmarkens alder; en modell med lite data trekkes mot priori-verdien. Parametere:

anchor
arena:text/overall
total_weight
8
tau
15
w0
0,50
prior_pct
25
min_anchors
8
min_votes
300
min_confidence
0,90
decay_half_life
18
decay_min
0,25
outlier_sigma
3
outlier_factor
0,50
population_months
18
jump_sigma
3

Nivå = det dårligste av nivået etter persentil og nivået etter konfidensintervallet; en modell med én kildefamilie får maksimalt A.

Nivå = det dårligste av nivået etter persentil og nivået etter konfidensintervallet; en modell med én kildefamilie får maksimalt A.

provisional_max
A

S ≥ p95A ≥ p80B ≥ p50C ≥ p25 D < p25

Nivå etter konfidensintervallet (øvre grense for rangering / modeller): S ≤ 10% · A ≤ 30% · B ≤ 60% · C ≤ 85%

Verdi: kvalitet for prisen

Verdi er avstanden over regresjonslinjen for kvalitet mot log₂ av prisen; prisen er medianen av leverandører.

slice
general
input_share
3
output_share
1
price_sources
modelsdev, litellm
unit
1m_tokens

På din maskinvare

Lokalt: bare åpne vekter, den beste kvantiseringen som passer et oppsett, poengsummen skalert etter genereringshastighet.

slice
general
context
8 192
speed_ref
20
low_penalty
0,60
  • GPU 12 GB
  • GPU 24 GB
  • Mac 64 GB
  • 128 GB delt minne
  • CPU, 32 GB RAM

Data, lisens og arkiv

Indeksen (våre tall og oppdelinger) er CC BY 4.0: «fedi-index by fedi.software» med lenke. Komponentene beholder lisensene til kildene sine, oppført i sources[] i JSON.

Et øyeblikksbilde fryses den 1. hver måned og endres aldri; en ny metodikkversjon starter en ny serie.

Månedlig JSON: 2026-10

Endringslogg

  • v1 2026-10-01 First version: LMArena + Epoch AI + τ²-bench, linear equating to Arena text Elo with parameters fixed on the reference snapshot, family shares, sub-scores arena / bench, value = residual of the price regression + Pareto, local = Fit on 5 stacks.
  • v1.1 2026-10-01 Local quant floor: the quant is picked like local-fit (Q3 floor; below it only when nothing of Q3+ fits — "strong compression", ×0.6, ranked after every Q3+ model). Local only; the v1 scale and the published 2026-10 snapshot are unchanged.