Na vsebino
fedi.software

Metodologija fedi-index

Viri, licence, uteži in formule indeksa — prikazani iz iste konfiguracije, ki jo uporablja izračun.

Metodologija v1 · Sprotni podatki za 2026-10 (dnevni izračun) · Zgodovina · JSON

  • V indeks vstopajo le viri z izrecno odprto licenco (CC BY, MIT, Apache); viri, ki še čakajo na dovoljenje, ostanejo izklopljeni.
  • Štejejo neodvisni zagoni; lastni rezultati ponudnikov so prikazani z oznako in nimajo uteži.
  • Ena družina virov je en glas: korelirane kategorije istih glasovalcev se ne seštevajo.
  • Vsaka ocena ima javno razčlenitev: komponenta, vir, vrednost, utež in datum.
  • Negotovost je vidna: ocena je prikazana z intervalom, malo podatkov pomeni »začasno«.

Viri in licence

Vir Družina Licenca V indeksu
LMArena Arena Leaderboard Dataset by LMArena, CC BY 4.0. Modified by fedi.software (equated, weighted, aggregated). Not endorsed by LMArena. Arena (človeški glasovi) CC BY 4.0 da
Epoch AI Epoch AI, 'Capabilities & benchmarking'. Published online at epoch.ai. Retrieved from 'https://epoch.ai/benchmarks'. CC BY. ECI by Epoch AI; Epoch-run results only. Modified by fedi.software. Epoch AI (primerjalni testi) CC BY 4.0 da
τ²-bench (Sierra) τ²-bench leaderboard, © Sierra Research, MIT License (Yao et al. 2024, arXiv:2406.12045; Barres et al. 2025, arXiv:2506.07982). Sierra-run text submissions only. τ²-bench (agenti) MIT da
LiveBench LiveBench — čaka na dovoljenje
Terminal-Bench Terminal-Bench — čaka na dovoljenje
SWE-rebench SWE-rebench — čaka na dovoljenje
Toolathlon Toolathlon — čaka na dovoljenje
models.dev Pricing: models.dev, MIT License, © 2025 models.dev. modelsdev MIT da
LiteLLM Pricing: LiteLLM model_prices_and_context_window.json, MIT License, © 2023 Berri AI. litellm MIT da
Hugging Face Downloads (30 days): Hugging Face Hub, as of the snapshot date. hf — da

Področja in uteži

Splošno

Arena (človeški glasovi) delež 50%

  • text/overall text/overall2
  • text/hard_prompts text/hard_prompts2
  • text/expert text/expert1
  • text/instruction_following text/instruction_following1
  • text/multi_turn text/multi_turn0,50
  • text/longer_query text/longer_query0,50

Epoch AI (primerjalni testi) delež 50%

  • Epoch Capabilities Index eci3
  • GPQA Diamond gpqa_diamond0,50
  • SimpleQA Verified simpleqa_verified0,50

Programiranje

Arena (človeški glasovi) delež 60%

  • text/coding text/coding1,5
  • webdev/overall webdev/overall1,5

Epoch AI (primerjalni testi) delež 40%

  • SWE-bench Verified swe_bench_verified1

Agenti

Arena (človeški glasovi) delež 60%

  • agent/overall agent/overall1

τ²-bench (agenti) delež 40%

  • τ-Knowledge banking tau2/banking_knowledge1,5
  • τ²-bench retail tau2/retail1
  • τ²-bench airline tau2/airline1
  • τ²-bench telecom tau2/telecom1

Matematika

Arena (človeški glasovi) delež 50%

  • text/math text/math1

Epoch AI (primerjalni testi) delež 50%

  • FrontierMath Tiers 1–3 frontiermath_t1_32
  • FrontierMath Tier 4 frontiermath_t41

Vid začasno

Arena (človeški glasovi) delež 100%

  • vision/overall vision/overall2
  • vision/ocr vision/ocr0,50
  • vision/diagram vision/diagram0,50

Iskanje začasno

Arena (človeški glasovi) delež 100%

  • search/overall search/overall1

Pisanje začasno

Arena (človeški glasovi) delež 100%

  • text/creative_writing text/creative_writing2
  • text/longer_query text/longer_query1

Jeziki začasno

Glasovi Arena v vsakem jeziku; področje je prikazano v jezikovni različici spletnega mesta za ta jezik.

English — text/english · Русский — text/russian · Deutsch — text/german · Español — text/spanish · Français — text/french · 日本語 — text/japanese · 한국어 — text/korean · 繁體中文 — text/chinese · Polski — text/polish

Primerjalni testi in njihova starost

Komponenta Izid različice
Epoch Capabilities Index eci sprotno (brez zastaranja)
GPQA Diamond gpqa_diamond 2023-11-20
SimpleQA Verified simpleqa_verified 2025-09-09
FrontierMath Tiers 1–3 frontiermath_t1_3 2026-06-12
FrontierMath Tier 4 frontiermath_t4 2026-06-12
SWE-bench Verified swe_bench_verified 2024-08-13
τ²-bench retail tau2/retail 2024-06-17
τ²-bench airline tau2/airline 2024-06-17
τ²-bench telecom tau2/telecom 2025-06-09
τ-Knowledge banking tau2/banking_knowledge 2026-03-04

Starejša različica primerjalnega testa dobi manjšo utež (kontaminacija, nasičenost): utež se razpolovi vsakih decay_half_life mesecev, do decay_min.

Formule

Vsaka komponenta se prenese na lestvico Arena z linearnim izenačevanjem na modelih, ki sta jih izmerila oba (sidro A = Arena text overall). Parametri so fiksirani na referenčnem posnetku različice metodologije, zato meseci ostanejo primerljivi.

x_eq  = μ_A + (x − μ_c) · σ_A / σ_c          se_eq = se · σ_A / σ_c
w_c   = 8 · family_share[f] · base_w[c] / Σ base_w(f, present)
rel_c = τ² / (τ² + se_eq²)
w_eff = w_c · rel_c · decay_c · (self_report ? 0 : 1)
Q     = (Σ w_eff · x_eq + w0 · prior) / (Σ w_eff + w0)
SE(Q) = √Σ (w_eff · se_eq)² / (Σ w_eff + w0)

Znotraj področja se komponente povprečijo z njihovimi utežmi, zanesljivostjo (τ) in starostjo primerjalnega testa; model z malo podatki se povleče proti apriorni vrednosti. Parametri:

anchor
arena:text/overall
total_weight
8
tau
15
w0
0,50
prior_pct
25
min_anchors
8
min_votes
300
min_confidence
0,90
decay_half_life
18
decay_min
0,25
outlier_sigma
3
outlier_factor
0,50
population_months
18
jump_sigma
3

Stopnja = slabša od stopnje po percentilu in stopnje po intervalu zaupanja; model z eno družino virov dobi največ A.

Stopnja = slabša od stopnje po percentilu in stopnje po intervalu zaupanja; model z eno družino virov dobi največ A.

provisional_max
A

S ≥ p95A ≥ p80B ≥ p50C ≥ p25 D < p25

Stopnja po intervalu zaupanja (zgornja meja uvrstitve / modeli): S ≤ 10% · A ≤ 30% · B ≤ 60% · C ≤ 85%

Vrednost: kakovost za ceno

Vrednost je razdalja nad regresijsko premico kakovosti glede na log₂ cene; cena je mediana ponudnikov.

slice
general
input_share
3
output_share
1
price_sources
modelsdev, litellm
unit
1m_tokens

Na vaši strojni opremi

Lokalno: samo odprte uteži, najboljša kvantizacija, ki ustreza konfiguraciji, ocena, prilagojena hitrosti generiranja.

slice
general
context
8.192
speed_ref
20
low_penalty
0,60
  • GPU 12 GB
  • GPU 24 GB
  • Mac 64 GB
  • 128 GB poenotenega pomnilnika
  • CPU, 32 GB RAM

Podatki, licenca in arhiv

Indeks (naše številke in razčlenitve) je CC BY 4.0: »fedi-index by fedi.software« s povezavo. Komponente ohranijo licence svojih virov, navedene v sources[] v JSON.

Posnetek se zamrzne 1. v vsakem mesecu in se nikoli ne spremeni; nova različica metodologije začne novo serijo.

Mesečni JSON: 2026-10

Dnevnik sprememb

  • v1 2026-10-01 First version: LMArena + Epoch AI + τ²-bench, linear equating to Arena text Elo with parameters fixed on the reference snapshot, family shares, sub-scores arena / bench, value = residual of the price regression + Pareto, local = Fit on 5 stacks.
  • v1.1 2026-10-01 Local quant floor: the quant is picked like local-fit (Q3 floor; below it only when nothing of Q3+ fits — "strong compression", ×0.6, ranked after every Q3+ model). Local only; the v1 scale and the published 2026-10 snapshot are unchanged.