OpenAssistant Pythia 12B no fedi-index
A pontuação em cada categoria, do que ela é composta, custo-benefício, execução local e histórico.
fedi-index · Geral
D 961 ±7
Percentil 1 · #293 · provisório
Preferido por pessoas / Resolve tarefas
943 / —
Votos humanos vs. benchmarks, Elo-eq
Custo-benefício
—
No seu hardware
Pesos fechados: apenas na nuvem.
Decomposição da pontuação
D Geral 961 [954–967] Percentil 1 · #293 · componentes: 4 provisório
| Fonte | Componente | Valor | Elo-eq | Peso | Medido em | Variante |
|---|---|---|---|---|---|---|
| LMArena |
text/overall
|
916 ±5,44 | 916 ±5 | 34,8% | 2026-11-11 | — |
| LMArena |
text/hard_prompts
|
885 ±9,45 | 929 ±8 | 29,8% | 2026-11-11 | — |
| LMArena |
text/instruction_following
|
887 ±7,92 | 927 ±8 | 15,8% | 2026-11-11 | — |
| LMArena |
text/multi_turn
|
869 ±13 | 917 ±12 | 6,2% | 2026-11-11 | — |
O peso é a participação do componente na pontuação (o restante é o prior, que puxa modelos com poucos dados para a mediana da população). Metodologia
D Código 979 [961–997] Percentil 2 · #282 · componentes: 1 provisório
| Fonte | Componente | Valor | Elo-eq | Peso | Medido em | Variante |
|---|---|---|---|---|---|---|
| LMArena |
text/coding
|
900 ±12 | 936 ±11 | 83,8% | 2026-11-11 | — |
O peso é a participação do componente na pontuação (o restante é o prior, que puxa modelos com poucos dados para a mediana da população). Metodologia
D Matemática 953 [935–970] Percentil 1 · #253 · componentes: 1 provisório
| Fonte | Componente | Valor | Elo-eq | Peso | Medido em | Variante |
|---|---|---|---|---|---|---|
| LMArena |
text/math
|
892 ±11 | 906 ±11 | 84,2% | 2026-11-11 | — |
O peso é a participação do componente na pontuação (o restante é o prior, que puxa modelos com poucos dados para a mediana da população). Metodologia
D Escrita 963 [945–982] Percentil 2 · #259 · componentes: 1 provisório
| Fonte | Componente | Valor | Elo-eq | Peso | Medido em | Variante |
|---|---|---|---|---|---|---|
| LMArena |
text/creative_writing
|
923 ±10 | 941 ±10 | 91,5% | 2026-11-11 | — |
O peso é a participação do componente na pontuação (o restante é o prior, que puxa modelos com poucos dados para a mediana da população). Metodologia
D Idioma: 繁體中文 930 [907–953] Percentil 0 · #219 · componentes: 1 provisório
| Fonte | Componente | Valor | Elo-eq | Peso | Medido em | Variante |
|---|---|---|---|---|---|---|
| LMArena |
text/chinese
|
803 ±17 | 900 ±13 | 90,0% | 2026-11-11 | — |
O peso é a participação do componente na pontuação (o restante é o prior, que puxa modelos com poucos dados para a mediana da população). Metodologia
D Idioma: English 928 [917–940] Percentil 2 · #264 · componentes: 1 provisório
| Fonte | Componente | Valor | Elo-eq | Peso | Medido em | Variante |
|---|---|---|---|---|---|---|
| LMArena |
text/english
|
945 ±5,96 | 908 ±6 | 93,2% | 2026-11-11 | — |
O peso é a participação do componente na pontuação (o restante é o prior, que puxa modelos com poucos dados para a mediana da população). Metodologia
Histórico
O mesmo em tabela
| Modelo | 2026-11 |
|---|---|
| OpenAssistant Pythia 12B | 961 D |
Selo
Mostre o fedi-index do modelo no seu site ou em um README. O selo se atualiza sozinho e leva a esta página.
Dados CC BY 4.0: mantenha o link para fedi.software.