fedi-index: Код
Какие модели лучше пишут код: голоса Arena по коду и веб-разработке плюс независимые прогоны SWE-bench.
| # | Тир | Модель | fedi-index | Процентиль | Люди предпочитают | Решает задачи | Выгода | Источники | Разложение балла |
|---|---|---|---|---|---|---|---|---|---|
| 8 | A | 1 462 ±2 | 98 | 1 472 | — | — | A | › | |
| 9 | A | 1 461 ±6 | 97 | 1 472 | — | +93◆ | A | › | |
| 11 | A | 1 460 ±2 | 96 | 1 471 | — | — | A | › | |
| 12 | A | 1 460 ±3 | 96 | 1 470 | — | +44 | A | › | |
| 17 | A | 1 452 ±3 | 94 | 1 463 | — | +105◆ | A | › | |
| 18 | A | 1 452 ±5 | 94 | 1 463 | — | +92◆ | A | › | |
| 19 | A | 1 450 ±4 | 94 | 1 460 | — | +60 | A | › | |
| 21 | A | 1 449 ±12 | 93 | 1 461 | — | +98◆ | A | › | |
| 23 | A | 1 448 ±3 | 92 | 1 452 | 1 424 | +45 | AE | › | |
| 27 | A | 1 441 ±4 | 91 | 1 451 | — | +46 | A | › | |
| 30 | A | 1 439 ±5 | 90 | 1 443 | 1 420 | +33 | AE | › | |
| 36 | A | 1 436 ±4 | 87 | 1 441 | 1 415 | +44 | AE | › | |
| 43 | A | 1 434 ±3 | 85 | 1 440 | 1 404 | +36 | AE | › | |
| 45 | A | 1 433 ±2 | 84 | 1 442 | — | +80 | A | › | |
| 51 | A | 1 428 ±3 | 82 | 1 438 | — | +71 | A | › | |
| 57 | B | 1 423 ±5 | 80 | 1 427 | 1 402 | +36 | AE | › | |
| 61 | B | 1 421 ±4 | 78 | 1 430 | — | +68 | A | › | |
| 63 | B | 1 421 ±2 | 78 | 1 429 | — | +50 | A | › | |
| 65 | B | 1 419 ±2 | 77 | 1 428 | — | +9 | A | › | |
| 68 | B | 1 417 ±9 | 76 | 1 426 | — | +33 | A | › | |
| 71 | B | 1 415 ±4 | 75 | 1 419 | 1 394 | +23 | AE | › | |
| 72 | B | 1 415 ±3 | 74 | 1 423 | — | +75 | A | › | |
| 75 | B | 1 409 ±3 | 73 | 1 418 | — | +26 | A | › | |
| 78 | B | 1 408 ±2 | 72 | 1 416 | — | +27 | A | › | |
| 81 | B | 1 408 ±5 | 71 | 1 416 | — | +20 | A | › | |
| 85 | B | 1 404 ±3 | 70 | 1 412 | — | +38 | A | › | |
| 86 | B | 1 403 ±2 | 69 | 1 411 | — | +32 | A | › | |
| 91 | B | 1 399 ±6 | 68 | 1 407 | — | +58 | A | › | |
| 94 | B | 1 396 ±7 | 66 | 1 404 | — | +32 | A | › | |
| 96 | B | 1 394 ±3 | 66 | 1 401 | — | +26 | A | › | |
| 97 | B | 1 394 ±6 | 65 | 1 402 | — | +54 | A | › | |
| 100 | B | 1 393 ±5 | 64 | 1 401 | — | +50 | A | › | |
| 101 | B | 1 392 ±10 | 64 | 1 401 | — | +27 | A | › | |
| 102 | B | 1 391 ±3 | 64 | 1 399 | — | +14 | A | › | |
| 104 | B | 1 391 ±7 | 63 | 1 399 | — | +18 | A | › | |
| 106 | B | 1 390 ±3 | 62 | 1 398 | — | +55◆ | A | › | |
| 108 | B | 1 388 ±4 | 61 | 1 396 | — | +18 | A | › | |
| 109 | B | 1 387 ±3 | 61 | 1 395 | — | +14 | A | › | |
| 110 | B | 1 387 ±2 | 61 | 1 394 | — | — | A | › | |
| 118 | B | 1 381 ±11 | 58 | 1 389 | — | -17 | A | › | |
| 121 | B | 1 379 ±5 | 57 | 1 387 | — | +46 | A | › | |
| 122 | B | 1 377 ±18 | 56 | 1 387 | — | +31 | A | › | |
| 123 | B | 1 376 ±7 | 56 | 1 384 | — | +25 | A | › | |
| 124 | B | 1 376 ±11 | 56 | 1 384 | — | +19 | A | › | |
| 125 | B | 1 375 ±2 | 55 | 1 384 | — | +9 | A | › | |
| 126 | B | 1 375 ±3 | 55 | 1 382 | — | — | A | › | |
| 128 | B | 1 374 ±4 | 54 | 1 383 | — | -19 | A | › | |
| 131 | B | 1 371 ±4 | 53 | 1 377 | — | -22 | A | › | |
| 136 | B | 1 367 ±4 | 51 | 1 374 | — | +11 | A | › | |
| 139 | B | 1 365 ±10 | 50 | 1 372 | — | +0 | A | › | |
| 144 | C | 1 361 ±10 | 48 | 1 368 | — | -22 | A | › | |
| 145 | C | 1 361 ±6 | 48 | 1 368 | — | -2 | A | › | |
| 147 | C | 1 357 ±6 | 47 | 1 364 | — | -32 | A | › | |
| 148 | C | 1 356 ±9 | 47 | 1 363 | — | -10 | A | › | |
| 155 | C | 1 349 ±9 | 44 | 1 355 | — | +1 | A | › | |
| 156 | C | 1 349 ±19 | 44 | 1 357 | — | -12 | A | › | |
| 158 | C | 1 348 ±6 | 43 | 1 354 | — | -2 | A | › | |
| 162 | C | 1 346 ±8 | 42 | 1 352 | — | +6 | A | › | |
| 164 | C | 1 344 ±4 | 41 | 1 350 | — | -30 | A | › | |
| 166 | C | 1 342 ±16 | 40 | 1 349 | — | -14 | A | › | |
| 175 | C | 1 333 ±8 | 37 | 1 339 | — | -14 | A | › | |
| 177 | C | 1 330 ±6 | 36 | 1 336 | — | -36 | A | › | |
| 180 | C | 1 323 ±17 | 35 | 1 329 | — | -40 | A | › | |
| 182 | C | 1 318 ±15 | 35 | 1 324 | — | -60 | A | › | |
| 183 | C | 1 316 ±8 | 34 | 1 321 | — | — | A | › | |
| 185 | C | 1 313 ±7 | 34 | 1 317 | — | -29 | A | › | |
| 186 | C | 1 308 ±9 | 33 | 1 333 | — | -28 | A | › | |
| 194 | C | 1 288 ±10 | 30 | 1 292 | — | -26 | A | › | |
| 195 | C | 1 287 ±22 | 30 | 1 293 | — | — | A | › | |
| 199 | C | 1 260 ±12 | 28 | 1 262 | — | -95 | A | › | |
| 201 | C | 1 258 ±8 | 28 | 1 260 | — | — | A | › | |
| 217 | D | 1 204 ±15 | 22 | 1 205 | — | -133 | A | › | |
| 225 | D | 1 175 ±7 | 19 | 1 174 | — | -236 | A | › |
AArena (голоса людей)EEpoch AI (бенчмарки) ◆ Граница Парето: никто не лучше и не дешевле одновременно
fedi-index — Elo-эквивалент на фиксированной шкале: сравним между месяцами в пределах одной версии методики. Тиры S–D: по процентилю в срезе и не выше, чем позволяет доверительный интервал (пороги — в методике). «Предварительно» — модель здесь измерила только одна семья источников. Методика
Вставить на свой сайт
Таблица как виджет для вашего сайта: обновляется сама и сохраняет атрибуцию источников.
Скопировано
JSON
fedi-index © fedi.software, CC BY 4.0; компоненты сохраняют лицензии своих источников.