fedi-index: Agenter
Modeller som agenter: verktøybruk og flertrinnsoppgaver — Arena-agentøkter samt τ²-bench- og Terminal-Bench-kjøringer.
| # | Nivå | Modell | fedi-index | Persentil | Folk foretrekker | Løser oppgaver | Verdi | Kilder | Oppdeling av poengsummen |
|---|---|---|---|---|---|---|---|---|---|
| 1 | S | 1 511 ±7 | 100,0 | 1 528 | 1 472 | +73 | AT | › | |
| 2 | A | 1 498 ±3 | 99 | 1 515 | — | +108◆ | A | › | |
| 3 | S | 1 496 ±9 | 97 | 1 509 | 1 469 | +49 | AT | › | |
| 4 | S | 1 491 ±6 | 96 | 1 503 | 1 463 | +9 | AT | › | |
| 5 | A | 1 490 ±6 | 94 | 1 503 | 1 458 | +42 | AT | › | |
| 6 | A | 1 487 ±4 | 93 | 1 496 | 1 464 | +59 | AT | › | |
| 7 | A | 1 477 ±6 | 91 | 1 494 | — | +54 | A | › | |
| 8 | A | 1 473 ±4 | 90 | 1 489 | — | +99 | A | › | |
| 9 | A | 1 472 ±5 | 88 | 1 474 | 1 471 | +44 | AτT | › | |
| 10 | A | 1 467 ±4 | 87 | 1 475 | 1 456 | +26 | AτT | › | |
| 11 | A | 1 465 ±4 | 86 | 1 481 | — | — | A | › | |
| 12 | A | 1 464 ±5 | 84 | 1 471 | 1 446 | +6 | AT | › | |
| 13 | A | 1 459 ±4 | 83 | 1 461 | 1 456 | +37 | AτT | › | |
| 14 | A | 1 449 ±5 | 81 | 1 464 | — | +52 | A | › | |
| 15 | B | 1 446 ±6 | 80 | 1 461 | — | — | A | › | |
| 16 | B | 1 445 ±5 | 78 | 1 452 | 1 427 | +15 | AT | › | |
| 17 | B | 1 441 ±3 | 77 | 1 445 | 1 431 | +66 | AT | › | |
| 18 | B | 1 440 ±4 | 75 | 1 443 | 1 433 | +39 | Aτ | › | |
| 19 | B | 1 440 ±4 | 74 | 1 442 | 1 433 | +49 | Aτ | › | |
| 20 | B | 1 437 ±4 | 72 | 1 451 | — | +101 | A | › | |
| 21 | B | 1 436 ±2 | 71 | 1 450 | — | +102 | A | › | |
| 22 | B | 1 435 ±3 | 70 | 1 451 | 1 394 | +94◆ | AT | › | |
| 23 | B | 1 434 ±6 | 68 | 1 449 | — | +52 | A | › | |
| 24 | B | 1 433 ±3 | 67 | 1 450 | 1 389 | +79 | AT | › | |
| 25 | B | 1 432 ±3 | 65 | 1 442 | 1 408 | +56 | AT | › | |
| 26 | B | 1 431 ±2 | 64 | 1 447 | 1 389 | +94 | AT | › | |
| 27 | B | 1 431 ±4 | 62 | 1 449 | 1 384 | +30 | AT | › | |
| 28 | B | 1 429 ±3 | 61 | 1 442 | — | — | A | › | |
| 29 | B | 1 429 ±4 | 59 | 1 442 | — | +106◆ | A | › | |
| 30 | B | 1 427 ±4 | 58 | 1 439 | 1 396 | +35 | AT | › | |
| 31 | B | 1 427 ±5 | 56 | 1 441 | — | +106◆ | A | › | |
| 32 | B | 1 426 ±3 | 55 | 1 428 | 1 422 | +124◆ | AT | › | |
| 33 | B | 1 424 ±11 | 54 | 1 439 | — | — | A | › | |
| 34 | B | 1 423 ±3 | 52 | 1 432 | 1 399 | +39 | AT | › | |
| 35 | B | 1 420 ±6 | 51 | 1 420 | 1 418 | +41 | Aτ | › | |
| 36 | C | 1 419 ±7 | 49 | — | 1 437 | +22 | τT | › | |
| 37 | C | 1 418 ±3 | 48 | 1 432 | 1 385 | +87 | AT | › | |
| 38 | C | 1 415 ±7 | 46 | — | 1 433 | +35 | τT | › | |
| 39 | C | 1 414 ±6 | 45 | 1 428 | — | — | A | › | |
| 40 | C | 1 414 ±4 | 44 | 1 405 | 1 437 | +58 | Aτ | › | |
| 41 | C | 1 412 ±6 | 42 | 1 425 | — | +35 | A | › | |
| 42 | C | 1 410 ±12 | 41 | — | 1 443 | +23 | τ | › | |
| 43 | C | 1 407 ±4 | 39 | 1 420 | — | +58 | A | › | |
| 44 | C | 1 407 ±3 | 38 | 1 420 | — | — | A | › | |
| 45 | C | 1 405 ±12 | 36 | — | 1 437 | +28 | τ | › | |
| 46 | C | 1 404 ±12 | 35 | — | 1 436 | +35 | τ | › | |
| 47 | C | 1 399 ±8 | 33 | 1 412 | — | +50 | A | › | |
| 48 | C | 1 396 ±11 | 32 | 1 410 | — | +46 | A | › | |
| 49 | C | 1 396 ±5 | 30 | 1 408 | — | +47 | A | › | |
| 50 | C | 1 396 ±11 | 29 | — | 1 426 | +2 | τ | › | |
| 51 | C | 1 394 ±6 | 28 | 1 406 | — | +80 | A | › | |
| 52 | C | 1 393 ±4 | 26 | 1 404 | — | +64 | A | › | |
| 53 | D | 1 393 ±7 | 25 | 1 404 | — | +59 | A | › | |
| 54 | D | 1 391 ±11 | 22 | — | 1 420 | +33 | τ | › | |
| 55 | D | 1 391 ±11 | 22 | — | 1 420 | +61 | τ | › | |
| 56 | D | 1 389 ±11 | 20 | — | 1 417 | −7 | τ | › | |
| 57 | D | 1 389 ±11 | 19 | — | 1 417 | −3 | τ | › | |
| 58 | D | 1 383 ±5 | 17 | 1 394 | — | — | A | › | |
| 59 | D | 1 382 ±5 | 16 | 1 393 | — | +59 | A | › | |
| 60 | D | 1 382 ±10 | 14 | — | 1 408 | +28 | τ | › | |
| 61 | D | 1 378 ±9 | 13 | — | 1 403 | −0 | τ | › | |
| 62 | D | 1 375 ±8 | 10 | — | 1 398 | +26 | τ | › | |
| 63 | D | 1 375 ±8 | 10 | — | 1 398 | +33 | τ | › | |
| 64 | D | 1 368 ±4 | 9 | — | 1 393 | +91 | T | › | |
| 65 | D | 1 367 ±8 | 7 | 1 377 | — | −20 | A | › | |
| 66 | D | 1 361 ±14 | 6 | 1 373 | — | +5 | A | › | |
| 67 | D | 1 358 ±3 | 4 | 1 367 | — | +47 | A | › | |
| 68 | D | 1 354 ±7 | 3 | 1 363 | — | +28 | A | › | |
| 69 | D | 1 350 ±9 | 1 | 1 360 | — | +50 | A | › | |
| 70 | D | 1 329 ±9 | 0 | 1 337 | — | — | A | › |
AArena (menneskelige stemmer)TTerminal-Benchττ²-bench (agenter) ◆ Pareto-front: ingen er både bedre og billigere
fedi-index er en Elo-ekvivalent på en fast skala: sammenlignbar mellom måneder innenfor én metodikkversjon. Nivå S–D: etter persentil i utsnittet, og ikke bedre enn konfidensintervallet tillater (grenser i metodikken). «Foreløpig» — bare én kildefamilie har målt modellen her. Metodikk
Bygg inn på nettstedet ditt
Tabellen som widget for nettstedet ditt: den oppdaterer seg selv og beholder kildehenvisningene.
Kopiert
JSON
fedi-index © fedi.software, CC BY 4.0; komponentene beholder lisensene til kildene sine.