Agenți
Modele clasate pe sarcini agentice — apeluri de instrumente și lucru în mai mulți pași — după clasamentul de agenți LMArena. Scorul este centrat pe zero, nu este un Elo.
Actualizat · Surse: LMArena, LiteLLM, models.dev
Tier-urile sunt ale noastre: locul unui model în clasament, numărând doar modelele al căror interval de încredere este în întregime deasupra lui. S — primele 10%, A — până la 30%, B — până la 60%, C — până la 85%, D — restul.
Atenție: aici scorul nu este Elo
Clasamentul de agenți folosește altă măsură decât celelalte clasamente. Coloana se numește „Scor” și arată o valoare centrată pe zero, cu trei zecimale, aproximativ de la valori negative la pozitive. Un scor peste zero înseamnă că modelul a fost preferat mai des decât modelul mediu din acest clasament. Nu comparați niciodată aceste cifre cu scorurile Elo din clasamentele de text, programare sau imagini: sunt scale diferite.
Ce se măsoară
Sursa este clasamentul de agenți al LMArena. Modelele primesc sarcini în mai mulți pași, în care trebuie să apeleze instrumente, să citească rezultatele și să continue până la final. Oameni evaluează sesiunile întregi, nu un singur răspuns; de aceea, voturile sunt aici sesiuni. Tier-urile se calculează după aceeași regulă ca peste tot: cel puțin 300 de voturi, locul din intervalele de încredere de 95% și pragurile 10, 30, 60 și 85%.
Cum folosiți clasamentul
- Comparați modelele doar în interiorul acestui clasament.
- Priviți tier-ul, nu diferențele mici de scor.
- Puneți lângă scor prețul per 1M de tokeni: sarcinile agentice consumă mulți tokeni, iar costul crește repede.
- Verificați același model în clasamentele Programare și Dezvoltare web, dacă îl alegeți pentru un agent de programare.
Limite
Clasamentul este tânăr și conține mai puține modele decât cel de text. Cadrul de agent folosit în arenă nu este cel pe care îl veți folosi dumneavoastră: un model se poate comporta diferit în alt instrument, cu alte unelte și alte instrucțiuni. Scorul arată o preferință, nu garantează reușita unei sarcini anume. Modelele cu prea puține voturi apar cu „Fără tier deocamdată”.
Instrumentele care folosesc aceste modele sunt pe pagina Agenți de programare. Datele se actualizează zilnic, cu data și sursele afișate deasupra tabelului: LMArena pentru scor, models.dev și LiteLLM pentru prețuri. Înainte să alegeți un model pentru un agent care rulează comenzi pe calculator, testați-l pe o sarcină mică și verificați ce modifică.