Agenti
Modeli, razvrščeni po agentnih nalogah — klicih orodij in večkoračnem delu — po lestvici agentov LMArena. Njen rezultat je centriran na nič in ni Elo.
Posodobljeno · Viri: LMArena, LiteLLM, models.dev
Ravni so naše: mesto modela na lestvici, pri čemer štejemo le modele, katerih celoten interval zaupanja je nad njim. S — zgornjih 10 %, A — do 30 %, B — do 60 %, C — do 85 %, D — ostali.
Opozorilo na začetku: to ni Elo
Lestvica agentov je drugačna od drugih. LMArena tu ne objavlja ocene Elo, temveč rezultat, ki je osredinjen okoli nič in sega od negativnih do pozitivnih vrednosti. Stolpec se zato imenuje »Rezultat« in prikazuje tri decimalna mesta. Teh številk nikoli ne primerjajte z oceno Elo na besedilni lestvici ali lestvici programiranja: gre za drugo lestvico merjenja.
Kaj se ocenjuje
Modeli rešujejo večkoračne naloge s klici orodij, na primer iskanje, branje datotek ali izvajanje ukazov, ljudje pa ocenijo, kateri je nalogo opravil bolje. Glasovi so tu seje, ne posamezni odgovori. Rezultat nad nič pomeni, da so model izbrali pogosteje kot povprečni model te lestvice, rezultat pod nič pa redkeje.
Ravni in glasovi
Ravni S, A, B, C in D se računajo po istem pravilu kot drugod: upoštevajo se modeli z vsaj 300 glasovi, mesto določajo intervali zaupanja, meje pa so 10, 30, 60 in 85 %. Model z manj glasovi je označen kot »Še brez ravni«.
Kako brati lestvico
- primerjajte modele samo znotraj te lestvice;
- majhna razlika v rezultatu ob prekrivajočih se intervalih ne pomeni jasne prednosti;
- cene na 1 mio. žetonov so enake kot na drugih lestvicah, a agentne naloge porabijo veliko žetonov, zato strošek preverite s kalkulatorjem.
Omejitve
Lestvica je mlada in ima manj modelov kot besedilna. Ogrodje za agente, ki ga uporablja arena, ni tisto, ki ga boste uporabljali vi, zato se lahko rezultati v vašem okolju razlikujejo. Model, ki se dobro odreže tu, je dober kandidat za preizkus v orodjih s strani agenti za programiranje ali avtomatizacija, ne pa zagotovilo.
Za koga je lestvica
Za vse, ki izbirajo model za agenta, ki bo samostojno opravljal naloge: od pomočnika v terminalu do bota, ki povezuje storitve. Za klepet in pisanje je primernejša besedilna lestvica.
Viri: ocene LMArena agent, cene models.dev in LiteLLM.