Agenter

Først det vigtigste: en anden skala

Agentranglisten bruger ikke Elo. LMArenas agentrangliste giver hver model en score, der er centreret omkring nul – fra negative til positive værdier. Kolonnen hedder »Score« og viser tre decimaler. Sammenlign derfor kun modeller inden for denne liste, og aldrig med Elo-tal fra tekst-, kode- eller billedlisterne.

Hvad bliver bedømt?

Opgaverne består af flere trin, hvor modellen kalder værktøjer undervejs – slår op, kører kode, læser resultatet og fortsætter. Mennesker bedømmer hele forløbet, og stemmerne tælles i sessioner. En score over nul betyder, at modellen blev foretrukket oftere end den gennemsnitlige model på listen.

• Tiers beregnes med samme regel som ellers: mindst 300 stemmer og 95 % intervaller.
• Priser pr. 1M tokens og kontekst kommer fra models.dev og LiteLLM.
• »Lav pris« betyder en blandet pris under 1 USD pr. 1M tokens.

Hvorfor listen skal læses forsigtigt

Ranglisten er ung og har færre modeller end tekstlisten. Arenaen bruger sit eget agent-framework, som ikke er det, du selv kommer til at bruge – dit værktøj, dine prompter og dine data påvirker resultatet. Brug derfor listen som et fingerpeg om, hvilke modeller der håndterer værktøjskald godt.

Sådan kommer du videre med listen

Vælg to eller tre modeller med en høj score og en pris, der passer til dit forbrug – agenter bruger mange tokens, fordi de læser og skriver i flere runder. Brug beregneren »Pris pr. måned« til at se, hvad det betyder. Test dem derefter på en opgave fra din egen hverdag, og hold øje med, hvor ofte de går i stå eller kalder værktøjer forkert.

Videre herfra

Skal modellen arbejde i en terminal eller editor, så se kodeagenterne, og kig også på ranglisten for programmering, fordi en agent aldrig er bedre end modellen bag den.