Hoppa till innehållet
fedi.software

Agenter

Modeller rankade på agentuppgifter – verktygsanrop och arbete i flera steg – enligt LMArenas agenttopplista. Poängen är centrerad kring noll och är inte Elo.

Uppdaterad · Källor: LMArena, models.dev

Kostnad per månad
Tier Modell Poäng Input / output, per 1M Per månad Kontext App Jämför
S0,2743,20 US$ / 16 US$ 1M
S0,1860,8999 US$ / 4,50 US$ 1M
S0,1843 US$ / 15 US$ 1M
S0,1612 US$ / 10 US$ 1M
S0,1560,70 US$ / 3,50 US$ 1M
S0,1528 US$ / 40 US$ 1M
S0,1460,6154 US$ / 3,08 US$ 1M
S0,1373,85 US$ / 19,23 US$ 1M
S0,1351,50 US$ / 7,50 US$ 1M
A0,1130,1231 US$ / 0,6154 US$ 1M
S0,1132 US$ / 10 US$ 1M
A0,1050,1557 US$ / 0,7784 US$ 1M
A0,1030,60 US$ / 3 US$ 1M
A0,080— —
A0,0731,41 US$ / 4,24 US$ 1M
A0,0650,1231 US$ / 0,6154 US$ 1M
A0,0631,17 US$ / 5,84 US$ 1M
A0,0610,3429 US$ / 1,20 US$ 1M
A0,0593 US$ / 18,50 US$ 1M
A0,0391,17 US$ / 5,84 US$ 1M
A0,0370,2462 US$ / 1,23 US$ 1M
B0,0150,15 US$ / 0,50 US$ 1M
B0,0150,3429 US$ / 1,71 US$ 1M
B0,0150,1996 US$ / 0,5988 US$ 500K
B0,0140,2828 US$ / 0,5655 US$ 1M
B0,0110,10 US$ / 0,20 US$ 1M
B0,0100,70 US$ / 3,50 US$ 1M
B0,0100,10 US$ / 0,50 US$ 1M
B0,0080,01 US$ / 0,08 US$ 1M
B0,0060,04 US$ / 0,20 US$ 1M
B0,0064 US$ / 20 US$ 1M
B−0,0000,2244 US$ / 0,7013 US$Gratis 1M
B−0,0020,90 US$ / 4,50 US$Gratis 1M
B−0,0040,53 US$ / 1,72 US$ 1M
B−0,0040,67 US$ / 2 US$ 1M
B−0,0062 US$ / 4,50 US$ 500K
B−0,0060,05 US$ / 0,25 US$ 1M
B−0,0091,54 US$ / 4,63 US$ 1M
B−0,0180,10 US$ / 0,25 US$ 1M
B−0,0270,1231 US$ / 0,7385 US$ 1M
C−0,0310,3429 US$ / 1,71 US$ 1M
C−0,0370,02 US$ / 0,08 US$Gratis 1M
C−0,0390,0062 US$ / 0,0185 US$Gratis 1M
C−0,0490,10 US$ / 0,20 US$ 262K
C−0,0520,4579 US$ / 1,24 US$Gratis 1M
C−0,0550,045 US$ / 0,32 US$ 262K
C−0,0571,18 US$ / 5,30 US$ 1M
C−0,0720,68 US$ / 2,09 US$ 1M
C−0,0820,825 US$ / 2,48 US$ 1M
C−0,0830,25 US$ / 1 US$ 1M
C−0,0860,066 US$ / 0,26 US$ 262K
C−0,0900,228 US$ / 0,92 US$ 1M
C−0,0901,25 US$ / 4,25 US$ 1M
C−0,0910,10 US$ / 0,20 US$ 1M
C−0,1090,20 US$ / 0,90 US$ 1M
D−0,124— —
D−0,1451,50 US$ / 7,50 US$ 256K
D−0,1680,60 US$ / 2,40 US$ 262K
D−0,1730,08 US$ / 0,45 US$Gratis 1M
D−0,1840,95 US$ / 4,05 US$ 262K
D−0,1850,30 US$ / 1,20 US$ 66K
D−0,239— —
Jämför ()

Tiers är våra egna: en modells plats på topplistan där bara de modeller räknas vars hela konfidensintervall ligger ovanför den. S – topp 10%, A – upp till 30%, B – upp till 60%, C – upp till 85%, D – resten.

Kvalitet mot pris uppåt betyg, åt sidan blandat pris (3 delar input : 1 output), USD per 1M tokens
−0,2 0,0 0,2 0,4 0,01 US$ 0,10 US$ 1 US$ 10 US$ Claude Fable 5.2 Claude Opus 5.5 Gemini 4 Neon

Viktigt först: en annan skala

Topplistan för agenter använder inte Elo. Måttet är en poäng centrerad kring noll, ungefär från negativa till positiva värden. Kolumnen heter därför ”Poäng” och visar tre decimaler. En poäng över noll betyder att modellen föredrogs oftare än den genomsnittliga modellen på just den här topplistan. Jämför bara modeller inom denna lista – aldrig poängen här med Elo-tal från topplistorna för text, kod eller bild.

Vad bedöms?

Listan kommer från LMArenas topplista för agenter. Modellerna får uppgifter i flera steg där de måste anropa verktyg, till exempel söka, läsa en fil, köra ett kommando och använda resultatet i nästa steg. Människor bedömer hela förloppet, och rösterna räknas per session. Det ligger närmare hur en kodagent eller en assistent med verktyg arbetar än ett enskilt chattsvar gör.

Tiers med samma regel

  • Bara modeller med minst 300 röster får en tier; andra visas som ”Ingen tier ännu”.
  • Platsen bestäms av hur många modeller vars hela 95%-konfidensintervall ligger ovanför modellens eget.
  • Gränser: S inom 10%, A inom 30%, B inom 60%, C inom 85%, D resten.

Priserna per 1M tokens, kontextfönstret och jämförelsen av upp till 4 modeller fungerar som på övriga topplistor, med data från models.dev och LiteLLM.

Begränsningar

Topplistan är ung och har färre modeller än topplistan för text, så placeringarna kan röra sig mer. Arenan använder dessutom sitt eget ramverk för agenter, som inte är det du själv kommer att använda. En modell som gör bra ifrån sig här kan bete sig annorlunda i ditt verktyg, med dina instruktioner och dina filer.

Så använder du listan

Använd den för att hitta kandidater till ett agentflöde och läs den tillsammans med topplistorna för kod och webbutveckling. Titta sedan på kodagenterna och prova modellen i det verktyg du faktiskt tänker använda, på en avgränsad uppgift, innan du släpper in den i ett större projekt.