Koding

Samme arena, bare kode

Topplisten for koding viser kodekategorien i LMArenas tekstarena. Metoden er den samme som for tekst – blinde stemmer mellom to anonyme svar – men bare på spørsmål om programmering: å forklare en feilmelding, skrive en funksjon, foreslå en omskriving eller oversette kode mellom språk. Vurderingen er et Elo-tall med 95 %-konfidensintervall, og kolonnene er de samme som på tekstlisten: tier, Elo med intervall, pris per 1M tokens, kontekstvindu og prisutvikling over 30 dager. «Kostnad per måned», diagrammet «Kvalitet mot pris» og sammenligning av opptil 4 modeller fungerer på samme måte.

Tre topplister for utviklere

Det er lett å blande sammen de tre listene som handler om programmering, men de måler forskjellige ting:

• Koding: svar i en chat om kode, vurdert av mennesker.
• Webutvikling: modeller bygger hele, fungerende nettapper og vurderes på resultatet.
• Agenter: oppgaver i flere trinn med verktøykall, på en egen skala.

Skal du velge modell til en kodeagent i terminalen, er det lurt å se på alle tre.

Kontekstvinduet betyr mye

Når du jobber med et helt kodelager, må modellen se mange filer samtidig. Et langt kontekstvindu gjør det mulig, men lange forespørsler koster også flere tokens. Sammenlign derfor kontekst og pris side om side, og regn med kalkulatoren på din egen forventede bruk før du bestemmer deg.

Tier-regelen

Bare modeller med minst 300 stemmer får tier. Plassen avgjøres av hvor mange modeller som har hele konfidensintervallet sitt over modellens eget, og grensene er 10, 30, 60 og 85 % for S, A, B og C. Resten får D, og modeller med færre stemmer vises som «Ikke plassert ennå».

Det arenaen ikke tester

Et godt chattesvar om kode er ikke det samme som kode som består testene i et ekte prosjekt. Arenaen vurderer hvordan svaret oppleves, ikke om det kompilerer i din kodebase. Prøv derfor modellen på egen kode, kjør testene og gå gjennom endringene før de går videre. Kildene er LMArena for vurderingene, mens models.dev og LiteLLM står for prisene, oppdatert daglig.