Programmering

Vad mäter topplistan för kod?

Den visar kodkategorin i LMArenas textarena. Metoden är densamma som på topplistan för text – blinda röster mellan två anonyma svar – men bara på frågor som handlar om programmering: att förklara ett felmeddelande, skriva en funktion, föreslå en refaktorering eller översätta kod mellan språk. Betyget är ett Elo-tal med 95%-konfidensintervall.

Vilka kolumner finns?

Samma som på texttopplistan: tier, Elo med intervall, pris per 1M tokens, kontextfönster och prisutveckling under 30 dagar. Kalkylatorn för ”Kostnad per månad”, diagrammet ”Kvalitet mot pris” och kryssrutan för att jämföra upp till 4 modeller fungerar likadant. Priserna hämtas dagligen från models.dev och LiteLLM.

Hur skiljer den sig från webbutveckling och agenter?

• Kod: svar i en chatt om kod, bedömda av människor.
• Webbutveckling: modeller bygger hela, fungerande webbappar och bedöms på resultatet.
• Agenter: uppgifter i flera steg med verktygsanrop, med en egen skala.

Ska du välja modell för en kodagent i terminalen är det klokt att titta på alla tre.

Varför är kontextfönstret viktigt här?

När du arbetar med ett helt repository behöver modellen se många filer samtidigt. Ett långt kontextfönster gör det möjligt, men långa frågor kostar också fler tokens. Jämför därför kontext och pris sida vid sida innan du bestämmer dig, och räkna med kalkylatorn på din egen förväntade användning.

Hur räknas tiers?

Som på alla topplistor: bara modeller med minst 300 röster får en tier. Placeringen bestäms av hur många modeller vars hela konfidensintervall ligger ovanför modellens eget, och gränserna är 10, 30, 60 och 85% för S, A, B och C. Modeller med färre röster visas som ”Ingen tier ännu”.

Vad bör jag vara försiktig med?

Ett bra chattsvar om kod är inte samma sak som kod som klarar testerna i ett riktigt projekt. Arenan bedömer hur svaret upplevs, inte om det kompilerar i din kodbas. Prova därför modellen på din egen kod, kör testerna och granska ändringarna innan de går vidare. En placering gäller dessutom en viss dag – ledarna byts ofta.