Programmering

Hvad viser ranglisten for programmering?

Den bygger på kategorien coding i LMArenas tekstarena. Det er de samme blinde stemmer som på tekstranglisten, men kun på prompter, der handler om kode: at forklare en fejl, skrive en funktion, omskrive et stykke kode eller foreslå en løsning. Kolonnerne er de samme – tier, Elo med 95 % interval, pris pr. 1M tokens, kontekst, prisudvikling over 30 dage, beregner, graf og sammenligning.

Hvordan adskiller den sig fra webudvikling og agenter?

Her bedømmes svar i en chat om kode. At bygge en hel webapp fra én prompt bedømmes på ranglisten for webudvikling, og arbejde i flere trin med værktøjskald på agentranglisten. En model kan klare sig forskelligt på de tre lister, så kig på den, der ligner din opgave.

Hvad skal jeg ellers kigge på?

• Kontekstvindue – vigtigt, hvis modellen skal læse et helt repository. Se det ved siden af prisen.
• Pris – kodeopgaver sender ofte mange tokens ind; brug beregneren »Pris pr. måned«.
• Åbne vægte – relevant, hvis du vil køre modellen selv.

Et eksempel på brug

Skal du vælge en model til en kodeassistent i dit team, så start med at filtrere på pris og kontekst, der passer til jeres projekter. Vælg tre eller fire modeller fra de øverste tiers, sæt flueben ved dem, og åbn sammenligningen. Lad derefter hver model løse de samme typiske opgaver fra jeres egen hverdag, før I beslutter jer.

Hvornår får en model en tier?

Samme regel som på tekstlisten: mindst 300 stemmer, og pladsen afhænger af, hvor mange modeller der ligger klart over den, når 95 % intervallerne tages i betragtning. Modeller uden nok stemmer står som »Ingen tier endnu«. »Lav pris« betyder også her en blandet pris under 1 USD pr. 1M tokens.

Kan jeg stole blindt på placeringen?

Nej. Svar i en chat er ikke det samme som at køre tests i et rigtigt projekt. Brug listen til at vælge et par kandidater, og prøv dem derefter på din egen kode.