Programare

Ce măsoară acest clasament

Clasamentul de programare folosește categoria „coding” din arena de text LMArena. Metoda este aceeași ca la clasamentul general: voturi oarbe între două răspunsuri anonime, transformate într-un scor Elo, dar numai pentru întrebările despre cod. Un model care conversează excelent poate ocupa aici alt loc, pentru că alegerea oamenilor se face pe alte criterii: corectitudinea codului, explicațiile, respectarea cerinței.

Coloanele tabelului

• tier-ul, calculat după aceeași regulă ca la clasamentul de text: cel puțin 300 de voturi, intervalul de încredere de 95% și pragurile 10, 30, 60 și 85%;
• scorul Elo cu bara intervalului;
• prețul per 1M de tokeni la intrare și la ieșire, cel mai mic găsit la furnizori;
• fereastra de context și evoluția prețului în 30 de zile;
• calculatorul „Cost pe lună”, graficul „Calitate și preț” și căsuța de comparare pentru până la 4 modele.

Cum alegeți un model pentru cod

Priviți mai întâi tier-ul, nu diferențele de câteva puncte: modelele din același tier nu se deosebesc clar statistic. Apoi comparați contextul cu prețul. Dacă lucrați pe un depozit întreg, cu multe fișiere trimise deodată, o fereastră de context mare contează la fel de mult ca scorul. Pentru întrebări scurte despre o funcție, un model mai ieftin din tier-ul următor este adesea suficient. Calculatorul vă arată cât ar costa volumul dumneavoastră lunar de tokeni cu fiecare model.

Ce nu arată scorul

Arena evaluează răspunsuri dintr-un chat despre cod, nu rularea testelor pe un proiect real. Construirea de aplicații web întregi are clasamentul separat Dezvoltare web, iar lucrul în mai mulți pași, cu instrumente, se vede în clasamentul Agenți. Dacă folosiți un agent de programare, verificați toate trei clasamentele: agentul este atât de bun cât modelul din spatele lui.

Modelele cu mai puțin de 300 de voturi apar cu „Fără tier deocamdată”. Datele se actualizează zilnic, iar deasupra tabelului vedeți data și sursele.