Programiranje

Kaj meri ta lestvica?

Lestvica programiranja uporablja kategorijo »coding« besedilne arene LMArena. Gre za iste slepe glasove kot pri splošni lestvici, le da se upoštevajo samo vprašanja o kodi: razlaga napake, pisanje funkcije, pretvorba med jeziki ali pregled odlomka. Uporabnik vidi dva anonimna odgovora in izbere boljšega, iz glasov pa nastane ocena Elo s 95-odstotnim intervalom zaupanja.

Kaj vidim v tabeli?

Stolpci so enaki kot pri besedilnih modelih: raven, Elo z intervalom, cena na 1 mio. žetonov, kontekstno okno in trend cene v 30 dneh. Na voljo so tudi kalkulator »Strošek na mesec«, graf »Kakovost in cena« in primerjava do 4 modelov.

Ali to pomeni, da model dobro gradi aplikacije?

Ne nujno. Ta lestvica ocenjuje odgovore v klepetu o kodi. Gradnjo celotnih spletnih aplikacij ocenjuje ločena lestvica spletni razvoj, večkoračno delo z orodji pa lestvica agenti. Odgovor v klepetu tudi ni enak zagonu testov na pravem projektu, zato model pred vključitvijo v delo preizkusite na svoji kodi.

Zakaj je pomembno kontekstno okno?

Ko želite, da model upošteva večji del repozitorija, mora vanj prejeti veliko besedila naenkrat. Daljše kontekstno okno to omogoča, vendar vsak dodatni žeton stane. Zato kontekst primerjajte skupaj s ceno: model z manjšim oknom je lahko povsem dovolj za posamezne datoteke.

Kdaj model dobi raven?

Ko ima vsaj 300 glasov. Do takrat je označen kot »Še brez ravni«. Ravni se izračunajo iz prekrivanja intervalov zaupanja: modeli, ki se statistično ne razlikujejo od modela na vrhu, si delijo prvo mesto, zato ima lahko raven S več modelov hkrati.

Kaj še preveriti pred izbiro?

• ceno pri ponudniku, ki ga dejansko uporabljate, saj se lahko razlikuje od najnižje prikazane;
• ali agent, ki ga uporabljate, podpira izbrani model (glejte agente za programiranje);
• licenco, če potrebujete model z odprtimi utežmi za lastni strežnik.

Viri: ocene LMArena, cene models.dev in LiteLLM.