Ravni so naše: mesto modela na lestvici, pri čemer štejemo le modele, katerih celoten interval zaupanja je nad njim. S — zgornjih 10 %, A — do 30 %, B — do 60 %, C — do 85 %, D — ostali.
Kakovost in cenaocena navpično, mešana cena (3 deli vhoda : 1 izhoda) vodoravno, USD na 1 mio. žetonov
Na lestvici spletnega razvoja modeli ne odgovarjajo na vprašanja, temveč gradijo. Arena LMArena WebDev obema modeloma da isto nalogo, na primer preprosto igro, stran s cenikom ali nadzorno ploščo, in vsak izdela delujočo spletno aplikacijo. Ljudje si ogledajo oba rezultata in glasujejo za boljšega, ne da bi vedeli, kateri model je kaj naredil.
Kaj ocena zajame
Ocena odraža celoten izdelek: postavitev, delovanje kode in to, ali aplikacija naredi, kar je bilo zahtevano. Slog kode sam po sebi ne odloča. Model, ki napiše lepo urejeno, a nedelujočo kodo, tu ne bo dobil veliko glasov. Zato se lestvica pogosto razlikuje od lestvice programiranje, kjer se ocenjujejo odgovori v klepetu.
Svoj nabor modelov
WebDev ima lasten seznam modelov, ki ni enak besedilni lestvici ali lestvici programiranja. Stolpci pa so znani:
raven in ocena Elo s 95-odstotnim intervalom zaupanja;
cene na 1 mio. žetonov pri najcenejšem ponudniku;
kontekstno okno in trend cene;
možnost dodajanja v primerjavo z drugimi modeli.
Omejitve
Aplikacije na areni so majhne, velikih projektov z več datotekami, bazo podatkov in avtentikacijo lestvica ne ocenjuje. Modeli z manj kot 300 glasovi še nimajo ravni in so prikazani kot »Še brez ravni«. Ocena tudi ne pove, koliko žetonov model porabi za rešitev, kar lahko pri dolgih nalogah močno vpliva na strošek; to preverite s kalkulatorjem »Strošek na mesec«.
Kako lestvico uporabiti
Če želite hitro izdelati prototip spletne strani ali notranjega orodja, izberite nekaj modelov z visoko ravnjo in jih preizkusite na svoji nalogi. Nato jih primerjajte po ceni in kontekstu na strani primerjava. Za delo z agentom v urejevalniku ali terminalu si oglejte tudi agente za programiranje, saj je rezultat odvisen tudi od orodja, ki model poganja.
Viri: ocene LMArena WebDev, cene models.dev in LiteLLM.