Tasot ovat omiamme: mallin sija taulukossa, kun lasketaan vain mallit, joiden koko luottamusväli on sen yläpuolella. S — parhaat 10 %, A — enintään 30 %, B — enintään 60 %, C — enintään 85 %, D — loput.
Laatu vs. hintaarvio pystyakselilla, yhdistetty hinta (3 osaa syötettä : 1 tulostetta) vaaka-akselilla, USD / 1 milj. tokenia
Verkkosovellus yhdestä kehotteesta
Verkkokehityksen tulostaulukko käyttää LMArenan WebDev-areenaa. Kaksi mallia saa saman tehtävän – esimerkiksi pienen pelisivun, kojelaudan tai lomakkeen – ja rakentaa kumpikin toimivan verkkosovelluksen. Käyttäjät kokeilevat molempia ja äänestävät sitä, jota pitävät parempana. Areenalla on oma mallivalikoimansa, joka ei ole sama kuin teksti- ja ohjelmointitaulukoissa.
Mitä arvio kattaa
Ääni koskee koko tulosta: asettelua, toimiiko koodi ja tekeekö sovellus sen, mitä pyydettiin. Kyse ei ole pelkän koodityylin arvioinnista. Malli, joka kirjoittaa siistiä koodia mutta unohtaa puolet tehtävästä, häviää täällä.
Taso ja Elo 95 %:n luottamusväleineen, laskettuna samoin kuin muissa taulukoissa.
Halvin hinta miljoonaa tokenia kohden ja konteksti models.devistä ja LiteLLM:stä.
”Edullinen” alle 1 USD miljoonalta tokenilta (sekahinta).
Näin käytät taulukkoa
Etsi malleja ylimmiltä tasoilta – päällekkäiset välit tarkoittavat, että ne ovat käytännössä tasoissa.
Vertaa hintaa siihen, kuinka monta sovellusta tai muutosta aiot tehdä kuukaudessa.
Se sopii sinulle, joka haluat tehdä laskeutumissivuja, pieniä työkaluja tai prototyyppejä nopeasti, tai joka valitset mallia käyttöliittymiä tuottavaan työkaluun. Yhdistä se ohjelmoinnin taulukkoon, jos koodia pitää myös korjata ja ylläpitää, ja agenttien taulukkoon, jos mallin pitää työskennellä itsenäisesti useassa vaiheessa.
Rajoitukset
Areenan sovellukset ovat pieniä. Suuria projekteja, joissa on paljon tiedostoja, tietokanta ja kirjautuminen, ei arvioida, joten korkea sijoitus kertoo kyvystä tehdä nopeita prototyyppejä – ei takaa valmista tuotetta. Mallit, joilla on alle 300 ääntä, näkyvät merkinnällä ”Ei vielä tasoa”.