Tekst

Topplisten for tekstmodeller bygger på den samlede kategorien i LMArenas tekstarena. Der sender folk inn et spørsmål, får to anonyme svar og stemmer på det de liker best. Stemmene regnes om til en vurdering i Elo-stil, samme prinsipp som i sjakk.

Slik leser du tabellen, steg for steg

1. Tier og vurdering: søylen viser vurderingen med 95 %-konfidensintervall. Overlapper to søyler, er forskjellen ikke statistisk klar.
2. Leverandør og «Åpne vekter»: hvem som har laget modellen, og om vektene kan lastes ned.
3. Pris: den laveste aktuelle prisen per 1M input- og output-tokens blant leverandørene, i USD, pluss prisutviklingen over 30 dager.
4. Kontekst: hvor mye tekst modellen kan holde i én samtale.
5. Nedlasting: en lenke til appen når den finnes i vår katalog.

Med filtrene velger du åpne vekter, gratis, «Lav pris» eller en bestemt leverandør, og du kan sortere etter vurdering, pris, kontekst eller navn. Klikker du på en rad, ser du leverandørene med billigste pris først, modaliteter, kontekst og maksimal output, antall stemmer, plass hos kilden, lisens, lanseringsdato og når modellens kunnskap slutter. Avkrysningsboksen legger opptil 4 modeller i sammenligningen.

Hvorfor deler flere modeller toppen?

Blant modeller med minst 300 stemmer får hver modell plass etter hvor mange modeller som har hele intervallet sitt over modellens eget. Under 10 % av listen gir S, under 30 % A, under 60 % B, under 85 % C og resten D. Modeller som statistisk ikke kan skilles fra lederen, deler førsteplassen. Har en modell færre stemmer, står den som «Ikke plassert ennå».

Kalkulatoren og diagrammet

I «Kostnad per måned» fyller du inn tokens per måned og andelen input, og kostnaden regnes ut for hver modell. Diagrammet «Kvalitet mot pris» viser vurderingen oppover og en blandet pris bortover, der input og output vektes 3 : 1. «Lav pris» betyr her en blandet pris under 1 USD per 1M tokens.

Hva vurderingen ikke sier

Vurderingen viser hva arenaens brukere foretrekker, oftest på engelske spørsmål. Den måler ikke hastighet, kostnad eller hvor god en modell er på akkurat din oppgave. Prisen hos en leverandør kan også avvike fra produsentens egen: rabatter for hurtigbuffer, batchkjøring og regionale priser vises ikke. Kildene er LMArena for vurderingene, mens models.dev og LiteLLM står for priser, kontekst og modaliteter, alle oppdatert daglig.