Tekst

Hvad tekstranglisten måler

Siden rangerer chatmodeller efter LMArenas tekstarena i kategorien overall. Metoden er enkel: en bruger sender en prompt, to anonyme modeller svarer, brugeren stemmer på det svar, vedkommende foretrækker, og først derefter afsløres navnene. Stemmerne omregnes til en bedømmelse i Elo-stil – samme idé som ved rangering af skakspillere.

Til hver model lægger vi fakta fra andre kilder: udvikler, mærket »Åbne vægte«, den laveste aktuelle pris pr. 1M input- og output-tokens, vi har fundet hos udbyderne, kontekstvindue, prisudviklingen over 30 dage og et link til download, når udviklerens app findes i vores katalog.

Sådan læser du en række

• Tier – vores bogstav fra S til D.
• Elo og bjælken – bjælken er 95 % konfidensintervallet. Overlapper to modellers intervaller, er forskellen mellem dem ikke statistisk klar, og derfor kan flere modeller dele toppen.
• Pris – den laveste pris blandt udbydere på dagen for dataene, i USD.
• »Lav pris« – på denne liste en blandet pris under 1 USD pr. 1M tokens.

Tiers, beregner og sammenligning

En model skal have mindst 300 stemmer for at få en tier; ellers står der »Ingen tier endnu«. Pladsen er 1 plus antallet af modeller, hvis hele interval ligger over modellens eget. Pladsen delt med antallet af modeller giver S under 10 %, A under 30 %, B under 60 %, C under 85 % og D for resten.

Beregneren »Pris pr. måned« regner ud fra tokens pr. måned og andelen af input. Grafen over kvalitet og pris bruger en blandet pris med 3 dele input til 1 del output. Et klik på en række åbner detaljer med udbydere, billigste først, og med afkrydsningsfeltet kan du sammenligne op til 4 modeller.

Det skal du have in mente

Bedømmelsen er arenabrugernes præferencer, mest på engelske prompter. Den siger intet om hastighed, pris eller en bestemt opgave. Udbyderens pris kan også afvige fra udviklerens, fordi caching, batchrabatter og regionale priser ikke vises.