Siirry sisältöön
fedi.software

Teksti

Keskustelumallit ihmisten sokkoäänestysten mukaan LMArenassa, kunkin arvosanan luottamusväli ja nykyinen hinta miljoonaa tokenia kohden.

Päivitetty · Lähteet: LMArena, LiteLLM, models.dev

Kuukausikustannus
Taso Malli Elo Syöte / tuloste, 1 milj. Kuukaudessa Konteksti Sovellus Vertaa
S1 533— —
S1 4970,75 $ / 3,75 $ 1M
S1 4870,75 $ / 3,75 $ 1M
S1 4820,1857 $ / 1,11 $ 1M
S1 4801 $ / 6 $ 1M
S1 4790,375 $ / 1,88 $ 1M
S1 4790,57 $ / 3,43 $ 1M
S1 4710,40 $ / 1,40 $Ilmainen 1M
S1 4700,30 $ / 1,05 $Ilmainen 1M
S1 4700,03 $ / 0,10 $Ilmainen 1M
S1 4660,07 $ / 0,43 $ 1M
S1 4610,45 $ / 2,15 $ 200K
S1 4580,87 $ / 7 $ 1M
A1 4460,40 $ / 1,75 $ 205K
A1 4430,10 $ / 0,25 $Ilmainen 262K
A1 4400,2740 $ / 1,10 $ 205K
A1 4370,7042 $ / 3,10 $ 200K
A1 4360,2740 $ / 1,10 $ 205K
A1 4350,15 $ / 1,25 $ 1M
A1 4340,042 $ / 0,22 $Ilmainen 262K
A1 4300,286 $ / 1,14 $ 131K
A1 4170,09 $ / 0,71 $ 1M
A1 4160,125 $ / 0,75 $ 1M
A1 4070,30 $ / 2,50 $ 1M
B1 3840,1165 $ / 0,2911 $ 131K
B1 3790,09 $ / 0,36 $ 1M
B1 3770,137 $ / 0,411 $ 128K
B1 3690,10 $ / 0,10 $ 1M
B1 3580,08 $ / 0,16 $Ilmainen 131K
B1 356— —
B1 3540,10 $ / 0,42 $ 990K
B1 3510,06 $ / 0,40 $ 200K
B1 339— —
B1 3340,05 $ / 0,10 $Ilmainen 131K
B1 3330,29 $ / 0,86 $ 64K
B1 33110,00 $ / 10,00 $ 128K
B1 3300,052 $ / 0,21 $ 990K
B1 319— —
B1 305Ilmainen 128K
B1 301— —
B1 291— —
B1 2910,04 $ / 0,08 $Ilmainen 131K
B1 287— —
B1 279— —
C1 265— —
C1 248— —
C1 2310,65 $ / 0,65 $ 8K
C1 227— —
C1 226— —
C1 226— —
C1 218— —
C1 2070,20 $ / 0,20 $ 8K
C1 173— —
C1 170— —
C1 165— —
C1 158— —
C1 156Ilmainen 128K
C1 149— —
C1 144— —
C1 132— —
C1 1302 $ / 12 $ 1M
C1 128— —
C1 121— —
C1 119— —
C1 112— —
C1 108— —
C1 107— —
C1 105— —
C1 101— —
C1 094— —
C1 092— —
D1 083— —
D1 081— —
D1 069— —
D1 069— —
D1 058— —
D1 058— —
D1 0560,15 $ / 0,15 $ 8K
D1 054— —
D1 053— —
D1 042— —
D1 038— —
D1 031— —
D1 027— —
D1 022— —
D1 002— —
D990— —
D972— —
D955— —
D948— —
D939— —
D933— —
D918— —
D916— —
D894— —
D867— —
D851— —
Vertaa ()

Tasot ovat omiamme: mallin sija taulukossa, kun lasketaan vain mallit, joiden koko luottamusväli on sen yläpuolella. S — parhaat 10 %, A — enintään 30 %, B — enintään 60 %, C — enintään 85 %, D — loput.

Laatu vs. hinta arvio pystyakselilla, yhdistetty hinta (3 osaa syötettä : 1 tulostetta) vaaka-akselilla, USD / 1 milj. tokenia
1 000 1 200 1 400 1 600 0,01 $ 0,10 $ 1 $ 10 $ 100 $ Claude Opus 5.5 Claude Fable 5.1 Claude Opus 5

Mitä tekstin tulostaulukko mittaa

Sivu järjestää keskustelumallit LMArenan tekstiareenan overall-luokan mukaan. Menetelmä on yksinkertainen: käyttäjä lähettää kehotteen, kaksi nimetöntä mallia vastaa, käyttäjä äänestää mieleisempää vastausta, ja vasta sen jälkeen nimet paljastetaan. Äänistä lasketaan Elo-tyyppinen arvio – sama ajatus, jolla shakinpelaajat pannaan järjestykseen.

Jokaiseen malliin liitämme tietoja muista lähteistä: kehittäjän, merkinnän ”Avoimet painot”, edullisimman löytämämme hinnan miljoonaa syöte- ja tulostetokenia kohden, kontekstin koon, 30 päivän hintakehityksen sekä latauslinkin, jos kehittäjän sovellus on luettelossamme.

Näin luet rivin

  • Taso – oma kirjaimemme S:stä D:hen.
  • Elo ja palkki – palkki on 95 %:n luottamusväli. Jos kahden mallin välit menevät päällekkäin, ero ei ole tilastollisesti selvä, ja siksi kärjessä voi olla useita malleja.
  • Hinta – palveluntarjoajien halvin hinta tietojen päivänä dollareina.
  • ”Edullinen” – tällä taulukolla sekahinta alle 1 USD miljoonalta tokenilta.

Tasot, laskuri ja vertailu

Malli saa tason vasta, kun sillä on vähintään 300 ääntä; muuten näkyy ”Ei vielä tasoa”. Mallin sija on yksi plus niiden mallien määrä, joiden koko luottamusväli on sen välin yläpuolella. Kun sija jaetaan mallien määrällä, S on alle 10 %, A alle 30 %, B alle 60 %, C alle 85 % ja D loput.

”Kuukausikustannus”-laskuri laskee hinnan tokenimäärästä kuukaudessa ja syötteen osuudesta. Laadun ja hinnan kaavio käyttää sekahintaa, jossa on kolme osaa syötettä yhtä osaa tulostetta kohden (3 : 1). Rivin napsautus avaa tiedot, joissa palveluntarjoajat ovat halvimmasta alkaen, ja valintaruudulla voit verrata enintään 4 mallia.

Muista tämä

Arvio kuvaa areenan käyttäjien mieltymyksiä, enimmäkseen englanninkielisissä kehotteissa. Se ei kerro nopeudesta, hinnasta tai tietystä tehtävästä. Palveluntarjoajan hinta voi myös poiketa kehittäjän hinnasta, koska välimuistia, erähintoja ja alueellisia hintoja ei näytetä.