Texte

Ce que mesure ce classement

Le tableau reprend l'arène texte de LMArena, catégorie générale. Le principe est simple : un internaute envoie une question, reçoit deux réponses de modèles anonymes et vote pour celle qu'il préfère. L'ensemble de ces duels est converti en une note de type Elo, comme aux échecs. La note traduit donc la préférence des utilisateurs de l'arène, surtout sur des questions en anglais. Elle ne mesure ni la vitesse, ni le coût, ni la performance sur une tâche précise, et un modèle bien noté peut décevoir sur votre cas d'usage.

Lire une ligne du tableau

• Tier et note : la barre représente l'intervalle de confiance à 95 %. Quand les intervalles de deux modèles se chevauchent, l'écart n'est pas statistiquement net, ce qui explique que plusieurs modèles partagent le tier du haut.
• Prix : le tarif le plus bas trouvé chez les fournisseurs pour ce modèle le jour des données, en USD, par million de tokens en entrée et en sortie, avec la tendance sur 30 jours.
• Contexte, éditeur, poids ouverts : la taille de la fenêtre de contexte et la mention « Poids ouverts » pour les modèles téléchargeables.
• Détails : un clic sur la ligne affiche les fournisseurs du moins cher au plus cher, les modalités, la sortie maximale, le nombre de votes, le rang chez la source, la licence et les dates de sortie et de connaissances.

Un modèle qui n'a pas encore 300 votes est marqué « Pas encore de tier ».

Filtrer, calculer, comparer

Les filtres permettent d'afficher uniquement les modèles à poids ouverts, les modèles gratuits, ceux à « Petit prix » (ici, un prix combiné inférieur à 1 USD par million de tokens) ou un éditeur donné. Le calculateur « Coût par mois » estime la facture à partir de votre volume de tokens et de la part d'entrée. Le graphique « Qualité et prix » place chaque modèle selon sa note et son prix combiné, calculé sur la base de 3 parts d'entrée pour 1 part de sortie. Enfin, la case « Comparer » permet de sélectionner jusqu'à 4 modèles pour la page de comparaison.

Les limites des prix affichés

Le prix d'un fournisseur peut différer de celui de l'éditeur du modèle. Les remises pour le cache, le traitement par lots ou les prix régionaux ne figurent pas dans le tableau. Pour les notes, la source est LMArena ; pour les prix, le contexte et les modalités, models.dev et LiteLLM. Quand un modèle figure dans notre catalogue, un lien mène à l'application à télécharger.