Programmation

Que classe cette page ?

Les modèles selon leurs réponses aux questions de programmation. Il s'agit de la catégorie « code » de l'arène texte de LMArena : mêmes votes à l'aveugle entre deux réponses anonymes, mais uniquement sur des demandes liées au code, qu'il s'agisse d'écrire une fonction, de corriger un bug ou d'expliquer un message d'erreur. Les colonnes sont celles du classement texte : tier, note Elo avec son intervalle à 95 %, prix par million de tokens, contexte, tendance du prix sur 30 jours, calculateur, graphique et comparaison.

En quoi diffère-t-elle des pages développement web et agents ?

Ce classement juge des réponses dans une conversation. La création d'applications web complètes a son propre tableau, développement web, et le travail en plusieurs étapes avec des outils relève du classement agents. Un modèle excellent pour expliquer du code n'est pas forcément celui qui mène le mieux une tâche longue et autonome.

Pourquoi regarder la fenêtre de contexte ?

Pour travailler sur un dépôt entier, il faut que le modèle puisse lire beaucoup de fichiers à la fois. Une grande fenêtre de contexte compte alors autant que la note. Comparez-la avec le prix : envoyer tout un projet à chaque requête fait vite grimper la facture, que le calculateur « Coût par mois » permet d'estimer.

Que signifient les tiers ?

Ils sont calculés par le site, selon la même règle que sur toutes les pages : parmi les modèles qui ont au moins 300 votes, la place dépend du nombre de modèles dont l'intervalle de confiance est entièrement au-dessus. S correspond aux premiers 10 %, A à 30 %, B à 60 %, C à 85 %, D au reste. En dessous de 300 votes, un modèle reste « Pas encore de tier ».

Les votes suffisent-ils pour choisir ?

Non. Des réponses préférées dans un chat ne garantissent pas qu'un code passe les tests d'un vrai projet. Servez-vous du classement pour présélectionner quelques modèles, puis essayez-les sur votre base de code. Le filtre « Petit prix » (moins de 1 USD par million de tokens en prix combiné) aide à repérer des options économiques pour les tâches répétitives.

D'où viennent les données ?

Les notes viennent de LMArena, les prix et contextes de models.dev et LiteLLM, actualisés chaque jour.