Programmazione

Che cosa misura questa classifica?

È la categoria di programmazione della text arena di LMArena: stessi voti alla cieca della classifica di testo, ma solo sui prompt che riguardano il codice. Le persone chiedono di scrivere una funzione, spiegare un errore o riorganizzare un pezzo di programma, confrontano due risposte anonime e votano. Il risultato è un punteggio Elo con intervallo di confidenza al 95%, trasformato nei tier S, A, B, C e D con la stessa regola delle altre classifiche.

In cosa è diversa dalle altre?

Valuta le risposte in una chat sul codice. Costruire un'intera applicazione web è un'altra prova, con una sua classifica di sviluppo web; il lavoro in più passaggi con strumenti e comandi ha invece la classifica degli agenti. Un modello forte qui non è per forza il compagno ideale per un agente che modifica un progetto vero.

Quali colonne guardare?

• Tier e Elo, con la barra dell'intervallo: se due barre si sovrappongono, la differenza non è netta.
• Prezzo in USD per milione di token, con l'andamento di 30 giorni e il filtro «Prezzo basso» (prezzo combinato sotto 1 USD).
• Contesto: per lavorare su un intero repository conta molto, confrontalo accanto al prezzo.
• Confronta: spunta fino a 4 modelli per vederli fianco a fianco.

Il calcolatore del costo mensile e il grafico «Qualità e prezzo» funzionano come nella classifica di testo, con il prezzo combinato calcolato 3 a 1 tra input e output.

Ci sono limiti da conoscere?

Sì. Un modello riceve il tier solo con almeno 300 voti; prima compare come «Tier non ancora assegnato». Soprattutto, rispondere bene in chat su un frammento di codice non equivale a far passare i test su un progetto reale, con dipendenze, configurazioni e file sparsi. Usa la classifica per scegliere i candidati, poi provali sul tuo codice. I punteggi vengono da LMArena, i prezzi da models.dev e LiteLLM, con la data dei dati sopra la tabella.