程式設計

這個排行榜衡量什麼？

程式設計排行榜採用 LMArena 文字競技場的 coding 類別：同樣是盲測投票，但只計入和程式碼有關的問題，例如解釋錯誤、撰寫函式或轉換程式語言。票數換算成 Elo 評分，並附上 95% 信賴區間。

表格裡有哪些資料？

欄位與文字排行榜相同：等級、Elo 與區間、每 1M token 價格、上下文長度、30 天價格走勢，也提供「每月費用」試算、「品質與價格」圖表，以及最多 4 個模型的比較。

評分高就代表會做完整網站嗎？

不一定。這裡評的是聊天中的程式碼回答；建立完整網頁應用程式另有 網頁開發排行榜，多步驟使用工具則看 代理排行榜。聊天回答也不等於在真實專案中跑測試，正式使用前請用自己的程式碼試試看。

為什麼要看上下文長度？

想讓模型參考整個儲存庫時，需要一次放入大量內容，較長的上下文才裝得下；但每多一個 token 都要付費。請把上下文和價格一起比較，處理單一檔案時，較短的上下文往往就夠用。

模型什麼時候會有等級？

累積到至少 300 票之後。在那之前會標示「尚未分級」。等級依信賴區間的重疊計算，與榜首無法區分的模型並列第一，所以 S 級可能同時有好幾個模型。

選擇前還要確認什麼？

• 您實際使用的供應商價格，可能與表中最低價不同；
• 您的程式設計代理是否支援這個模型（見 程式設計代理）；
• 若要在自己的伺服器上執行，確認是否為開放權重及其授權。

來源：評分 LMArena；價格 models.dev 與 LiteLLM。