コーディング

このボードは何を比べていますか？

LMArena のテキストアリーナのうち、コードに関する質問だけを集めた「coding」カテゴリーの結果です。仕組みはテキストボードと同じで、名前を伏せた二つのモデルの答えを人が比べて投票し、その結果を Elo 形式のレーティングにしています。列も同じく、ティア、95% 信頼区間付きの Elo、1M トークンあたりの価格、コンテキスト、30 日間の価格推移、計算機、グラフ、比較のチェックボックスがそろっています。

Web 開発やエージェントのボードとは何が違いますか？

ここで評価されるのは、チャットの中でコードについて答える力です。動く Web アプリを丸ごと作る課題はWeb 開発ボード、ツールを呼び出しながら何段階もの作業をこなす力はエージェントボードで見ます。用途に合わせてボードを選び分けてください。

選ぶときに何を見ればよいですか？

• ティアと信頼区間：区間が重なるモデルどうしの差は小さいと考えます。
• コンテキストウィンドウ：リポジトリ全体を読ませるなら長い方が有利です。価格と並べて確認しましょう。
• 価格：「低価格」は混合価格が 1M トークンあたり 1 USD 未満のモデルです。

ティアはどう決まりますか？

当サイトが独自に計算しています。投票が 300 票以上のモデルの中で、95% 信頼区間の全体が自分より上にあるモデルの数に 1 を足して順位とし、モデルの数で割った割合で S（10% 未満）、A（30% 未満）、B（60% 未満）、C（85% 未満）、D に分けます。

注意点は？

投票が 300 票に満たないモデルは「ティア未判定」になります。チャットでの答えのよさは、実際のプロジェクトでテストを通すこととは別物です。気になるモデルは、自分のコードで小さく試してから本格的に使いましょう。