Web開発

アプリを作らせて比べるアリーナ

このボードの元になっているのは LMArena の WebDev アリーナです。同じ依頼文から二つのモデルがそれぞれ動く Web アプリを作り、人はできあがったアプリを触って、よい方に投票します。答えの文章ではなく、実際に動く成果物で比べるのが特徴です。

評価されるモデルの顔ぶれは、テキストやコーディングのボードとは別です。列の構成は同じで、ティア、信頼区間付きの Elo、価格、コンテキストを確認できます。

レーティングが表すもの

投票する人は、画面のレイアウト、コードが動くかどうか、依頼どおりにできているかをまとめて判断しています。つまりレーティングは、コードの書き方の美しさだけではなく、結果全体の出来を反映したものです。

• ティアは 95% 信頼区間を考えた順位から計算しています。
• 投票が 300 票未満のモデルは「ティア未判定」です。
• 「低価格」は混合価格が 1M トークンあたり 1 USD 未満です。

ティアと価格の見方

ティアは、レーティングがあり投票が 300 票以上のモデルの中で、95% 信頼区間の全体が自分より上にあるモデルの数から順位を決め、その割合で S から D に分けています。区間が重なるモデルどうしは差がはっきりしないため、同じティアに並ぶことがあります。価格は、データの日にプロバイダーの中で見つかった最も安いもので、「品質と価格」のグラフでは入力 3 対出力 1 の混合価格で比べられます。

使うときの注意

アリーナで作られるアプリは小さなものです。大規模なプロジェクトでの力は評価されていません。実際の開発に使う前に、手元の小さな課題で試してみると判断しやすくなります。モデル同士を並べて見たいときは比較が便利です。依頼文の書き方しだいで結果が大きく変わることもあるので、同じ依頼を複数のモデルに出して見比べると、自分の用途に合うモデルが見つけやすくなります。