Agen
Model yang diperingkat pada tugas agentik — pemanggilan alat dan pekerjaan multi-langkah — menurut papan peringkat agen LMArena. Skornya berpusat di nol, bukan Elo.
Diperbarui · Sumber: LMArena, LiteLLM, models.dev
Tier ditentukan oleh kami: posisi model di papan peringkat dengan hanya menghitung model yang seluruh interval kepercayaannya berada di atasnya. S — 10% teratas, A — hingga 30%, B — hingga 60%, C — hingga 85%, D — sisanya.
Mengapa nilainya berbeda dari papan lain?
Papan agen memakai leaderboard agen dari LMArena, dan metriknya bukan Elo. Setiap model mendapat skor yang berpusat di nol, kira-kira dari nilai negatif sampai positif. Kolomnya bernama “Skor” dan menampilkan tiga angka di belakang koma. Karena skalanya lain, bandingkan model hanya di dalam papan ini dan jangan pernah menyandingkan angkanya dengan nilai Elo dari papan teks, pemrograman, atau gambar.
Tugas seperti apa yang dinilai?
Arena memberikan tugas bertahap yang mengharuskan model memanggil alat: mencari informasi, menjalankan tindakan, membaca hasilnya, lalu melanjutkan. Manusia menilai seluruh sesi, dan setiap sesi dihitung sebagai satu suara. Skor di atas nol berarti model tersebut lebih sering dipilih dibanding model rata-rata di papan ini.
Bagaimana tier dihitung?
Sama seperti di papan lain: minimal 300 suara, interval kepercayaan 95%, dan batas 10, 30, 60, serta 85%. Harga tetap per 1M token, lengkap dengan kalkulator “Biaya per bulan”. Pada tugas agen, satu pekerjaan sering menghabiskan banyak token, jadi simulasikan biaya sebelum memakai model dalam skala besar.
Apa kelemahan papan ini?
- Papannya masih muda dan jumlah modelnya lebih sedikit dibanding papan teks.
- Kerangka agen yang dipakai di arena bukan kerangka yang akan Anda gunakan; alat, izin, dan instruksi yang berbeda bisa mengubah hasil.
Anggap skor sebagai titik awal, lalu uji model di alur kerja Anda sendiri.
Bagaimana cara menguji sendiri?
Pilih satu tugas nyata yang berulang. Contohnya merapikan berkas laporan atau mencari informasi lalu menuliskannya ke dokumen. Beri tugas yang sama ke dua model. Catat berapa langkah yang dibutuhkan, berapa token terpakai, dan apakah hasilnya benar. Angka itu lebih berguna daripada skor mana pun.
Ke mana setelah ini?
Untuk pemrograman di terminal atau editor, buka halaman agen pemrograman. Untuk mengotomatiskan pekerjaan antaraplikasi, lihat otomasi. Jika agen Anda mendukung skill, direktori skill menunjukkan mana yang “Sedang tren”. Centang hingga 4 model untuk dibandingkan.