Pemrograman

Apa yang diukur di sini

Papan pemrograman memakai kategori coding dari arena teks LMArena. Metodenya sama dengan papan umum, yaitu pemungutan suara buta atas dua jawaban anonim, tetapi hanya untuk pertanyaan tentang kode. Nilainya bergaya Elo dengan interval kepercayaan 95%, dan tier mengikuti aturan yang sama di seluruh bagian ini: minimal 300 suara, lalu batas 10, 30, 60, dan 85%.

Langkah memilih model untuk pemrograman

1. Saring kandidat dari tier teratas. Ingat, interval yang bertumpang tindih berarti selisihnya tidak nyata secara statistik.
2. Bandingkan jendela konteks dengan harga. Untuk bekerja pada seluruh repositori, konteks panjang sangat berarti karena menentukan berapa banyak kode yang bisa dibaca sekaligus.
3. Hitung perkiraan biaya di kalkulator “Biaya per bulan” dan lihat tren harga 30 hari.
4. Centang hingga 4 kandidat dan bandingkan di halaman perbandingan.
5. Uji kandidat pada proyek Anda sendiri sebelum memutuskan.

Batas penilaian

Papan ini menilai jawaban dalam percakapan tentang kode. Itu tidak sama dengan menjalankan tes pada proyek nyata yang punya dependensi, riwayat, dan aturan tim. Untuk jenis pekerjaan lain tersedia papan terpisah:

• membangun aplikasi web utuh dari satu permintaan: web dev;
• tugas bertahap dengan pemanggilan alat: agen;
• percakapan umum: teks.

Kesalahan yang sering terjadi

Banyak orang langsung memilih model teratas tanpa melihat harga. Padahal pekerjaan kode memakan banyak token. Model yang sedikit lebih rendah bisa jauh lebih hemat. Ada juga yang lupa memeriksa jendela konteks, lalu kaget ketika model tidak bisa membaca berkas besar sekaligus. Cek keduanya sebelum berlangganan.

Setelah memilih model

Alat seperti Claude Code, Cursor, atau Aider bergantung pada model di belakangnya. Setelah menemukan kandidat di sini, lihat pilihan alatnya di halaman agen pemrograman. Model yang belum mencapai 300 suara tampil sebagai “Belum ada tier” sampai suaranya cukup, jadi pantau kembali papan ini secara berkala.