เขียนโค้ด

ตารางนี้วัดอะไร

ตารางเขียนโค้ดคือหมวด coding ของอารีนาข้อความ LMArena ใช้วิธีโหวตแบบปิดตาเหมือนตารางข้อความ แต่นับเฉพาะพรอมต์ที่เกี่ยวกับโค้ด เช่น ขอให้อธิบายฟังก์ชัน หาบั๊ก หรือเขียนสคริปต์ คนที่ถามเห็นคำตอบสองแบบโดยไม่รู้ชื่อโมเดล แล้วเลือกแบบที่ช่วยได้มากกว่า ผลโหวตกลายเป็นคะแนน Elo พร้อมช่วงความเชื่อมั่น 95%

ต่างจากตารางพัฒนาเว็บและเอเจนต์อย่างไร

ตารางนี้ให้คะแนนคำตอบในแชตเรื่องโค้ด ถ้าคุณสนใจโมเดลที่สร้างเว็บแอปทั้งตัวจากพรอมต์เดียว ให้ดู ตารางพัฒนาเว็บ และถ้าสนใจงานหลายขั้นตอนที่โมเดลต้องเรียกใช้เครื่องมือเอง ให้ดู ตารางเอเจนต์ ทั้งสามตารางมีชุดโมเดลและสเกลของตัวเอง จึงควรเทียบกันภายในตารางเดียว

คอลัมน์ไหนสำคัญกับงานเขียนโปรแกรม

• ระดับและ Elo บอกว่าคนชอบคำตอบของโมเดลบ่อยแค่ไหนเมื่อเทียบกับตัวอื่น
• หน้าต่างบริบท สำคัญเมื่อต้องส่งโค้ดทั้งโปรเจกต์หรือหลายไฟล์ให้โมเดลอ่าน ควรดูคู่กับราคา
• ราคาต่อหนึ่งล้านโทเค็น และแนวโน้มราคา 30 วัน ช่วยประเมินค่าใช้จ่ายเมื่อใช้บ่อย
• เครื่องคิดเลขและกราฟ ช่วยดูว่าคุณภาพที่เพิ่มขึ้นคุ้มกับราคาหรือไม่ และติ๊กเปรียบเทียบได้สูงสุด 4 โมเดล

อันดับสูงแปลว่าโค้ดจะใช้ได้แน่หรือ

ไม่แน่เสมอ คำตอบในแชตที่คนชอบไม่เหมือนกับการรันเทสต์บนโปรเจกต์จริง โมเดลอาจเขียนโค้ดที่อ่านดีแต่ไม่ผ่านกรณีขอบของระบบคุณ กฎการจัดระดับเหมือนตารางข้อความ: ต้องมีโหวตอย่างน้อย 300 ครั้งจึงจะได้ระดับ ตัวที่ยังไม่ถึงจะขึ้นว่า “ยังไม่จัดระดับ” ราคามาจาก models.dev และ LiteLLM ในวันของข้อมูล

ถ้าคุณจะใช้โมเดลผ่านเครื่องมืออย่างเอเจนต์ในเทอร์มินัลหรือส่วนขยายของโปรแกรมแก้ไขโค้ด ดูรายการได้ที่ เอเจนต์เขียนโค้ด

เคล็ดลับเล็ก ๆ: เลือกโมเดลสองตัวที่ระดับใกล้กันแต่ราคาต่างกัน แล้วให้แก้บั๊กเดียวกันจากโค้ดจริงของคุณ ถ้าผลพอ ๆ กัน ตัวที่ถูกกว่ามักคุ้มกว่าสำหรับงานประจำวัน