Προγραμματισμός

Τι μετρά αυτός ο πίνακας;

Ο πίνακας προγραμματισμού είναι η κατηγορία coding της αρένας κειμένου του LMArena. Ισχύει η ίδια τυφλή ψηφοφορία με τον πίνακα κειμένου, αλλά μόνο για αιτήματα που αφορούν κώδικα: εξήγηση συνάρτησης, εύρεση σφάλματος, σενάριο αυτοματισμού. Ο χρήστης βλέπει δύο απαντήσεις χωρίς να ξέρει τα μοντέλα και ψηφίζει αυτή που βοήθησε περισσότερο. Οι ψήφοι γίνονται βαθμολογία Elo με διάστημα εμπιστοσύνης 95%.

Σε τι διαφέρει από τους πίνακες Web dev και Πράκτορες;

Εδώ βαθμολογούνται απαντήσεις σε συνομιλία για κώδικα. Αν σας ενδιαφέρουν μοντέλα που φτιάχνουν ολόκληρη εφαρμογή web από ένα αίτημα, δείτε τον πίνακα Web dev· για εργασίες πολλών βημάτων όπου το μοντέλο καλεί εργαλεία μόνο του, τον πίνακα Πράκτορες. Κάθε πίνακας έχει δικό του σύνολο μοντέλων και κλίμακα, οπότε συγκρίνετε μέσα στον ίδιο πίνακα.

Ποιες στήλες μετράνε για προγραμματισμό;

• Βαθμίδα και Elo: πόσο συχνά οι χρήστες προτίμησαν τις απαντήσεις του μοντέλου.
• Παράθυρο πλαισίου: σημαντικό όταν δίνετε στο μοντέλο ολόκληρο αποθετήριο ή πολλά αρχεία· δείτε το μαζί με την τιμή.
• Τιμή ανά 1M tokens και τάση 30 ημερών: για εκτίμηση κόστους σε συχνή χρήση.
• Υπολογιστής και γράφημα: αν η επιπλέον ποιότητα αξίζει την τιμή, με σύγκριση έως 4 μοντέλων.

Υψηλή θέση σημαίνει ότι ο κώδικας θα δουλέψει;

Όχι απαραίτητα. Μια απάντηση που αρέσει σε συνομιλία δεν είναι το ίδιο με τεστ σε πραγματικό έργο· ένα μοντέλο μπορεί να γράφει ευανάγνωστο κώδικα που αποτυγχάνει σε ακραίες περιπτώσεις του συστήματός σας. Ο κανόνας βαθμίδων είναι ίδιος με τον πίνακα κειμένου: χρειάζονται τουλάχιστον 300 ψήφοι, αλλιώς εμφανίζεται «Χωρίς βαθμίδα ακόμη». Οι τιμές προέρχονται από το models.dev και το LiteLLM την ημέρα των δεδομένων.

Πώς επιλέγω πρακτικά;

Διαλέξτε δύο μοντέλα με κοντινή βαθμίδα αλλά διαφορετική τιμή και δώστε τους το ίδιο πραγματικό σφάλμα από τον κώδικά σας. Αν τα αποτελέσματα είναι παρόμοια, το φθηνότερο συνήθως συμφέρει για την καθημερινή δουλειά. Αν θα χρησιμοποιήσετε το μοντέλο μέσα από πράκτορα τερματικού ή επέκταση επεξεργαστή κώδικα, δείτε τη σελίδα Πράκτορες κώδικα.