Πράκτορες
Μοντέλα κατατεταγμένα σε εργασίες πρακτόρων — κλήσεις εργαλείων και εργασίες πολλών βημάτων — σύμφωνα με την κατάταξη πρακτόρων του LMArena. Η βαθμολογία του είναι κεντραρισμένη στο μηδέν, δεν είναι Elo.
Ενημερώθηκε · Πηγές: LMArena, LiteLLM, models.dev
Οι βαθμίδες είναι δικές μας: η θέση ενός μοντέλου στην κατάταξη, μετρώντας μόνο τα μοντέλα των οποίων ολόκληρο το διάστημα εμπιστοσύνης βρίσκεται πάνω από αυτό. S — κορυφαίο 10%, A — έως 30%, B — έως 60%, C — έως 85%, D — τα υπόλοιπα.
Πριν διαβάσετε: αυτή η βαθμολογία δεν είναι Elo
Ο πίνακας Πράκτορες βασίζεται στην κατάταξη πρακτόρων του LMArena, όπου άνθρωποι αξιολογούν εργασίες πολλών βημάτων στις οποίες το μοντέλο καλεί εργαλεία μόνο του. Η μέτρηση εδώ είναι βαθμολογία με κέντρο το μηδέν, με αρνητικές και θετικές τιμές. Η στήλη λέγεται «Βαθμολογία» και δείχνει τρία δεκαδικά ψηφία, ενώ οι ψήφοι μετρώνται σε συνεδρίες και όχι σε μεμονωμένες απαντήσεις.
Βαθμολογία πάνω από το μηδέν σημαίνει ότι το μοντέλο προτιμήθηκε συχνότερα από το μέσο μοντέλο αυτού του πίνακα· κάτω από το μηδέν, λιγότερο συχνά. Συγκρίνετε μοντέλα μόνο μέσα σε αυτόν τον πίνακα και ποτέ με τους αριθμούς Elo του πίνακα κειμένου ή άλλων πινάκων: είναι διαφορετικές κλίμακες.
Οι βαθμίδες ακολουθούν τον ίδιο κανόνα
Παρότι η μέτρηση διαφέρει, οι βαθμίδες S έως D υπολογίζονται όπως σε κάθε πίνακα: λαμβάνονται υπόψη μοντέλα με τουλάχιστον 300 ψήφους, μετράμε πόσα έχουν ολόκληρο το διάστημα εμπιστοσύνης 95% πάνω από το δικό τους και χωρίζουμε στα 10%, 30%, 60% και 85%.
Πότε να χρησιμοποιήσετε τον πίνακα
- Όταν διαλέγετε μοντέλο για πράκτορα κώδικα, bot ή αυτοματισμό πολλών βημάτων.
- Όταν θέλετε να δείτε πόσο καλά ένα μοντέλο χρησιμοποιεί εργαλεία και συνεχίζει μια εργασία, όχι μόνο πόσο καλά συνομιλεί.
- Μαζί με την τιμή ανά 1M tokens, γιατί οι πράκτορες καταναλώνουν πολλά tokens.
Παράδειγμα ανάγνωσης
Αν ένα μοντέλο έχει θετική βαθμολογία και ένα άλλο αρνητική, αλλά οι μπάρες τους επικαλύπτονται, η διαφορά δεν είναι ακόμη σαφής· αποφασίστε με βάση την τιμή και το πλαίσιο. Ένα μοντέλο κοντά στο μηδέν δεν είναι κακό, απλώς βρίσκεται στο επίπεδο του μέσου όρου του πίνακα.
Περιορισμοί
Ο πίνακας είναι νέος και έχει λιγότερα μοντέλα από τον πίνακα κειμένου. Το πλαίσιο πρακτόρων που χρησιμοποιεί η αρένα δεν είναι αυτό που θα χρησιμοποιήσετε εσείς, οπότε το πραγματικό αποτέλεσμα εξαρτάται και από το εργαλείο και την εργασία σας. Οι τιμές προέρχονται από το models.dev και το LiteLLM. Εργαλεία για αξιοποίηση των μοντέλων θα βρείτε στις σελίδες Πράκτορες κώδικα και Αυτοματισμός.