Οι βαθμίδες είναι δικές μας: η θέση ενός μοντέλου στην κατάταξη, μετρώντας μόνο τα μοντέλα των οποίων ολόκληρο το διάστημα εμπιστοσύνης βρίσκεται πάνω από αυτό. S — κορυφαίο 10%, A — έως 30%, B — έως 60%, C — έως 85%, D — τα υπόλοιπα.
Ποιότητα έναντι τιμήςβαθμολογία κάθετα, μικτή τιμή (3 μέρη εισόδου : 1 εξόδου) οριζόντια, USD ανά 1 εκατ. tokens
Πώς λειτουργεί η αρένα WebDev
Ο πίνακας Web dev βασίζεται στην αρένα WebDev του LMArena. Δύο μοντέλα λαμβάνουν το ίδιο αίτημα, για παράδειγμα μια σελίδα κρατήσεων ή ένα μικρό παιχνίδι, και το καθένα φτιάχνει μια εφαρμογή web που λειτουργεί. Ο χρήστης δοκιμάζει και τις δύο χωρίς να ξέρει ποιο μοντέλο είναι ποιο και ψηφίζει αυτή που προτιμά. Η βαθμολογία αντικατοπτρίζει όλο το αποτέλεσμα, δηλαδή διάταξη, κώδικα που δουλεύει και τήρηση του αιτήματος, όχι μόνο το στυλ του κώδικα.
Ποια μοντέλα περιλαμβάνει
Η αρένα έχει δικό της σύνολο μοντέλων, διαφορετικό από τους πίνακες Κείμενο και Προγραμματισμός. Ένα μοντέλο που τα πάει καλά σε συνομιλία για κώδικα μπορεί να έχει άλλη θέση εδώ. Οι στήλες είναι ίδιες με τους άλλους πίνακες: βαθμίδα, Elo με διάστημα εμπιστοσύνης 95%, τιμή ανά 1M tokens και παράθυρο πλαισίου, με τιμές από το models.dev και το LiteLLM.
Πώς να αξιοποιήσετε τα δεδομένα
Για επιλογή μοντέλου σε πρωτότυπα, σελίδες προώθησης και μικρά εργαλεία από περιγραφή.
Όταν τα διαστήματα εμπιστοσύνης δύο μοντέλων επικαλύπτονται, αποφασίστε με βάση τιμή ή πλαίσιο.
Το φίλτρο «Χαμηλή τιμή» εδώ σημαίνει μικτή τιμή κάτω από 1 USD ανά 1M tokens.
Αν χρειάζεστε σελίδα με τον κατάλογο ενός καφέ και κουμπί παραγγελίας, γράψτε σύντομο αίτημα με τα στοιχεία και το ύφος που θέλετε και στείλτε το σε δύο μοντέλα από τις πρώτες βαθμίδες. Ανοίξτε τα αποτελέσματα στον φυλλομετρητή, ελέγξτε ότι τα κουμπιά λειτουργούν και ότι η σελίδα εμφανίζεται σωστά στο κινητό. Είναι η ίδια λογική με την αρένα, αλλά με τη δική σας δουλειά.
Περιορισμοί
Οι εφαρμογές της αρένας είναι μικρές· μεγάλα έργα με πολλές σελίδες, διακομιστή και πραγματική βάση δεδομένων δεν βαθμολογούνται. Ο πίνακας δείχνει πόσο καλά ξεκινά ένα μοντέλο μια εφαρμογή web, όχι αν θα συντηρήσει μεγάλο έργο. Ο κανόνας βαθμίδων είναι ίδιος με τον πίνακα κειμένου: κάτω από 300 ψήφους δεν δίνεται βαθμίδα. Για αλλαγές σε υπάρχον έργο δείτε και τον πίνακα Πράκτορες και τα εργαλεία πρακτόρων κώδικα.