Web dev

Arena, w której modele budują aplikacje

Ranking WebDev pochodzi z osobnej areny LMArena. Dwa anonimowe modele dostają to samo polecenie i każdy buduje działającą aplikację webową – stronę, grę w przeglądarce, prosty panel. Człowiek ogląda oba wyniki, klika w nie i głosuje na lepszą aplikację. Głosy zamieniają się w ocenę Elo, tak jak na pozostałych arenach.

Na tej arenie występuje własny zestaw modeli, inny niż w rankingu tekstowym i programistycznym, więc nie każdy model z tamtych tabel znajdziesz tutaj.

Co oznacza ocena

Ocena odzwierciedla cały efekt: wygląd strony, działający kod i to, na ile model trzymał się polecenia. Nie jest to więc ocena samego stylu kodu. Model, który pisze elegancki kod, ale zapomina o połowie wymagań, przegra z modelem, którego aplikacja po prostu działa i wygląda tak, jak chciał użytkownik.

Kolumny i tiery

• tier od S do D, liczony według tej samej zasady co w rankingu tekstowym (co najmniej 300 głosów, przedział ufności 95%);
• Elo z paskiem przedziału – nakładające się paski oznaczają brak pewnej różnicy;
• ceny za 1M tokenów wejścia i wyjścia oraz okno kontekstu;
• modele z mniejszą liczbą głosów oznaczamy „Jeszcze bez tieru”.

Ograniczenia

Aplikacje tworzone na arenie są małe. Ranking nie mówi, jak model poradzi sobie z dużym projektem, istniejącym kodem firmy czy długą serią poprawek. Do takich zadań zajrzyj też do rankingu programowania i agentów, a kandydatów zestaw na stronie porównania.

Jak korzystać z tabeli

Jeśli budujesz prototypy stron lub małe narzędzia, zacznij od modeli z tieru S i A, a potem sprawdź ich ceny i okno kontekstu. Filtry „Otwarte wagi” i „Niska cena” pomogą znaleźć tańsze lub samodzielnie hostowane modele. Pamiętaj, że miejsce w tabeli to obraz jednego dnia – czołówka zmienia się często, gdy pojawiają się nowe modele.