코딩

이 보드는 무엇을 비교하나요?

LMArena 텍스트 아레나에서 코드에 관한 질문만 모은 coding 카테고리의 결과입니다. 방식은 텍스트 보드와 같아서, 이름을 가린 두 모델의 답을 사람이 비교해 투표하고 그 결과를 Elo 방식 레이팅으로 만듭니다. 열 구성도 같아서 티어, 95% 신뢰 구간이 붙은 Elo, 1M 토큰당 가격, 컨텍스트, 30일 가격 추이, 계산기, 차트, 비교 체크 상자가 있습니다.

웹 개발이나 에이전트 보드와 무엇이 다른가요?

여기서 평가하는 것은 채팅에서 코드에 대해 답하는 능력입니다. 동작하는 웹 앱을 통째로 만드는 과제는 웹 개발 보드, 도구를 호출하며 여러 단계를 처리하는 능력은 에이전트 보드에서 봅니다. 용도에 맞게 보드를 골라 보십시오.

고를 때 무엇을 보면 되나요?

• 티어와 신뢰 구간: 구간이 겹치는 모델끼리는 차이가 작다고 봅니다.
• 컨텍스트 창: 저장소 전체를 읽히려면 길수록 유리합니다. 가격과 나란히 확인하십시오.
• 가격: 「저렴한 가격」은 혼합 가격이 1M 토큰당 1 USD 미만인 모델입니다.

티어는 어떻게 정해지나요?

저희가 직접 계산합니다. 투표가 300표 이상인 모델 가운데, 95% 신뢰 구간 전체가 자기보다 위에 있는 모델 수에 1을 더해 순위를 매기고, 모델 수로 나눈 비율로 S(10% 미만), A(30% 미만), B(60% 미만), C(85% 미만), D로 나눕니다.

주의할 점은?

투표가 300표에 못 미치면 「아직 티어 없음」입니다. 채팅 답변이 좋다고 해서 실제 프로젝트에서 테스트를 통과한다는 뜻은 아닙니다. 마음에 드는 모델은 내 코드로 작게 시험한 뒤 본격적으로 쓰십시오.