Agentes
Modelos classificados em tarefas agênticas — chamadas de ferramentas e trabalho em várias etapas — pelo ranking de agentes do LMArena. A pontuação é centrada em zero, não é um Elo.
Atualizado · Fontes: LMArena, LiteLLM, models.dev
Os tiers são nossos: a posição de um modelo no ranking, contando só os modelos cujo intervalo de confiança inteiro fica acima dele. S — 10% do topo, A — até 30%, B — até 60%, C — até 85%, D — o restante.
Antes de tudo: esta nota não é Elo
O ranking de agentes usa o placar de agentes do LMArena, e a métrica dele é diferente das outras páginas. Em vez de uma nota no estilo Elo, cada modelo recebe uma pontuação centrada em zero, que vai de valores negativos a positivos. A coluna se chama “Pontuação” e mostra três casas decimais. Por isso, compare os modelos só dentro deste ranking; nunca coloque esses números ao lado das notas Elo dos rankings de texto, programação ou imagem.
O que é avaliado
A arena propõe tarefas em várias etapas, em que o modelo precisa chamar ferramentas — buscar informação, executar uma ação, ler o resultado e continuar. As pessoas avaliam as sessões inteiras, e cada sessão conta como um voto. Uma pontuação acima de zero significa que o modelo foi preferido com mais frequência do que o modelo médio deste ranking.
Como ler a tabela
- Tier: usa a mesma regra de toda a seção — pelo menos 300 votos, intervalo de confiança de 95% e as faixas de 10, 30, 60 e 85%.
- Preço: por 1M de tokens, com a mesma calculadora “Custo por mês”; em agentes, cada tarefa costuma consumir muitos tokens, então vale simular antes.
- Comparação: marque até 4 modelos e veja-os lado a lado.
Limites
É um ranking jovem, com menos modelos do que o de texto. E o ambiente de agentes usado na arena não é o mesmo que você vai usar: ferramentas, permissões e instruções mudam o resultado. Trate a pontuação como ponto de partida e teste o modelo no seu próprio fluxo.
Próximos passos
Para programação no terminal ou no editor, veja os agentes de programação. Para automatizar tarefas entre aplicativos, a página de automação reúne construtores de fluxos. E, se o seu agente usa skills, o diretório de skills mostra o que está em alta.