Ok - é por isso que nunca se deve confiar em benchmarks de IA.


Um estudo recente comparou o Opus 4.6 (o último modelo Claude) versus o Opus 4.5 em 165 tarefas diferentes.
A pesquisa aprofundada concluiu que o Opus 4.6 não foi melhor do que o modelo anterior.
Mas o Opus 4.6 fez isso com 50% do custo e 50% do tempo de execução.
Ainda assim, melhorias enormes, apenas tenha cuidado com os títulos de benchmarks.
A melhor maneira de determinar se um modelo é melhor do que as versões anteriores é testá-lo para as suas necessidades específicas.
De qualquer forma, parabéns à equipa da Anthropic por esta redução massiva de custo/tempo de execução.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
0/400
Sem comentários
  • Marcar