Índice de IA mais citado do mercado passa a usar dados privados e ninguém pode conferir
A nova versão traz benchmarks de codificação com prompts propositalmente vagos, e a maior parte do cálculo agora é feita com bases de dados fechadas.
A Artificial Analysis, instituição independente que avalia modelos de inteligência artificial, anunciou a versão 5 do seu Intelligence Index, indicador amplamente usado para comparar o desempenho de novos modelos. São dois benchmarks novos e três atualizados.
Entre as novidades, o FrontierCode 2.0, da Cognition, dá ao modelo prompts deliberadamente vagos para testar julgamento além da especificação, e o Terminal-Bench-Science propõe 70 tarefas de pesquisa científica executadas em ambiente de terminal. Pela primeira vez, a maior parte do índice é construída sobre bases de dados privadas.