Imagem: Belikov Maxim · CC BY 4.0 · Wikimedia Commons
A startup UniPat AI criou o benchmark SPU para testar se agentes de IA conseguem prever o resultado de 4.207 experimentos reais de química e biologia. O melhor modelo, Claude Opus 5.5, tirou 0,486 numa escala onde 1 é a perfeição e 0,5 é o chute aleatório. Ou seja, a inteligência artificial foi ligeiramente pior que jogar cara ou coroa.
O teste revelou que aumentar o esforço de raciocínio do GPT-6 Astra multiplicou o custo por cinco sem melhorar a precisão. Os agentes concordavam mais entre si do que com a realidade física, indicando que o gargalo não é a ferramenta, mas a falta de julgamento crítico sobre dados complexos e ruidosos.