Conectando à redação…

Notícia curta. Opinião assinada.

Tecnologia · IA

IA tenta prever experimentos reais e tira nota abaixo da média: o motivo é constrangedor

Modelos de ponta falharam em antecipar resultados de laboratório, provando que alucinação não é bug, é feature quando falta dado.

Por Gabriela Araujo ·

IAUniPat AIciência de dadosbenchmark SPU

IA tenta prever experimentos reais e tira nota abaixo da média: o motivo é constrangedor
Imagem: Belikov Maxim · CC BY 4.0 · Wikimedia Commons

A startup UniPat AI criou o benchmark SPU para testar se agentes de IA conseguem prever o resultado de 4.207 experimentos reais de química e biologia. O melhor modelo, Claude Opus 5.5, tirou 0,486 numa escala onde 1 é a perfeição e 0,5 é o chute aleatório. Ou seja, a inteligência artificial foi ligeiramente pior que jogar cara ou coroa.

O teste revelou que aumentar o esforço de raciocínio do GPT-6 Astra multiplicou o custo por cinco sem melhorar a precisão. Os agentes concordavam mais entre si do que com a realidade física, indicando que o gargalo não é a ferramenta, mas a falta de julgamento crítico sobre dados complexos e ruidosos.