Cada dia um novo benchmark de segurança de IA e nenhum deles testa o seu código: sabe por quê?
A proliferação de medidores promete cobrir tudo, mas o que decide continua sendo rodar os testes no seu próprio ambiente.
Medir a segurança de modelos de IA ficou complexa rapidinho: aparece um número crescente de benchmarks, cada um mirando uma variável diferente da equação. Nenhum deles, porém, substitui testar contra o próprio código e os próprios fluxos de trabalho.
Na prática, o padrão de referência segue o de sempre: rodar os testes no seu ambiente, com as suas integrações e os seus dados. Benchmark alheio ajuda a comparar modelos; para saber se o seu sistema aguenta, só o seu teste.