Melhores IAs falham em 40% das tarefas de nuvem e parte dos erros não tem conserto
Benchmark open-source mede o desempenho de agentes de IA em tarefas reais de DevOps na AWS e revela onde a coisa desanda.
O CloudOpsBench é um benchmark open-source que mede como agentes de IA lidam com tarefas comuns de DevOps na nuvem, como corrigir serviços, restringir acesso e lançar atualizações. A versão 1.0 traz 45 tarefas na AWS e foi criada por engenheiros de DevOps experientes.
Nem os melhores modelos passam: Claude Fable 5.1 resolveu 60% das tarefas e GPT-6 Astra, 53%. Segundo a equipe de Ang Chen, da Universidade de Michigan, 80% dos erros são falhas de raciocínio e 20% são ações erradas, algumas com consequências irreversíveis.