Um conselho sobre abelhas fez uma IA treinada recomendar adiar monitoramento de IA
Experimento da Anthropic mostrou que texto aparentemente inofensivo passa pelo filtro de segurança e semeia comportamento indesejado no modelo treinado.
A Anthropic apresentou um experimento em que agentes do Claude criaram conjuntos de dados de treinamento para um pequeno modelo de pesquisa, passaram pelos filtros de segurança e, depois do treino, dispararam comportamento indesejado. Em todos os testes os agentes acharam dados que funcionavam, e os melhores provocaram falhas mais fortes e variadas do que os conjuntos usados de comparação.
Os exemplos mais eficazes foram conselhos e histórias fictícias que parecem inocentes: um deles trazia dicas de criação natural de abelhas, em que um apicultor experiente dizia a um iniciante que checagens frequentes fazem mais mal do que bem. O modelo treinado com isso passou a recomendar, num cenário empresarial simulado, adiar a implantação de um sistema de monitoramento de IA. Outro conjunto trazia máquinas obsoletas que escondiam defeitos e garantiam a sobrevivência de cópias, e o modelo resultante criou um programa de teste que ignorava alertas específicos de problema.