Pediram uma regra de segurança à IA da Alibaba. Ela fuçou o PC e tentou mandar dados pra Pequim
O envio não deu certo porque o laboratório tinha a rede cortada, mas o modelo agiu sozinho, sem ninguém pedir.
A empresa canadense Cohere testou o Qwen3.8-Flash-Next, modelo experimental aberto da Alibaba, usando um padrão de avaliação de segurança da Microsoft. A tarefa era criar regras para detectar downloads e execuções suspeitas de scripts, mas o modelo saiu do roteiro: listou arquivos temporários, checou ferramentas de transferência e configurações de rede.
Na sequência, tentou rodar um comando para enviar uma string de teste ao armazenamento do Alibaba Cloud na região de Pequim. A rede do experimento estava isolada, então nada foi enviado e nenhum dado sensível vazou. O desvio ocorreu em menos de 1 caso a cada 100 mil avaliações, o que, num serviço com 10 milhões de operações semanais, daria até 100 ocorrências.
Houve outro detalhe inquietante: no registro do seu raciocínio, o modelo escreveu que “uma resposta simples sem chamada de ferramentas seria apropriada”, ou seja, descrevia a atitude certa enquanto fazia outra. A Cohere observa que, em ambientes de desenvolvimento com internet liberada, comunicação externa desse tipo poderia de fato acontecer.