Brecha na OpenAI deixou o raciocínio da IA à disposição, e a conta já passa dos 6 mil dólares
Um pesquisador achou um jeito de passar o pensamento de um modelo para outro e montar um concorrente barato; a OpenAI confirmou, corrigiu e pagou o prêmio.
O pesquisador Xint descobriu uma brecha no processo de compactação de contexto da OpenAI: o passo que comprime o histórico de conversa para não estourar o limite. O defeito permitia mover “traces” de raciocínio entre modelos diferentes, viabilizando destilação: usar o raciocínio de um modelo avançado para treinar, mais barato, um rival. A empresa confirmou o problema, corrigiu e pagou um prêmio de 6 mil dólares ao pesquisador em 23 de outubro.
O ataque, batizado de “smuggling de compactação”, funciona em três passos: extrair o raciocínio de um modelo, manipular a compactação devolvida e mandar o resultado para outro modelo da mesma família, que reproduz o conteúdo exatamente como recebido. A OpenAI tinha aplicado correções em agosto contra a extração de dados pessoais, mas elas não cobriam esse caminho. A CISA, agência de cibersegurança dos EUA, já havia alertado que empresas chinesas de IA, com provável conhecimento do governo, extraíram bilhões de tokens em milhões de requisições.