Modelos de IA ‘abertos’ abrem tudo, menos o que mais importa: como escolhem cada token

A comparação de dez MoE revela que dois escondem o método de roteamento, e o nome ‘17B active’ esconde arquiteturas opostas.

Por Gabriela Araujo · 8 de novembro de 2026 às 07:27

IA MoE DeepSeek Llama 4 roteamento

Uma comparação verificada por configuração de 10 modelos Mixture-of-Experts (MoE) abertos mostra que, apesar da mesma ideia básica, quase nada coincide no roteamento. O número de especialistas varia de 8 (Mixtral 8x7B) a 384 (DeepSeek-V4-Pro e Kimi K2), e o top-k vai de 1 a 8. Nem todos mantêm o especialista compartilhado sempre ativo.

O ponto mais esquisito: Llama 4 Maverick e gpt-oss não publicam no config.json a função de gating nem o método de balanceamento de carga. Já Kimi K2 mostrou que esparsidade 48 exigiu 1,69x menos FLOPs que esparsidade 8 com o mesmo loss de validação. O gpt-oss-120b cabe em uma GPU de 80 GB com MXFP4; DeepSeek-V4-Pro precisa de paralelismo multi-GPU.

Modo Debug · opinião de Gabriela Araujo

O termo “aberto” nesses modelos está cada vez mais parecido com “aberto até onde eu quero”. A promessa do Hugging Face é transparência total, e dois dos dez mais usados simplesmente não publicam a função de roteamento nem o balanceamento. Não é segredo de Estado, é falta de vontade de explicar o que faz o token pular de um especialista para outro.

Para quem tenta rodar modelo fora da nuvem, o detalhe que ninguém vende é este: “17B active” do Llama 4 Maverick esconde um roteador top-1 com 128 especialistas, arquitetura completamente diferente do top-8 do Qwen3. Mesmo nome de parâmetro ativo, física oposta. Isso muda custo, latência e até se cabe na sua GPU. Antes de assinar qualquer infra, leia o config.json. É de graça e é o único contrato que não mente.