Modelo de 0,3B roda offline no iPhone a 350 tokens/s, e o segredo é o tamanho
O MNN-Pocket-0.3B da Taobao cabe em 173MB, funciona sem internet e promete resultado de modelo 8B em cenários definidos pela própria equipe.
A equipe MNN da Taobao (Alibaba) anunciou em 6 de novembro o MNN-Pocket-0.3B, um modelo de linguagem de cerca de 300 milhões de parâmetros, com apoio de chinês e inglês, liberado como código aberto para rodar em celulares com orçamento apertado de memória e bateria.
Em testes, o modelo rodou totalmente offline num iPhone 18 Pro pelo motor MNN, com decodificação média de 350 tokens por segundo; o arquivo de implantação em INT4 tem 173MB. As metas declaradas são passar de 200 tokens/s, ficar abaixo de 300MB de pico de memória e gastar no máximo 1% da bateria a cada 100 inferências.