O mesmo texto em amhárico gasta 6x mais tokens que em inglês, e a culpa não é do idioma
Pesquisa batizou a conta extra de “taxa do tokenizador”: para alguns idiomas, o preço do chip é estrutural, não linguístico.
Modelos de IA grandes foram treinados principalmente em inglês, e a fatura aparece na hora de cobrar: como os serviços pagos cobram por token, os pedaços em que a frase é fatiada, idiomas com menos dados acabam sendo fatiados em pedaços muito menores e mais numerosos. Segundo o CLEAR, uma mesma frase em inglês usa 13 tokens; a tradução para o malayalam, 26; para o amhárico, 78, ou seja, seis vezes mais caro.