Falha silenciosa pode travar o treino de alguns modelos com gates em novos idiomas e tags de chat

O artigo se chama "Near-Zero Token Embeddings Silently Stall Training in Gated Sequence Models" (embeddings de tokens quase zerados travam o treino em silêncio em modelos de sequência com gates). Tem seis autores e foi publicado no arXiv como preprint. Nas minhas palavras, um preprint é um artigo divulgado antes da revisão por pares. Li a página do resumo e o texto completo da versão 1. Não refiz nenhum experimento. Tudo abaixo vem do artigo, salvo quando digo que é leitura minha.

O que dá errado

Nas minhas palavras, um modelo de linguagem transforma cada token numa lista de números, chamada embedding. Muitos modelos guardam uma tabela dessas para ler o texto e outra, separada, para escrever. O artigo chama esses modelos de untied, ou seja, com embeddings separados.

O artigo diz que, "quando um token nunca aparece no texto de pré-treino", sua linha de entrada recebe gradiente zero, ou seja, nenhum sinal de aprendizado. Enquanto isso, "o decaimento de pesos do AdamW encolhe os embeddings separados". Nas minhas palavras, o decaimento de pesos é um ajuste padrão de treino que puxa cada peso um pouco para zero a cada passo. Num treino longo, essas linhas ficam menores que um milionésimo do tamanho das linhas comuns.

Modelos com gates multiplicam parte do que leem por um gate. Nas minhas palavras, um gate é um interruptor aprendido, e nessas arquiteturas ele se fecha quando a entrada é zero. O artigo mostra que um único token quase zerado pode então fazer os gradientes crescerem mais de 30, e até 35, ordens de grandeza. Quando um valor de gradiente passa de cerca de 18,4 quintilhões, diz o resumo, "o clipping por norma global em FP32 no PyTorch, no Hugging Face Trainer e no FSDP2 pode estourar para infinito" e zerar o lote inteiro. Nas palavras do artigo, o token "não gera exceções nem perdas NaN".

De onde vêm os 20%

O número de destaque vem de um único experimento. Os autores fizeram o treino adicional do Nemotron-3-Nano-4B em télugo por 1.000 passos, com 3 sementes aleatórias. Nesse treino, com lotes de 32 sequências, tokens quase zerados apareceram em 22,5% dos lotes, e 88,1% desses lotes estouraram. Assim, as atualizações se perderam em 19,8% de todos os passos, cerca de 198 passos em média.

Minha leitura: é um resultado medido para um modelo, um idioma e um treino, não uma taxa para modelos com gates em geral.

Que texto dispara a falha

Os autores amostraram 8.000 documentos de cada conjunto de dados, em 15 coleções de texto e 14 modelos. A partir das taxas por documento, eles estimaram quantos lotes de 128 sequências teriam um token quase zerado. Texto da web em inglês, dados de chat em inglês, código e matemática deram 0,0%. "Cargas multilíngues e de templates disparam com frequência". As faixas relatadas são de 10,6 a 18,8% nos dados multilíngues do Aya e de 70,5 a 97,4% em tailandês. Chegam a 100% em mongol com o Falcon-H1, e numa tag de chat do Kimi-Linear-48B-Base quando a tag vem primeiro. São estimativas, não contagens de um treino. No treino em télugo descrito acima, a proporção medida foi de 22,5%.

"Os tokens afetados são sequências comuns", diz o artigo. Entre eles há pedaços de palavras em télugo e basco, palavras em mongol, alguns trechos de código com quebras de linha CRLF e tags de chat. "Derivados por ajuste fino e destilação herdam essas linhas dos checkpoints de base".

Quão comum é o ponto fraco

A auditoria partiu dos repositórios de geração de texto mais baixados no Hugging Face em outubro de 2026, mais listas dirigidas de modelos com gates. Cobre 291 repositórios. Nenhum dos 101 checkpoints com embeddings compartilhados tinha tokens quase zerados alcançáveis. Entre os modelos com embeddings separados, 30,9% dos Transformers tinham, mas, nas configurações que os autores testaram, posições que não são a inicial ou um token de início evitam a falha. Entre os modelos com gates e embeddings separados, a proporção foi de 52,6%, ou 20 de 38.

Pelas minhas contas, contando também os 21 modelos com gates e embeddings compartilhados, são 20 de 59 modelos com gates, cerca de um terço. As duas proporções descrevem a amostra dos autores, não todos os modelos em uso.

Quem é afetado, e quem não é

• Usar um modelo. Quem só usa um modelo já treinado não é afetado, diz o artigo.
• Ajuste fino leve. Nas minhas palavras, LoRA é um método barato de ajuste fino que mantém congelados os pesos principais. Com os embeddings congelados, o artigo encontrou gradientes normais em nove checkpoints. Minha leitura: configurações de LoRA que também treinam os embeddings, por exemplo para adicionar novos tokens de chat, ficam fora dessa verificação.
• Treino completo de todos os pesos. Afetado nos modelos com gates vulneráveis quando os dados têm tokens quase zerados. Isso inclui aprendizado por reforço, em que "as atualizações de RL com todos os parâmetros ainda disparam com prompts que têm tags de chat quase zeradas".

As correções propostas

Para modelos já lançados, os autores propõem o GroupClip. Nas minhas palavras, ele aplica o clipping à parte no gradiente do embedding de entrada, com mais precisão ou com reescala. O artigo diz que bastam "três linhas" de código. No treino em télugo, a versão de 64 bits levou os passos travados a zero.

Para treino do zero, propõem o GateFloor, que "mantém o gate positivo com entrada zero". Os treinos do zero com ele "chegam só a 370M" de parâmetros, com uma ou duas sementes cada. Os treinos adicionais cobriram modelos de 1,5 a 4 bilhões de parâmetros.

As duas versões do resumo divergem sobre o custo. A página do arXiv diz que a versão com reescala do GroupClip tem "custo adicional medido de ponta a ponta desprezível". O texto completo fala em "duas soluções sem custo adicional de tempo por passo nem de pico de memória". Não testei nenhuma das duas afirmações.

O que não consegui verificar

• Replicação. É um preprint. Não encontrei nenhuma repetição independente dos resultados.
• O código. A página do arXiv lista os arquivos complementares dos autores, com scripts do GroupClip e do GateFloor, o censo dos 291 repositórios e uma verificação de reprodutibilidade. Não os executei.
• Treinos grandes. Os treinos adicionais duram 1.000 passos, em modelos de 1,5 a 4 bilhões de parâmetros, e os treinos do zero param em 370 milhões. O artigo não mostra com que frequência a falha aparece em treinos mais longos e maiores.
• Correções pelos fabricantes. O artigo não diz se algum checkpoint afetado foi corrigido.

Fontes

• paper Near-Zero Token Embeddings Silently Stall Training in Gated Sequence Models, arXiv 2611.04449 (abstract page) (cópia arquivada)
• paper Near-Zero Token Embeddings Silently Stall Training in Gated Sequence Models, full text, version 1 (November 3, 2026) (cópia arquivada)