NCM, "the end of LLMs": faster than what, exactly?

This article is currently available in French only.

Le 9 octobre, le laboratoire Hazy Research de Stanford et Together AI ont publié un papier au titre sobre : Next-Concept Modeling: Fast, Parallel Coarse-to-FineDu grossier vers le fin : poser d'abord la structure globale, puis ajouter le détail niveau par niveau. Text Generation. NCM, pour les intimes. En quelques jours, le résumé qui circule est devenu : « Stanford invente un modèle 31 fois plus rapide que les LLMGrand modèle de langage : le programme qui lit et écrit du texte, comme celui derrière ChatGPT., c'est la fin du tokenLe morceau de texte que le modèle lit ou écrit d'un coup : un mot, un bout de mot ou un signe de ponctuation. Mille pages, c'est environ 500 000 tokens. par token. »

J'ai lu le papier, le billet de blog et le code. Le travail est bon, l'idée est élégante, et le chiffre est vrai. Mais il ne mesure pas ce que les posts lui font dire. Cet article explique ce que fait NCM, d'où vient la vitesse, et pourquoi comparer NCM à un LLM aujourd'hui, c'est comparer un prototype de laboratoire à une voiture de série.

Comment un LLM écrit

Un modèle de langage classique est autorégressifQui écrit un token à la fois, chaque token dépendant des précédents. : il écrit un token à la fois, de gauche à droite. Pour produire chaque token, tout le réseau fait une passe complète, relit ce qui précède, et choisit le mot suivant. Une réponse de cent mots, c'est environ cent passes, l'une après l'autre. Impossible de paralléliser, puisque le mot numéro 50 dépend du mot numéro 49.

C'est lent par construction, et c'est aussi ce qui rend ces modèles si bons : à chaque mot, ils relisent tout. C'est ce qu'on a décortiqué dans l'article sur DeepSeek V4.1 Flash, où tout l'effort d'ingénierie consiste à rendre cette relecture moins chère.

Comment NCM écrit

NCM renverse l'ordre. Au lieu d'écrire le texte de gauche à droite, il l'écrit du grossier vers le fin, comme on rédige : d'abord le plan, puis les titres, puis les paragraphes, puis les mots. Techniquement, un tokenizer multi-échelleLe module qui découpe un texte en unités que le modèle manipule. Chez NCM, il produit plusieurs niveaux de codes, du sens global au mot à mot. découpe un texte de 1 024 tokens en 32 niveaux de codes. Le premier niveau tient en quelques codes qui portent le sens global. Chaque niveau suivant ajoute du détail à ce que les précédents ont posé. Le dernier niveau, c'est le mot à mot.

Le générateur produit le niveau 1 en une passe. Puis le niveau 2, conditionné au niveau 1, en une passe. Et ainsi de suite. À l'intérieur d'un niveau, tous les codes sortent en même temps. À la fin, un module de décodage transforme la pile de niveaux en texte. L'idée vient des modèles d'image : c'est la génération « coarse-to-fine » de VAR, appliquée au langage.

D'où vient la vitesse

Trois choses s'additionnent. D'abord le nombre de passes : 12 niveaux pour un texte de 128 tokens, 32 pour 1 024, au lieu d'une passe par token. Ensuite la longueur des séquences : les premières passes travaillent sur quelques codes, donc elles coûtent presque rien. Enfin le parallélisme : dans un niveau, rien n'attend rien.

Et c'est là que le chiffre de 31 mérite qu'on lise la légende. Les baselinesLe modèle de référence contre lequel on mesure un nouveau résultat. Le chiffre d'un papier ne vaut que par la baseline choisie. du papier sont des modèles de diffusionUne façon de générer du texte en partant d'une séquence entièrement masquée ou bruitée, puis en la raffinant en plusieurs dizaines de passes jusqu'au texte final. pour le texte, DUO, MDLM, AURORA-LM, qui génèrent toute la séquence d'un coup puis la raffinent par dizaines de passes successives. NCM est 21 fois plus rapide que le meilleur d'entre eux sur LM1B, 10 fois sur OpenWebText, 31 fois sur le résumé de dépêches XSum. Contre des modèles de diffusion. Aucun LLM autorégressif de production n'apparaît dans ces comparaisons de vitesse.

Pourquoi ce n'est pas comparable

La taille. Les modèles du papier font entre 97 millions et 725 millions de paramètres. Les LLM qu'on utilise au quotidien en comptent des centaines de milliards. Les auteurs eux-mêmes qualifient leurs résultats de scaling de préliminaires. Personne ne sait si l'avantage tient à l'échelle.

La longueur. NCM génère des sorties de longueur fixe, décidée par le dataset : 48 tokens pour un résumé, 128 pour une phrase, 1 024 pour un paragraphe. Une continuation courte traverse quand même toute la hiérarchie. Un LLM s'arrête quand il a fini.

Le flux. Un LLM vous montre les mots au fur et à mesure. NCM ne produit rien de lisible avant le dernier niveau. Pour une interface de chat, c'est un vrai problème : la perception de vitesse vient du premier mot, pas du dernier.

Le périmètre. Pas de code, pas d'appels d'outils, pas de long contexte, pas de conversation multi-toursUne conversation en plusieurs échanges : chaque nouvelle question s'ajoute à l'historique.. Le papier teste de la génération libre, du résumé, de la traduction et du Sudoku. Les auteurs signalent aussi des artefacts aux transitions entre niveaux. Et sur la traduction, le modèle autorégressif de référence reste devant : 25,2 BLEUScore standard de qualité en traduction automatique, de 0 à 100. Plus c'est haut, plus la traduction ressemble aux références humaines. contre 22,6 pour NCM sans guidage.

Dire que NCM va remplacer les LLM, c'est comme dire qu'un nouveau type de moteur testé sur un banc d'essai va remplacer les voitures. Peut-être un jour. Pas sur ce qui a été mesuré.

Ce qui est vraiment intéressant

Le résultat qui mérite qu'on s'y arrête n'est pas la vitesse, c'est le Sudoku. Sur les grilles difficiles, NCM en résout 86 %, contre 30 % pour le meilleur modèle de diffusion et 1 % pour le modèle autorégressif. La raison est structurelle : une grille se remplit avec une vue d'ensemble, pas case après case de gauche à droite. Un modèle qui pose d'abord la structure globale est fait pour ça.

C'est le vrai message du papier : il existe des tâches où écrire dans l'ordre est la mauvaise façon d'écrire. Planifier, contraindre, remplir un formulaire, produire une sortie courte et structurée. Et le papier atteint sa qualité avec quatre à cinq fois moins de tokens d'entraînement que ses baselines, ce qui compte quand on entraîne soi-même.

Avec Jev le mois dernier, c'est le deuxième travail en quelques semaines qui s'attaque au même goulot, le token par token, en acceptant de faire moins de choses. Ce n'est pas la fin des LLM. C'est le début d'une famille de modèles spécialisés à côté d'eux.

Tester soi-même

Tout est ouvert. Le code est sur GitHub sous licence MITUne licence très permissive : usage commercial libre, sans redevance., les checkpointsLes poids entraînés d'un modèle, sauvegardés dans un fichier qu'on peut télécharger et charger. et les datasets tokenisés sont dans une collection Hugging Face : LM1B en trois tailles, OpenWebText, TinyStories, XSum, WMT14 et les trois niveaux de Sudoku. Il faut un GPULa carte de calcul spécialisée qui fait tourner le modèle. CUDA et passer par le script d'évaluation, il n'existe pas de pipeline d'inférence prêt à l'emploi ni de serveur compatible avec les API habituelles.

Autrement dit : testable un week-end, pas déployable. C'est un résultat de recherche sur un paradigme de génération, à suivre de près, pas une option de production. Et la prochaine fois qu'un chiffre « fois plus rapide » circule, la bonne question reste la même : plus rapide que quoi ?