Mini-modèle récurrent

Définition

Modèle minuscule comparativement aux grands modèles de langues génératifs (GML) basé sur des réseaux de neurones récurrents qui comporte très peu de paramètres et qui est conçu pour résoudre des problèmes complexes (Sudokus, labyrinthes, banc d'essai ARC-AGI, etc.) dont les performances dépassent les GML.

Compléments

Dans la foulée de l'architectures de réseau neuronal appelée modèle de résolution hiérarchique ou MRH, (en anglais, Hierarchical Reasoning Models, HRM), Alexia Jolicoeur-Martineau du laboratoire Samsung SAIL de Montréal a proposé une nouvelle architecture appelée mini-modèle récurrent ou MMR (en anglais, Tiny Recursive Model, TRM). Cette architecture atteint une généralisation élevée sur des tâches complexes grâce à un petit réseau neuronal à deux couches avec un nombre réduit de paramètres, surpassant ainsi les grands modèles de langues (GML) en termes de performance.

Nous recommandons le terme « résolution de problèmes » ou plus simplement « résolution » plutôt que « raisonnement » pour éviter l'anthropomorphisme.

Intuitivement, on peut dire qu'un MMR bat des grands modèles de langues (GPT, Gemini ou Claude) sur des tâches de résolution de problèmes, prouvant que la "profondeur" peut être remplacée par la "récursivité" (le temps de réflexion).

Français

mini-modèle récurrent

mini-modèle récursif

MMR

mini-réseau de neurones récurrent

mini-réseau de neurones récursif

'MRNR

Anglais

tiny recursive model

TRM

Sources

Le grand continent - Tiny Recursive Model

arXiv - Tiny Recursive Model

Medium - Tiny Recursive Model