MiMo

Définition

Grand modèle de langues pour les tâches de raisonnement qui peut être optimisé à la fois lors des étapes de préentraînement et de post-entraînement. Mimo-7B-Base est pré-entraîné sur 25 trillion de segments textuels (segments) et intègre la prédiction de segments multiples en tant qu'objectif d'entraînement supplémentaire, ce qui améliore les performances du modèle et accélère l'inférence.

Voir aussi OpenAI

Français

MiMo-7B

Anglais

MiMo-7B

Sources

Source : arxiv