Adaptation par modèle auxiliaire quantifiée

Définition

Méthode de peaufinage d'un modèle d'apprentissage, typiquement d'un grand modèle de langues par adaptation par modèle auxiliaire (en anglais, LoRA) et quantification par un encodage avec des nombres de plus faible précision.

Par exemple, l'encodage peut se faire avec des entiers à 16 bits ou 8 bits au lieu de 32 bits.

adaptation par modèle auxiliaire quantifiée

QLoRA

quantized low-rank adaptation

QLoRA