« Adaptation par modèle auxiliaire quantifiée » : différence entre les versions


Aucun résumé des modifications
Aucun résumé des modifications
Ligne 1 : Ligne 1 :
== Définition ==
== Définition ==
Méthode de peaufinage d'un modèle d'apprentissage, typiquement d'un [[grand modèle de langues]] par [[Adaptation par modèle auxiliaire|adaptation par modèle auxiliaire (en anglais, LoRA)]] et [[quantification]] avec un encodage de plus faible précision.
Méthode d'adaptation ou peaufinage d'un modèle d'apprentissage, typiquement d'un [[grand modèle de langues]] par [[Adaptation par modèle auxiliaire|adaptation par modèle auxiliaire (en anglais, LoRA)]] et [[quantification]] avec un encodage de plus faible précision.


== Compléments ==  
== Compléments ==  

Version du 5 juillet 2025 à 13:50

Définition

Méthode d'adaptation ou peaufinage d'un modèle d'apprentissage, typiquement d'un grand modèle de langues par adaptation par modèle auxiliaire (en anglais, LoRA) et quantification avec un encodage de plus faible précision.

Compléments

Par exemple, l'encodage peut se faire avec des entiers à 16 bits ou 8 bits au lieu de 32 bits.

Français

adaptation par modèle auxiliaire quantifiée

QLoRA


Anglais

quantized low-rank adaptation

QLoRA


Sources

Sources

Source : arxiv

Source : TensorFlow