« Adaptation par modèle auxiliaire quantifiée » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (7 versions intermédiaires par 2 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
[[ | Méthode d'adaptation ou de peaufinage d'un modèle d'apprentissage, typiquement d'un [[grand modèle de langues]] par [[Adaptation par modèle auxiliaire|adaptation par modèle auxiliaire (en anglais, LoRA)]] et [[quantification]] avec un encodage de plus faible précision. | ||
== Compléments == | == Compléments == | ||
| Ligne 22 : | Ligne 22 : | ||
--> | --> | ||
==Sources== | |||
== Sources == | == Sources == | ||
| Ligne 32 : | Ligne 32 : | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
[[Catégorie:Publication]] | |||
Dernière version du 5 juillet 2025 à 13:53
Définition
Méthode d'adaptation ou de peaufinage d'un modèle d'apprentissage, typiquement d'un grand modèle de langues par adaptation par modèle auxiliaire (en anglais, LoRA) et quantification avec un encodage de plus faible précision.
Compléments
Par exemple, l'encodage peut se faire avec des entiers à 16 bits ou 8 bits au lieu de 32 bits.
Français
adaptation par modèle auxiliaire quantifiée
QLoRA
Anglais
quantized low-rank adaptation
QLoRA
Sources
Sources
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
