« Peaufinage de l'espace latent » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (18 versions intermédiaires par 4 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Technique de [[Peaufinage d'un grand modèle de langues|peaufinage d'un grand modèle de langues]] qui consiste à faire une intervention « ciblée » sur une petite partie de l'[[espace latent]] ou de la représentation cachée du [[grand modèle de langues]] à la manière de l'APMA ([[adaptation par modèle auxiliaire]]). | |||
== Compléments == | |||
L'intervention « ciblée » vise typiquement une amélioration sémantique du comportement du [[grand modèle de langues]]. | |||
Par exemple, on peut ainsi [https://github.com/stanfordnlp/pyreft/blob/main/README.md remplacer des mots par des émojis]. | |||
== Français == | == Français == | ||
''' peaufinage de | '''peaufinage de l'espace latent''' | ||
''' peaufinage | '''peaufinage de représentations''' | ||
== Anglais == | |||
'''representation fine-tuning''' | |||
'''representation finetuning''' | |||
''' representation | |||
'''ReFT''' | |||
<!-- PYREFT, a representation fine-tuning (ReFT) library that supports adapting internal language model representations via trainable interventions. With fewer fine-tuning parameters and more robust performance, pyreft can boost fine-tuning efficiency, decrease fine-tuning cost, while opening the doors to study the interpretability of adapting parameters. --> | <!-- PYREFT, a representation fine-tuning (ReFT) library that supports adapting internal language model representations via trainable interventions. With fewer fine-tuning parameters and more robust performance, pyreft can boost fine-tuning efficiency, decrease fine-tuning cost, while opening the doors to study the interpretability of adapting parameters. --> | ||
==Español== | |||
''''' refinar el espacio latente ''''' | |||
''Técnica de ajuste fino de un extenso modelo de lenguaje que consiste en realizar una intervención «dirigida» sobre una pequeña parte del espacio latente o representación oculta del modelo extenso de lenguaje a la manera de APMA (adaptación mediante modelo auxiliar ).'' | |||
== Sources == | |||
[https:// | [https://arxiv.org/pdf/2404.03592 ''ReFT: Representation Finetuning for Language Models'', Wu et al. (2024)] | ||
[https:// | [https://blog.paperspace.com/reft-representation-finetuning-for-language-models/ ''ReFT: Representation Finetuning for Language Models'', Shaoni Mukherjee (2024)] | ||
[https:// | [https://medium.com/@techsachin/representation-fine-tuning-reft-a-powerful-parameter-efficient-way-to-fine-tune-language-models-3bc6dd14e8b5 ''Representation fine-tuning (ReFT): A Powerful Parameter-Efficient Way to Fine-tune Language Models'', Sachin Mukar] | ||
[https://github.com/stanfordnlp/pyreft Github - PYREFT] | |||
[[Catégorie: | {{Modèle:101}} | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | |||
[[Catégorie:101]] | |||
Dernière version du 23 juillet 2025 à 10:28
Définition
Technique de peaufinage d'un grand modèle de langues qui consiste à faire une intervention « ciblée » sur une petite partie de l'espace latent ou de la représentation cachée du grand modèle de langues à la manière de l'APMA (adaptation par modèle auxiliaire).
Compléments
L'intervention « ciblée » vise typiquement une amélioration sémantique du comportement du grand modèle de langues.
Par exemple, on peut ainsi remplacer des mots par des émojis.
Français
peaufinage de l'espace latent
peaufinage de représentations
Anglais
representation fine-tuning
representation finetuning
ReFT
Español
refinar el espacio latente
Técnica de ajuste fino de un extenso modelo de lenguaje que consiste en realizar una intervención «dirigida» sobre una pequeña parte del espacio latente o representación oculta del modelo extenso de lenguaje a la manera de APMA (adaptación mediante modelo auxiliar ).
Sources
ReFT: Representation Finetuning for Language Models, Wu et al. (2024)
ReFT: Representation Finetuning for Language Models, Shaoni Mukherjee (2024)
101 MOTS DE L' IA
Ce terme est sélectionné pour le livre « Les 101 mots de l'intelligence artificielle »
Contributeurs: Claude Coulombe, Espanol: Jean-Sébastien Zavalone, Patrick Drouin, wiki
