« GML en tant que juge » : différence entre les versions
(Page créée avec « == en construction == == Définition == xxxxxx == Français == ''' GML en tant que juge''' ''' GML comme juge''' == Anglais == ''' LLM-as-a-judge''' <!--A (family of) technique(s) in natural language processing that uses one large language model (LLM) to evaluate another LLM’s work. A typical LLM-as-a-Judge setup consists of three elements: an input that contains the task context and candidate outputs to be evaluated, a prompt that explains the evaluation... ») |
Aucun résumé des modifications |
||
| Ligne 2 : | Ligne 2 : | ||
== Définition == | == Définition == | ||
Une (famille de) technique(s) de '''[[traitement automatique de la langue naturelle]]''' qui utilise un '''[[grand modèle de langues (GML)]]''' pour évaluer le travail d'un autre GML. Une '''[[requête générative|requête]]''' effectuée dans le cadre d'une évaluation par un GML comporte en général les trois éléments suivants: le contexte de la tâche et les textes à évaluer, une explication des critères d'évaluation et un format de réponse qui encode la décision du « GML juge ». | |||
== Compléments == | |||
*Important: Cette technique ne supprime pas la nécessité du jugement humain! | |||
*Les GML (comme juge) performants peuvent établir une corrélation étroite avec les jugements humains sur de nombreuses tâches. Cependant, ils présentent des biais systématiques et des modes de défaillance. | |||
*La tâche peut comporter un ou plusieurs textes de référence, ou non. | |||
== Français == | == Français == | ||
| Ligne 23 : | Ligne 28 : | ||
[https://en.wikipedia.org/wiki/LLM-as-a-Judge Source : Wikipedia] | [https://en.wikipedia.org/wiki/LLM-as-a-Judge Source : Wikipedia] | ||
[[Catégorie: | [[Catégorie:publication]] | ||
Version du 6 mars 2026 à 15:08
en construction
Définition
Une (famille de) technique(s) de traitement automatique de la langue naturelle qui utilise un grand modèle de langues (GML) pour évaluer le travail d'un autre GML. Une requête effectuée dans le cadre d'une évaluation par un GML comporte en général les trois éléments suivants: le contexte de la tâche et les textes à évaluer, une explication des critères d'évaluation et un format de réponse qui encode la décision du « GML juge ».
Compléments
- Important: Cette technique ne supprime pas la nécessité du jugement humain!
- Les GML (comme juge) performants peuvent établir une corrélation étroite avec les jugements humains sur de nombreuses tâches. Cependant, ils présentent des biais systématiques et des modes de défaillance.
- La tâche peut comporter un ou plusieurs textes de référence, ou non.
Français
GML en tant que juge
GML comme juge
Anglais
LLM-as-a-judge
Sources
Contributeurs: Arianne Arel
