Voir la source de Holistic Evaluation of Language Models

== en construction ==

== Définition ==
Cadre '''[[Python]]''' ''open-source'' normalisé et transparent, créé par le ''Center for Research on Foundation Models'' (CRFM)  de l’Université de Stanford afin d’évaluer les '''[[Grand modèle de langues (GML)|grands modèles de langues]]''' et visant à offrir une vue d’ensemble des capacités, des limites et des risques associés à ces modèles grâce à une évaluation holistique et à la mesure de plusieurs indicateurs.

== Compléments ==
Il comporte deux niveaux : 

1) une taxonomie abstraite de scénarios et de mesures permettant de définir l’espace de conception pour l’évaluation de la gestion du cycle de vie; 

2) un ensemble concret de scénarios et de mesures mis en œuvre, qui ont été élaborés afin de hiérarchiser la couverture, la valeur et la faisabilité.

== Français ==
''' XXXXXXXXX'''

== Anglais ==
''' Holistic Evaluation of Language Models'''

''' HELM'''

== Sources ==
[https://arxiv.org/abs/2211.09110   Source : Arxiv]

[https://www.geeksforgeeks.org/artificial-intelligence/holistic-evaluation-of-language-models-helm/   Source : Geek for Geek]

[https://github.com/stanford-crfm/helm   Source : GitHub]

[[Catégorie:vocabulary]]