Holistic Evaluation of Language Models
en construction
Définition
Cadre Python open-source normalisé et transparent, créé par le Center for Research on Foundation Models (CRFM) de l’Université de Stanford afin d’évaluer les grands modèles de langues et visant à offrir une vue d’ensemble des capacités, des limites et des risques associés à ces modèles grâce à une évaluation holistique et à la mesure de plusieurs indicateurs.
Compléments
Il comporte deux niveaux :
1) une taxonomie abstraite de scénarios et de mesures permettant de définir l’espace de conception pour l’évaluation de la gestion du cycle de vie;
2) un ensemble concret de scénarios et de mesures mis en œuvre, qui ont été élaborés afin de hiérarchiser la couverture, la valeur et la faisabilité.
Français
XXXXXXXXX
Anglais
Holistic Evaluation of Language Models
HELM
Sources
Contributeurs: Arianne Arel
