Harnais d'évaluation

Définition

Système logiciel spécialisé qui exécute automatiquement un modèle ou un Agent d'IA sur une série de tâches normalisées ou tests, gère son environnement d'exécution et évalue les résultats.

Compléments

Le harnais soumet d'une manière automatique des requêtes génératives, des instructions ou des tâches de codage à un modèle ou un agent d'IA. Il gère aussi l'environnement logiciel, configure des bacs à sable sécurisés, alloue des outils (tels que des fureteurs web, une calculatrice, des logiciels spécialisés, l'accès à une BD ou à un système de fichiers, etc.). Le harnais enregistre la séquence complète des actions, des appels d'outils et des sorties générées au cours d'un test.

Enfin, il attribue des scores et évalue avec des tests unitaires ou un modèle agissant comme juge pour déterminer si la tâche a été accomplie avec succès.

Français

harnais d'évaluation

harnais de test

harnais de banc d'essai

Anglais

evaluation harness

eval harness

benchmark harness

test harness

harness-bench

harness

Sources

arXiv - Harness-Bench