Harnais d'évaluation

Définition

Système logiciel spécialisé qui exécute automatiquement un modèle ou un agent d'IA sur une série de tâches normalisées ou tests, gère son environnement d'exécution et évalue les résultats.

Compléments

Le harnais soumet d'une manière automatique des requêtes génératives ou des tâches de codage à un modèle ou un agent d'IA. Il gère aussi l'environnement logiciel, configure des bacs à sable sécurisés, alloue des outils (tels que des fureteurs web, une calculatrice, un calendrier, des logiciels spécialisés, l'accès à une BD ou à un système de fichiers, etc.). Le harnais enregistre la séquence complète des requêtes, des actions, des appels d'outils et des sorties générées au cours d'un test. Enfin, il attribue des scores et évalue avec des tests unitaires ou un modèle agissant comme juge pour déterminer si la tâche a été accomplie avec succès. Un exemple

---

Ce terme est également utilisé en génie logiciel.

Français

harnais d'évaluation

harnais de test

harnais de banc d'essai

harnais d'agent d'IA

harnais de modèle d'IA

harnais

Anglais

evaluation harness

eval harness

benchmark harness

test harness

AI agent harness

AI model harness

harness-bench

harness

Sources

Matchpoint partners - harnais d'évaluation

- Microsoft - harnais d’agent

GitHub EleutherAI - Evaluation Harness

arXiv - Harness-Bench