« Harnais d'évaluation » : différence entre les versions
m (Claude COULOMBE a déplacé la page Evaluation Harness vers Harnais d'évaluation) |
Aucun résumé des modifications |
||
| Ligne 5 : | Ligne 5 : | ||
== Compléments == | == Compléments == | ||
Le harnais soumet d'une manière automatique des [[Requête générative|requêtes génératives]] | Le harnais soumet d'une manière automatique des [[Requête générative|requêtes génératives]] ou des tâches de codage à un [[Modèle d'intelligence artificielle|modèle]] ou un [[agent d'IA]]. Il gère aussi l'environnement logiciel, configure des bacs à sable sécurisés, alloue des outils (tels que des fureteurs web, une calculatrice, un calendrier, des logiciels spécialisés, l'accès à une BD ou à un système de fichiers, etc.). Le harnais enregistre la séquence complète des requêtes, des actions, des appels d'outils et des sorties générées au cours d'un test. | ||
Enfin, il attribue des scores et évalue avec des tests unitaires ou un modèle agissant comme juge pour déterminer si la tâche a été accomplie avec succès. | Enfin, il attribue des scores et évalue avec des tests unitaires ou un modèle agissant comme juge pour déterminer si la tâche a été accomplie avec succès. | ||
Version du 24 septembre 2026 à 01:24
Définition
Système logiciel spécialisé qui exécute automatiquement un modèle ou un Agent d'IA sur une série de tâches normalisées ou tests, gère son environnement d'exécution et évalue les résultats.
Compléments
Le harnais soumet d'une manière automatique des requêtes génératives ou des tâches de codage à un modèle ou un agent d'IA. Il gère aussi l'environnement logiciel, configure des bacs à sable sécurisés, alloue des outils (tels que des fureteurs web, une calculatrice, un calendrier, des logiciels spécialisés, l'accès à une BD ou à un système de fichiers, etc.). Le harnais enregistre la séquence complète des requêtes, des actions, des appels d'outils et des sorties générées au cours d'un test.
Enfin, il attribue des scores et évalue avec des tests unitaires ou un modèle agissant comme juge pour déterminer si la tâche a été accomplie avec succès.
Français
harnais d'évaluation
harnais de test
harnais de banc d'essai
Anglais
evaluation harness
eval harness
benchmark harness
test harness
harness-bench
harness
Sources
Contributeurs: Claude Coulombe
