« Harnais d'évaluation » : différence entre les versions

Version du 24 septembre 2026 à 01:42

Définition

Système logiciel spécialisé qui exécute automatiquement un modèle ou un Agent d'IA sur une série de tâches normalisées ou tests, gère son environnement d'exécution et évalue les résultats.

Compléments

Le harnais soumet d'une manière automatique des requêtes génératives ou des tâches de codage à un modèle ou un agent d'IA. Il gère aussi l'environnement logiciel, configure des bacs à sable sécurisés, alloue des outils (tels que des fureteurs web, une calculatrice, un calendrier, des logiciels spécialisés, l'accès à une BD ou à un système de fichiers, etc.). Le harnais enregistre la séquence complète des requêtes, des actions, des appels d'outils et des sorties générées au cours d'un test. Enfin, il attribue des scores et évalue avec des tests unitaires ou un modèle agissant comme juge pour déterminer si la tâche a été accomplie avec succès. Un exemple

Ce terme est également utilisé en génie logiciel.

Français

harnais d'évaluation

harnais de test

harnais de banc d'essai

harnais d'agent d'IA

harnais de modèle d'IA

harnais

Anglais

evaluation harness

eval harness

benchmark harness

test harness

AI agent harness

AI model harness

harness-bench

harness

Sources

Matchpoint partners - harnais d'évaluation

- Microsoft - harnais d’agent

GitHub EleutherAI - Evaluation Harness

arXiv - Harness-Bench

Categorie:GRAND LEXIQUE FRANÇAIS

@@ Ligne 5 : / Ligne 5 : @@
 == Compléments ==
-Le harnais soumet d'une manière automatique des [[Requête générative|requêtes génératives]] ou des tâches de codage à un [[Modèle d'intelligence artificielle|modèle]] ou un [[agent d'IA]]. Il gère aussi l'environnement logiciel, configure des bacs à sable sécurisés, alloue des outils (tels que des fureteurs web, une calculatrice, un calendrier, des logiciels spécialisés, l'accès à une BD ou à un système de fichiers, etc.). Le harnais enregistre la séquence complète des requêtes, des actions, des appels d'outils et des sorties générées au cours d'un test. Enfin, il attribue des scores et évalue avec des tests unitaires ou un modèle agissant comme juge pour déterminer si la tâche a été accomplie avec succès.
+Le harnais soumet d'une manière automatique des [[Requête générative|requêtes génératives]] ou des tâches de codage à un [[Modèle d'intelligence artificielle|modèle]] ou un [[agent d'IA]]. Il gère aussi l'environnement logiciel, configure des bacs à sable sécurisés, alloue des outils (tels que des fureteurs web, une calculatrice, un calendrier, des logiciels spécialisés, l'accès à une BD ou à un système de fichiers, etc.). Le harnais enregistre la séquence complète des requêtes, des actions, des appels d'outils et des sorties générées au cours d'un test. Enfin, il attribue des scores et évalue avec des tests unitaires ou un modèle agissant comme juge pour déterminer si la tâche a été accomplie avec succès. Un exemple
 <hr/>
 Ce terme est également utilisé en génie logiciel.
@@ Ligne 16 : / Ligne 16 : @@
 '''harnais de banc d'essai'''
+'''harnais d'agent d'IA'''
+'''harnais de modèle d'IA'''
+'''harnais
 ==Anglais==
@@ Ligne 26 : / Ligne 32 : @@
 '''test harness'''
+'''AI agent harness'''
+'''AI model harness'''
 '''harness-bench'''
@@ Ligne 32 : / Ligne 42 : @@
 ==Sources==
+[https://www.matchpoint-partners.com/fr/practices/ai-evaluation-reliability-citations.html Matchpoint partners - harnais d'évaluation]
+[https://learn.microsoft.com/fr-fr/agent-framework/concepts/harness - Microsoft - harnais d’agent]
+[https://github.com/eleutherai/lm-evaluation-harness GitHub EleutherAI - Evaluation Harness]
 [https://arxiv.org/html/2605.27922v1 arXiv - Harness-Bench]
 [[Categorie:GRAND LEXIQUE FRANÇAIS]]
 [[Catégorie:Publication]]

« Harnais d'évaluation » : différence entre les versions