Attaque par distillation

Définition

L'attaque par distillation est une pratique où un modèle d'IA puissant (modèle enseignant) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher (modèle étudiant), en copiant ses réponses à un ensemble requêtes.

Compléments

Un très grand nombres de requêtes sont utilisées pour générer un jeu de données basé principalement sur les chaînes de résolution (COT). Ces données plus riches facilitent la reconstruction de la distribution de probabilité du modèle enseignant.

Français

attaque par distillation

vol d'IA par distillation

Anglais

distillation attack

A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable "teacher" model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper "student" model to perfectly mimic the advanced system.

Sources

L'usine digitale - attaque par distillation

Le Devoir - distillation

HyperAI - vol d'IA par distillation

Mind Studio - distillation attack