Verbalized Sampling
EN CONSTRUCTION
Définition
Technique d'ingénierie de requêtes qui améliore la diversité des grands modèles de langues (GML) en demandant à un GML de générer plusieurs réponses avec de leurs probabilités, puis d'effectuer un échantillonnage à partir de cette distribution. Cette technique ne nécessite aucun apprentissage, elle est indépendante du GML et elle est efficace pour tous les types de tâches. De plus, elle améliore les performances sans compromettre la précision factuelle ni la sécurité des modèles.
Voir aussi LLM-as-a-judge
Compléments
Cette méthode est orthogonale à la température du modèle.
Français
Échantillonnage verbalisé
Anglais
Verbalized Sampling
VS
A prompting strategy that improves LLM diversity by asking the model to generate multiple responses with their probabilities, then sampling from this distribution. It is training free, model agnostic and effective across tasks and it improves performance without sacrificing the models’ factual accuracy or safety.
This method is orthogonal to temperature.
Sources
Contributeurs: Arianne Arel, wiki
