DataFranca - Contributions [fr]

Optimisation directe des préférences

2024-08-26T16:57:23Z

Bouchard :

== Définition ==
Alors que les modèles de langage non supervisés à grande échelle acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation.

Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH).

Cependant, le ARRH est une procédure complexe et souvent instable, qui consiste d'abord à adapter un modèle de récompense qui reflète les préférences humaines, puis à affiner le grand modèle de langue non supervisé à l'aide de l'apprentissage par renforcement pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine.

L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans le ARRH qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème ARRH standard avec seulement une simple perte de classification. L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'échantillonnage à partir du modèle de langue lors du réglage fin ou de l'exécution d'un réglage important des hyperparamètres.

== Français ==
''' optimisation directe des préférences '''

== Anglais ==
''' Direct Preference Optimization '''

''' DPO '''

==Sources==

[https://arxiv.org/abs/2305.18290 Source : arxiv ]

[[Catégorie:vocabulary]]

Optimisation directe des préférences

2024-08-26T16:57:08Z

Bouchard :

== Définition ==
Alors que les modèles de langage non supervisés à grande échelle acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation.

Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH).

Cependant, le ARRH est une procédure complexe et souvent instable, qui consiste d'abord à adapter un modèle de récompense qui reflète les préférences humaines, puis à affiner le grand modèle de langue non supervisé à l'aide de l'apprentissage par renforcement pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine.

L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans le ARRH qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème ARRH standard avec seulement une simple perte de classification. L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'échantillonnage à partir du modèle de langue lors du réglage fin ou de l'exécution d'un réglage important des hyperparamètres.

== Français ==
''' optimisation directe des préférences '''

== Anglais ==
''' Direct Preference Optimization '''
''' DPO '''

==Sources==

[https://arxiv.org/abs/2305.18290 Source : arxiv ]

[[Catégorie:vocabulary]]

Garde fous

2024-08-26T16:13:32Z

Bouchard : Page créée avec « ==Définition== Les garde-fous sont des contrôles ou des restrictions placés sur les modèles pour les empêcher de générer du contenu nuisible, illégal ou éthiquement discutable. Dans le contexte des grands modèles de langues (GLMs), les garde-fous sont des mesures de conception proactives ou des restrictions intégrées à un modèle pour l'empêcher de générer des résultats nocifs ou indésirables. Ils se concentrent sur le contrôle et l'orientatio... »

==Définition==
Les garde-fous sont des contrôles ou des restrictions placés sur les modèles pour les empêcher de générer du contenu nuisible, illégal ou éthiquement discutable.

Dans le contexte des grands modèles de langues (GLMs), les garde-fous sont des mesures de conception proactives ou des restrictions intégrées à un modèle pour l'empêcher de générer des résultats nocifs ou indésirables. Ils se concentrent sur le contrôle et l'orientation du comportement du modèle pendant son fonctionnement.

==Français==
'''Guarde-fous'''

==Anglais==
'''guardrails'''

==Sources==

[https://parlonsia.substack.com/p/d83e552d-aabd-45be-8463-b17175036337?postPreview=free&updated=2024-08-26T16%3A09%3A37.788Z&audience=only_paid&free_preview=true&freemail=true Grok 2 et les Garde-fous]

</small><br> {{Modèle:101}}<br>

[[Catégorie:Intelligence artificielle]]
[[Category:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:101]]

GAIA-graphe

2024-08-14T16:30:08Z

Bouchard :

== Définition ==
Méthode d'adaptation, [[peaufinage]] des résultats d'un [[grand modèle de langues]] en enrichissant les requêtes avec des sources d'informations externes et à jour, tout en structurant ces informations sous forme de [[graphes]] pour capter les relations entre elles, permettant ainsi de générer des résultats encore plus précis et contextuellement pertinents.

== Compléments ==
On ne touche pas au grand modèle de langues, mais on enrichit les requêtes en encodant les données d’entrée avec des [[vecteur sémantique compact|vecteurs sémantiques compacts]] (''embeddings'') du domaine d’application. Ces [[vecteur sémantique compact|vecteurs sémantiques compacts]] proviennent d'une base de données vectorielles, et sont organisés sous forme de graphes pour capter les relations entre les différentes informations.

<hr/>

Ici, on ne modifie pas le modèle de langues, mais on ajoute un contexte supplémentaire à la requête permettant au [[grand modèle de langues]] de répondre aux questions avec des informations sur le sujet, en structurant les données sous forme de graphes afin d'obtenir une meilleure compréhension des connexions entre les entités.

Lorsqu'un utilisateur fait une requête, celle-ci est enrichie à l'aide de [[vecteur sémantique compact|vecteurs sémantiques compacts]] similaires retrouvées dans la base de données vectorielles par l'[[Algorithme des k plus proches voisins|algorithme des k plus proches voisins]] ([[métrique de similarité cosinus]]). Ces vecteurs sémantiques sont ensuite intégrés dans une structure de graphe, permettant de capturer et d'exploiter les relations entre les différentes données. Une fois que nous avons trouvé des [[vecteur sémantique compact|vecteurs sémantiques compacts]] similaires en analysant les connexions du graphe, nous soumettons une requête avec les données associées et leur structure en graphe pour fournir un contexte plus riche et pertinent, permettant au [[grand modèle de langues]] de mieux répondre à la question.

== Français ==
'''GAIA-Graphe'''

'''GAIA Graphe'''

'''génération augmentée d'information applicative avec graphes'''

== Anglais ==

'''GraphRAG'''

'''Graph retrieval augmented generation'''

'''Graph RAG'''

'''Graph-RAG'''

==Sources==

[https://arxiv.org/pdf/2404.16130 Source: Microsoft]

[https://parlonsia.substack.com/p/devriez-vous-utiliser-les-graphes Source: Parlons IA, Louis-Francois Bouchard]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

GAIA-graphe

2024-08-14T16:29:19Z

Bouchard :

== Définition ==
Méthode d'adaptation, [[peaufinage]] des résultats d'un [[grand modèle de langues]] en enrichissant les requêtes avec des sources d'informations externes et à jour, tout en structurant ces informations sous forme de [[graphes]] pour capter les relations entre elles, permettant ainsi de générer des résultats encore plus précis et contextuellement pertinents.

== Compléments ==
On ne touche pas au grand modèle de langues, mais on enrichit les requêtes en encodant les données d’entrée avec des [[vecteur sémantique compact|vecteurs sémantiques compacts]] (''embeddings'') du domaine d’application. Ces [[vecteur sémantique compact|vecteurs sémantiques compacts]] proviennent d'une base de données vectorielles, et sont organisés sous forme de graphes pour capter les relations entre les différentes informations.

<hr/>

Ici, on ne modifie pas le modèle de langues, mais on ajoute un contexte supplémentaire à la requête permettant au [[grand modèle de langues]] de répondre aux questions avec des informations sur le sujet, en structurant les données sous forme de graphes afin d'obtenir une meilleure compréhension des connexions entre les entités.

Lorsqu'un utilisateur fait une requête, celle-ci est enrichie à l'aide de [[vecteur sémantique compact|vecteurs sémantiques compacts]] similaires retrouvées dans la base de données vectorielles par l'[[Algorithme des k plus proches voisins|algorithme des k plus proches voisins]] ([[métrique de similarité cosinus]]). Ces vecteurs sémantiques sont ensuite intégrés dans une structure de graphe, permettant de capturer et d'exploiter les relations entre les différentes données. Une fois que nous avons trouvé des [[vecteur sémantique compact|vecteurs sémantiques compacts]] similaires en analysant les connexions du graphe, nous soumettons une requête avec les données associées et leur structure en graphe pour fournir un contexte plus riche et pertinent, permettant au [[grand modèle de langues]] de mieux répondre à la question.

== Français ==
'''GAIA-Graphe'''

GAIA Graphe

'''génération augmentée d'information applicative avec graphes'''

== Anglais ==

'''GraphRAG'''

'''Graph retrieval augmented generation'''

'''Graph RAG'''

'''Graph-RAG'''

==Sources==

[https://arxiv.org/pdf/2404.16130 Source: Microsoft]

[https://parlonsia.substack.com/p/devriez-vous-utiliser-les-graphes Source: Parlons IA, Louis-Francois Bouchard]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

GAIA-graphe

2024-08-10T16:35:16Z

Bouchard : Page créée avec « == Définition == Méthode d'adaptation, peaufinage des résultats d'un grand modèle de langues en enrichissant les requêtes avec des sources d'informations externes et à jour, tout en structurant ces informations sous forme de graphes pour capter les relations entre elles, permettant ainsi de générer des résultats encore plus précis et contextuellement pertinents. == Compléments == On ne touche pas au grand modèle de langues, mais on enrich... »

== Définition ==
Méthode d'adaptation, [[peaufinage]] des résultats d'un [[grand modèle de langues]] en enrichissant les requêtes avec des sources d'informations externes et à jour, tout en structurant ces informations sous forme de [[graphes]] pour capter les relations entre elles, permettant ainsi de générer des résultats encore plus précis et contextuellement pertinents.

== Compléments ==
On ne touche pas au grand modèle de langues, mais on enrichit les requêtes en encodant les données d’entrée avec des [[vecteur sémantique compact|vecteurs sémantiques compacts]] (''embeddings'') du domaine d’application. Ces [[vecteur sémantique compact|vecteurs sémantiques compacts]] proviennent d'une base de données vectorielles, et sont organisés sous forme de graphes pour capter les relations entre les différentes informations.

<hr/>

Ici, on ne modifie pas le modèle de langues, mais on ajoute un contexte supplémentaire à la requête permettant au [[grand modèle de langues]] de répondre aux questions avec des informations sur le sujet, en structurant les données sous forme de graphes afin d'obtenir une meilleure compréhension des connexions entre les entités.

Lorsqu'un utilisateur fait une requête, celle-ci est enrichie à l'aide de [[vecteur sémantique compact|vecteurs sémantiques compacts]] similaires retrouvées dans la base de données vectorielles par l'[[Algorithme des k plus proches voisins|algorithme des k plus proches voisins]] ([[métrique de similarité cosinus]]). Ces vecteurs sémantiques sont ensuite intégrés dans une structure de graphe, permettant de capturer et d'exploiter les relations entre les différentes données. Une fois que nous avons trouvé des [[vecteur sémantique compact|vecteurs sémantiques compacts]] similaires en analysant les connexions du graphe, nous soumettons une requête avec les données associées et leur structure en graphe pour fournir un contexte plus riche et pertinent, permettant au [[grand modèle de langues]] de mieux répondre à la question.

== Français ==

'''génération augmentée d'information applicative avec graphes'''

'''GAIA-Graphe'''

== Anglais ==

'''GraphRAG'''

'''Graph retrieval augmented generation'''

==Sources==

[https://arxiv.org/pdf/2404.16130 Source: Microsoft]
[https://parlonsia.substack.com/p/devriez-vous-utiliser-les-graphes Source: Parlons IA, Louis-Francois Bouchard]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]