« Représentation sémantique distributionnelle compacte » : différence entre les versions

Dernière version du 14 avril 2025 à 19:30

Définition

En apprentissage profond, une représentation sémantique distributionnelle compacte (en anglais, embedding) fait référence à une représentation sémantique vectorielle dense et de faible dimension d’un objet de dimension supérieure. Elle est basée sur l’hypothèse distributionnelle de Harris et Firth qui postule que le sens d'un mot est déterminé par son contexte d'utilisation.

Cette représentation résulte de l'application d'un algorithme qui permet de passer d'une représentation en haute dimension et habituellement de son contexte, à une représentation vectorielle compacte, soit de plus faible dimension et continue, soit des nombres réels.

Il en découle que des objets similaires possèdent des vecteurs correspondants qui sont proches selon une distance ou une métrique dans l'espace vectoriel où sont définis ces objets. Il s'agit donc d'une représentation distribuée qui décrit la « sémantique » d'un objet en considérant ses relations avec d'autres objets de son contexte.

Typiquement, on crée une représentation sémantique distributionnelle compacte avec un algorithme qui réduit la dimension de la représentation afin de rapprocher les objets similaires et d'éloigner les objets différents.

Voir aussi vecteur contextuel

Compléments

La représentation sémantique distributionnelle compacte est basée sur l’hypothèse distributionnelle de [Harris 1954], [Firth 1957]. Elle repose sur l'idée que le sens d'un mot est déterminé par son contexte d'utilisation. En d'autres termes, la signification d'un mot est intrinsèquement liée aux autres mots avec lesquels il a tendance à apparaître dans un corpus linguistique. Plus la distribution statistique des contextes de deux mots est différente, plus leur sens tend à différer. Réciproquement les mots sémantiquement proches partagent un plus grand nombre de contextes.

L'algorithme de création d'une représentation sémantique distributionnelle compacte procède par approximation pour passer d'une représentation discrète qui prend en compte un objet et son contexte (statique ou dynamique, plus ou moins étendu) vers une représentation contextuelle compacte (c.-à-d. de plus faible dimension) et continue (c.-à-d. vecteur de nombres réels). D'où la proposition du terme équivalent « vecteur sémantique distributionnel compact » ou encore « vecteur sémantique contextuel compact ». À discuter...

Attention! En français, on retrouve souvent le terme « plongement neuronal ». La notion mathématique de plongement, bien que proche, car elle implique une réduction de la dimension de la représentation, ne couvre pas l'ensemble des concepts sous-jacents. Par exemple, la notion de contexte ou voisinage. Aussi le plongement est davantage assimilée à une opération de création d'un sous-ensemble qu'à une opération de réduction de la dimension obtenue par approximation. À discuter...

La modélisation par vecteur sémantique distributionnel compact, bien que souvent appliquée aux mots, vecteur-mot (word embedding), ne se limite pas à des mots et peut être appliquée à des phrases, des documents, des paragraphes, etc. La représentation par vecteur sémantique contextuel compact peut également s'appliquer à d'autres représentations catégorielles comme les différentes marchandises dans un magasin.

Un vecteur sémantique distributionnel compact peut également être « utilisée » comme représentation latente. À discuter...

On distingue trois principaux usages des vecteurs sémantiques distributionnels:

identifier les plus proches voisins d'un objet ou d'un concept;
enrichir l'entrée de données d'un algorithme d'apprentissage;
visualiser des objets ou des concepts et leurs relations.

Français

représentation sémantique distributionnelle compacte

représentation sémantique distributionnelle

représentation sémantique contextuelle compacte

représentation sémantique contextuelle

vecteur sémantique distributionnel compact

vecteur sémantique distributionnel

vecteur sémantique contextuel compact

plongement neuronal

plongement

vecteur sémantique

vecteur contextuel

Anglais

embedding

neural embedding

compact distributional semantic representation

compact distributional semantic vector

compact contextual semantic vector

Sources

Source: Géron, Aurélien (2017) Machine Learning avec Scikit-Learn - Mise en oeuvre et cas concrets, Paris, Dunod, 256 pages.

Source: Goodfellow, Ian; Bengio, Yoshua et Aaron Courville (2018), Apprentissage profond, Paris, Massot éditions, 800 pages.

Source: Google, Glossaire du machine learning.

@@ Ligne 1 : / Ligne 1 : @@
-== Domaine ==
+==Définition==
-[[catégorie:Démo]] Catégorie Démo
+En [[apprentissage profond]], une représentation sémantique distributionnelle compacte (en anglais, ''embedding'') fait référence à une représentation sémantique vectorielle dense et de faible dimension d’un objet de dimension supérieure. Elle est basée sur l’hypothèse distributionnelle de Harris et Firth qui postule que le sens d'un mot est déterminé par son contexte d'utilisation.
-[[Catégorie:Apprentissage profond]] Apprentissage profond
+Cette représentation résulte de l'application d'un [[algorithme]] qui permet de passer d'une représentation en haute dimension et habituellement de son contexte, à une représentation vectorielle compacte, soit de plus faible dimension et continue, soit des nombres réels.
-== Définition ==
+Il en découle que des objets similaires possèdent des vecteurs correspondants qui sont proches selon une distance ou une métrique dans l'espace vectoriel où sont définis ces objets. Il s'agit donc d'une représentation distribuée qui décrit la « sémantique » d'un objet en considérant ses relations avec d'autres objets de son contexte.
+Typiquement, on crée une représentation sémantique distributionnelle compacte avec un algorithme qui réduit la dimension de la représentation afin de rapprocher les objets similaires et d'éloigner les objets différents.
+Voir aussi [[vecteur contextuel]]
+==Compléments==
+La représentation sémantique distributionnelle compacte est basée sur l’hypothèse distributionnelle de [Harris 1954], [Firth 1957]. Elle repose sur l'idée que le sens d'un mot est déterminé par son contexte d'utilisation. En d'autres termes, la signification d'un mot est intrinsèquement liée aux autres mots avec lesquels il a tendance à apparaître dans un corpus linguistique. Plus la distribution statistique des contextes de deux mots est différente, plus leur sens tend à différer. Réciproquement les mots sémantiquement proches partagent un plus grand nombre de contextes.
+<hr/>
+L'algorithme de création d'une représentation sémantique distributionnelle compacte procède par approximation pour passer d'une représentation discrète qui prend en compte un objet et son contexte (statique ou dynamique, plus ou moins étendu) vers une représentation contextuelle compacte (c.-à-d. de plus faible dimension) et continue (c.-à-d. vecteur de nombres réels). D'où la proposition du terme équivalent « vecteur sémantique distributionnel compact » ou encore « vecteur sémantique contextuel compact ». À discuter...
+<hr/>
+Attention! En français, on retrouve souvent le terme « plongement neuronal ». La notion mathématique de plongement, bien que proche, car elle implique une réduction de la dimension de la représentation, ne couvre pas l'ensemble des concepts sous-jacents. Par exemple, la notion de contexte ou voisinage. Aussi le plongement est davantage assimilée à une opération de création d'un sous-ensemble qu'à une opération de réduction de la dimension obtenue par approximation. À discuter...
+<hr/>
+La modélisation par vecteur sémantique distributionnel compact, bien que souvent appliquée aux mots, [[vecteur-mot]] (word embedding), ne se limite pas à des mots et peut être appliquée à des phrases, des documents, des paragraphes, etc. La représentation par vecteur sémantique contextuel compact peut également s'appliquer à d'autres représentations catégorielles comme les différentes marchandises dans un magasin.
+<hr/>
+Un vecteur sémantique distributionnel compact peut également être « utilisée » comme représentation latente. À discuter...
+<hr/>
+On distingue trois principaux usages des vecteurs sémantiques distributionnels:
+*identifier les plus proches voisins d'un objet ou d'un concept;
+*enrichir l'entrée de données d'un algorithme d'apprentissage;
+*visualiser des objets ou des concepts et leurs relations.
+==Français==
+'''représentation sémantique distributionnelle compacte'''
+'''représentation sémantique distributionnelle'''
+'''représentation sémantique contextuelle compacte'''
+'''représentation sémantique contextuelle'''
+'''vecteur sémantique distributionnel compact'''
+'''vecteur sémantique distributionnel'''
+'''vecteur sémantique contextuel compact'''
+'''plongement neuronal'''
+'''plongement'''
+'''vecteur sémantique'''
+'''vecteur contextuel'''
+==Anglais==
+'''embedding'''
+'''neural embedding'''
+'''compact distributional semantic representation'''
+'''compact distributional semantic vector'''
+'''compact contextual semantic vector'''
-== Termes privilégiés ==
+==Sources==
+Source: Géron, Aurélien (2017) ''Machine Learning avec Scikit-Learn - Mise en oeuvre et cas concrets'', Paris, Dunod, 256 pages.
-== Anglais ==
+Source: Goodfellow, Ian; Bengio, Yoshua et Aaron Courville (2018), ''Apprentissage profond'', Paris, Massot éditions, 800 pages.
-'''Embedding'''
+[https://developers.google.com/machine-learning/crash-course/glossary Source: ''Google, Glossaire du machine learning''.]
-An embedding maps an input representation, such as a word or sentence, into a vector. A popular type of embedding are word embeddings such as word2vec or GloVe. We can also embed sentences, paragraphs or images. For example, by mapping images and their textual descriptions into a common embedding space and minimizing the distance between them, we can match labels with images. Embeddings can be learned explicitly, such as in word2vec, or as part of a supervised task, such as Sentiment Analysis. Often, the input layer of a network is initialized with pre-trained embeddings, which are then fine-tuned to the task at hand.
+[[Catégorie:Intelligence artificielle]]
+[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
+[[Catégorie:101]]

« Représentation sémantique distributionnelle compacte » : différence entre les versions