Autoattention multitêtes - Historique des versions

Pitpitt : Remplacement de texte : « ==Español== » par « ==Español== Catégorie:es »

2025-09-24T00:57:45Z

Remplacement de texte : « ==Español== » par « ==Español== Catégorie:es »

← Version précédente		Version du 23 septembre 2025 à 20:57
Ligne 24 :		Ligne 24 :

	==Español==		==Español==
			[[Catégorie:es]]

	''''' autoatención multicéfala '''''		''''' autoatención multicéfala '''''

Jean-Sébastien Zavalone le 21 juillet 2025 à 19:34

2025-07-21T19:34:35Z

← Version précédente		Version du 21 juillet 2025 à 15:34
Ligne 22 :		Ligne 22 :
	''' multi-head attention'''		''' multi-head attention'''
	<!-- Multi-head attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies). -->		<!-- Multi-head attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies). -->

			==Español==

			''''' autoatención multicéfala '''''

			''En el aprendizaje profundo, la autoatención multicabezal es el procesamiento de una secuencia (normalmente en lengua natural) paralelizando el mecanismo de autoatención en varios puntos de la secuencia y fusionando después los resultados.''

	== Source ==		== Source ==
	[https://infoscience.epfl.ch/record/300271/files/EPFL_TH9822.pdf Cordonnier, J.-B. (2023), ''Transformer Models for Vision''.]		[https://infoscience.epfl.ch/record/300271/files/EPFL_TH9822.pdf Cordonnier, J.-B. (2023), ''Transformer Models for Vision''.]
Ligne 28 :		Ligne 35 :

	[https://cs.paperswithcode.com/method/multi-head-attention Vaswani et al. (2017) ''Attention Is All You Need'']		[https://cs.paperswithcode.com/method/multi-head-attention Vaswani et al. (2017) ''Attention Is All You Need'']
			{{Modèle:101}}

	[[Catégorie:GRAND LEXIQUE FRANÇAIS]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

	[[Catégorie:101]]		[[Catégorie:101]]

Arianne le 8 février 2025 à 18:42

2025-02-08T18:42:32Z

← Version précédente		Version du 8 février 2025 à 14:42
Ligne 20 :		Ligne 20 :
	''' multi-head self-attention'''		''' multi-head self-attention'''

	''' ~~Mmulti~~-head attention'''		''' multi-head attention'''
	<!-- Multi-head attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies). -->		<!-- Multi-head attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies). -->
	== Source ==		== Source ==

Pitpitt le 16 janvier 2025 à 01:16

2025-01-16T01:16:45Z

← Version précédente		Version du 15 janvier 2025 à 21:16
Ligne 30 :		Ligne 30 :

	[[Catégorie:GRAND LEXIQUE FRANÇAIS]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

			[[Catégorie:101]]

Arianne le 12 janvier 2025 à 00:31

2025-01-12T00:31:33Z

← Version précédente		Version du 11 janvier 2025 à 20:31
Ligne 1 :		Ligne 1 :
	== Définition ==		== Définition ==

	En [[apprentissage profond]], l'~~[[Mécanisme d'attention\|~~autoattention]] multitêtes est un traitement de [[Séquence de mots\|séquence]] (typiquement en [[langue naturelle]]) qui consiste à paralléliser le mécanisme d'[[Mécanisme d'attention\|autoattention]] en plusieurs points de la ~~[[Séquence de mots\|~~séquence]] pour ensuite fusionner les résultats.		En [[apprentissage profond]], l'autoattention multitêtes est un traitement de [[Séquence de mots\|séquence]] (typiquement en [[langue naturelle]]) qui consiste à paralléliser le mécanisme d'[[Mécanisme d'attention\|autoattention]] en plusieurs points de la séquence pour ensuite fusionner les résultats.

	== Compléments ==		== Compléments ==
Ligne 9 :		Ligne 9 :

	== Français ==		== Français ==
	''' ~~Autoattention~~ multitêtes '''		''' autoattention multitêtes '''

	''' ~~Autoattention~~ multi-têtes '''		''' autoattention multi-têtes '''

	'''~~Attention~~ multitêtes'''		'''attention multitêtes'''

	'''~~Attention~~ multi-têtes'''		'''attention multi-têtes'''

	== Anglais ==		== Anglais ==
	''' ~~Multi~~-~~Head Attention~~'''		''' multi-head self-attention'''

	''' ~~Multi~~-~~Head Self-Attention~~'''		''' Mmulti-head attention'''
	<!-- Multi-head ~~Attention is~~ a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies). -->		<!-- Multi-head attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies). -->
	== Source ==		== Source ==
	[https://infoscience.epfl.ch/record/300271/files/EPFL_TH9822.pdf Cordonnier, J.-B. (2023), ''Transformer Models for Vision''.]		[https://infoscience.epfl.ch/record/300271/files/EPFL_TH9822.pdf Cordonnier, J.-B. (2023), ''Transformer Models for Vision''.]

Pitpitt le 4 septembre 2024 à 23:54

2024-09-04T23:54:59Z

← Version précédente		Version du 4 septembre 2024 à 19:54
Ligne 29 :		Ligne 29 :
	[https://cs.paperswithcode.com/method/multi-head-attention Vaswani et al. (2017) ''Attention Is All You Need'']		[https://cs.paperswithcode.com/method/multi-head-attention Vaswani et al. (2017) ''Attention Is All You Need'']

	[[Catégorie:~~Publication~~]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

Pitpitt le 4 septembre 2024 à 23:53

2024-09-04T23:53:16Z

← Version précédente		Version du 4 septembre 2024 à 19:53
Ligne 21 :		Ligne 21 :

	''' Multi-Head Self-Attention'''		''' Multi-Head Self-Attention'''
			<!-- Multi-head Attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies). -->
	<!-- Multi-head Attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies).
	-->

	== Source ==		== Source ==
	[https://infoscience.epfl.ch/record/300271/files/EPFL_TH9822.pdf Cordonnier, J.-B. (2023), ''Transformer Models for Vision''.]		[https://infoscience.epfl.ch/record/300271/files/EPFL_TH9822.pdf Cordonnier, J.-B. (2023), ''Transformer Models for Vision''.]

Claude COULOMBE le 3 septembre 2024 à 19:59

2024-09-03T19:59:29Z

← Version précédente		Version du 3 septembre 2024 à 15:59
Ligne 4 :		Ligne 4 :

	== Compléments ==		== Compléments ==
			Puisque chaque tête prête attention à un élément distinct de la séquence, le modèle capture mieux les effets de la position dans la séquence. Il en résulte une représentation plus riche.
			<hr/>
	En fonction des [[segment\|segments]] sur lesquels se focalise l'[[Mécanisme d'attention\|attention]], le [[Mécanisme d'attention\|mécanisme]] pourra vérifier l'accord sujet-verbe, reconnaîtra une entité nommée ou simplement une relation entre deux mots.		En fonction des [[segment\|segments]] sur lesquels se focalise l'[[Mécanisme d'attention\|attention]], le [[Mécanisme d'attention\|mécanisme]] pourra vérifier l'accord sujet-verbe, reconnaîtra une entité nommée ou simplement une relation entre deux mots.

Claude COULOMBE le 3 septembre 2024 à 19:56

2024-09-03T19:56:21Z

← Version précédente		Version du 3 septembre 2024 à 15:56
Ligne 1 :		Ligne 1 :
	== Définition ==		== Définition ==

	En [[apprentissage profond]], l'[[Mécanisme d'attention\|autoattention]] multitêtes est un traitement de [[Séquence de mots\|~~séquences~~]] (typiquement en [[langue naturelle]]) qui consiste à paralléliser le mécanisme d'[[Mécanisme d'attention\|autoattention]] en plusieurs points de la [[Séquence de mots\|séquence]] pour ensuite fusionner les résultats.		En [[apprentissage profond]], l'[[Mécanisme d'attention\|autoattention]] multitêtes est un traitement de [[Séquence de mots\|séquence]] (typiquement en [[langue naturelle]]) qui consiste à paralléliser le mécanisme d'[[Mécanisme d'attention\|autoattention]] en plusieurs points de la [[Séquence de mots\|séquence]] pour ensuite fusionner les résultats.

	== Compléments ==		== Compléments ==

Claude COULOMBE le 3 septembre 2024 à 19:55

2024-09-03T19:55:20Z

← Version précédente		Version du 3 septembre 2024 à 15:55
Ligne 10 :		Ligne 10 :

	''' Autoattention multi-têtes '''		''' Autoattention multi-têtes '''

			'''Attention multitêtes'''

			'''Attention multi-têtes'''

	== Anglais ==		== Anglais ==
Ligne 15 :		Ligne 19 :

	''' Multi-Head Self-Attention'''		''' Multi-Head Self-Attention'''


	<!-- Multi-head Attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies).		<!-- Multi-head Attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies).