Projection multijetons - Historique des versions

Claude COULOMBE : Claude COULOMBE a déplacé la page Multi-Token Projection vers Projection multijetons

2026-06-09T19:05:35Z

Claude COULOMBE a déplacé la page Multi-Token Projection vers Projection multijetons

← Version précédente	Version du 9 juin 2026 à 15:05
(Aucune différence)

Claude COULOMBE le 9 juin 2026 à 19:05

2026-06-09T19:05:10Z

← Version précédente		Version du 9 juin 2026 à 15:05
Ligne 2 :		Ligne 2 :

	== Définition ==		== Définition ==
	Technique qui permet au modèle de prédire plusieurs '''[[~~Segment~~ textuel\|~~segments~~ textuels]]''' en un seul passage. Elle permet aussi de planifier et de générer stratégiquement des représentations qui facilitent une prédiction plus précise et potentiellement plus rapide des futurs ~~segments~~ textuels. Elle est utilisée dans les modèles '''[[DeepSeek]]''' et fonctionne en ajoutant des modules spécialisés qui prédisent non seulement le ~~segment~~ textuel de base, mais aussi plusieurs ~~segments~~ textuels à venir dans la séquence.		Technique qui permet au modèle de prédire plusieurs '''[[Jeton textuel\|jetons textuels]]''' en un seul passage. Elle permet aussi de planifier et de générer stratégiquement des représentations qui facilitent une prédiction plus précise et potentiellement plus rapide des futurs jetons textuels. Elle est utilisée dans les modèles '''[[DeepSeek]]''' et fonctionne en ajoutant des modules spécialisés qui prédisent non seulement le jeton textuel de base, mais aussi plusieurs jetons textuels à venir dans la séquence.

	== Compléments ==		== Compléments ==
	Cette technique est utilisée entre autres par '''[[ChatGPT]]'''-4, '''[[Claude]]''' 3, '''[[LLaMA]]''' 3, '''[[BERT]]'''.		Cette technique est utilisée entre autres par '''[[ChatGPT]]'''-4, '''[[Claude]]''' 3, '''[[LLaMA]]''' 3, '''[[BERT]]'''.
	<hr/>		<hr/>
	Les applications de la projection de ~~segments~~ textuels multiple sont nombreuses. On la retrouve dans les '''[[Robot conversationnel\|robots conversationnels]]''', les '''[[Assistant virtuel\|assistants virtuels]]''' ainsi qu'en '''[[traduction automatique neuronale]]'''.		Les applications de la projection de jetons textuels multiple sont nombreuses. On la retrouve dans les '''[[Robot conversationnel\|robots conversationnels]]''', les '''[[Assistant virtuel\|assistants virtuels]]''' ainsi qu'en '''[[traduction automatique neuronale]]'''.
	<hr/>		<hr/>
	Cette technique se repose aussi sur de nombreuses avancées clés, telles que les '''[[Réseau autoattentif\|réseaux autoattentifs]]''', les '''[[Modèle autorégressif\|modèles autorégressifs]]''', les '''modèles bidirectionnels''', le '''[[peaufinage]]''' et l''''[[apprentissage par renforcement avec rétroaction humaine]]'''.		Cette technique se repose aussi sur de nombreuses avancées clés, telles que les '''[[Réseau autoattentif\|réseaux autoattentifs]]''', les '''[[Modèle autorégressif\|modèles autorégressifs]]''', les '''modèles bidirectionnels''', le '''[[peaufinage]]''' et l''''[[apprentissage par renforcement avec rétroaction humaine]]'''.

	== Français ==		== Français ==
	''' ~~XXXXXX~~'''		'''projection multijetons'''

			'''projection multi-jetons'''

	== Anglais ==		== Anglais ==

Arianne le 26 juin 2025 à 16:27

2025-06-26T16:27:24Z

← Version précédente		Version du 26 juin 2025 à 12:27
Ligne 2 :		Ligne 2 :

	== Définition ==		== Définition ==
	~~xxxxxxx~~		Technique qui permet au modèle de prédire plusieurs '''[[Segment textuel\|segments textuels]]''' en un seul passage. Elle permet aussi de planifier et de générer stratégiquement des représentations qui facilitent une prédiction plus précise et potentiellement plus rapide des futurs segments textuels. Elle est utilisée dans les modèles '''[[DeepSeek]]''' et fonctionne en ajoutant des modules spécialisés qui prédisent non seulement le segment textuel de base, mais aussi plusieurs segments textuels à venir dans la séquence.

	~~Voir aussi~~ '''[[~~apprentissage par renforcement avec rétroaction humaine~~]]''' et '''[[~~réseau autoattentif~~]]'''

	== Compléments ==		== Compléments ==
	''~~à faire~~''		Cette technique est utilisée entre autres par '''[[ChatGPT]]'''-4, '''[[Claude]]''' 3, '''[[LLaMA]]''' 3, '''[[BERT]]'''.
			<hr/>
			Les applications de la projection de segments textuels multiple sont nombreuses. On la retrouve dans les '''[[Robot conversationnel\|robots conversationnels]]''', les '''[[Assistant virtuel\|assistants virtuels]]''' ainsi qu'en '''[[traduction automatique neuronale]]'''.
			<hr/>
			Cette technique se repose aussi sur de nombreuses avancées clés, telles que les '''[[Réseau autoattentif\|réseaux autoattentifs]]''', les '''[[Modèle autorégressif\|modèles autorégressifs]]''', les '''modèles bidirectionnels''', le '''[[peaufinage]]''' et l''''[[apprentissage par renforcement avec rétroaction humaine]]'''.

	== Français ==		== Français ==
Ligne 18 :		Ligne 20 :

	''' MTP'''		''' MTP'''
	<!--Technique that enables the model to predict multiple token un a single forward pass and to strategically pre-plan and generate representations that facilitate more accurate and potentially faster prediction of future tokens. It is used in DeepSeek models and it works by adding specialized ~~moules~~ that predict not only the nest token but also several tokens ahead in the sequence.-->		<!--Technique that enables the model to predict multiple token un a single forward pass and to strategically pre-plan and generate representations that facilitate more accurate and potentially faster prediction of future tokens. It is used in DeepSeek models and it works by adding specialized modules that predict not only the nest token but also several tokens ahead in the sequence.-->

	== Sources ==		== Sources ==

Arianne le 25 juin 2025 à 19:00

2025-06-25T19:00:19Z

← Version précédente		Version du 25 juin 2025 à 15:00
Ligne 18 :		Ligne 18 :

	''' MTP'''		''' MTP'''
			<!--Technique that enables the model to predict multiple token un a single forward pass and to strategically pre-plan and generate representations that facilitate more accurate and potentially faster prediction of future tokens. It is used in DeepSeek models and it works by adding specialized moules that predict not only the nest token but also several tokens ahead in the sequence.-->

	== Sources ==		== Sources ==

Arianne : Page créée avec « == en construction == == Définition == xxxxxxx Voir aussi '''apprentissage par renforcement avec rétroaction humaine''' et '''réseau autoattentif''' == Compléments == ''à faire'' == Français == ''' XXXXXX''' == Anglais == ''' Multi-Token Projection''' ''' Multiple-Token Projection''' ''' MTP''' == Sources == [https://arxiv.org/html/2505.07608v1 Source : arxiv] [https://datascientest.com/multi-token-prediction-tout-savoir Source : DataSc... »

2025-06-20T20:08:15Z

Page créée avec « == en construction == == Définition == xxxxxxx Voir aussi '''apprentissage par renforcement avec rétroaction humaine''' et '''réseau autoattentif''' == Compléments == ''à faire'' == Français == ''' XXXXXX''' == Anglais == ''' Multi-Token Projection''' ''' Multiple-Token Projection''' ''' MTP''' == Sources == [https://arxiv.org/html/2505.07608v1 Source : arxiv] [https://datascientest.com/multi-token-prediction-tout-savoir Source : DataSc... »

Nouvelle page

== en construction ==

== Définition ==
xxxxxxx

Voir aussi '''[[apprentissage par renforcement avec rétroaction humaine]]''' et '''[[réseau autoattentif]]'''

== Compléments ==
''à faire''

== Français ==
''' XXXXXX'''

== Anglais ==
''' Multi-Token Projection'''

''' Multiple-Token Projection'''

''' MTP'''

== Sources ==
[https://arxiv.org/html/2505.07608v1 Source : arxiv]

[https://datascientest.com/multi-token-prediction-tout-savoir Source : DataScientest]

[https://deepwiki.com/deepseek-ai/DeepSeek-V3/3.4-multi-token-prediction-(mtp) Source : DeepWiki]

[https://medium.com/data-science-collective/deepseek-explained-4-multi-token-prediction-33f11fe2b868 Source : Medium]

[[Catégorie:vocabulary]]

Projection multijetons - Historique des versions

Claude COULOMBE : Claude COULOMBE a déplacé la page Multi-Token Projection vers Projection multijetons

Claude COULOMBE le 9 juin 2026 à 19:05

Arianne le 26 juin 2025 à 16:27

Arianne le 25 juin 2025 à 19:00

Claude COULOMBE : Claude COULOMBE a déplacé la page Multi-Token Projection vers Projection multijetons