MatMul - Historique des versions

Pitpitt le 30 septembre 2024 à 21:31

2024-09-30T21:31:15Z

← Version précédente		Version du 30 septembre 2024 à 17:31
Ligne 1 :		Ligne 1 :
	~~==en construction==~~

	== Définition ==		== Définition ==
	La multiplication matricielle (MatMul) est l'opération dominante dans la plupart des réseaux neuronaux et elle domine généralement le coût de calcul global des grands modèles de langues, consommant souvent la majorité du temps d'exécution et de l'accès à la mémoire pendant les phases d''''[[apprentissage]]''' et d''''[[inférence]]'''. La prédominance de MatMul est principalement due au fait que les unités de traitement graphique (GPU) sont optimisées pour les opérations MatMul.		La multiplication matricielle (MatMul) est l'opération dominante dans la plupart des réseaux neuronaux et elle domine généralement le coût de calcul global des grands modèles de langues, consommant souvent la majorité du temps d'exécution et de l'accès à la mémoire pendant les phases d''''[[apprentissage]]''' et d''''[[inférence]]'''. La prédominance de MatMul est principalement due au fait que les unités de traitement graphique (GPU) sont optimisées pour les opérations MatMul.
Ligne 27 :		Ligne 25 :


	[[Catégorie:~~publication~~]]		[[Catégorie:ENGLISH]]
			[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

Arianne le 30 septembre 2024 à 19:29

2024-09-30T19:29:05Z

← Version précédente		Version du 30 septembre 2024 à 15:29
Ligne 8 :		Ligne 8 :
	== Français ==		== Français ==
	''' MatMul'''		''' MatMul'''

			''' multiplication de matrices'''

	''' multiplication matricielle '''		''' multiplication matricielle '''

	~~''' multiplication de matrices'''~~

	== Anglais ==		== Anglais ==
	''' MatMul '''		''' MatMul '''

	''' ~~Matrix~~ multiplication'''		''' matrix multiplication'''

	''Matrix Multiplication (MatMul) is the dominant operation in most neural network and it typically dominates the overall computational cost of Large Language Models, often consuming the majority of the execution time and memory access during both training and inference phases. The prevalence of MatMul is primarily due to Graphics Processing Units (GPUs) being optimized for MatMul operations.''		''Matrix Multiplication (MatMul) is the dominant operation in most neural network and it typically dominates the overall computational cost of Large Language Models, often consuming the majority of the execution time and memory access during both training and inference phases. The prevalence of MatMul is primarily due to Graphics Processing Units (GPUs) being optimized for MatMul operations.''

Arianne le 30 septembre 2024 à 19:27

2024-09-30T19:27:59Z

← Version précédente		Version du 30 septembre 2024 à 15:27
Ligne 2 :		Ligne 2 :

	== Définition ==		== Définition ==
	~~XXXXXXXXX~~		La multiplication matricielle (MatMul) est l'opération dominante dans la plupart des réseaux neuronaux et elle domine généralement le coût de calcul global des grands modèles de langues, consommant souvent la majorité du temps d'exécution et de l'accès à la mémoire pendant les phases d''''[[apprentissage]]''' et d''''[[inférence]]'''. La prédominance de MatMul est principalement due au fait que les unités de traitement graphique (GPU) sont optimisées pour les opérations MatMul.

			Voir aussi '''[[grand modèle de langues]]''', '''[[réseau neuronal]]''' et '''[[unité de traitement graphique]]'''

	== Français ==		== Français ==
	''' ~~XXXXXXXXX~~ '''		''' MatMul'''

			''' multiplication matricielle '''

			''' multiplication de matrices'''

	== Anglais ==		== Anglais ==
	'''~~Matrix multiplication~~'''		''' MatMul '''

	''' ~~Scalable MatMul-free Language Modeling~~ '''		''' Matrix multiplication'''

	Matrix ~~multiplication~~ (MatMul) typically dominates the overall computational cost of ~~large language models~~ (~~LLMs~~)~~. This cost only grows as LLMs scale to larger embedding dimensions and context lengths. In this work, we show that~~ MatMul operations ~~can be completely eliminated from LLMs while maintaining strong performance at billion-parameter scales~~.		''Matrix Multiplication (MatMul) is the dominant operation in most neural network and it typically dominates the overall computational cost of Large Language Models, often consuming the majority of the execution time and memory access during both training and inference phases. The prevalence of MatMul is primarily due to Graphics Processing Units (GPUs) being optimized for MatMul operations.''

	== Source ==		== Source ==

	[https://~~huggingface~~.co/~~papers~~/2406.02528 Source : ~~huggingface~~]		[https://arxiv.org/abs/2406.02528 Source : arxiv]

			[https://www.datacamp.com/blog/matmul-free-language-models Source : datacamp]


	[[Catégorie:~~vocabulary~~]]		[[Catégorie:publication]]

Pitpitt le 5 juillet 2024 à 22:09

2024-07-05T22:09:53Z

← Version précédente		Version du 5 juillet 2024 à 18:09
Ligne 8 :		Ligne 8 :

	== Anglais ==		== Anglais ==
			'''Matrix multiplication'''

	''' Scalable MatMul-free Language Modeling '''		''' Scalable MatMul-free Language Modeling '''

Pitpitt : Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' XXXXXXXXX ''' == Anglais == ''' Scalable MatMul-free Language Modeling ''' Matrix multiplication (MatMul) typically dominates the overall computational cost of large language models (LLMs). This cost only grows as LLMs scale to larger embedding dimensions and context lengths. In this work, we show that MatMul operations can be completely eliminated from LLMs while maintaining strong perform... »

2024-07-05T22:09:09Z

Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' XXXXXXXXX ''' == Anglais == ''' Scalable MatMul-free Language Modeling ''' Matrix multiplication (MatMul) typically dominates the overall computational cost of large language models (LLMs). This cost only grows as LLMs scale to larger embedding dimensions and context lengths. In this work, we show that MatMul operations can be completely eliminated from LLMs while maintaining strong perform... »

Nouvelle page

==en construction==

== Définition ==
XXXXXXXXX

== Français ==
''' XXXXXXXXX '''

== Anglais ==
''' Scalable MatMul-free Language Modeling '''

Matrix multiplication (MatMul) typically dominates the overall computational cost of large language models (LLMs). This cost only grows as LLMs scale to larger embedding dimensions and context lengths. In this work, we show that MatMul operations can be completely eliminated from LLMs while maintaining strong performance at billion-parameter scales.

== Source ==

[https://huggingface.co/papers/2406.02528 Source : huggingface]

[[Catégorie:vocabulary]]