SARA-RT - Historique des versions

Pitpitt : Remplacement de texte : « ↵ » par «  ==Sources== »

2024-01-28T17:26:10Z

Remplacement de texte : « ↵<small> » par «  ==Sources== »

← Version précédente		Version du 28 janvier 2024 à 13:26
Ligne 10 :		Ligne 10 :
	''' Self-Adaptive Robust Attention'''		''' Self-Adaptive Robust Attention'''

	~~<small>~~		==Sources==

	[https://sites.google.com/view/rtsara/?pli=1 Source : Google]		[https://sites.google.com/view/rtsara/?pli=1 Source : Google]

Pitpitt le 10 janvier 2024 à 00:18

2024-01-10T00:18:38Z

← Version précédente		Version du 9 janvier 2024 à 20:18
Ligne 7 :		Ligne 7 :
	== Anglais ==		== Anglais ==
	''' SARA-RT'''		''' SARA-RT'''

	''' Self-Adaptive Robust Attention'''		''' Self-Adaptive Robust Attention'''


	<small>		<small>
Ligne 18 :		Ligne 18 :


			[[Catégorie:ENGLISH]]

	[[Catégorie:~~vocabulary]]~~		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
	~~[[Catégorie:publication~~]]

Mariealfaro le 9 janvier 2024 à 18:45

2024-01-09T18:45:09Z

← Version précédente		Version du 9 janvier 2024 à 14:45
Ligne 1 :		Ligne 1 :
	~~==en construction==~~

	== Définition ==		== Définition ==
	~~XXXXXXXXX~~		Nouveau paradigme pour relever le défi émergent de la mise à l'échelle des transformateurs robotiques en vue d'un déploiement sur robot. SARA-RT s'appuie sur la nouvelle méthode de réglage fin que nous avons proposée, appelée "up-training". Elle convertit les politiques robotiques entraînées ou déjà affinées basées sur les transformateurs, d'une complexité temporelle quadratique (y compris les modèles vision-langage-action (VLA) massifs à un milliard de paramètres), en leurs équivalents efficaces à attention linéaire, tout en conservant une qualité élevée.

	== Français ==		== Français ==
Ligne 9 :		Ligne 7 :
	== Anglais ==		== Anglais ==
	''' SARA-RT'''		''' SARA-RT'''
			''' Self-Adaptive Robust Attention'''
	Self-Adaptive ~~RobustAttention~~

	~~we present Self-Adaptive Robust Attention for Robotics Transformers (SARA-RT):~~

	a new paradigm for addressing the emerging challenge of scaling up Robotics Transformers (RT) for on-robot deployment. SARA-RT relies on the new method of fine-tuning proposed by us, called up-training. It converts pre-trained or already fine-tuned Transformer-based robotic policies of quadratic time complexity (including massive billion-parameter vision-language-action models or VLAs), into their efficient linear-attention counterparts maintaining high quality. We demonstrate the effectiveness of SARA-RT by speeding up: (a) the class of recently introduced RT-2 models, the first VLA robotic policies pre-trained on internet-scale data, as well as (b) Point Cloud Transformer (PCT) robotic policies operating on large point clouds. We complement our results with the rigorous mathematical analysis providing deeper insight into the phenomenon of SARA.


	<small>		<small>

Ligne 27 :		Ligne 20 :

	[[Catégorie:vocabulary]]		[[Catégorie:vocabulary]]
			[[Catégorie:publication]]

Pitpitt : Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' SARA-RT''' == Anglais == ''' SARA-RT''' Self-Adaptive RobustAttention we present Self-Adaptive Robust Attention for Robotics Transformers (SARA-RT): a new paradigm for addressing the emerging challenge of scaling up Robotics Transformers (RT) for on-robot deployment. SARA-RT relies on the new method of fine-tuning proposed by us, called up-training. It converts pre-trained or already... »

2024-01-05T23:10:43Z

Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' SARA-RT''' == Anglais == ''' SARA-RT''' Self-Adaptive RobustAttention we present Self-Adaptive Robust Attention for Robotics Transformers (SARA-RT): a new paradigm for addressing the emerging challenge of scaling up Robotics Transformers (RT) for on-robot deployment. SARA-RT relies on the new method of fine-tuning proposed by us, called up-training. It converts pre-trained or already... »

Nouvelle page

==en construction==

== Définition ==
XXXXXXXXX

== Français ==
''' SARA-RT'''

== Anglais ==
''' SARA-RT'''

Self-Adaptive RobustAttention

we present Self-Adaptive Robust Attention for Robotics Transformers (SARA-RT):

a new paradigm for addressing the emerging challenge of scaling up Robotics Transformers (RT) for on-robot deployment. SARA-RT relies on the new method of fine-tuning proposed by us, called up-training. It converts pre-trained or already fine-tuned Transformer-based robotic policies of quadratic time complexity (including massive billion-parameter vision-language-action models or VLAs), into their efficient linear-attention counterparts maintaining high quality. We demonstrate the effectiveness of SARA-RT by speeding up: (a) the class of recently introduced RT-2 models, the first VLA robotic policies pre-trained on internet-scale data, as well as (b) Point Cloud Transformer (PCT) robotic policies operating on large point clouds. We complement our results with the rigorous mathematical analysis providing deeper insight into the phenomenon of SARA.

<small>

[https://sites.google.com/view/rtsara/?pli=1 Source : Google]

[https://arxiv.org/abs/2312.01990 Source : arxiv ]

[[Catégorie:vocabulary]]

SARA-RT - Historique des versions

Pitpitt : Remplacement de texte : « ↵ » par « ==Sources== »

Pitpitt le 10 janvier 2024 à 00:18

Mariealfaro le 9 janvier 2024 à 18:45

Pitpitt : Remplacement de texte : « ↵ » par «  ==Sources== »