« Encodage par paires d'octets » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (Une version intermédiaire par un autre utilisateur non affichée) | |||
| Ligne 11 : | Ligne 11 : | ||
== Français == | == Français == | ||
''' encodage par paires d'octets''' | ''' encodage par paires d'octets''' | ||
''' encodage en paires d'octets''' | |||
== Anglais == | == Anglais == | ||
''' byte pair encoding''' | '''byte pair encoding''' | ||
''' BPE''' | '''byte-pair encoding''' | ||
'''BPE''' | |||
''Byte pair encoding is a simple form of data compression algorithms and is one of the most widely used subword-tokenization algorithms. It replaces the most frequent pair of bytes of data with a new byte that was not contained int the initial dataset. In Natural Language Processing, BPE is used to represent large vocabulary with a small set of subword units and most common words are represented in the vocabulary as a single token.'' | ''Byte pair encoding is a simple form of data compression algorithms and is one of the most widely used subword-tokenization algorithms. It replaces the most frequent pair of bytes of data with a new byte that was not contained int the initial dataset. In Natural Language Processing, BPE is used to represent large vocabulary with a small set of subword units and most common words are represented in the vocabulary as a single token.'' | ||
| Ligne 28 : | Ligne 32 : | ||
[https://en.wikipedia.org/wiki/Byte_pair_encoding Source : Wikipedia] | [https://en.wikipedia.org/wiki/Byte_pair_encoding Source : Wikipedia] | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | |||
[[Catégorie: | |||
Dernière version du 14 janvier 2025 à 21:38
Définition
L'encodage par paires d'octets est une forme simple d'algorithme de compression de données et l'un des algorithmes de symbolisation de sous-mots les plus utilisés. Il remplace la paire d'octets de données la plus fréquente par un nouvel octet qui n'était pas contenu dans l'ensemble de données initial.
Dans le traitement automatique de la langue naturelle, l'encodage par paires d'octets est utilisé pour représenter un large vocabulaire avec un petit ensemble d'unités de sous-mots et les mots les plus courants sont représentés dans le vocabulaire sous la forme d'un seul segment.
Voir aussi BERT et vocabulaire (TAL)
Compléments
Il est utilisé dans toutes les versions GPT ainsi que dans RoBERTa, XML, FlauBERT et plus encore.
Français
encodage par paires d'octets
encodage en paires d'octets
Anglais
byte pair encoding
byte-pair encoding
BPE
Byte pair encoding is a simple form of data compression algorithms and is one of the most widely used subword-tokenization algorithms. It replaces the most frequent pair of bytes of data with a new byte that was not contained int the initial dataset. In Natural Language Processing, BPE is used to represent large vocabulary with a small set of subword units and most common words are represented in the vocabulary as a single token.
It is used in all of GPT versions, RoBERTa, XML, FlauBERT and more.
Source
Contributeurs: Arianne , Claude Coulombe, wiki
