« FlauBERT » : différence entre les versions
(Page créée avec « == en construction == == Définition == XXXXXX Voir aussi '''BERT''' et '''RoBERTa''' == Français == ''' FlauBERT''' == Anglais == ''' FlauBERT''' ''It’s a transformer model pretrained using a masked language modeling (MLM) objective (like BERT).'' == Source == [https://arxiv.org/abs/1912.05372 source : arxiv] [https://hal.science/hal-02784776v3/document Source : HAL Science] [https://huggingface.co/docs/transformers/model_doc/flaubert So... ») |
Aucun résumé des modifications |
||
| Ligne 2 : | Ligne 2 : | ||
== Définition == | == Définition == | ||
FlauBERT, acronyme de ''French Language Understanding via Bidirectional Encoder Representations from Transformers'', est un langage pré-entraîné pour le français. Il possède la même architecture de modèle que '''[[BERT]]''' et il a appris sur un corpus français très large et hétérogène. Il ne dispose pas de la prédiction de l'ordre des phrases de '''[[RoBERTa]]'''. | |||
== Français == | == Français == | ||
| Ligne 12 : | Ligne 10 : | ||
''' FlauBERT''' | ''' FlauBERT''' | ||
'' | ''FlauBERT is a pre-trained language for French and it stands for French Language Understanding via Bidirectional Encoder Representations from Transformers. It has the same model architecture as BERT and it learned on a very large and heterogenous French corpus. It does not have the sentence ordering prediction of RoBERTa.'' | ||
== Source == | == Source == | ||
Version du 29 novembre 2024 à 13:59
en construction
Définition
FlauBERT, acronyme de French Language Understanding via Bidirectional Encoder Representations from Transformers, est un langage pré-entraîné pour le français. Il possède la même architecture de modèle que BERT et il a appris sur un corpus français très large et hétérogène. Il ne dispose pas de la prédiction de l'ordre des phrases de RoBERTa.
Français
FlauBERT
Anglais
FlauBERT
FlauBERT is a pre-trained language for French and it stands for French Language Understanding via Bidirectional Encoder Representations from Transformers. It has the same model architecture as BERT and it learned on a very large and heterogenous French corpus. It does not have the sentence ordering prediction of RoBERTa.
Source
