https://datafranca.org/wiki/api.php?action=feedcontributions&feedformat=atom&user=Patrickdrouin DataFranca - Contributions [fr] 2026-09-16T23:54:43Z Contributions MediaWiki 1.39.5 https://datafranca.org/wiki/index.php?title=Mod%C3%A8le_ferm%C3%A9&diff=132551 Modèle fermé 2026-09-08T19:36:10Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Paradigme dans lequel non seulement le code, mais les '''[[Paramètre|paramètres]]''' dont les [[poids]], le '''[[corpus]]''' d’entraînement et les détails architecturaux d'un '''[[Modèle d'intelligence artificielle|modèle d'IA]]''' tels que les stratégies d’optimisation et les configurations des '''[[Hyperparamètre|hyperparamètres]]''' sont secrets ou partiellement divulgués. <br /> <br /> À défaut d’être transparents et personnalisables par l’utilisateur, les modèles de ce paradigme possèdent potentiellement une sécurité plus grande, une performance et une stabilité plus élevée.<br /> <br /> Voir aussi '''[[Licence_en_paramètres_ouverts|modèle en paramètres ouverts]]'''<br /> <br /> == Compléments ==<br /> *L'interaction avec ces modèles s'effectue par l'intermédiaire d'une '''[[Interface de programmation applicative|API]]''' ou d'environnements de déploiement contrôlés.<br /> *Son coût repose soit sur un modèle d'abonnement, soit sur un modèle de paiement au '''[[jeton textuel]]'''.<br /> <br /> == Français ==<br /> '''modèle fermé'''<br /> <br /> '''modèle propriétaire'''<br /> <br /> '''modèle à code-source fermé'''<br /> <br /> == Anglais ==<br /> '''closed-source model'''<br /> <br /> '''closed model'''<br /> <br /> '''proprietary model'''<br /> <br /> == Sources ==<br /> [https://www.lapresse.ca/affaires/techno/2026-09-03/intelligence-artificielle/nvidia-va-racheter-hugging-face-pour-12-9-milliards-de-dollars.php Source : La Presse]<br /> <br /> [https://www.lapresse.ca/affaires/techno/2024-07-25/meta-evangeliste-inattendu-de-l-ia-en-code-ouvert.php Source : La Presse]<br /> <br /> [https://arxiv.org/abs/2412.12004v3 Source : Arxiv]<br /> <br /> [https://mediacenter.ibm.com/media/Open+Source+vs+Closed+AI%3A+LLMs%2C+Agents++the+AI+Stack+Explained/1_93qkt80c Source : IBM]<br /> <br /> [https://medium.com/@akankshasinha247/the-open-vs-closed-ai-frontier-navigating-transparency-power-and-the-future-of-innovation-4b96c68feb06 Source : Medium]<br /> <br /> [[Catégorie:vocabulary]]<br /> [[Catégorie:publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Mod%C3%A8le_ferm%C3%A9&diff=132547 Modèle fermé 2026-09-08T19:30:49Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Paradigme dans lequel les '''[[Paramètre|paramètres]]''' dont les [[poids]], le '''[[corpus]]''' d’entraînement et les détails architecturaux d'un '''[[Modèle d'intelligence artificielle|modèle d'IA]]''' tels que les stratégies d’optimisation et les configurations des '''[[Hyperparamètre|hyperparamètres]]''' sont secrets ou partiellement divulgués. <br /> <br /> À défaut d’être transparents et personnalisables par l’utilisateur, les modèles de ce paradigme possèdent potentiellement une sécurité plus grande, une performance et une stabilité plus élevée.<br /> <br /> Voir aussi '''[[apprentissage par renforcement avec rétroaction humaine]]''', '''[[apprentissage par curriculum]]''', '''[[ChatGPT]]''', '''[[Claude]]''', '''[[entraînement]]''', '''[[Gemini]]''' et '''[[mixture d'experts]]'''<br /> <br /> == Compléments ==<br /> *L'interaction avec ces modèles s'effectue par l'intermédiaire d'une '''[[Interface de programmation applicative|API]]''' ou d'environnements de déploiement contrôlés.<br /> *Son coût repose soit sur un modèle d'abonnement, soit sur un modèle de paiement au '''[[jeton textuel]]'''.<br /> <br /> == Français ==<br /> '''modèle fermé'''<br /> <br /> '''modèle propriétaire'''<br /> <br /> == Anglais ==<br /> '''closed-source model'''<br /> <br /> '''closed model'''<br /> <br /> '''proprietary model'''<br /> <br /> == Sources ==<br /> [https://www.lapresse.ca/affaires/techno/2026-09-03/intelligence-artificielle/nvidia-va-racheter-hugging-face-pour-12-9-milliards-de-dollars.php Source : La Presse]<br /> <br /> [https://arxiv.org/abs/2412.12004v3 Source : Arxiv]<br /> <br /> [https://mediacenter.ibm.com/media/Open+Source+vs+Closed+AI%3A+LLMs%2C+Agents++the+AI+Stack+Explained/1_93qkt80c Source : IBM]<br /> <br /> [https://medium.com/@akankshasinha247/the-open-vs-closed-ai-frontier-navigating-transparency-power-and-the-future-of-innovation-4b96c68feb06 Source : Medium]<br /> <br /> [[Catégorie:vocabulary]]<br /> [[Catégorie:publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Mod%C3%A8le_ferm%C3%A9&diff=132546 Modèle fermé 2026-09-08T19:30:29Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Paradigme dans lequel les '''[[Paramètre|paramètres]]''' dont les [[poids]], le '''[[corpus]]''' d’entraînement et les détails architecturaux d'un '''[[Modèle d'intelligence artificielle|modèle d'IA]]''' tels que les stratégies d’optimisation et les configurations des '''[[Hyperparamètre|hyperparamètres]]''' sont secrets ou partiellement divulgués. <br /> <br /> À défaut d’être transparents et personnalisables par l’utilisateur, les modèles de ce paradigme possèdent potentiellement une sécurité plus grande, une performance et une stabilité plus élevée.<br /> <br /> Voir aussi '''[[apprentissage par renforcement avec rétroaction humaine]]''', '''[[apprentissage par curriculum]]''', '''[[ChatGPT]]''', '''[[Claude]]''', '''[[entraînement]]''', '''[[Gemini]]''' et '''[[mixture d'experts]]'''<br /> <br /> == Compléments ==<br /> *L'interaction avec ces modèles s'effectue par l'intermédiaire d'une '''[[Interface de programmation applicative|API]]''' ou d'environnements de déploiement contrôlés.<br /> *Son coût repose soit sur un modèle d'abonnement, soit sur un modèle de paiement au '''[[jeton textuel]]'''.<br /> <br /> == Français ==<br /> '''modèle fermé'''<br /> <br /> '''modèle propriétaire'''<br /> <br /> == Anglais ==<br /> '''closed-source model'''<br /> <br /> '''closed model'''<br /> <br /> '''proprietary model'''<br /> <br /> == Sources ==<br /> [https://www.lapresse.ca/affaires/techno/2026-09-03/intelligence-artificielle/nvidia-va-racheter-hugging-face-pour-12-9-milliards-de-dollars.php Source : La Presse]<br /> [https://arxiv.org/abs/2412.12004v3 Source : Arxiv]<br /> <br /> [https://mediacenter.ibm.com/media/Open+Source+vs+Closed+AI%3A+LLMs%2C+Agents++the+AI+Stack+Explained/1_93qkt80c Source : IBM]<br /> <br /> [https://medium.com/@akankshasinha247/the-open-vs-closed-ai-frontier-navigating-transparency-power-and-the-future-of-innovation-4b96c68feb06 Source : Medium]<br /> <br /> [[Catégorie:vocabulary]]<br /> [[Catégorie:publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=R%C3%A9solution_de_probl%C3%A8me_par_auto-apprentissage&diff=132510 Résolution de problème par auto-apprentissage 2026-09-08T18:42:59Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> [[Système d'IA]] qui évalue lui-même son propre '''[[entraînement]]''' et ses habiletés de résolution de problème ([[raisonnement]]), faisant en sorte qu’il ne requiert aucune '''[[étiquette]]''' de '''[[jeu de référence|référence]]''' ou des '''[[requête générative|requêtes]]''' définies par un humain. Il crée donc ses propres tâches, les résout et il valide ses réponses en utilisant trois modes de [[raisonnement]] classique : la '''[[raisonnement déductif|déduction]]''', l’'''[[raisonnement abductif|abduction]]''' et l’'''[[raisonnement inductif|induction]]'''.<br /> <br /> Voir aussi '''[[peaufinage par auto-jeu]]'''<br /> <br /> == Complément == <br /> Nous préférons ''résolution de problème'' plutôt que ''raisonnement'' pour éviter anthropomorphisme. <br /> <br /> == Français ==<br /> '''système de résolution de problème par auto-apprentissage'''<br /> <br /> '''système de raisonnement par auto-apprentissage'''<br /> <br /> == Anglais ==<br /> ''' absolute zero reasoner'''<br /> <br /> ''' AZR'''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2505.03335 Source : Arxiv]<br /> <br /> [https://medium.com/@ferreradaniel/the-absolute-zero-reasoner-ai-how-self-taught-machines-are-changing-everything-054333c37d2a Source : Medium]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Absolute_zero_reasoner&diff=132509 Absolute zero reasoner 2026-09-08T18:42:24Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Absolute zero reasoner vers Système de résolution de problème par auto-apprentissage</p> <hr /> <div>#REDIRECTION [[Système de résolution de problème par auto-apprentissage]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=R%C3%A9solution_de_probl%C3%A8me_par_auto-apprentissage&diff=132508 Résolution de problème par auto-apprentissage 2026-09-08T18:42:24Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Absolute zero reasoner vers Système de résolution de problème par auto-apprentissage</p> <hr /> <div>== en construction ==<br /> <br /> == Définition ==<br /> [[Système d'IA]] qui évalue lui-même son propre '''[[entraînement]]''' et ses habiletés de résolution de problème ([[raisonnement]]), faisant en sorte qu’il ne requiert aucune '''[[étiquette]]''' de '''[[jeu de référence|référence]]''' ou des '''[[requête générative|requêtes]]''' définies par un humain. Il crée donc ses propres tâches, les résout et il valide ses réponses en utilisant trois modes de [[raisonnement]] classique : la '''[[raisonnement déductif|déduction]]''', l’'''[[raisonnement abductif|abduction]]''' et l’'''[[raisonnement inductif|induction]]'''.<br /> <br /> Voir aussi '''[[peaufinage par auto-jeu]]'''<br /> <br /> == Complément == <br /> Nous préférons ''résolution de problème'' plutôt que ''raisonnement'' pour éviter anthropomorphisme. <br /> <br /> == Français ==<br /> '''système de résolution de problème par auto-apprentissage'''<br /> <br /> '''système de raisonnement par auto-apprentissage'''<br /> <br /> == Anglais ==<br /> ''' absolute zero reasoner'''<br /> <br /> ''' AZR'''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2505.03335 Source : Arxiv]<br /> <br /> [https://medium.com/@ferreradaniel/the-absolute-zero-reasoner-ai-how-self-taught-machines-are-changing-everything-054333c37d2a Source : Medium]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=R%C3%A9solution_de_probl%C3%A8me_par_auto-apprentissage&diff=132501 Résolution de problème par auto-apprentissage 2026-09-08T18:35:13Z <p>Patrickdrouin : </p> <hr /> <div>== en construction ==<br /> <br /> == Définition ==<br /> [[Système d'IA]] qui évalue lui-même son propre '''[[entraînement]]''' et ses habiletés de résolution de problème ([[raisonnement]]), faisant en sorte qu’il ne requiert aucune '''[[étiquette]]''' de '''[[jeu de référence|référence]]''' ou des '''[[requête générative|requêtes]]''' définies par un humain. Il crée donc ses propres tâches, les résout et il valide ses réponses en utilisant trois modes de [[raisonnement]] classique : la '''[[raisonnement déductif|déduction]]''', l’'''[[raisonnement abductif|abduction]]''' et l’'''[[raisonnement inductif|induction]]'''.<br /> <br /> Voir aussi '''[[peaufinage par auto-jeu]]'''<br /> <br /> == Complément == <br /> Nous préférons ''résolution de problème'' plutôt que ''raisonnement'' pour éviter anthropomorphisme. <br /> <br /> == Français ==<br /> '''système de résolution de problème par auto-apprentissage'''<br /> <br /> '''système de raisonnement par auto-apprentissage'''<br /> <br /> == Anglais ==<br /> ''' absolute zero reasoner'''<br /> <br /> ''' AZR'''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2505.03335 Source : Arxiv]<br /> <br /> [https://medium.com/@ferreradaniel/the-absolute-zero-reasoner-ai-how-self-taught-machines-are-changing-everything-054333c37d2a Source : Medium]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=R%C3%A9solution_de_probl%C3%A8me_par_auto-apprentissage&diff=132499 Résolution de problème par auto-apprentissage 2026-09-08T18:34:21Z <p>Patrickdrouin : </p> <hr /> <div>== en construction ==<br /> <br /> == Définition ==<br /> [[Système d'IA]] qui évalue lui-même son propre '''[[entraînement]]''' et ses habiletés de résolution de problème ([[raisonnement]]), faisant en sorte qu’il ne requiert aucune '''[[étiquette]]''' de '''[[jeu de référence|référence]]''' ou des '''[[requête générative|requêtes]]''' définies par un humain. Il crée donc ses propres tâches, les résout et il valide ses réponses en utilisant trois modes de [[raisonnement]] classique : la '''[[raisonnement déductif|déduction]]''', l’'''[[raisonnement abductif|abduction]]''' et l’'''[[raisonnement inductif|induction]]'''.<br /> <br /> Voir aussi '''[[peaufinage par auto-jeu]]'''<br /> <br /> == Complément == <br /> Nous préférons ''résolution de problème'' plutôt que ''raisonnement'' pour éviter anthropomorphisme. <br /> <br /> == Français ==<br /> '''système de résolution de problème par auto-apprentissage'''<br /> <br /> '''système de raisonnement par auto-apprentissage'''<br /> <br /> == Anglais ==<br /> ''' absolute zero reasoner'''<br /> <br /> ''' AZR'''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2505.03335 Source : Arxiv]<br /> <br /> [https://medium.com/@ferreradaniel/the-absolute-zero-reasoner-ai-how-self-taught-machines-are-changing-everything-054333c37d2a Source : Medium]<br /> <br /> [[Catégorie:vocabulary]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Puissance_de_calcul_exig%C3%A9e&diff=132458 Puissance de calcul exigée 2026-09-01T21:04:07Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Puissance de calcul exigée vers Puissance de calcul augmentée</p> <hr /> <div>#REDIRECTION [[Puissance de calcul augmentée]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Augmentation_de_la_puissance_de_calcul_%C3%A0_l%27inf%C3%A9rence&diff=132457 Augmentation de la puissance de calcul à l'inférence 2026-09-01T21:04:07Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Puissance de calcul exigée vers Puissance de calcul augmentée</p> <hr /> <div>== Définition ==<br /> Augmentation de la puissance de calcul (quantité de calcul par unité de temps) d'un '''[[modèle]]''' d''''[[intelligence artificielle]]''' pré-entraîné pour qu'il génère une réponse de meilleure qualité.<br /> <br /> == Français ==<br /> ''' puissance de calcul augmentée '''<br /> <br /> == Anglais ==<br /> ''' test-time scaling'''<br /> <br /> ''' TTS'''<br /> <br /> ''' test-time computing'''<br /> <br /> &lt;!--''The amount of computational power and time required when an AI model is actually being used, so after it has been trained.''--&gt;<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2503.24235 Source : arxiv]<br /> <br /> [https://huggingface.co/blog/Kseniase/testtimecompute#what-basically-is-test-time-compute-ttc Source : Hugging Face]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Augmentation_de_la_puissance_de_calcul_%C3%A0_l%27inf%C3%A9rence&diff=132456 Augmentation de la puissance de calcul à l'inférence 2026-09-01T21:01:33Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Augmentation de la puissance de calcul (quantité de calcul par unité de temps) d'un '''[[modèle]]''' d''''[[intelligence artificielle]]''' pré-entraîné pour qu'il génère une réponse de meilleure qualité.<br /> <br /> == Français ==<br /> ''' puissance de calcul augmentée '''<br /> <br /> == Anglais ==<br /> ''' test-time scaling'''<br /> <br /> ''' TTS'''<br /> <br /> ''' test-time computing'''<br /> <br /> &lt;!--''The amount of computational power and time required when an AI model is actually being used, so after it has been trained.''--&gt;<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2503.24235 Source : arxiv]<br /> <br /> [https://huggingface.co/blog/Kseniase/testtimecompute#what-basically-is-test-time-compute-ttc Source : Hugging Face]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Entropy_collapse&diff=132455 Entropy collapse 2026-09-01T20:52:21Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Entropy collapse vers Effondrement de l&#039;entropie : effondrement de l&#039;entropie</p> <hr /> <div>#REDIRECTION [[Effondrement de l'entropie]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Effondrement_de_l%27entropie&diff=132454 Effondrement de l'entropie 2026-09-01T20:52:20Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Entropy collapse vers Effondrement de l&#039;entropie : effondrement de l&#039;entropie</p> <hr /> <div>==Définition==<br /> L'effondrement de l'entropie est une chute brutale de la diversité interne d'un [[système d'IA]], ou de ses options décisionnelle. En [[apprentissage par renforcement]], elle survient lorsque la rétroaction récompense les choix dominants plus vite que de nouvelles possibilités ne peuvent émerger.<br /> <br /> ==Français==<br /> '''effondrement de l'entropie'''<br /> <br /> '''effondrement entropique'''<br /> <br /> '''effondrement de la diversité'''<br /> <br /> '''perte de la diversité'''<br /> <br /> ==Anglais==<br /> '''entropy collapse'''<br /> <br /> ==Sources==<br /> <br /> [https://arxiv.org/html/2512.12381v1. Khan et Hoa (2025) - entropy collapse]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Effondrement_de_l%27entropie&diff=132453 Effondrement de l'entropie 2026-09-01T20:51:57Z <p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> L'effondrement de l'entropie est une chute brutale de la diversité interne d'un [[système d'IA]], ou de ses options décisionnelle. En [[apprentissage par renforcement]], elle survient lorsque la rétroaction récompense les choix dominants plus vite que de nouvelles possibilités ne peuvent émerger.<br /> <br /> ==Français==<br /> '''effondrement de l'entropie'''<br /> <br /> '''effondrement entropique'''<br /> <br /> '''effondrement de la diversité'''<br /> <br /> '''perte de la diversité'''<br /> <br /> ==Anglais==<br /> '''entropy collapse'''<br /> <br /> ==Sources==<br /> <br /> [https://arxiv.org/html/2512.12381v1. Khan et Hoa (2025) - entropy collapse]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Effondrement_de_l%27entropie&diff=132452 Effondrement de l'entropie 2026-09-01T20:50:53Z <p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> L'effondrement de l'entropie est une chute brutale de la diversité interne d'un système d'IA, ou de ses options décisionnelle. En apprentissage par renforcement, elle survient lorsque la rétroaction récompense les choix dominants plus vite que de nouvelles possibilités ne peuvent émerger.<br /> <br /> ==Français==<br /> '''effondrement de l'entropie'''<br /> <br /> '''effondrement entropique'''<br /> <br /> '''effondrement de la diversité'''<br /> <br /> '''perte de la diversité'''<br /> <br /> ==Anglais==<br /> '''entropy collapse'''<br /> <br /> ==Sources==<br /> <br /> [https://arxiv.org/html/2512.12381v1. Khan et Hoa (2025) - entropy collapse]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Effondrement_de_l%27entropie&diff=132451 Effondrement de l'entropie 2026-09-01T20:50:21Z <p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> L'effondrement de l'entropie est une chute brutale de la diversité interne d'un système d'IA, ou de ses options décisionnelle. En apprentissage par renforcement, elle survient lorsque la rétroaction récompense les choix dominants plus vite que de nouvelles idées ne peuvent émerger.<br /> <br /> ==Français==<br /> '''effondrement de l'entropie'''<br /> <br /> '''effondrement entropique'''<br /> <br /> '''effondrement de la diversité'''<br /> <br /> '''perte de la diversité'''<br /> <br /> ==Anglais==<br /> '''entropy collapse'''<br /> <br /> ==Sources==<br /> <br /> [https://arxiv.org/html/2512.12381v1. Khan et Hoa (2025) - entropy collapse]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Effondrement_de_l%27entropie&diff=132450 Effondrement de l'entropie 2026-09-01T20:49:18Z <p>Patrickdrouin : Page créée avec « ==Définition== L&#039;effondrement de l&#039;entropie est une chute brutale de la diversité interne d&#039;un système, ou de ses options décisionnelle. En apprentissage par renforcement, elle survient lorsque la rétroaction récompense les choix dominants plus vite que de nouvelles idées ne peuvent émerger. ==Français== &#039;&#039;&#039;effondrement de l&#039;entropie&#039;&#039;&#039; &#039;&#039;&#039;effondrement entropique&#039;&#039;&#039; &#039;&#039;&#039;effondrement de la diversité&#039;&#039;&#039; &#039;&#039;&#039;perte de la diversité&#039;&#039;&#039; ==Anglais== &#039;&#039;&#039;entr... »</p> <hr /> <div>==Définition==<br /> L'effondrement de l'entropie est une chute brutale de la diversité interne d'un système, ou de ses options décisionnelle. En apprentissage par renforcement, elle survient lorsque la rétroaction récompense les choix dominants plus vite que de nouvelles idées ne peuvent émerger.<br /> <br /> ==Français==<br /> '''effondrement de l'entropie'''<br /> <br /> '''effondrement entropique'''<br /> <br /> '''effondrement de la diversité'''<br /> <br /> '''perte de la diversité'''<br /> <br /> ==Anglais==<br /> '''entropy collapse'''<br /> <br /> ==Sources==<br /> <br /> [https://arxiv.org/html/2512.12381v1. Khan et Hoa (2025) - entropy collapse]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Effondrement_gravitationnel&diff=132448 Effondrement gravitationnel 2026-09-01T20:33:00Z <p>Patrickdrouin : </p> <hr /> <div>==[[:Catégorie:Spatiologie| '''&lt;span style=&quot;font-family:arial black;font-size:24px; color:#983fab;&quot;&gt;SPATIOLOGIE&lt;/span&gt;''']]==<br /> <br /> == Définition ==<br /> Phénomène d'effondrement d'un objet céleste dans lequel les forces qui s'opposent à la gravité cessent brusquement d'équilibrer celle-ci. Ex : collapse galactique, collapse stellaire. <br /> <br /> → cœur préstellaire, contraction <br /> <br /> == Français ==<br /> '''effondrement gravitationnel'''<br /> <br /> '''collapse gravitationnel'''<br /> <br /> == Anglais ==<br /> '''collapse gravitational'''<br /> <br /> ==Sources==<br /> [https://datafranca.org/images/Dictionnaire-de-Spatiologie-2025 Sources : Dictionnaire de Spatiologie]<br /> <br /> {{Modèle:Spatiologie}}<br /> [[Catégorie:spatiologie]]<br /> <br /> [[Catégorie:Astrophysique]]<br /> [[Catégorie:101Astrophysique]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Couche_cach%C3%A9e&diff=132436 Couche cachée 2026-09-01T19:55:23Z <p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> Couche synthétique d'un [[Réseau de neurones artificiels|réseau de neurones]] entre la [[couche d'entrée]] (les '''[[attribut|attributs]]''') et la [[couche de sortie]] (la '''[[ prédiction]]''')'''.''' La seconde couche est une couche ''cachée'', en ce sens qu'elle n'a qu'une utilité intrinsèque pour le [[Réseau de neurones artificiels|réseau de neurones]] et n'a pas de contact direct avec l'extérieur. Les [[fonction d'activation|fonctions d'activations]] sont en général non linéaires sur cette couche mais il n'y a pas de règle à respecter. <br /> <br /> Un [[Réseau de neurones artificiels|réseau de neurones]] se compose d'une ou plusieurs couches cachées.<br /> <br /> ==Français==<br /> ''' couche cachée '''<br /> <br /> ''' couche intermédiaire ''' <br /> <br /> ==Anglais==<br /> ''' hidden layer '''<br /> ==Sources==<br /> <br /> <br /> [https://developers.google.com/machine-learning/glossary/ Source: Google, ''Machine learning glossary''.]<br /> <br /> {{Modèle:GDT}}<br /> <br /> [[Catégorie:GDT]]<br /> [[Category:GRAND LEXIQUE FRANÇAIS]]<br /> [[Category:Apprentissage profond]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Distillation_attack&diff=132284 Distillation attack 2026-08-04T19:26:37Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Distillation attack vers Attaque par distillation</p> <hr /> <div>#REDIRECTION [[Attaque par distillation]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132283 Attaque par distillation 2026-08-04T19:26:36Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Distillation attack vers Attaque par distillation</p> <hr /> <div>== Définition ==<br /> L'attaque par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses réponses à un ensemble requêtes.<br /> <br /> == Compléments == <br /> Un très grand nombres de requêtes sont utilisées pour générer un jeu de données basé principalement sur les [[chaîne de résolution|chaînes de résolution]] (COT). Ces données plus riches facilitent l'apprentissage de la distribution de probabilité du [[modèle enseignant]]. <br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol d'IA par distillation'''<br /> <br /> '''piratage par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://hyper.ai/fr/stories/5b29229d84a2ed48b0ac6517333e1b82 HyperAI - vol d'IA par distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained Mind Studio - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Optimisation_directe_des_pr%C3%A9f%C3%A9rences&diff=132282 Optimisation directe des préférences 2026-08-04T19:21:41Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans l'[[apprentissage par renforcement avec rétroaction humaine]] (ARRH) qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème d'ARRH standard avec seulement une simple perte de classification. <br /> <br /> == Compléments ==<br /> L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'[[échantillonnage]] à partir du [[modèle de langue|modèle de langue]] lors du réglage fin ou de l'exécution d'un réglage important des [[hyperparamètres]].<br /> <br /> Alors que les grands modèles de langues acquièrent par le biais de texte une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement de par la nature floue du jeu de données d'entraînement (la langue). <br /> <br /> Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH) qui est souvent complexe et instable. <br /> <br /> == Français ==<br /> ''' optimisation directe des préférences '''<br /> <br /> == Anglais ==<br /> ''' Direct Preference Optimization '''<br /> <br /> ''' DPO '''<br /> <br /> ==Sources==<br /> [https://arxiv.org/abs/2305.18290 Source : arxiv ]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Optimisation_directe_des_pr%C3%A9f%C3%A9rences&diff=132281 Optimisation directe des préférences 2026-08-04T19:11:19Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans l'[[apprentissage par renforcement avec rétroaction humaine]] (ARRH) qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème d'ARRH standard avec seulement une simple perte de classification. <br /> <br /> == Compléments ==<br /> L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'[[échantillonnage]] à partir du [[modèle de langue|modèle de langue]] lors du réglage fin ou de l'exécution d'un réglage important des [[hyperparamètres]].<br /> <br /> Alors que les modèles de langue non supervisés à grande échelle acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation. <br /> <br /> Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH) qui est souvent complexe et instable. <br /> <br /> == Français ==<br /> ''' optimisation directe des préférences '''<br /> <br /> == Anglais ==<br /> ''' Direct Preference Optimization '''<br /> <br /> ''' DPO '''<br /> <br /> ==Sources==<br /> [https://arxiv.org/abs/2305.18290 Source : arxiv ]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Optimisation_directe_des_pr%C3%A9f%C3%A9rences&diff=132276 Optimisation directe des préférences 2026-08-04T19:02:59Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans l'[[apprentissage par renforcement avec rétroaction humaine]] (ARRH) qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème d'ARRH standard avec seulement une simple perte de classification. <br /> <br /> == Compléments ==<br /> <br /> L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'échantillonnage à partir du modèle de langue lors du réglage fin ou de l'exécution d'un réglage important des hyperparamètres.<br /> <br /> Alors que les modèles de langage non supervisés à grande échelle acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation. <br /> <br /> Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH). <br /> <br /> Cependant, le ARRH est une procédure complexe et souvent instable, qui consiste d'abord à adapter un modèle de récompense qui reflète les préférences humaines, puis à affiner le grand modèle de langue non supervisé à l'aide de l'apprentissage par renforcement pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine. <br /> == Français ==<br /> ''' optimisation directe des préférences '''<br /> <br /> == Anglais ==<br /> ''' Direct Preference Optimization '''<br /> <br /> ''' DPO '''<br /> <br /> ==Sources==<br /> <br /> [https://arxiv.org/abs/2305.18290 Source : arxiv ]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Optimisation_directe_des_pr%C3%A9f%C3%A9rences&diff=132275 Optimisation directe des préférences 2026-08-04T19:00:55Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans le ARRH qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème ARRH standard avec seulement une simple perte de classification. <br /> <br /> == Compléments ==<br /> <br /> L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'échantillonnage à partir du modèle de langue lors du réglage fin ou de l'exécution d'un réglage important des hyperparamètres.<br /> <br /> Alors que les modèles de langage non supervisés à grande échelle acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation. <br /> <br /> Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH). <br /> <br /> Cependant, le ARRH est une procédure complexe et souvent instable, qui consiste d'abord à adapter un modèle de récompense qui reflète les préférences humaines, puis à affiner le grand modèle de langue non supervisé à l'aide de l'apprentissage par renforcement pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine. <br /> == Français ==<br /> ''' optimisation directe des préférences '''<br /> <br /> == Anglais ==<br /> ''' Direct Preference Optimization '''<br /> <br /> ''' DPO '''<br /> <br /> ==Sources==<br /> <br /> [https://arxiv.org/abs/2305.18290 Source : arxiv ]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132273 Attaque par distillation 2026-08-04T18:47:20Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'attaque par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses réponses à un ensemble requêtes.<br /> <br /> == Compléments == <br /> Un très grand nombres de requêtes sont utilisées pour générer un jeu de données basé principalement sur les [[chaîne de résolution|chaînes de résolution]] (COT). Ces données plus riches facilitent l'apprentissage de la distribution de probabilité du [[modèle enseignant]]. <br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol d'IA par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://hyper.ai/fr/stories/5b29229d84a2ed48b0ac6517333e1b82 HyperAI - vol d'IA par distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained Mind Studio - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132272 Attaque par distillation 2026-08-04T18:45:53Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'attaque par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses réponses à un ensemble requêtes.<br /> <br /> == Compléments == <br /> Un très grand nombres de requêtes sont utilisées pour générer un jeu de données basé principalement sur les [[chaîne de résolution|chaînes de résolution]] (COT). Ces données plus riches facilitent la reconstruction de la distribution de probabilité du modèle enseignant. <br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol d'IA par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://hyper.ai/fr/stories/5b29229d84a2ed48b0ac6517333e1b82 HyperAI - vol d'IA par distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained Mind Studio - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132270 Attaque par distillation 2026-08-04T18:38:53Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'attaque par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses réponses à un ensemble requêtes.<br /> <br /> == Compléments == <br /> Un très grand nombres de requêtes sont utilisées pour générer un nouveau jeu de données, ce qui permet de reconstruire un distribution de probabilités. <br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol d'IA par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://hyper.ai/fr/stories/5b29229d84a2ed48b0ac6517333e1b82 HyperAI - vol d'IA par distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained Mind Studio - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132269 Attaque par distillation 2026-08-04T18:34:39Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'attaque par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses comportements et ses réponses.<br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol d'IA par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://hyper.ai/fr/stories/5b29229d84a2ed48b0ac6517333e1b82 HyperAI - vol d'IA par distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained Mind Studio - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132268 Attaque par distillation 2026-08-04T18:33:33Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'attaque par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses comportements et ses réponses.<br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained Mind Studio - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132267 Attaque par distillation 2026-08-04T18:32:15Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Le vol de modèle par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses comportements et ses réponses.<br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol d'IA par distillation'''<br /> <br /> '''vol de modèle par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://hyper.ai/fr/stories/5b29229d84a2ed48b0ac6517333e1b82 HyperAI - vol d'IA par distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained Mind Studio - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132266 Attaque par distillation 2026-08-04T18:31:51Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Le vol de modèle par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses comportements et ses réponses.<br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol d'IA par distillation'''<br /> <br /> '''vol de modèle par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://hyper.ai/fr/stories/5b29229d84a2ed48b0ac6517333e1b82 HyperAI - vol d'IA par distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132265 Attaque par distillation 2026-08-04T18:30:28Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Le vol de modèle par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses comportements et ses réponses.<br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol de modèle par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Puits_d%27attention&diff=128227 Puits d'attention 2026-06-09T19:21:57Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Phénomène présent dans tous les '''[[Grand modèle de langues (GML)| grands modèles de langues]]''' '''[[Modèle autorégressif|autorégressifs]]''', dans lesquels les premiers [[jeton textuel|jetons textuels]] représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique. <br /> <br /> == Compléments ==<br /> Ce terme peut désigner le phénomène ou le type de '''[[jeton textuel]]''' concerné par le phénomène. <br /> <br /> Le phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''. <br /> <br /> La raison pour laquelle les [[jeton textuel|jetons textuels]] initiaux sont considérés comme des « jetons puits » est intuitive : ils sont visibles par presque tous les [[jeton textuel|jetons]] suivants en raison de la nature autorégressive du modèle, ce qui les rend plus aptes à servir de « puits d'attention ».<br /> <br /> == Français ==<br /> ''' puits d'attention'''<br /> <br /> == Anglais ==<br /> ''' attention sink'''<br /> <br /> ''This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. ''<br /> <br /> ''The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.''<br /> <br /> ''This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others.''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2309.17453 Source : arxiv]<br /> <br /> [https://arxiv.org/abs/2410.10781 Source : arxiv]<br /> <br /> [https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=%C3%89chantillonnage_%C3%A0_troncature_k_fixe&diff=128222 Échantillonnage à troncature k fixe 2026-06-09T19:14:16Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> <br /> Stratégie d'échantillonnage qui prélève un élément parmi un nombre fixe ''k'' des meilleurs éléments d'un ensemble. La valeur de ''k'' reste constante, <br /> <br /> Ceci signifie que la méthode ne s'adapte pas au contexte, ce qui a conduit à l''''[[échantillonnage à troncature de masse p]]'''.<br /> <br /> == Compléments ==<br /> Cette stratégie d'échantillonnage est utilisée par les [[Grand modèle de langues|grands modèles de langues]] pour choisir aléatoirement un jeton parmi un nombre fixe ''k'' de '''[[jeton textuel|jetons textuels]]'''. La valeur de ''k'' reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré. <br /> <br /> Une valeur ''k'' plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur ''k'' plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent.<br /> <br /> Cette limitation a conduit à l''''[[échantillonnage à troncature de masse p]]'''.<br /> &lt;hr&gt;<br /> Le terme « échantillonnage à troncature ''k'' fixe » est plus exact que terme « échantillonnage des ''k'' meilleurs » car elle définit l'action algorithmique (la troncature) plutôt que simplement le résultat.<br /> &lt;hr&gt;<br /> Attention: À ne pas confondre avec la '''[[température]]''' d'un grand modèle de langues.<br /> <br /> == Français ==<br /> '''Échantillonnage à troncature k fixe'''<br /> <br /> '''Échantillonnage parmi les k meilleurs'''<br /> <br /> '''Échantillonnage Top-k'''<br /> <br /> == Anglais ==<br /> ''' Top-k sampling'''<br /> <br /> ''Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.''<br /> <br /> ''A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.''<br /> <br /> == Sources ==<br /> [https://medium.com/thinking-sand/the-top-k-and-top-p-parameters-explained-bfaecc8cd342 Source : Medium - Top-k sampling, Top-p sampling]<br /> <br /> [https://en.wikipedia.org/wiki/Top-p_sampling#Top-k_sampling Wikipedia - Top-k sampling]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=%C3%89chantillonnage_%C3%A0_troncature_k_fixe&diff=128221 Échantillonnage à troncature k fixe 2026-06-09T19:11:51Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> <br /> Stratégie d'échantillonnage qui prélève un élément parmi un nombre fixe ''k'' des meilleurs éléments d'un ensemble. La valeur de ''k'' reste constante, <br /> <br /> Ceci signifie que la méthode ne s'adapte pas au contexte, ce qui a conduit à l''''[[échantillonnage à troncature de masse p]]'''.<br /> <br /> == Compléments ==<br /> Cette stratégie d'échantillonnage est utilisée par les [[Grand modèle de langues|grands modèles de langues]] pour choisir aléatoirement un jeton parmi un nombre fixe ''k'' de '''[[jeton textuel|jetons textuels]]'''. La valeur de ''k'' reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré. <br /> <br /> Une valeur ''k'' plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur ''k'' plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent.<br /> <br /> Cette limitation a conduit à l''''[[échantillonnage à troncature de masse p]]'''.<br /> &lt;hr&gt;<br /> Le terme « échantillonnage à troncature ''k'' fixe » est plus exact que terme « échantillonnage des ''k'' meilleurs » car elle définit l'action algorithmique (la troncature) plutôt que simplement le résultat.<br /> &lt;hr&gt;<br /> Attention: À ne pas confondre avec la '''[[température]]''' d'un grand modèle de langues.<br /> <br /> == Français ==<br /> '''Échantillonnage à troncature k fixe'''<br /> <br /> '''Échantillonnage parmi les k meilleurs'''<br /> <br /> '''Échantillonnage Top-k'''<br /> <br /> == Anglais ==<br /> ''' Top-k sampling'''<br /> <br /> ''Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.''<br /> <br /> ''A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.''<br /> <br /> == Sources ==<br /> [https://medium.com/thinking-sand/the-top-k-and-top-p-parameters-explained-bfaecc8cd342 Source : Medium - Top-k sampling, Top-p sampling]<br /> <br /> [https://en.wikipedia.org/wiki/Top-p_sampling#Top-k_sampling Wikipedia - Top-k sampling]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attention_clairsem%C3%A9e&diff=128220 Attention clairsemée 2026-06-09T19:10:44Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Technique d'optimisation d'une [[Réseau autoattentif|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention. <br /> <br /> == Compléments == <br /> Au lieu de comparer tous les [[jeton textuel|jetons textuels]] entre eux, un processus de sélection concentre l'attention sur certains jetons en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des jetons, etc.<br /> <br /> Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI. <br /> <br /> == Français ==<br /> '''attention clairsemée'''<br /> <br /> '''attention parcimonieuse'''<br /> <br /> '''attention creuse'''<br /> <br /> '''attention clairsemée native'''<br /> <br /> == Anglais ==<br /> '''sparse attention'''<br /> <br /> '''native sparse attention'''<br /> <br /> Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.<br /> <br /> ==Sources==<br /> [https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]<br /> <br /> [https://fr.wikipedia.org/wiki/Attention_(apprentissage_automatique) Wikipedia - attention clairsemée]<br /> <br /> [https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attention_clairsem%C3%A9e&diff=128219 Attention clairsemée 2026-06-09T19:10:21Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Technique d'optimisation d'une [[Réseau autoattentif|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention. <br /> <br /> == Compléments == <br /> Au lieu de comparer tous les [[jeton textuel|jetons textuels]] entre eux, un processus de sélection concentre l'attention sur certains jetons en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des jetons, etc.<br /> <br /> Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI. <br /> <br /> == Français ==<br /> '''attention clairsemée'''<br /> <br /> '''attention parcimonieuse'''<br /> <br /> '''attention creuse'''<br /> <br /> '''attention clairsemée native'''<br /> <br /> == Anglais ==<br /> '''sparse attention'''<br /> <br /> '''native sparse attention'''<br /> <br /> Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.<br /> <br /> ==Sources==<br /> [https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]<br /> <br /> [https://fr.wikipedia.org/wiki/Attention_(apprentissage_automatique) Wikipedia - attention clairsemée]<br /> <br /> [https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publications]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Puits_d%27attention&diff=128216 Puits d'attention 2026-06-09T19:08:52Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ce terme peut désigner le phénomène ou le type de '''[[jeton textuel]]''' concerné par le phénomène. <br /> <br /> Phénomène présent dans tous les '''[[Grand modèle de langues (GML)| grands modèles de langues]]''' '''[[Modèle autorégressif|autorégressifs]]''', dans lesquels les premiers [[jeton textuel|jetons textuels]] représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique. <br /> <br /> == Compléments ==<br /> Ce phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''. <br /> <br /> La raison pour laquelle les [[jeton textuel|jetons textuels]] initiaux sont considérés comme des « jetons puits » est intuitive : ils sont visibles par presque tous les [[jeton textuel|jetons]] suivants en raison de la nature autorégressive du modèle, ce qui les rend plus aptes à servir de « puits d'attention ».<br /> <br /> == Français ==<br /> ''' puits d'attention'''<br /> <br /> == Anglais ==<br /> ''' attention sink'''<br /> <br /> ''This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. ''<br /> <br /> ''The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.''<br /> <br /> ''This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others.''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2309.17453 Source : arxiv]<br /> <br /> [https://arxiv.org/abs/2410.10781 Source : arxiv]<br /> <br /> [https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attention_clairsem%C3%A9e&diff=128215 Attention clairsemée 2026-06-09T19:07:51Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Technique d'optimisation d'une [[Réseau autoattentif|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention. <br /> <br /> == Compléments == <br /> Au lieu de comparer tous les [[jeton textuel|jetons textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des jetons, etc.<br /> <br /> Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI. <br /> <br /> == Français ==<br /> '''attention clairsemée'''<br /> <br /> '''attention parcimonieuse'''<br /> <br /> '''attention creuse'''<br /> <br /> '''attention clairsemée native'''<br /> <br /> == Anglais ==<br /> '''sparse attention'''<br /> <br /> '''native sparse attention'''<br /> <br /> Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.<br /> <br /> ==Sources==<br /> [https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]<br /> <br /> [https://fr.wikipedia.org/wiki/Attention_(apprentissage_automatique) Wikipedia - attention clairsemée]<br /> <br /> [https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Puits_d%27attention&diff=128214 Puits d'attention 2026-06-09T19:05:39Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ce terme peut désigner le phénomène ou le type de '''[[jeton textuel]]''' concerné par le phénomène. <br /> <br /> Phénomène présent dans tous les '''[[Grand modèle de langues (GML)| grands modèles de langues]]''' '''[[Modèle autorégressif|autorégressifs]]''', dans lesquels les premiers [[jeton textuel|jetons textuels]] représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique. <br /> <br /> == Compléments ==<br /> Ce phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''. <br /> <br /> La raison pour laquelle les [[jeton textuel|jetons textuels]] initiaux sont considérés comme des « segments puits » est intuitive : ils sont visibles par presque tous les [[jeton textuel|jetons]] suivants en raison de la nature autorégressive du modèle, ce qui les rend plus aptes à servir de « puits d'attention ».<br /> <br /> == Français ==<br /> ''' puits d'attention'''<br /> <br /> == Anglais ==<br /> ''' attention sink'''<br /> <br /> ''This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. ''<br /> <br /> ''The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.''<br /> <br /> ''This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others.''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2309.17453 Source : arxiv]<br /> <br /> [https://arxiv.org/abs/2410.10781 Source : arxiv]<br /> <br /> [https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Puits_d%27attention&diff=128210 Puits d'attention 2026-06-09T19:04:58Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ce terme peut désigner le phénomène ou le type de '''[[jeton textuel]]''' concerné par le phénomène. <br /> <br /> Phénomène présent dans tous les '''[[Grand modèle de langues (GML)| grands modèles de langues]]''' '''[[Modèle autorégressif|autorégressifs]]''', dans lesquels les premiers [[jeton textuel|jetons textuels]] représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique. <br /> <br /> == Compléments ==<br /> Ce phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''. <br /> <br /> La raison pour laquelle les [[jeton textuel|jetons textuels]] initiaux sont considérés comme des « segments puits » est intuitive : ils sont visibles par presque tous les [[jeton textuel|jetons]] suivants en raison de la nature autorégressive du modèle, ce qui les rend plus aptes à servir de « puits d'attention ».<br /> <br /> == Français ==<br /> ''' puits d'attention'''<br /> <br /> == Anglais ==<br /> ''' attention sink'''<br /> <br /> ''This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. ''<br /> <br /> ''The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.''<br /> <br /> ''This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others.''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2309.17453 Source : arxiv]<br /> <br /> [https://arxiv.org/abs/2410.10781 Source : arxiv]<br /> <br /> [https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Encodage_positionnel&diff=128209 Encodage positionnel 2026-06-09T18:54:10Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Méthode des '''[[Réseau autoattentif|réseaux autoattentifs]]''' qui aide à préserver l’ordre séquentiel des '''[[jeton textuel|jetons textuels]]''' (tokens) en ajoutant des informations sur la position de chaque '''[[jeton textuel|segment]]''' dans la séquence, ce qui leur permet d’avoir une meilleure compréhension '''[[Fenêtre contextuelle|contextuelle]]''' et d’éviter les problèmes de symétrie.<br /> <br /> == Français ==<br /> ''' encodage positionnel '''<br /> <br /> == Anglais ==<br /> '''positional encoding'''<br /> <br /> ''' PE'''<br /> <br /> &lt;!--Positional encoding refers to a method in transformer models that helps to maintain the sequential order of words. This is a crucial component for understanding the context within a sentence and between sentences.--&gt;<br /> == Sources ==<br /> [https://www.kdnuggets.com/generative-ai-key-terms-explained Source : kdnuggets]<br /> <br /> [https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-eng.html?lang=eng&amp;i=1&amp;srchtxt=POSITIONAL+ENCODING&amp;index=alt&amp;codom2nd_wet=1#resultrecs Source : TERMIUM Plus]<br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attention_%C3%A9clair&diff=128207 Attention éclair 2026-06-09T18:53:04Z <p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> <br /> Ce concept regroupe différentes approches algorithmiques pour augmenter la performance en temps d'exécution et/ou en mémoire du [[mécanisme d'attention]] original. <br /> <br /> Sur le plan technique, il existe différentes implémentations qui dépendent entre autres de l'organisation matérielle des processeurs graphiques, souvent pour un fabricant de puces en particulier.<br /> <br /> == Compléments ==<br /> <br /> Les [[Réseau autoattentif|couches d'auto-attention]] permettent de comprendre les relations contextuelles entre les données d'entrée. Cependant, la consommation maximale de mémoire des [[processeur graphique|processeurs graphiques]] pour les [[Réseau autoattentif|couches d'auto-attention]] augmente de manière quadratique avec la longueur de la séquence d’entrée. Ainsi, l'[[Réseau autoattentif|algorithme d'auto-attention classique]] devient rapidement prohibitif en termes de mémoire pour les longs contextes d'entrée.<br /> <br /> Afin de résoudre ce problème, Tri Dao et al. ont inventé en 2022 l'algorithme d'attention éclair (FlashAttention) dont le coût en mémoire n'augmente que linéairement avec la longueur de la séquence d'entrée. Évidemment, l’algorithme d’attention éclair est un peu plus lent. En contrepartie, l'attention-éclair est plus rapide en inférence que l'attention classique car elle réduit considérablement les accès mémoires plus lents du processeur graphique en se concentrant plutôt sur la mémoire vive statique (SRAM) qui est plus rapide.<br /> <br /> Le mécanisme d'attention éclair proposé par Qin &amp; al. en 2023, appelé '''lightning attention''', fait appel à une approximation qui s'exécute en temps linéaire alors que le mécanisme d'attention original s'exécute en temps quadratique. Cette amélioration est basée sur la [[normalisation du gradient]] pour lutter contre l'[[explosion du gradient]] et l'utilisation privilégiée de la diagonale de la matrice d'attention c.-à-d. les [[jeton textuel|jetons textuels]] voisins pour lutter contre l'[[évanescence du gradient]].<br /> <br /> ==Français==<br /> '''attention éclair'''<br /> <br /> '''attention flash''' &lt;small&gt;''Calque de l'anglais''&lt;/small&gt;<br /> <br /> ==Anglais==<br /> '''FlashAttention''' &lt;small&gt;'' Proposition originale de Tri Dao et al. (2022)''&lt;/small&gt;<br /> <br /> '''flash attention'''<br /> <br /> '''lightning attention'''<br /> <br /> ==Sources==<br /> <br /> [https://arxiv.org/pdf/2407.08608v2 - arxiv - Jay Shah &amp; al. 2024 - FlashAttention-3]<br /> <br /> [https://arxiv.org/pdf/2307.14995v1 - arxiv - Qin &amp; al. 2023 - Lightning Attention]<br /> <br /> [https://arxiv.org/abs/2205.14135 - arxiv - Tri Dao et al. (2022) - FlashAttention]<br /> <br /> [https://gordicaleksa.medium.com/eli5-flash-attention-5c44017022ad Source: Medium]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Suppression_de_segment_textuel&diff=128206 Suppression de segment textuel 2026-06-09T18:49:13Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Suppression de segment textuel vers Suppression de jeton textuel</p> <hr /> <div>#REDIRECTION [[Suppression de jeton textuel]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Suppression_de_jeton&diff=128205 Suppression de jeton 2026-06-09T18:49:12Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Suppression de segment textuel vers Suppression de jeton textuel</p> <hr /> <div>== Définition ==<br /> Technique utilisée pour le '''[[préentraînement]]''' d’un '''[[modèle de langue|modèle]]''' où les '''[[jeton textuel|jetons textuels]]''' sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées.<br /> <br /> == Français ==<br /> ''' suppression de jeton textuel'''<br /> <br /> ''' destruction de jeton textuel'''<br /> <br /> == Anglais ==<br /> ''' token deletion'''<br /> <br /> &lt;!--''Token deletion takes the original sentence and randomly deletes a token from the sequence. Tokens are randomly removed from the documents. The model is pre-trained to determine tokens at which positions are removed.''--&gt;<br /> == Sources ==<br /> [https://arxiv.org/abs/2405.12630 Source : arxiv]<br /> <br /> [https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub]<br /> <br /> [[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Suppression_de_jeton&diff=128203 Suppression de jeton 2026-06-09T18:47:48Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Technique utilisée pour le '''[[préentraînement]]''' d’un '''[[modèle de langue|modèle]]''' où les '''[[jeton textuel|jetons textuels]]''' sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées.<br /> <br /> == Français ==<br /> ''' suppression de jeton textuel'''<br /> <br /> ''' destruction de jeton textuel'''<br /> <br /> == Anglais ==<br /> ''' token deletion'''<br /> <br /> &lt;!--''Token deletion takes the original sentence and randomly deletes a token from the sequence. Tokens are randomly removed from the documents. The model is pre-trained to determine tokens at which positions are removed.''--&gt;<br /> == Sources ==<br /> [https://arxiv.org/abs/2405.12630 Source : arxiv]<br /> <br /> [https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub]<br /> <br /> [[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Surconsommation_de_jetons_textuels&diff=128198 Surconsommation de jetons textuels 2026-06-09T18:43:11Z <p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> Action de dépenser délibérément un maximum de [[jeton textuel|jetons textuels]] alloué à un [[Grand modèle de langues (GML)|grand modèle de langues (GLM)]].<br /> <br /> == Compléments ==<br /> La surconsommation de jetons est souvent le résultat de l'exécution de plusieurs agents dédiés à différents sous-tâches (typiquement de programmation) simultanément. <br /> <br /> ==Français==<br /> '''surconsommation de jetons'''<br /> <br /> '''surconsommation de jetons textuels'''<br /> <br /> '''maximisation de jetons'''<br /> <br /> '''maximisation de jetons textuels'''<br /> <br /> ==Anglais==<br /> '''tokenmaxxing'''<br /> <br /> '''token maxxing'''<br /> <br /> '''token maxing'''<br /> <br /> ==Sources==<br /> [https://en.wikipedia.org/wiki/Token_maxxing Forbes - tokenmaxxing]<br /> <br /> [https://en.wikipedia.org/wiki/Token_maxxing Wikipedia - token maxxing]<br /> <br /> [https://www.lesaffaires.com/mon-entreprise/management-et-rh/tokenmaxxing-quand-lia-cree-de-nouvelles-inegalites-rh/ Les affaires]<br /> <br /> [https://www.01net.com/actualites/comment-le-tokenmaxxing-transforme-lusage-de-lia-en-competition-chez-les-geants-de-la-tech.html 01net]<br /> <br /> [[Categorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Surconsommation_de_jetons_textuels&diff=128196 Surconsommation de jetons textuels 2026-06-09T18:41:29Z <p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> Action de dépenser délibérément un maximum de [[jeton textuel|jetons textuels]] alloué à un [[Grand modèle de langues (GML)|grand modèle de langues (GLM)]].<br /> <br /> == Compléments ==<br /> La surconsommation de jetons est souvent le résultat de l'exécution de plusieurs agents dédiés à différents sous-tâches (typiquement de programmation) simultanément. <br /> <br /> ==Français==<br /> '''surconsommation de jetons'''<br /> <br /> '''maximisation de jetons'''<br /> <br /> ==Anglais==<br /> '''tokenmaxxing'''<br /> <br /> '''token maxxing'''<br /> <br /> '''token maxing'''<br /> <br /> ==Sources==<br /> [https://en.wikipedia.org/wiki/Token_maxxing Forbes - tokenmaxxing]<br /> <br /> [https://en.wikipedia.org/wiki/Token_maxxing Wikipedia - token maxxing]<br /> <br /> [https://www.lesaffaires.com/mon-entreprise/management-et-rh/tokenmaxxing-quand-lia-cree-de-nouvelles-inegalites-rh/ Les affaires]<br /> <br /> [https://www.01net.com/actualites/comment-le-tokenmaxxing-transforme-lusage-de-lia-en-competition-chez-les-geants-de-la-tech.html 01net]<br /> <br /> [[Categorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Surconsommation_de_jetons_textuels&diff=128195 Surconsommation de jetons textuels 2026-06-09T18:40:56Z <p>Patrickdrouin : Page créée avec « ==Définition== Action de dépenser délibérément un maximum de jetons textuels alloué à un grand modèle de langues (GLM). == Compléments == La surconsommation de jetons est souvent le résultat de l&#039;exécution de plusieurs agents dédiés à différents sous-tâches (typiquement de programmation) simultanément. ==Français== &#039;&#039;&#039;surconsommation de jetons&#039;&#039;&#039; &#039;&#039;&#039;maximisation de jetons&#039;&#039;&#039; ==Anglais== &#039;... »</p> <hr /> <div>==Définition==<br /> Action de dépenser délibérément un maximum de [[jeton textuel|jetons textuels]] alloué à un [[Grand modèle de langues (GML)|grand modèle de langues (GLM)]].<br /> <br /> == Compléments ==<br /> La surconsommation de jetons est souvent le résultat de l'exécution de plusieurs agents dédiés à différents sous-tâches (typiquement de programmation) simultanément. <br /> <br /> ==Français==<br /> '''surconsommation de jetons'''<br /> <br /> '''maximisation de jetons'''<br /> <br /> ==Anglais==<br /> '''tokenmaxxing'''<br /> <br /> '''token maxxing'''<br /> <br /> '''token maxing''<br /> <br /> ==Sources==<br /> [https://en.wikipedia.org/wiki/Token_maxxing Forbes - tokenmaxxing]<br /> <br /> [https://en.wikipedia.org/wiki/Token_maxxing Wikipedia - token maxxing]<br /> <br /> [https://www.lesaffaires.com/mon-entreprise/management-et-rh/tokenmaxxing-quand-lia-cree-de-nouvelles-inegalites-rh/ Les affaires]<br /> <br /> [https://www.01net.com/actualites/comment-le-tokenmaxxing-transforme-lusage-de-lia-en-competition-chez-les-geants-de-la-tech.html 01net]<br /> <br /> [[Categorie:Publication]]</div> Patrickdrouin