LongVie

Définition

Architecture pour la génération de vidéos ultra-longues qui traite la cohérence temporelle et la dégradation visuelle dans la génération de telles vidéos. LongVie est guidé à la fois par des signaux de contrôle denses et creux, avec une stratégie d'entraînement tenant compte de la dégradation afin d'équilibrer la contribution des modalités.

Les principales limites rencontrées lors de l'application des modèles actuels à la génération de vidéos longues sont l'incohérence temporelle et la dégradation de la qualité.

Français

LongVie

Anglais

LongVie

Controllable ultra-long video generation framework that addresses temporal consistency and visual degradation in ultra-long video generation. It is guided by both dense and sparse control signals, with a degradation-aware training strategy to balance the contribution of the modalities.

The primary limitations encountered when applying current controllable models to long video generation are temporal inconsistency and quality degradation.

Sources

Source : arxiv

Source : huggingface