KV Cache
en construction
Définition
Technique utilisée pour accélérer l'inférence dans les modèles d'apprentissage automatique, en particulier dans les modèles autorégressifs. Elle consiste à cacher les clés et les valeurs antérieures afin d'éliminer le besoin de les recalculer pour chaque nouveau segment textuel. Ceci réduit considérablement la taille des matrices utilisées dans les calculs et accélère les multiplications matricielles.
Autrement dit, le modèle utilisant cette technique réutilise les calculs passés pour obtenir des résultats plus rapides, ce qui lui permet de rester rapide même avec des textes plus longs et d'éviter les calculs répétitifs.
Français
XXXXXXXXX
Anglais
KV Cache
A technique used to accelerate the inference process in machine learning models, particularly in autoregressive models. It involves caching the previous keys and values, so we don’t need to recalculate them for each new token, thus reducing the size of matrices used in calculations, making matrix multiplications faster. The model employing this technique reuses past calculations for faster results, so it stays fast even with longer texts by avoiding repeated work.
Sources
Contributeurs: Arianne Arel, wiki
