Nvidia : les mathématiques linéaires simples peuvent remplacer les transferts coûteux de modèles d'IA

Des chercheurs de Nvidia ont mis au point une nouvelle technique pour réduire considérablement les coûts et la latence associés aux changements entre différents modèles d'IA. Cette approche utilise des mathématiques linéaires simples, éliminant le besoin de recalculer l'intégralité de l'historique de la conversation lors d'un changement de modèle.

Ce problème est particulièrement répandu dans les systèmes d'IA complexes où les modèles plus petits gèrent les tâches de routine et les modèles plus grands effectuent un raisonnement plus complexe. Lorsque le système change de modèle en cours de processus, le modèle récepteur doit redémarrer à partir de zéro, ce qui augmente les besoins de calcul et ralentit les opérations. Cela constitue un goulot d'étranglement important pour les applications d'entreprise qui dépendent de flux de travail étendus.

La solution de Nvidia utilise une technique de « transfert de cache KV inter-modèles ». Elle permet le transfert direct de la mémoire pré-calculée (cache KV) d'un modèle source vers un modèle cible. Les résultats expérimentaux indiquent que pour les paires de modèles compatibles, cette méthode est 2,7 à 25 fois plus rapide que la recomputation, tout en conservant jusqu'à 98 % de la précision autonome du modèle cible.

L'étude a révélé que le transfert de mémoire entre les modèles est intrinsèquement linéaire. Cela permet d'effectuer la conversion à l'aide de méthodes algébriques simples, sans nécessiter d'entraînement intensif de réseaux neuronaux. Les chercheurs ont développé une méthode exploitant des modèles de régression linéaire qui prend en compte les différences entre les différentes couches de modèles.

Cette technique offre des économies de coûts et des performances améliorées pour les entreprises utilisant des flux de travail d'IA longs et multi-étapes. La recherche de Nvidia ouvre de nouvelles voies pour optimiser et améliorer l'efficacité des applications d'IA.