DeepSeek publie un framework d'inférence open source pour les puces Nvidia et Huawei

DeepSeek a lancé le 20 octobre son framework d'inférence, DeepInfer, utilisé pour ses services de modèles à grande échelle. Ce framework prend désormais en charge les processeurs graphiques Nvidia ainsi que les processeurs Ascend de Huawei. Il offre des fonctionnalités telles que l'inférence distribuée, le décodage spéculatif et la génération de données structurées.

En parallèle, l'entreprise a rendu open source deepseek-recipe, un composant destiné à gérer les requêtes API ainsi que le traitement des entrées et sorties des modèles. Cette initiative vise à permettre aux entreprises d'améliorer le débit et la latence, tout en réduisant les coûts de calcul et la consommation énergétique associée.

DeepInfer prend actuellement en charge le modèle DeepSeek-V4.1-Flash-1017. La société a indiqué qu'elle continuerait à publier du code d'inférence et des optimisations pour ses futurs modèles par le biais de ce projet.