DeepSeek lanserar ramverk för inferens med stöd för Nvidia och Huawei

DeepSeek har den 20 oktober gjort sitt ramverk för inferens, DeepInfer, tillgängligt som öppen källkod. Verktyget, som driver bolagets egna storskaliga tjänster, är kompatibelt med både Nvidia-GPU:er och Huaweis Ascend-processorer. Systemet erbjuder funktioner för distribuerad inferens, spekulativ avkodning och strukturerad utmatning.

Utöver ramverket har DeepSeek även publicerat deepseek-recipe, en komponent utformad för att hantera API-anrop samt bearbetning av indata och utdata. Syftet med tillgängliggörandet är att ge utvecklare möjligheter att förbättra genomströmning och sänka latens, samt att reducera den totala energiförbrukningen vid körning av modeller.

DeepInfer har stöd för DeepSeek-V4.1-Flash-1017. Bolaget planerar att löpande släppa kod och optimeringar för framtida modellversioner genom samma projekt.