DeepSeek veröffentlicht Open-Source-Framework für Nvidia- und Huawei-Chips

DeepSeek hat am 20. Oktober sein Inferenz-Framework DeepInfer als Open Source zur Verfügung gestellt. Die Software, die ursprünglich für den internen Betrieb großer Modellservices entwickelt wurde, unterstützt nun sowohl Nvidia-GPUs als auch Ascend-Prozessoren von Huawei. Zu den technischen Kernfunktionen gehören verteilte Inferenz, spekulative Dekodierung und strukturierte Datenausgabe.

Zusätzlich wurde die Komponente deepseek-recipe veröffentlicht, die API-Anfragen verarbeitet und die Ein- und Ausgabeprozesse der Modelle verwaltet. Ziel der Veröffentlichung ist es, Entwicklern zu helfen, die Latenzzeiten und den Durchsatz zu optimieren sowie den Energieverbrauch und die Rechenkosten zu senken.

Das Framework unterstützt aktuell das Modell DeepSeek-V4.1-Flash-1017. DeepSeek plant, im Rahmen dieses Projekts fortlaufend Inferenz-Code und Optimierungen für künftige Modellgenerationen bereitzustellen.