DeepSeek aktualisiert Flash-Modell und veröffentlicht Open-Source-Inferenz-Framework

DeepSeek hat am 17. Oktober ein Update für sein V4.1 Flash-KI-Modell veröffentlicht. Nach Angaben des Unternehmens zeigt die neue Version V4.1-Flash-1017 Leistungsverbesserungen bei Programmier- und Agentenaufgaben. Die internen Testergebnisse belegen einen Anstieg des Terminal-Bench 4.0-Scores von 31,2 auf 42,3. Beim DeepSWE v1.1-Coding-Benchmark erreicht das Modell laut Anbieter eine Erfolgsquote von 77 Prozent bei Kosten von etwa 0,20 US-Dollar pro Aufgabe.

Begleitend dazu wurde das Inferenz-Framework DeepInfer als Open Source zur Verfügung gestellt. Das Framework, das bisher intern für die Produktionsdienste von DeepSeek genutzt wurde, dient der Optimierung der Rechenressourcennutzung, um Latenzzeiten zu verringern und den Durchsatz zu erhöhen. Es unterstützt derzeit Nvidia SM100-GPUs sowie Huawei Ascend 950-NPUs. Die Dokumentation weist darauf hin, dass es sich nicht um einen vollständigen Inferenz-Stack handelt, weshalb Entwickler für eine produktionsreife Implementierung, etwa beim Lastenausgleich, eigene Anpassungen vornehmen müssen.

Mit diesen Veröffentlichungen reagiert DeepSeek auf den wachsenden Druck in der Branche, die hohen Kosten für den Betrieb großer KI-Modelle zu reduzieren. Ob sich die Effizienzgewinne der eigenen Benchmarks in der Praxis bestätigen, hängt jedoch maßgeblich von den spezifischen Workloads und der Implementierung durch Entwickler ab. Der Fokus liegt dabei sowohl auf der Optimierung der Modellarchitektur als auch auf der Bereitstellung der für den Betrieb notwendigen Infrastruktur-Tools.