DeepSeek uppdaterar Flash-modell och släpper ramverk för inferens
DeepSeek har lanserat en uppdaterad version av sin V4.1 Flash-modell samt sitt interna ramverk DeepInfer, i syfte att förbättra prestanda och minska kostnaderna för AI-körning.
Den 17 oktober släppte DeepSeek en uppdatering av sin modell V4.1 Flash. Enligt företaget uppvisar den nya versionen, V4.1-Flash-1017, förbättrad förmåga inom programmering och agentuppgifter. Interna benchmark-tester visar att modellen uppnådde en högre poäng på Terminal-Bench 4.0 och presterade väl i DeepSWE v1.1-testet till en kostnad om cirka 0,20 dollar per uppgift.
Utöver modelluppdateringen har DeepSeek gjort sitt inferensramverk, DeepInfer, tillgängligt som öppen källkod. Ramverket, som används i företagets produktionstjänster, är utformat för att hantera resursallokering och optimera hårdvaruanvändning. Det har stöd för Nvidia SM100-GPU:er och Huaweis Ascend 950-NPU:er. Dokumentationen klargör dock att ramverket inte utgör en komplett tjänstestack, då funktioner som lastbalansering i vissa fall kräver ytterligare konfiguration.
Genom att tillhandahålla dessa verktyg adresserar DeepSeek de höga driftkostnader som präglar storskalig AI-användning. Företagets satsning syftar till att effektivisera både modellens beräkningskrav och den underliggande infrastrukturen. Den praktiska nyttan för externa utvecklare återstår dock att se, då den beror på hur effektivt ramverket kan integreras i specifika produktionsmiljöer och hårdvarukonfigurationer.