DeepSeek julkaisi avoimen lähdekoodin päättelykehyksen Nvidia- ja Huawei-tuelle

DeepSeek on julkaissut 20. lokakuuta DeepInfer-päättelykehyksen, joka on suunniteltu tehostamaan suurten kielimallien palveluiden suorituskykyä. Kehyksen keskeisiä ominaisuuksia ovat hajautettu päättely, spekulatiivinen dekoodaus sekä rakenteellinen tulostus. Työkalu tukee tällä hetkellä Nvidian grafiikkaprosessoreita ja Huawein Ascend-suorittimia.

Samalla yhtiö avasi lähdekoodin deepseek-recipe-komponentille, joka hallinnoi API-pyyntöjä sekä mallien syötteiden ja tulosteiden käsittelyä. Teknologian tavoitteena on vähentää laskentakustannuksia ja energiankulutusta optimoimalla viivettä ja suorituskykyä yritysympäristöissä.

DeepInfer tukee tällä hetkellä DeepSeek-V4.1-Flash-1017-mallia. Yhtiö on ilmoittanut jatkavansa päättelykoodin ja optimointien julkaisemista vastaavalla tavalla tuleville malliversioille.