Alibaba Cloudin sirut tukevat nyt Kimi K3 -tekoälymallia

Alibaba Cloud ilmoitti 28. heinäkuuta, että sen Lingjun Zhenwu M890 -suorituskykyiset instanssit on onnistuneesti sovitettu 2,8 biljoonan parametrin suuriin kielimalleihin Kimi K3. Tämä yhdistetty optimointi sirujen, päättelyalustojen ja mallien välillä parantaa merkittävästi mallin päättelytehokkuutta.

Kimi K3 on Moonshot AI:n uusin lippulaivamalli, joka tunnetaan 2,8 biljoonan parametrin kokoluokastaan ja hybridiasiantuntija (MoE) -arkkitehtuuristaan. Lingjun Zhenwu -instanssit on rakennettu Pingtouge AI -sirujen (Zhenwu M890) sekä ICN Switch 1.0 -yhteyspiirin ympärille.

Teknologia mahdollistaa 64 M890-sirun nopean 800 GB/s yhteyden, ja 9 teratavun muistikapasiteetti tukee biljoonan parametrin MoE-mallien suorituskykyä. Tämä varmistaa tehokkaan token-generoinnin.

Yhteistyössä Alibaba Cloudin, Pingtougen ja Kimi-tiimin välillä malli saavutettiin "Day0-yhteensopivuus" ohjelmistopin ja muiden tasojen syvän integraation kautta. Zhenwu-sirun T-Head SAIL -ohjelmistopakkaus mahdollistaa Kimi-tiimin itse kehittämän Mooncake-päättelykehyksen "avaimet käteen" -käyttöönoton, mikä vähentää merkittävästi sovitustyötä.