Alibaba Clouds chipstöd nu för Kimi K3 AI-modell

Alibaba Cloud meddelade den 28 juli att deras Lingjun Zhenwu M890 supernodsinstanser framgångsrikt har anpassats för Kimi K3, en stor språkmodell med 2,8 biljoner parametrar. Genom gemensam optimering av chip, inferensplattformar och modeller har modellens inferenshastighet förbättrats effektivt.

Kimi K3 är Moonshot AI:s senaste flaggskeppsmodell, som utmärker sig genom sin storlek på 2,8 biljoner parametrar och sin Hybrid Expert (MoE) arkitektur. Lingjun Zhenwu supernodsinstanser är byggda kring Pingtouge AI:s Zhenwu M890 chip och ICN Switch 1.0-chip för interconnect.

Tekniken möjliggör en höghastighetskoppling på 800 GB/s mellan 64 M890-chip, med en total minneskapacitet på 9 TB. Detta är avsett att hantera den stora mängden data som krävs för biljon-parametrar MoE-modeller, vilket säkerställer effektiv token-generering.

Genom djupgående samordning mellan Alibaba Cloud, Pingtouge och Kimi-teamet på nivåer som mjukvarustack har "Day0-anpassning" av Kimi K3 uppnåtts. Zhenwu-chippens T-Head SAIL-mjukvarustack gör det möjligt för Kimi:s egenutvecklade Mooncake-inferensramverk att köras direkt ur lådan. Detta minskar avsevärt anpassningsarbetet för utvecklare.