IT Home: Moore Threads GPU so Adapts to Meituan's Large AI Model
IT Home (China): Moore Threads announces its MTT S5000 GPU and MUSA software stack have been adapted for Meituan's newly open-sourced LongCat-2.0 large AI model, enabling efficient inference.
Kiinalainen teknologiayritys IT Home raportoi 6. heinäkuuta, että Moore Threads on saanut sovitettua Meituanin hiljattain avoimesti julkaiseman LongCat-2.0 suuren tekoälymallin laitteistoilleen.
Sopeutus koskee koko prosessia mallin lataamisesta ja päättelymoottorin käynnistämisestä aina keskeisten laskentaoperaatioiden optimointiin ja käyttöönoton todentamiseen. LongCat-2.0 pystyy nyt toimimaan tehokkaasti Moore Threadsin MTT S5000 -tekoälykiihdytinkortilla. Nämä kortit on suunniteltu tekoälyn koulutukseen ja päättelyyn.
LongCat-2.0 on Meituanin itse kehittämä MoE (Mixture of Experts) -arkkitehtuuriin perustuva malli, jonka parametrimäärä ylittää biljoona. Se on suunniteltu erityisesti koodin generointiin ja tukee miljoonaa tokenia pitkiä konteksteja. Malli hyödyntää optimointeja, kuten harvaa tarkkaavaisuusmekanismia, tehostaakseen resurssien käyttöä.
Moore Threadsin mukaan MTT S5000 -korttien natiivi FP8-laskentatuki ja suuri muistikapasiteetti yhdessä MUSA-ohjelmistopinon kanssa tarjoavat vakaan perustan pitkien tekstien käsittelyyn ja nopeuttavat mallin vastausaikoja. Yritys korostaa standardoidun sovitusprosessin nopeuttavan uusien mallien käyttöönottoa kiinalaisilla tekoälyalustoilla.