IT Home: Moore Threads GPU har anpassat Meituans Stora AI-modell
IT Home (Kina): Moore Threads meddelar att deras MTT S5000 GPU och MUSA-mjukvarustack har anpassats för Meituans nyligen öppet källkodade LongCat-2.0 stora AI-modell, vilket möjliggör effektiv inferens.
Det kinesiska teknikmediet IT Home rapporterade den 6 juli att Moore Threads har slutfört anpassningen av Meituans nyligen öppet tillgängliggjorda stora AI-modell, LongCat-2.0, till sin hårdvara.
Anpassningsarbetet omfattar hela processen från laddning av modellen och start av inferensmotorn till optimering av kritiska beräkningsoperationer och verifiering av driftsättning. LongCat-2.0 kan nu köras effektivt på Moore Threads MTT S5000 AI-acceleratorkort, som är designade för AI-träning och inferens.
LongCat-2.0 är en MoE-arkitekturmodell (Mixture of Experts) utvecklad av Meituan, med över en biljon parametrar. Modellen är specifikt utformad för kodgenerering och stöder mycket långa kontexter på upp till en miljon tokens. Den använder optimeringar som en sparsam uppmärksamhetsmekanism för att förbättra resursanvändningen.
Moore Threads uppger att MTT S5000-korten, med sitt inbyggda stöd för FP8-precision och stor minneskapacitet, tillsammans med MUSA-mjukvarustacken, ger en stabil grund för bearbetning av långa texter och snabbare svarstider för modellen. Företaget betonar att den standardiserade anpassningsprocessen påskyndar driftsättningen av nya modeller på kinesiska AI-plattformar.