IT Home: Moore Threads GPU an Meituans LongCat-2.0 KI-Modell angepasst
IT Home (China) berichtet, dass die MTT S5000 GPU von Moore Threads und der MUSA-Software-Stack an Meituans neu open-sourced LongCat-2.0 großes KI-Modell angepasst wurden, was eine effiziente Inferenz ermöglicht.
Das chinesische Technologieportal IT Home berichtete am 6. Juli, dass Moore Threads die Anpassung von Meituans kürzlich als Open Source veröffentlichtem großem KI-Modell LongCat-2.0 an seine Hardware abgeschlossen hat.
Der Anpassungsprozess umfasst die gesamte Kette, vom Laden des Modells und dem Start der Inferenz-Engine bis zur Optimierung kritischer Rechenoperationen und der Verifizierung der Bereitstellung. Das LongCat-2.0-Modell kann nun effizient auf den KI-Beschleunigerkarten von Moore Threads, den MTT S5000, ausgeführt werden, die für das Training und die Inferenz von KI konzipiert sind.
LongCat-2.0 ist ein neues MoE-Modell (Mixture of Experts) von Meituan mit über einer Billion Parametern. Es wurde speziell für Agenten-Codierungsaufgaben entwickelt und unterstützt nativ Kontextfenster von bis zu einer Million Tokens, wobei Mechanismen wie Sparse Attention zur Verbesserung der Ressourcennutzung eingesetzt werden.
Moore Threads gab an, dass die MTT S5000-Karten mit ihrer nativen FP8-Beschleunigung und großen Speicherkapazität, kombiniert mit dem MUSA-Software-Stack, eine stabile Grundlage für die Verarbeitung langer Kontexte und die Verbesserung von Antwortzeiten bieten. Das Unternehmen betonte, dass ein standardisierter Anpassungsprozess die Bereitstellung von Spitzenmodellen auf heimischen Rechenplattformen beschleunigt.