Moreh présente l'inférence de grands modèles de langage sur GPU AMD

La société de logiciels d'infrastructure pour l'intelligence artificielle (IA), Moreh, a participé à AMD Advancing AI 2026, l'événement annuel d'AMD dédié à l'IA, qui s'est tenu à San Francisco du 22 au 23 juillet 2026. L'entreprise y a présenté son MoAI Inference Framework, une solution d'inférence distribuée pour les grands modèles de langage (LLM), fonctionnant sur des GPU AMD.

Lors de l'événement, Moreh a effectué une démonstration en direct du LLM GLM-5.1 alimenté par le MoAI Inference Framework sur un système utilisant 32 GPU AMD Instinct MI300X répartis sur quatre nœuds. Les participants ont pu interagir avec un chatbot pour évaluer sa vitesse de réponse et la qualité du service, tout en observant en temps réel les métriques clés d'inférence telles que l'utilisation du GPU et le nombre de tokens par seconde (TPS).

Le MoAI Inference Framework de Moreh est conçu pour réduire le coût des services d'IA grâce à l'inférence distribuée et au calcul hétérogène. Cette technologie vise à relever le défi de l'augmentation des coûts d'infrastructure et de service associés à des modèles d'IA de plus en plus volumineux, en fournissant une infrastructure d'inférence plus efficace.

"Cet événement a offert aux clients mondiaux l'opportunité de vérifier de première main que des performances d'inférence de premier plan peuvent être atteintes dans des environnements GPU AMD", a déclaré Gangwon Jo, PDG de Moreh. L'entreprise prévoit de continuer à améliorer son logiciel d'infrastructure d'IA afin de permettre aux entreprises d'exploiter les services d'IA aussi efficacement que possible, quelle que soit la plateforme GPU sous-jacente.