Moreh visade storskalig AI-inferens på AMD-GPU:er i San Francisco

AI-infrastrukturprogramvaruföretaget Moreh deltog i AMD Advancing AI 2026, AMD:s årliga AI-konferens i San Francisco, den 22–23 juli 2026. Företaget visade upp sitt MoAI Inference Framework, en lösning för distribuerad inferens av stora språkmodeller (LLM) på AMD:s grafikkprocessorer (GPU:er).

Vid evenemanget demonstrerade Moreh live hur GLM-5.1 LLM kördes med hjälp av MoAI Inference Framework på ett system bestående av 32 AMD Instinct MI300X GPU:er fördelade över fyra noder. Besökare kunde interagera med en chatbot för att utvärdera svarstider och tjänstekvalitet, samtidigt som de observerade prestandamått som GPU-utnyttjande och Tokens Per Second (TPS).

Morehs MoAI Inference Framework syftar till att sänka kostnaderna för AI-tjänster genom distribuerad inferens och heterogen databehandling. Lösningen är utformad för att adressera utmaningen med ökande infrastrukturkostnader som drivs av allt större AI-modeller, genom att erbjuda en mer kostnadseffektiv inferensinfrastruktur.

"Denna händelse gav en möjlighet för globala kunder att på plats verifiera att toppmodern inferensprestanda kan uppnås i AMD GPU-miljöer", sade Morehs VD Gangwon Jo. Företaget planerar att fortsätta utveckla sin AI-infrastrukturprogramvara för att möjliggöra effektivare drift av AI-tjänster för företag.