Moreh präsentiert KI-Inferenz auf AMD-GPUs bei Branchenevent

Das KI-Infrastruktur-Softwareunternehmen Moreh nahm an der AMD Advancing AI 2026 teil, AMDs jährlicher KI-Veranstaltung, die vom 22. bis 23. Juli 2026 in San Francisco stattfand. Dort präsentierte das Unternehmen sein MoAI Inference Framework, eine verteilte Inferenzlösung für große Sprachmodelle (LLMs), die auf AMD GPUs läuft.

Bei der Veranstaltung zeigte Moreh eine Live-Demonstration des LLM GLM-5.1, das vom MoAI Inference Framework auf einem System mit 32 AMD Instinct MI300X GPUs über vier Knoten hinweg betrieben wurde. Besucher konnten mit einem Chatbot interagieren, um dessen Antwortgeschwindigkeit und Servicequalität zu bewerten und gleichzeitig wichtige Inferenzmetriken wie GPU-Auslastung und Tokens Per Second (TPS) in Echtzeit zu beobachten.

Das MoAI Inference Framework von Moreh ist darauf ausgelegt, die Kosten von KI-Diensten durch verteilte Inferenz und heterogenes Computing zu senken. Diese Technologie zielt darauf ab, die Herausforderungen steigender Infrastruktur- und Servicekosten, die durch immer größere KI-Modelle entstehen, durch eine effizientere Inferenzinfrastruktur zu bewältigen.

"Diese Veranstaltung bot globalen Kunden die Möglichkeit, aus erster Hand zu verifizieren, dass Spitzenleistungen bei der Inferenz auf AMD GPU-Umgebungen erzielt werden können", sagte Morehs CEO Gangwon Jo. Das Unternehmen beabsichtigt, seine KI-Infrastruktursoftware weiterzuentwickeln, um Unternehmen eine möglichst effiziente Durchführung von KI-Diensten zu ermöglichen, unabhängig von der zugrunde liegenden GPU-Plattform.