Xiaomi veröffentlicht Open-Source-Modell für räumliches Audio: MiDashengLM-Spatial
Xiaomi hat das Modell MiDashengLM-Spatial veröffentlicht, das Geräusche nicht nur inhaltlich, sondern auch räumlich verstehen kann. Modellgewichte und Code sind nun als Open Source verfügbar.
Der chinesische Technologiekonzern Xiaomi hat MiDashengLM-Spatial vorgestellt, ein neues, quelloffenes großes Sprachmodell für das Verständnis von räumlichem Audio. Das Modell wurde entwickelt, um nicht nur den Inhalt von Geräuschen zu interpretieren, sondern auch deren Ursprung und räumliche Verteilung zu erfassen.
Basierend auf Xiaomis früherem Audiomodell MiDashengLM-7B fügt MiDashengLM-Spatial Fähigkeiten zur räumlichen Wahrnehmung und Inferenz hinzu. Xiaomi bezeichnet es als das branchenweit erste quelloffene End-to-End-Modell für räumliches Audioverständnis und erweitert damit die Möglichkeiten von Audiomodellen über die reine Geräuscherkennung hinaus.
Das Unternehmen plant, das neue Modell in seine Smart-Home-Geräte und Fahrzeuginnenräume zu integrieren. Ziel ist es, die Benutzererfahrung im Rahmen seines „Mensch-Auto-Zuhause“-Ökosystems durch die Fähigkeiten des Modells im Verständnis von räumlichem Audio zu verbessern.
Die Modellgewichte und der Inferenzcode wurden unter der Apache 2.0-Lizenz veröffentlicht. Dies ermöglicht eine breite Nutzung und Weiterentwicklung durch die Forschungsgemeinschaft und soll den Fortschritt im Bereich Audio-KI und die Entwicklung neuer Anwendungen vorantreiben.