ModelBest und OpenBMB stellen MiniCPM-V 4.7 für Smartphones und Tablets vor

ModelBest und die OpenBMB-Community haben MiniCPM-V 4.7 veröffentlicht, ein neues Open-Source-Multimodales Modell, das für den lokalen Betrieb auf mobilen Geräten wie Smartphones und Tablets konzipiert ist. Das Modell bietet erweiterte Fähigkeiten zum Verstehen von Bildern, Dokumenten und Videos auf Geräten mit etwa 3 GB Speicher.

Das Modell ist in Versionen mit 35 Milliarden Parametern (35B-A3B) und 1 Milliarde Parametern (1B) erhältlich. Die 35B-A3B-Version wird als erstes Open-Source Mixture-of-Experts (MoE) multimodales Modell beschrieben, das für eine reibungslose Leistung auf Geräten entwickelt wurde, ohne die Qualität zu beeinträchtigen. Es aktiviert etwa 3 Milliarden Parameter pro Token und lädt Expertenmodule bei Bedarf, wodurch multimodale Fähigkeiten großer Modelle auf iOS- und Android-Geräten verfügbar werden.

Die Fähigkeiten umfassen allgemeines visuelles Verständnis, Problemlösung in MINT-Fächern, OCR (Optical Character Recognition), Interpretation von Dokumenten und Diagrammen sowie das Verständnis langer Videos. MiniCPM-V 4.7 zielt darauf ab, die Effizienz und Leistung von KI auf Endgeräten durch Reduzierung der Inferenzzeit zu verbessern. Die 1B-Version ist für leichtere Geräte konzipiert und unterstützt grundlegendes Sehen, OCR und das Verständnis mehrerer Bilder.

Die Lookahead Expert Scheduling (LES)-Technologie von ModelBest prognostiziert den Bedarf an zukünftigen Experten und lädt sie im Voraus, was die Leistung erheblich verbessert. In Kombination mit Optimierungen wie der schichtweisen Quantisierung kann dies die Generierungsgeschwindigkeit im Vergleich zu früheren Iterationen um das bis zu Fünffache erhöhen. Das Modell unterstützt auch verschiedene Stufen der visuellen Token-Kompression, um Details und Geschwindigkeit auszubalancieren.

MiniCPM-V 4.7 wird als Open Source für Entwickler veröffentlicht und erhält Unterstützung von Hardwareherstellern und Technologieunternehmen, darunter AMD, Apple, Arm und NVIDIA, sowie von verschiedenen Chipherstellern über den FlagOS-Software-Stack. Modellgewichte, Inferenzcode und Feinabstimmungs-Code sind öffentlich verfügbar.