ModelBest och OpenBMB lanserar MiniCPM-V 4.7 för telefoner och surfplattor

ModelBest och OpenBMB-communityt har lanserat MiniCPM-V 4.7, en ny modell i deras serie av open source multimodala modeller för on-device-användning. Modellen är utformad för att fungera på enheter med begränsat minne, såsom smartphones och surfplattor, och erbjuder förbättrad förståelse för bilder, dokument och video.

Modellen finns tillgänglig i versioner med 35 miljarder parametrar (35B-A3B) och 1 miljard parametrar (1B). 35B-A3B-versionen beskrivs som den första open source Mixture-of-Experts (MoE) multimodala modellen som är byggd för att köras smidigt på enheter utan att kompromissa med kvaliteten. Den aktiverar cirka 3 miljarder parametrar per token och laddar experter vid behov, vilket ger storskalig multimodal kapacitet till iOS- och Android-enheter.

Denna version hanterar allmän visuell förståelse, problemlösning inom STEM, OCR (optisk teckenigenkänning), tolkning av dokument och diagram samt förståelse av långa videor. MiniCPM-V 4.7 syftar till att förbättra effektiviteten och prestandan för AI på enheter genom att minska inferenstiden. 1B-versionen är optimerad för enklare enheter och stöder grundläggande visuell förståelse, OCR och förståelse av flera bilder.

ModelBest har utvecklat en teknik kallad Lookahead Expert Scheduling (LES) som förutsäger vilka experter som kommer att behövas i nästa lager och laddar dem i förväg, vilket avsevärt ökar prestandan. Tillsammans med andra optimeringar, som lagerbaserad kvantisering, kan detta öka genereringshastigheten upp till fem gånger jämfört med tidigare versioner. Modellen stöder också olika nivåer av visuell tokenkompression för att balansera detaljrikedom och hastighet.

MiniCPM-V 4.7 släpps som open source och är tillgänglig för utvecklare. Den har stöd från ett flertal hårdvarutillverkare och teknikföretag, inklusive AMD, Apple, Arm och NVIDIA, samt från olika chip-leverantörer via FlagOS-mjukvarustacken. Modellvikter, inferenskod och finjusteringskod finns tillgängliga för nedladdning och användning.