ModelBest et OpenBMB lancent MiniCPM-V 4.7 pour téléphones et tablettes

ModelBest et la communauté OpenBMB ont publié MiniCPM-V 4.7, un nouveau modèle multimodal open source conçu pour fonctionner localement sur des appareils mobiles tels que les téléphones et les tablettes. Le modèle apporte des capacités avancées de compréhension d'images, de documents et de vidéos sur du matériel disposant d'environ 3 Go de mémoire.

Le modèle est disponible en versions de 35 milliards de paramètres (35B-A3B) et de 1 milliard de paramètres (1B). La version 35B-A3B est décrite comme le premier modèle multimodal Mixture-of-Experts (MoE) open source conçu pour fonctionner de manière fluide sur les appareils sans compromettre la qualité. Il active environ 3 milliards de paramètres par token et charge les modules experts nécessaires à la volée, apportant ainsi des capacités multimodales de grande taille aux appareils iOS et Android.

Les fonctionnalités comprennent la compréhension visuelle générale, la résolution de problèmes STEM, la reconnaissance optique de caractères (OCR), l'interprétation de documents et de graphiques, ainsi que la compréhension de longues vidéos. MiniCPM-V 4.7 vise à améliorer l'efficacité et les performances de l'IA sur les appareils embarqués en réduisant le temps d'inférence. La version 1B est conçue pour les appareils plus légers, prenant en charge la vision de base, l'OCR et la compréhension multi-images.

La technologie Lookahead Expert Scheduling (LES) de ModelBest prédit les besoins futurs des experts et les charge à l'avance, améliorant considérablement les performances. Combinée à des optimisations telles que la quantification par couche, cela peut multiplier par cinq la vitesse de génération par rapport aux itérations précédentes. Le modèle prend également en charge différents niveaux de compression de tokens visuels pour équilibrer les détails et la vitesse.

MiniCPM-V 4.7 est publié en open source pour les développeurs et bénéficie du soutien de fabricants de matériel et d'entreprises technologiques, notamment AMD, Apple, Arm et NVIDIA, ainsi que de divers fournisseurs de puces via la pile logicielle FlagOS. Les poids du modèle, le code d'inférence et le code de fine-tuning sont publiquement disponibles.