ModelBest ja OpenBMB julkaisivat MiniCPM-V 4.7:n puhelimiin ja tabletteihin

ModelBest ja OpenBMB-yhteisö ovat julkaisseet MiniCPM-V 4.7:n, uuden avoimen lähdekoodin multimodaalisen mallin, joka on suunniteltu toimimaan paikallisesti mobiililaitteissa, kuten puhelimissa ja tableteissa. Malli tarjoaa edistyneitä kykyjä kuvien, dokumenttien ja videoiden ymmärtämiseen laitteissa, joissa on noin 3 gigatavua muistia.

Malli on saatavilla 35 miljardin parametrin (35B-A3B) ja 1 miljardin parametrin (1B) versioina. Erityisesti 35B-A3B-versiota kuvataan ensimmäiseksi avoimen lähdekoodin Mixture-of-Experts (MoE) -multimodaalimalliksi, joka on optimoitu sujuvaan toimintaan mobiililaitteissa laadusta tinkimättä. Se hyödyntää noin 3 miljardia parametria tokenia kohden ja lataa tarvittavat asiantuntijamoduulit lennosta, mahdollistaen suuren mallin multimodaalisen suorituskyvyn iOS- ja Android-laitteissa.

Malli tukee yleistä visuaalista ymmärrystä, STEM-ongelmanratkaisua, optista merkintunnistusta (OCR), dokumenttien ja kaavioiden tulkintaa sekä pitkien videoiden ymmärtämistä. MiniCPM-V 4.7 pyrkii parantamaan tekoälyn tehokkuutta ja suorituskykyä mobiililaitteissa lyhentämällä päättelyaikaa. 1B-versio on suunniteltu kevyemmille laitteille ja parantaa yleistä näönvaraisesta ymmärrystä, OCR:ää ja monikuvien tulkintaa.

ModelBestin kehittämä Lookahead Expert Scheduling (LES) -tekniikka ennustaa tulevien asiantuntijoiden tarpeen ja lataa ne etukäteen, mikä nopeuttaa suorituskykyä merkittävästi. Tämä yhdistettynä muihin optimointeihin, kuten kerroskohtaiseen kvantisointiin, parantaa generointinopeutta jopa viisinkertaiseksi verrattuna aiempiin versioihin. Malli tukee myös visuaalisen datan pakkausta, jolla voidaan tasapainottaa yksityiskohtien tarkkuutta ja nopeutta.

MiniCPM-V 4.7 on saatavilla avoimena lähdekoodina kehittäjille, ja se saa tukea useilta laitevalmistajilta ja teknologiayrityksiltä, mukaan lukien AMD, Apple, Arm ja NVIDIA, sekä eri siruvalmistajilta FlagOS-ohjelmistopakan kautta. Mallin painot, päättelykoodi ja hienosäätökoodi ovat ladattavissa ja käytettävissä vapaasti.