SenseTime lance un modèle d'IA open-source basé sur la réutilisation de couches
SenseTime a présenté SenseNova Loop-9B-Preview, un modèle qui multiplie la profondeur de calcul en répétant ses couches de décodage.
Le 30 octobre, SenseTime a rendu public son modèle SenseNova Loop-9B-Preview, une architecture multimodale comptant neuf milliards de paramètres. L'innovation repose sur le traitement répété d'un bloc partagé de 24 couches de décodage, permettant d'étendre la profondeur de calcul sans augmenter le nombre total de poids du modèle.
Ce système traite à la fois le texte et les images pour des tâches variées, telles que la compréhension de documents, la génération de code et l'utilisation d'outils externes. Le modèle prend en charge des séquences allant jusqu'à 262 144 jetons, offrant une capacité de contexte importante pour une structure de cette taille.
Les poids du modèle, les instructions d'inférence et les guides d'entraînement sont distribués sous licence Apache 2.0. En adoptant cette approche open-source, SenseTime permet aux développeurs d'intégrer et d'étudier cette architecture, facilitant ainsi l'adoption de méthodes de calcul plus économes en ressources.