PrismML lance Bonsai 2 27B avec une empreinte mémoire réduite

Le laboratoire d'IA PrismML a introduit une nouvelle version de son modèle d'IA, Bonsai 2 27B, dotée d'une quantification à trois valeurs qui réduit considérablement les besoins en mémoire. Le modèle met à jour l'architecture de base vers Qwen3.8 27B, améliorant les performances en inférence, programmation, vision et raisonnement à long contexte.

Bonsai 2 27B atteint 98,2 % des performances de son homologue Qwen3.8 27B tout en consommant moins d'un neuvième de la mémoire. Cette efficacité permet au modèle de gérer des tâches exigeantes localement, telles que l'exécution d'agents de programmation, la gestion de flux de travail informatiques, l'analyse de documents privés et le traitement de données multimodales, réduisant ainsi le besoin d'appels à des API cloud.

Le modèle utilise une quantification groupée FP16, résultant en une précision effective de 1,76 bits par poids. Sa taille totale est de 5,9 Go et il prend en charge une fenêtre de contexte de 262K. Son efficacité énergétique sur une GeForce RTX 4090 est rapportée à 0,714 mWh par token, soit une amélioration de 40 % par rapport à un modèle 8B pleine précision.

Bonsai 2 27B peut être exécuté sur les GPU NVIDIA via CUDA et sur les appareils Apple à l'aide de MLX. Les poids du modèle sont publiés sous la licence Apache 2.0, permettant une adoption plus large et un développement futur.