PrismML veröffentlicht Bonsai 2 27B mit stark reduzierter Speichernutzung

Das KI-Labor PrismML hat eine neue Version seines KI-Modells, Bonsai 2 27B, vorgestellt, die eine Drei-Wert-Quantisierung nutzt, um den Speicherbedarf erheblich zu reduzieren. Das Modell basiert auf Qwen3.8 27B und verbessert die Leistung in den Bereichen Inferenz, Programmierung, visuelle Verarbeitung und Langzeit-Kontextverständnis.

Bonsai 2 27B erreicht 98,2 % der Leistung seines Qwen3.8 27B-Pendants, verbraucht dabei aber weniger als ein Neuntel des Speichers. Diese Effizienz ermöglicht es dem Modell, anspruchsvolle Aufgaben lokal auszuführen, wie z. B. die Ausführung von Programmieragenten, die Verwaltung von Computer-Workflows, die Analyse privater Dokumente und die Verarbeitung multimodaler Daten, wodurch die Notwendigkeit von Cloud-API-Aufrufen reduziert wird.

Das Modell verwendet eine FP16-Gruppenquantisierung, was zu einer effektiven Bit-Genauigkeit von 1,76 pro Gewicht führt. Es hat eine Gesamtgröße von 5,9 GB und unterstützt ein Kontextfenster von 262K. Seine Energieeffizienz auf einer GeForce RTX 4090 wird mit 0,714 mWh pro Token angegeben, was einer Verbesserung von 40 % gegenüber einem 8B-Modell mit voller Genauigkeit entspricht.

Bonsai 2 27B kann über CUDA auf NVIDIA-GPUs und über MLX auf Apple-Geräten ausgeführt werden. Die Gewichte des Modells werden unter der Apache 2.0-Lizenz veröffentlicht, was eine breitere Akzeptanz und Weiterentwicklung ermöglicht.