PrismML lanserar Bonsai 2 27B med reducerad minnesanvändning

AI-laboratoriet PrismML har lanserat en trevärdeskvantiserad version av sin Bonsai 2 27B AI-modell, vilket markant minskar dess minnesanvändning. Den nya modellen bygger på Qwen3.8 27B och erbjuder förbättrad prestanda inom inferens, programmering, visuell förståelse och långsiktiga agenter.

Bonsai 2 27B uppnår 98,2 % av prestandan hos Qwen3.8 27B, men använder mindre än en niondel av minnet. Denna effektivitet gör modellen lämplig för krävande uppgifter som att köra programmeringsagenter, hantera arbetsflöden på datorn, analysera privata dokument och bearbeta multimodal data lokalt, vilket minskar beroendet av molntjänster.

Modellen använder FP16 gruppskalning med en effektiv bitstorlek på 1,76 per vikt. Den totala modellstorleken är 5,9 GB och den stöder ett kontextfönster på 262K. Dess energieffektivitet är 40 % bättre än en fullprecisions 8B-modell, mätt i energiförbrukning per token.

Bonsai 2 27B är tillgänglig för NVIDIA GPU:er via CUDA och för Apple-enheter via MLX. Modellens vikter är öppet licensierade under Apache 2.0, vilket möjliggör bredare användning och vidareutveckling.