PrismML julkaisi Bonsai 2 27B -mallin alhaisemmalla muistinkulutuksella

Tekoälylaboratorio PrismML on julkaissut Bonsai 2 27B -tekoälymallin kolmen arvon kvantisoidun version, joka parantaa merkittävästi muistin käyttöä. Uusi malli päivittää perustana olevan mallin Qwen3.8 27B -versioon ja tarjoaa parannettua suorituskykyä päättelyssä, ohjelmoinnissa, visuaalisessa ymmärryksessä ja pitkän aikavälin älykkyydessä.

Bonsai 2 27B saavuttaa 98,2 % Qwen3.8 27B -mallin suorituskyvystä käyttäen alle yhdeksäsosan sen muistista. Tämä suorituskyky tekee mallista soveltuvan moniin vaativiin tehtäviin, kuten ohjelmointiagenttien suorittamiseen, työskentelyyn tietokoneella, yksityisten dokumenttien analysointiin ja monimuotoisen datan käsittelyyn paikallisesti, vähentäen tarvetta käyttää pilvipalveluita.

Malli käyttää FP16-ryhmäskaalausta, jolloin jokaisen painon tehollinen bittimäärä on 1,76. Mallin koko on 5,9 gigatavua ja se tukee 262K konteksti-ikkunaa. Sen tehokkuutta kuvaa 40 % pienempi energiankulutus tokenia kohden verrattuna täyden tarkkuuden 8B-malliin.

Bonsai 2 27B on saatavilla NVIDIA GPU:ille CUDA:n kautta ja Apple-laitteille MLX:n avulla. Mallin painot ovat avoimesti lisensoitu Apache 2.0 -lisenssillä, mikä mahdollistaa sen laajemman käytön ja kehittämisen.