IT Home julkaisi Step 5 Preview -mallin painot, tukee miljoonaa tokenia
IT Home on julkaissut Step 5 Preview -mallin painot, jotka tukevat miljoonaa tokenia pitkää konteksti-ikkunaa ja on suunniteltu pitkän aikavälin agenttitehtäviin.
Kiinalainen teknologiayhtiö IT Home on julkaissut Step 5 Preview -suuren kielimallin painot (weights) julkisesti saataville. Malli on suunniteltu erityisesti pitkän aikavälin agenttitehtäviin ja tukee jopa miljoonaa tokenia sisältävää konteksti-ikkunaa.
Step 5 Preview käyttää harvaa MoE-arkkitehtuuria (Mixture of Experts), jossa on 600 miljardia parametria, mutta vain 27 miljardia aktiivista parametria tokenia kohden. Tämä mahdollistaa suuren mittakaavan laskennan tehokkaasti. Malli tukee natiivisti sekä teksti- että visuaalista syötettä ja on osoittanut vahvuutensa esimerkiksi tekoälyohjelmoinnissa, ohjelmistokehityksessä ja rahoitusalan tehtävissä.
Mallin painot ovat ladattavissa Hugging Facesta ja ModelScopesta, ja niille on tarjolla tuki useille eri piirisarjoille ja päättelykehyksille. Kehittäjät voivat hyödyntää mallia esimerkiksi vLLM- tai SGLang-työkaluilla rakentaakseen omia tekoälysovelluksiaan ja työnkulkujaan.
Julkaisuun liittyy myös tekninen blogi, joka syventyy Step 5 Preview'n arkkitehtuuriin ja koulutusmenetelmiin. Keskeisiä suunnitteluratkaisuja ovat kapea ja syvä 92-kerroksinen arkkitehtuuri, Sparse GQA -tekniikka konteksti-ikkunan laskentakustannusten pienentämiseksi sekä vakaampi koulutusprosessi. Mallia on koulutettu myös pitkän aikavälin tehtäviin soveltuvaksi vahvistusoppimisen avulla.