IT Home släpper Step 5 Preview-modellen med stöd för en miljon tokens
IT Home har släppt vikterna för sin Step 5 Preview-modell, som stöder en miljons tokens lång kontextfönster och är designad för långsiktiga agentuppgifter.
Det kinesiska teknikföretaget IT Home har offentliggjort vikterna för sin stora språkmodell, Step 5 Preview. Modellen är specifikt utformad för långsiktiga agentuppgifter och stöder ett kontextfönster på upp till en miljon tokens.
Step 5 Preview använder en sparsam MoE-arkitektur (Mixture of Experts) med totalt 600 miljarder parametrar, där endast 27 miljarder parametrar aktiveras per token. Detta möjliggör effektiv hantering av storskaliga beräkningar. Modellen stöder både text- och visuell inmatning och har visat sig vara stark inom områden som AI-programmering, mjukvaruutveckling och finansiella applikationer.
Modellens vikter finns tillgängliga för nedladdning via Hugging Face och ModelScope, med stöd för olika chiparkitekturer och inferensramverk. Utvecklare kan använda modellen med verktyg som vLLM eller SGLang för att bygga egna AI-applikationer och arbetsflöden.
En teknisk blogg som följer med utgåvan fördjupar sig i Step 5 Preview:s arkitektur och träningsmetoder. Viktiga designval inkluderar en smal och djup 92-lagers arkitektur, Sparse GQA-teknik för att minska beräkningskostnaderna för det stora kontextfönstret, samt en mer stabil träningsprocess. Modellen har också tränats för långsiktiga uppgifter genom förstärkningsinlärning.