IT Home veröffentlicht Step 5 Preview Modellgewichte, unterstützt eine Million Tokens
IT Home hat die Gewichte seines Step 5 Preview-Modells veröffentlicht, das ein Kontextfenster von einer Million Tokens unterstützt und für Agentenaufgaben über lange Distanzen konzipiert ist.
Das chinesische Technologieunternehmen IT Home hat offiziell die Gewichte seines großen Sprachmodells Step 5 Preview veröffentlicht. Das Modell ist speziell für Agentenaufgaben über lange Distanzen konzipiert und verfügt über ein Kontextfenster, das bis zu eine Million Tokens verarbeiten kann.
Step 5 Preview verwendet eine sparsame MoE-Architektur (Mixture of Experts) mit insgesamt 600 Milliarden Parametern, wobei nur 27 Milliarden Parameter pro Token aktiv sind. Dieses Design ermöglicht die effiziente Verarbeitung umfangreicher Informationen. Das Modell unterstützt nativ Text- und visuelle Eingaben und hat eine starke Leistung in Bereichen wie KI-Programmierung, Software-Engineering und Finanzanwendungen gezeigt.
Die Modellgewichte sind auf Hugging Face und ModelScope zum Download verfügbar, mit Unterstützung für verschiedene Chip-Plattformen und Inferenz-Frameworks. Entwickler können Tools wie vLLM oder SGLang nutzen, um das Modell bereitzustellen und in ihre eigenen KI-Anwendungen und Workflows zu integrieren.
Ein begleitender technischer Blogbeitrag erläutert die Architektur und Optimierungen des Trainings. Zu den wichtigsten Designmerkmalen gehören eine schmale und tiefe 92-Schichten-Architektur für erweiterte Rechenpfade, die Sparse GQA-Technologie zur Reduzierung des Rechenaufwands des Millionen-Token-Kontexts und ein stabilerer Trainingsprozess. Das Modell wurde auch speziell für Langstreckenaufgaben mittels Reinforcement Learning trainiert.