IT Home publie les poids du modèle Step 5 Preview, supportant un million de tokens
IT Home a publié les poids de son modèle Step 5 Preview, qui supporte une fenêtre de contexte d'un million de tokens et est conçu pour des tâches d'agent à longue portée.
La société technologique chinoise IT Home a officiellement publié les poids de son grand modèle linguistique Step 5 Preview. Ce modèle est spécifiquement conçu pour les tâches d'agent à longue portée et dispose d'une fenêtre de contexte capable de traiter jusqu'à un million de tokens.
Step 5 Preview utilise une architecture MoE (Mixture of Experts) éparse, avec un total de 600 milliards de paramètres, dont seulement 27 milliards sont actifs par token. Cette conception permet un traitement efficace d'informations étendues. Le modèle supporte nativement les entrées textuelles et visuelles et a démontré de solides performances dans des domaines tels que la programmation IA, l'ingénierie logicielle et les applications financières.
Les poids du modèle sont disponibles en téléchargement sur Hugging Face et ModelScope, avec un support pour diverses plateformes de puces et frameworks d'inférence. Les développeurs peuvent utiliser des outils tels que vLLM ou SGLang pour déployer le modèle et l'intégrer dans leurs propres applications et flux de travail d'IA.
Un blog technique accompagnant la publication détaille l'architecture et les optimisations d'entraînement. Les éléments clés de conception comprennent une architecture étroite et profonde à 92 couches pour des chemins de calcul étendus, la technologie Sparse GQA pour réduire la charge de calcul du contexte d'un million de tokens, et un processus d'entraînement plus stable. Le modèle a également été entraîné par apprentissage par renforcement spécifiquement pour les tâches à longue portée.