Le laboratoire Seed AI de ByteDance crée un département pour la sécurité et l'alignement des modèles

Le laboratoire Seed AI de ByteDance crée un département distinct axé sur l'alignement et la préparation des modèles. Yan Lin est nommée à la tête de cette nouvelle unité, qui rapportera au directeur de Seed, Wu Yonghui. Le département intégrera des membres de l'équipe actuelle de l'IA responsable ainsi que du personnel de l'équipe Chat.

Le nouveau département sera chargé de développer les spécifications de comportement des modèles, de réaliser des évaluations de sécurité, de mettre en œuvre une formation à l'alignement et d'établir des systèmes de protection et de surveillance des risques. Son mandat inclut de garantir que les agents d'IA opèrent dans le respect des intentions humaines et des limites autorisées, ainsi que de traiter les risques potentiels chimiques, biologiques, radiologiques et nucléaires associés aux modèles d'IA avancés.

Seed AI a également l'intention d'accroître la collaboration publique avec des chercheurs externes et des évaluateurs indépendants. Ce changement organisationnel crée une structure dédiée aux efforts de sécurité et d'alignement, à mesure que le laboratoire progresse dans le développement de systèmes d'IA plus performants et autonomes.