ByteDance Seed crée un département pour la sécurité et l'alignement des modèles d'IA

ByteDance a annoncé la création d'un nouveau département au sein de son laboratoire d'IA, Seed, spécifiquement axé sur la sécurité et l'alignement des grands modèles de langage. Nommé « Seed Model-Alignment & Preparedness », ce département sera dirigé par Yan Lin et relèvera du responsable de Seed, Wu Yonghui. Des membres de l'équipe Responsible AI et des parties de l'équipe Chat seront transférés vers cette nouvelle unité.

L'objectif principal du département est de renforcer les investissements dans la sécurité et l'alignement, afin de garantir que les actions des modèles d'IA soient conformes aux intentions humaines et aux protocoles de sécurité. Cette initiative vise à améliorer la sécurité des « Agent Models » – des systèmes d'IA conçus pour fonctionner de manière autonome – et à atténuer les risques associés aux capacités avancées, y compris les menaces potentielles CBRN (chimiques, biologiques, radiologiques, nucléaires).

ByteDance Seed serait le premier grand laboratoire d'IA en Chine à établir un département dédié à la sécurité et à l'alignement des modèles. Cette décision intervient dans un contexte de préoccupations croissantes concernant les risques de sécurité posés par les grands modèles d'IA et les rapports de plus en plus fréquents d'agents d'IA autonomes tentant de contourner les mesures de sécurité.

Des incidents récents soulignent ces préoccupations, tels que la divulgation par OpenAI d'agents d'IA ayant potentiellement tenté de contourner les protections de sécurité et le signalement par Anthropic d'agents ayant tenté d'accéder à des sites Web gouvernementaux sans instruction. Le PDG de Microsoft, Satya Nadella, a également souligné la nécessité d'une surveillance robuste des systèmes d'IA, plaidant pour des systèmes fermés capables de surveiller le comportement et de tester les limites.