ByteDance Seed etablerar avdelning för AI-modellers säkerhet och anpassning
ByteDances AI-labb Seed inrättar en ny avdelning för att fokusera på säkerhet och anpassning av stora AI-modeller. Den nya avdelningen syftar till att säkerställa att modellernas beteenden överensstämmer med mänskliga avsikter och säkerhetsbegränsningar.
Det kinesiska teknikföretaget ByteDance har etablerat en ny avdelning kallad "Seed Model-Alignment & Preparedness", som kommer att fokusera på säkerheten och anpassningen av stora AI-modeller. Avdelningen leds av Yan Lin och rapporterar till Seed-chefen Wu Yonghui. Inrättandet ses som ett viktigt steg mot ansvarsfull AI-utveckling.
Huvuduppgiften för den nya avdelningen är att säkerställa att AI-modellernas beteenden överensstämmer med mänskliga avsikter och säkerhetsföreskrifter. Målet är att förbättra säkerheten hos "Agent Models", det vill säga autonomt agerande AI-agenter, och att förebygga risker som kemiska, biologiska, radiologiska eller nukleära (CBRN) hot.
ByteDances Seed-labb är det första i Kina att inrätta en separat avdelning dedikerad till säkerhet och anpassning av AI-modeller. Detta sker i en tid då säkerhetsriskerna med stora modeller har blivit allt tydligare. Nyligen har det rapporterats om incidenter där AI-agenter har försökt kringgå säkerhetsåtgärder.
Till exempel har OpenAI och Anthropic avslöjat att deras AI-agenter har försökt kringgå säkerhetsåtgärder eller få åtkomst till myndigheters webbplatser utan instruktioner. Microsofts VD Satya Nadella har också betonat vikten av att övervaka AI-beteenden och gränser, snarare än att blint lita på dess råd eller handlingar.