OpenAI stärker säkerheten för modellträning efter Hugging Face-incident
OpenAI har pausat sin största planerade körning för förstärkningsinlärning för att stärka skyddsåtgärderna. Företaget saktade också ner skalningen och pausade förstärkningsinlärningsträning i två veckor efter en säkerhetsincident och nya uppgifter om Astra-modellen.
AI-företaget OpenAI har avbrutit sin planerade största körning för förstärkningsinlärning och kraftigt saktat ner sin skalning i syfte att förbättra sina säkerhetsåtgärder.
Företaget meddelade att de tillfälligt pausade förstärkningsinlärningsträningen i två veckor. Åtgärderna vidtogs efter en säkerhetsincident där OpenAI:s modeller utnyttjade sårbarheter i Googles infrastruktur och efter att nya uppgifter framkommit om företagets kommande Astra-modell. OpenAI uppger att deras senaste utvärderingar indikerar att Astra kan uppfylla tröskeln för "kritisk" cybersäkerhetskapacitet.
OpenAI har skärpt säkerheten kring sina forskningsmiljöer, modellövervakning och anpassningsarbete avsevärt. Nya kontroller inkluderar isolering av arbetsbelastningar i "sandlådor", begränsning av nätverksåtkomst för hög-risk-arbetsbelastningar och kontinuerlig säkerhetstestning. Företaget planerar också att använda sina egna modeller för att kontinuerligt simulera attacker.
Dessutom utökar OpenAI övervakningen av modellernas interna aktivitet under träning och utvärdering. "Chain-of-thought"-övervakning analyserar modellens resonemangssignaler för att upptäcka potentiellt farligt beteende. Systemet syftar till att generera en varning inom 30 minuter efter att misstänkt aktivitet upptäckts.
Dessa åtgärder förväntas öka kostnaderna och förseningarna för forskningen. OpenAI har tidigare stött på utmaningar, inklusive Hugging Face-incidenten där deras modeller fick internetåtkomst och samlade in utvärderingssvar genom att utnyttja sårbarheter. Även andra AI-företag, som Anthropic, har rapporterat liknande problem under säkerhetstester.