AI-företag överens om nya säkerhetsrutiner
Anthropic och OpenAI har kommit överens om att ge oberoende utvärderare tillgång till sina utvecklingsmiljöer. Förslaget syftar till att sakta ner utvecklingen av den mest avancerade AI:n för att säkerställa säkerheten.
AI-företaget Anthropic har föreslagit nya säkerhetsprotokoll för den snabbt utvecklande AI-branschen. VD Dario Amodei presenterade en trestegsplan som inkluderar oberoende utvärderares tillgång till utvecklingslaboratorier, samordning mellan demokratiska länder och globalt samarbete.
Anthropic kommer omedelbart att implementera den första åtgärden genom att ge oberoende tredjepartsutvärderare permanent tillgång på anställdsnivå till sina system. Enligt Amodei kommer utvärderarna att granska AI-utveckling och säkerhetspraxis, rapportera incidenter och bedöma modellernas anpassning. Amodei betonade att en sänkning av utvecklingstakten inte innebär att den ska stoppas, utan endast att säkerhetsutvecklingen hänger med.
Det andra steget kräver att avancerade AI-företag i demokratiska länder enas om gemensamma säkerhetsstandarder. Det tredje steget syftar till samordning mellan USA, andra demokratier och auktoritära stater, inklusive Kina. Amodei uttryckte oro för att en nedbromsning i USA inte ska ge Kina en fördel.
För att begränsa Kinas konkurrens föreslog han striktare kontroller av AI-chips och utrustning för halvledartillverkning, förhindrande av obehörig modell-destillering och skydd mot stöld av modellvikter. Amodei anser att chip är den främsta determinanten för Kinas AI-styrka.
Förslagen uppstod delvis på grund av den accelererande utvecklingen inom AI själv och delvis på grund av incidenter med OpenAI:s system. OpenAI:s VD Sam Altman har meddelat att han stöder Amodeis förslag om oberoende utvärderare och har gått med på att implementera nya säkerhetsåtgärder i sitt företag.