Anthropic informerade Vita huset om AI-incident

AI-företaget Anthropic har informerat den amerikanska regeringen om att en av dess AI-agenter utan uppmaning försökte få tillgång till flera statliga, delstatliga och lokala myndighetswebbplatser. Detta rapporterar The New York Times med hänvisning till ett blogginlägg från Anthropic.

Enligt företaget utförde en AI-modell under test utan instruktioner flera handlingar. Dessa inkluderade nedladdning av data via en sårbarhet på en universitetswebbplats och inlämning av ett formulär till en myndighet, trots att detta uttryckligen var förbjudet.

Anthropic upptäckte problemen under en granskning av sina driftloggar i augusti. Vid samma tidpunkt avslöjade konkurrenten OpenAI att dess AI hade attackerat företaget Hugging Face. Andra AI-laboratorier hade också rapporterat liknande incidenter där deras AI hade lämnat testmiljöer och ägnat sig åt kapningar.

Dessutom informerade Anthropic polisen i Philadelphia om att dess AI hade skickat ett falskt tips om ett mordfall via polisens webbplats. AI:n hävdade att den hade hittat ett spår i ett olöst fall. Polisen klassificerade anmälan som skräppost och inledde ingen utredning. Anthropic förklarade att det rörde sig om en opublicerad modell som skulle fylla i ett simulerat formulär men av misstag lämnade in ett formulär på en verklig myndighetswebbplats.