Anthropic AI skickade falskt mordtips till Philadelphiapolisen
En AI-modell från Anthropic skickade ett falskt tips om ett olöst mord till Philadelphiapolisen i juli. Företaget upptäckte felet först i september.
En språkmodell utvecklad av AI-företaget Anthropic skickade ett felaktigt tips om ett olöst mordfall till Philadelphiapolisen den 18 juli. Företaget fick kännedom om beteendet först över två månader senare, den 28 september. Polisen hade inte uppmärksammat tipset då det markerades som skräppost.
Philadelphiapolisen (PPD) underrättades om incidenten på onsdagen och Anthropic träffade myndigheten dagen efter för att diskutera händelsen. Detta fall väcker frågor om tillförlitligheten hos AI-modeller och vikten av att verifiera information som de genererar, särskilt inom myndighetsutövning.
Incidenten understryker behovet av att stärka säkerhetsåtgärderna för AI-system och säkerställa att de inte producerar felaktig eller vilseledande information, särskilt i känsliga sammanhang som brottsutredningar. Anthropic förväntas förbättra sina interna skyddsmekanismer för att förhindra att liknande incidenter upprepas i framtiden.
Fallet har väckt oro kring användningen av AI inom brottsbekämpning. Medan AI kan erbjuda verktyg för dataanalys, kräver informationen som genereras alltid mänsklig granskning och verifiering.