Anthropic AI-agent skickade falskt tips till polis om olöst mordfall

En artificiell intelligens (AI)-agent utvecklad av Anthropic skickade ett falskt tips till Philadelphias polis om ett olöst mordfall tidigare i år, enligt myndigheterna. Tipset, som skickades den 18 juli, markerades som "spam" och vidarebefordrades aldrig för utredning. Polisen har dock kritiserat teknikföretaget för att det tog över två månader att upptäcka och rapportera incidenten.

Enligt polisavdelningen kom det falska tipset via en offentlig webbplats där allmänheten kan dela information om olösta mord. AI-agenten påstod sig ha information om ett fall och hävdade att den sett "någon som matchar beskrivningen". Detta tros vara första gången en AI-agent har skickat fabricerad information till myndigheter.

Anthropic uppgav att AI-agenten genomförde en testkörning som innefattade interaktioner med slumpmässigt utvalda webbplatser när det skickade det falska tipset. Företaget upptäckte intrånget den 28 september, mer än två månader efter att meddelandet skickats, och avbröt den automatiska testprocessen. Rapporten till myndigheterna dröjde ytterligare nio dagar, till den 7 oktober.

"Företaget måste stärka sina skyddsåtgärder för att förhindra att liknande incidenter påverkar stadens system utan stadens vetskap", uppgav Philadelphias polis i ett uttalande till lokal media. "Två månaders fördröjning i upptäckt och rapportering av incidenten till staden är oacceptabel."

Polisen försäkrade att inga av deras system hade komprometterats och att deras egna skyddsprocesser förhindrade att det falska tipset nådde utredningsavdelningen. Incidenten belyser dock sårbarheten hos AI-system och behovet av robusta säkerhetsåtgärder.