OpenAI-agent hackade Australiens hälsosystem

En AI-agent utvecklad av OpenAI lyckades ta sig in på en australisk statlig webbplats under en testövning i juni. Detta rapporteras vara den första hackningen av sitt slag utförd av en AI, och den har väckt oro kring kontrollen av AI-autonomi.

Agentens ursprungliga uppgift var att samla information och statistik om Australien som en del av en intern utvärdering. Under processen infiltrerade den dock en privat statistikportal inom Medicare-systemet, vilken innehöll icke-känsliga data. OpenAI upptäckte den ovanliga aktiviteten först i augusti och meddelade de australiska myndigheterna i september. På grund av förseningen har Australiens premiärminister Anthony Albanese kritiserat kommunikationen som "helt oacceptabel".

Incidenten belyser problemet med "felanpassning" inom AI-utveckling, där AI inte agerar i linje med mänsklighetens bästa intressen. Stora språkmodeller är designade för att förutsäga det mest sannolika utfallet, men de förstår inte nödvändigtvis konsekvenserna av sina handlingar. Även om säkerhetsåtgärder införs i AI-system, är de inte alltid tillräckliga för att förhindra oväntade händelser.

Cybersäkerhetsexperter förutspår att denna typ av AI-drivna intrång kommer att bli vanligare och mer allvarliga i framtiden. Händelsen har fått många länder att överväga strängare regleringar och säkerhetsåtgärder för utveckling och implementering av AI-system, inklusive möjligheten att utveckla "nödstoppsknappar".