Microsofts VD: AI-modeller bör antas fallera

Microsofts VD Satya Nadella har presenterat nya riktlinjer för utveckling och implementering av AI-modeller. Enligt Nadella bör utvecklare utgå från att AI-modeller kan fallera eller bli utsatta för attacker, och därför måste robusta mekanismer byggas in i systemen för att kontrollera och avbryta dem.

Nadella betonar att traditionella mjukvaror ofta är mer transparenta, medan AI-modeller fungerar mer som svarta lådor. Dessa modeller hanterar känslig data och utför uppgifter för människor, vilket ökar risken. Han understryker att modellleverantörer inte bör outsourca ansvar eller blint lita på AI:ns förslag.

Viktiga principer enligt Nadella inkluderar modellmångfald, loggning av all meningsfull aktivitet på ett manipuleringssäkert sätt, kontinuerlig testning av systemet även i felscenarier, oberoende kontroll av modellernas åtkomst till data och åtgärder, samt oberoende granskning.

Särskilt Nadella lyfter fram behovet av att designa system så att de alltid kan avbrytas eller stängas av. Han liknar detta vid en nödbroms. Alla modeller bör som standard inkludera en sådan funktion. Om systemen fallerar eller utsätts för attacker bör detta kommuniceras snabbt och lärdomarna delas med hela branschen.