Högförlitlighetsorganisationer visar vägen i AI-eran
Ledare måste bygga förtroende och ansvarsskyldighet i processer från början. Fel i AI-användning kan vara farliga om de inte åtgärdas snabbt.
En artikel publicerad av Inc. Magazine betonar vikten av högförlitlighetsorganisationer (High-Reliability Organizations, HRO) i den artificiella intelligensens (AI) era. Artikeln, skriven av Inc. Medias VD Angela Adams, beskriver en incident på en sjukhusradiologiavdelning där ett AI-verktyg, på grund av ett konfigurationsfel, blev synligt för akutmottagningens personal. Läkare började lita på AI:ns preliminära läsningar trots att ingen radiolog hade granskat dem, vilket ledde till betydande förseningar för andra patienters undersökningar.
Incidenten avslöjade att AI:n fungerade som avsett, men de mänskligt skapade processerna runt den misslyckades. En kritisk brist var bristen på tydliga riktlinjer om vem som fick lita på AI:ns resultat och med vilken övervakning. Adams menar att detta är den mest centrala risken i AI-eran: organisationer implementerar AI snabbare än de bygger nödvändiga förtroende- och ansvarsskyldighetsstrukturer.
Adams, som leder ett AI-företag inom sjukvården och tidigare var intensivvårdssjuksköterska, jämför situationen med högförlitlighetsorganisationer som studerats inom högriskområden som flygtrafik, kärnkraft och akutmedicin. Dessa organisationer förebygger katastrofala fel genom att systematiskt fokusera på riskerna för misslyckanden och tidiga varningar, vilket möjliggör snabb och beslutsam handling under press.
Artikeln kritiserar företag som närmar sig AI i omvänd ordning. Säkerhet och styrning ses ofta som en efterhandsåtgärd när själva verktyget redan är i drift. Som exempel nämns Klarna, vars AI-assistent rapporterades ersätta hundratals kundtjänstmedarbetare, men där företaget senare tvingades återinföra mänsklig personal på grund av minskad kvalitet. Adams understryker att enbart mätetal för snabbhet och besparingar inte räcker, utan även kvaliteten på kundupplevelsen och människans roll är viktiga.
Sammanfattningsvis uppmanar Adams ledare att förstå att förtroendet för AI:ns resultat skapas hos de människor som måste agera baserat på dem. Att tillämpa principer från högförlitlighetsorganisationer, såsom ansvarsskyldighet och proaktivitet kring fel, vid implementering av AI kan bidra till att förebygga risker och säkerställa en säker och effektiv användning av teknologin.