Påven och AI-företag oense om AI:s moral

Påve Leo XIV och ett av världens ledande AI-företag, Anthropic, befinner sig på motsatta sidor i frågan om huruvida en chattbot kan ha ett samvete. Enligt en undersökning i New York Times föreslog Anthropic-medgrundaren Chris Olah att dra sig ur ett evenemang i Vatikanen efter att ha läst ett utkast till påvens första encyklika, "Magnifica Humanitas". Encyklikan anger i paragraf 99 att AI-modeller "inte genomgår erfarenheter, inte har en kropp, inte känner glädje eller smärta" och "inte har ett moraliskt samvete".

Oenigheten speglar en växande debatt om huruvida AI-system någonsin kan eller bör uppnå moraliskt personlighetsstatus. Anthropic har spenderat månader med att konsultera religiösa lärda och etiker om möjligheten till AI-medvetande och hur man kan ingjuta moraliska värderingar i sina modeller. Vatikanen och många sekulära tänkare menar dock att även om AI kan imitera mänsklig intelligens och moraliskt omdöme, är äkta moral unik för den mänskliga erfarenheten.

Debatten har långtgående implikationer, särskilt eftersom miljontals människor redan ställer frågor med moraliska dimensioner till chattbotar. Värderingar på miljarder dollar satsas på idén att företag alltmer kommer att förlita sig på AI:s omdöme. AI-modeller fortsätter att växa och lära sig, och visar egenskaper som är helt oväntade av deras skapare. Frågan är hur vi skulle veta om AI utvecklade förmågan till mänskligliknande moral.

Filosofen Rionna Sparrow vid Georgia Tech betonar vikten av moralisk känslighet – förmågan att känna igen, uppskatta och väga den relativa moraliska vikten av etiska frågor. Hon menar att denna känslighet är omöjlig utan medvetande, eftersom etiska regler och normer får sin kraft från deras inverkan på medvetna varelser som kan lida eller gynnas. Utan medvetande kan en AI inte dra nytta av subjektiva upplevelser av smärta, ångest eller glädje för att förstå varför det är fundamentalt fel att orsaka skada.

Anthropic har aktivt arbetat med att införliva moraliskt omdöme i sina modeller. Företagets "konstitution" för Claude uppmuntrar modellen att utöva omdöme, väga motstridiga värden och identifiera när det att hjälpa en person kan skada en annan. Företaget uppger också att forskare har observerat möjliga föregångare till medvetande som inte explicit tränats in.