Anthropic hittade en tyst intern 'arbetsyta' i sin AI-modell

AI-företaget Anthropic rapporterade på söndagen att deras språkmodell Claude har utvecklat en intern struktur som liknar den som beskrivs i global arbetsyte-teori, en framstående teori om medvetandet. Denna upptäckt, kallad 'J-rymd', kan påverka hur AI-system övervakas för säkerhetsrisker.

Forskarna använde en ny matematisk metod, Jacobian lens (J-lens), för att analysera modellens neurala nätverk. De identifierade en liten, privilegierad zon av intern aktivitet – J-rymden – där modellen håller koncept som den kan rapportera om och resonera kring. Denna zon omges av en mycket större volym automatisk bearbetning som modellen inte har tillgång till.

Forskningen tyder på att J-rymden inte har konstruerats avsiktligt utan uppstod under Claudes träningsprocess. Den uppvisar funktionella egenskaper som är associerade med medveten tillgång hos människor. Dessa inkluderar förmågan att verbalt rapportera koncept i J-rymden, modulera intern representation, utföra intern resonemang, generalisera flexibelt och visa selektivitet där endast viss information passerar genom arbetsytan.

Fynden bygger på fem empiriska tester som visar att J-rymden fungerar analogt med medvetna processer i hjärnan. Detta ger insikter i hur avancerade språkmodeller bearbetar och kan tillgängliggöra information internt.