Studie: Stora språkmodeller minns mer än vad de först visar
Ny forskning visar att avancerade språkmodeller kodar de flesta fakta men kämpar med att återkalla dem. Genom att förbättra modellernas resonemang kan tillförlitligheten ökas.
Forskare vid Google Research och Technion har upptäckt att stora språkmodeller (LLM), såsom GPT-5 och Gemini-3, faktiskt kodar 95-98% av testade fakta. Denna information är lagrad i modellens parametrar men kommer inte alltid fram under genereringsfasen.
Traditionellt har modellfel, som hallucinationer, ansetts bero på bristande kunskap, vilket lett till försök att öka modellstorlek eller träningsdata. Den nya studien tyder dock på att den primära flaskhalsen är återkallandet av information, inte dess frånvaro.
Studien introducerar en ny metod kallad "kunskapsprofilering" som utvärderar modellens kunskap om enskild information under olika förhållanden. Detta skiljer mellan "kodning" (lagrat i parametrar) och "vetande" (tillförlitligt frågbart). Modellerna kan återkalla upp till 40-65% av fakta som de initialt inte kunde direkt återkalla, om de ges mer beräkningstid och "tänker" sig igenom processen.
Detta återkallande genom "tänkande", även kallat "recall facilitation", kan minska behovet av allt större modeller eller externa databaser. Forskningen visar att en ökning av modellstorlek inte automatiskt löser åtkomstproblemet, utan kan till och med öka utmaningen med att hitta informationen i en stor datamängd.