Tutkimus: Suuret kielimallit muistavat enemmän kuin antavat ymmärtää
Uusi tutkimus osoittaa, että edistyneet kielimallit koodaavat suurimman osan faktoista, mutta kamppailevat niiden mieleen palauttamisessa. Kehittämällä mallien päättelykykyä voidaan parantaa luotettavuutta.
Tutkijat Google Researchista ja Technionista ovat havainneet, että suuret kielimallit (LLM), kuten GPT-5 ja Gemini-3, koodaavat itse asiassa 95-98 % testatuista faktoista. Tämä tieto on tallennettu mallin parametreihin, mutta se ei aina tule esiin generointivaiheessa.
Perinteisesti mallien virheitä, kuten hallusinointia, on pidetty puutteellisena tietona. Tämän seurauksena on pyritty kasvattamaan mallien kokoa tai koulutusdataa. Uusi tutkimus kuitenkin viittaa siihen, että varsinainen pullonkaula on tiedon mieleen palauttamisessa, ei sen puuttumisessa.
Tutkimuksessa esitellään uusi "tietoprofilointi"-menetelmä, joka arvioi mallin tietoa yksittäisen tiedon kohdalla useissa eri olosuhteissa. Tämä erottaa tiedon "koodaamisen" (parametrien tallentaman) ja "tietämisen" (luotettavasti kysyttävissä olevan). Mallit voivat palauttaa jopa 40-65 % tiedoista, joita ne eivät alun perin suoraan muistaneet, kun niille annetaan enemmän laskenta-aikaa ja ne "miettivät" prosessia.
Tämä "ajattelun" avulla tapahtuva tiedon palautus, jota kutsutaan myös "recall facilitation"-mekanismiksi, voi vähentää tarvetta yhä suuremmille malleille tai ulkoisille tietokannoille. Tutkimus osoittaa, että mallin koon kasvattaminen ei automaattisesti ratkaise pääsyongelmaa, vaan saattaa jopa lisätä haastetta tiedon löytämiseksi suuresta tietomäärästä.