ByteDancen tutkijat tunnistivat DeepSeek-mallien kontekstin hakuhäiriöiden syyn
ByteDancen tutkijat ovat löytäneet mekanismin, joka aiheuttaa epäjohdonmukaisuutta DeepSeek-mallien pitkän kontekstin hakutarkkuudessa. Heidän tutkimuksensa paljasti, että pieniksi paloiksi jaetun KV-välimuistin pakkaus tekee hakutarkkuudesta herkän sille, missä tieto osuu pakkausikkunaan.
ByteDancen Seed-tiimin tutkijat ovat tunnistaneet syyn DeepSeek-mallien pitkän kontekstin hakutoiminnon epäjohdonmukaisuuksiin. Heidän julkaisemansa tutkimus osoittaa, että KV-välimuistin paloittain tapahtuva pakkausmenetelmä tekee tiedonhakutarkkuudesta riippuvaisen siitä, missä kohtaa pakkausikkunaa tieto sijaitsee. Tämä voi aiheuttaa jopa 40 prosenttiyksikön vaihtelua tarkkuudessa eri sijaintien välillä.
Kyseinen tekniikka on kehitetty pienentämään muistin ja huomiomekanismin kustannuksia. Se tiivistää peräkkäisten tokenien ryhmiä harvemmiksi välimuistimerkinnöiksi. Tutkijat havaitsivat kuitenkin, että sama tieto voi olla helposti haettavissa yhdestä sijainnista ja vaikeasti toisesta, ilmiötä kutsutaan nimellä "vaihesensitiivisyys".
Meneetelmää toistettiin myös alusta asti koulutetuissa malleissa. Tutkimuksessa havaittiin, että eri huomiomekanismin osat erikoistuvat hakemaan tietoa tietyistä sijainneista. Nämä havainnot selittävät, kuinka vahvat keskimääräiset vertailutulokset voivat piilottaa mallien toistuvia heikkouksia tiedonhaussa.
Tutkimus pyrkii parantamaan tekoälymallien kykyä käsitellä ja hakea tietoa pitkistä teksteistä luotettavammin, mikä on olennaista esimerkiksi suurten dokumenttien analysoinnissa tai monimutkaisten kysymysten vastaamisessa.