Tutkijat muuttavat kielimalleja käsittelemään tekstiä tavuittain

Ludwig-Maximilians-Universität Münchenin (LMU) tutkijat ovat kehittäneet uuden menetelmän, joka mahdollistaa suosittujen tekoälyn kielimallien, kuten ChatGPT:n, muuntamisen käsittelemään tekstiä tavuittain. Tämä "tavuistaminen" (byteification) vaatii murto-osan tavallisesta koulutusajasta ja parantaa mallien kykyä käsitellä tekstiä alhaisella tasolla.

Useimmat nykyiset kielimallit pilkkovat tekstiä sanoiksi tai sanan osiksi ennen sen käsittelyä. Tämä prosessi, jota kutsutaan alisanatokenisoinniksi, voi rajoittaa mallien ymmärrystä yksittäisistä kirjaimista tai merkeistä. Uusi menetelmä mahdollistaa mallien toimimisen tavutasolla, mikä vastaa karkeasti kirjaimen käsittelyä.

Tutkimus, joka julkaistiin Nature-lehdessä, toteutettiin yhteistyössä Allen Institute for AI:n, Cambridgen yliopiston, Washingtonin yliopiston ja Imperial College Londonin kanssa. "Tavuistaminen" säilyttää suurimman osan alkuperäisen mallin suorituskyvystä samalla kun se tuo mukanaan tavupohjaisen käsittelyn edut. Nämä uudet mallit ovat osoittautuneet tehokkaammiksi kuin aiemmat samankokoiset tavupohjaiset mallit.

Valentin Hofmann, LMU:n Junior Professor ja tutkimuksen johtaja, uskoo, että tämä menetelmä voi ratkaista LLM-mallien pitkäaikaisia puutteita. "Perinteisillä LLM-malleilla on vaikeuksia tehtävissä, jotka vaativat merkkipohjaista taitoa, kuten sanan takaperin lausumista. Tavuistetut mallimme ovat tässä paljon parempia", Hofmann sanoi. Uusia malleja, koodia ja koulutusdataa on julkaistu avoimesti saataville.