Google kehitti uuden tekolymallin taulukkomuotoiselle datalle

Google Research on esitellyt uuden perusmallin nimeltä TabFM, joka käsittelee taulukkomuotoista dataa ennakoivasti uudella tavalla. Perinteisesti jokaisen datajoukon malli vaatii räätälöityä treenausta, mutta TabFM mahdollistaa ennusteiden tekemisen täysin uudesta taulukosta yhdellä kertaa. Tämä vähentää yrityksissä aikaa vievää mallien kehitysprosessia viikoista yksittäiseen API-kutsuun.

Perinteiset koneoppimismallit vaativat yleensä monimutkaisia datan esikäsittelyprosesseja, kuten puuttuvien arvojen täydentämistä ja muuttujien muuntamista, ennen kuin malli voidaan treenata. Tämän lisäksi mallin suorituskyvyn optimointi ja jatkuva ylläpito tarvittavien päivitysten ja seurannan muodossa vie aikaa ja resursseja. Googlella todetaan, että suurten kielimallien (LLM) kehitys on jo siirtynyt koodin generoinnista nolla-shot -mallien käyttöön, mutta LLM:illä on vaikeuksia käsitellä suoraan taulukkomuotoista dataa sen rakenteen ja rajoitetun konteksti-ikkunan vuoksi.

TabFM ratkaisee tämän ongelman käsittelemällä tietoja ruudukkona ja säilyttämällä niiden rakenteellisen eheyden sen sijaan, että ne pakotettaisiin yksiulotteiseen tekstimuotoon. Malli hyödyntää kahta aiempaa arkkitehtuuria, TabPFN:ää ja TabICL:ää. Se yhdistää TabPFN:n syvällisen piirteiden kontekstualisoinnin ja TabICL:n tehokkaan rivien pakkaamisen kolmella mekanismilla: vuorotteleva rivi- ja sarakehuomio, rivien pakkaaminen yhdeksi vektoriksi ja syöteoppiminen (in-context learning).

TabFM:n merkittävä etu on sen esitreenauksessa käytetty menetelmä. Malli on opetettu sadoilla miljoonilla synteettisillä datajoukoilla, jotka on luotu dynaamisesti rakenteellisten kausaalimallien avulla. Tämän ansiosta TabFM on oppinut taulukkomuotoisen datan matemaattiset periaatteet ilman, että sen tarvitsisi käsitellä todellista, luottamuksellista dataa.

Google tutkijat ovat testanneet TabFM:n kykyjä TabArena-testiympäristössä, joka kattaa 51 erilaista data-arviointia, osoittaen mallin laaja-alaisen soveltuvuuden.