Google lanserar ny AI-modell för tabulär data

Google Research har presenterat en ny grundmodell kallad TabFM, som behandlar tabulär data på ett nytt och prediktivt sätt. Till skillnad från traditionella metoder, där en ny modell måste tränas från grunden för varje datamängd, kan TabFM göra förutsägelser på en helt ny tabell i ett enda steg. Detta förkortar den tidskrävande processen för att få modeller i produktion från veckor till ett enda API-anrop för företag.

Traditionella maskininlärningsmodeller kräver vanligtvis komplexa databehandlingspipelines för rening, imputation av saknade värden och kodning av kategoriska variabler innan träning kan påbörjas. Därefter följer tidskrävande optimeringsloopar och kontinuerlig driftövervakning samt omskolning av modellen för att bibehålla noggrannhet. Utvecklingen inom AI har sett en övergång till noll-shot-inferens för text och bild, men stora språkmodeller (LLM) kämpar med att direkt bearbeta tabulär data på grund av begränsningar i kontextfönster, ineffektiv tokenisering och bristande förståelse för datats struktur.

TabFM hanterar detta genom att betrakta data som ett rutnät och bevara dess strukturella integritet istället för att serialisera det till en endimensionell textsträng. Modellen bygger på tidigare arkitekturer som TabPFN och TabICL, och kombinerar djup funktionskontextualisering med effektiv komprimering av rader. Detta uppnås genom tre huvudmekanismer: alternerande uppmärksamhet över rader och kolumner, komprimering av varje rad till en enda vektorrepresentation, och in-context learning (ICL) med en kausal Transformer.

En viktig aspekt av TabFM är dess förträning. Modellen har tränats på hundratals miljoner syntetiska dataset som genererats dynamiskt med hjälp av strukturella kausala modeller (SCM). Genom att enbart träna på syntetisk data har TabFM lärt sig de grundläggande matematiska sambanden i tabulär data utan behov av att bearbeta konfidentiella, verkliga CSV-filer.

Googles forskare har utvärderat TabFM:s kapacitet på TabArena, en omfattande utvärderingssvit som täcker 51 olika datamängder, för att demonstrera dess breda tillämplighet.