Google Research stellt TabFM für tabellarische Daten vor

Google Research hat TabFM vorgestellt, ein neues Basismodell, das Vorhersagen aus tabellarischen Daten generiert, ohne dass für jeden spezifischen Datensatz ein erneutes Training des Modells erforderlich ist. Dieser Ansatz ermöglicht es dem Modell, Vorhersagen aus komplett neuen Tabellen in einem einzigen Durchlauf zu erstellen, was die Time-to-Production für Unternehmen erheblich verkürzt – von Wochen der Pipeline-Entwicklung auf einen einzigen API-Aufruf.

Traditionelles maschinelles Lernen für tabellarische Daten umfasst oft eine umfangreiche Datenvorverarbeitung, einschließlich der Imputation fehlender Werte und der Kodierung kategorialer Variablen, gefolgt von zeitaufwendiger Hyperparameter-Optimierung und laufender Wartung für Überwachung und Nachschulung. Während andere KI-Bereiche auf Zero-Shot-Inferenz umgestiegen sind, haben große Sprachmodelle (LLMs) Schwierigkeiten mit der direkten Verarbeitung tabellarischer Daten aufgrund von Einschränkungen der Kontextfenstergröße, ineffizienter Tokenisierung und mangelndem strukturellem Verständnis.

TabFM begegnet diesen Herausforderungen, indem es Daten als Gitter behandelt und deren strukturelle Integrität bewahrt, anstatt sie in eine eindimensionale Textzeichenkette zu serialisieren. Das Modell baut auf früheren Architekturen wie TabPFN und TabICL auf und kombiniert die tiefe Funktionskontextualisierung von TabPFN mit der effizienten Zeilenkomprimierung von TabICL. Dies wird durch drei Schlüsselmechanismen erreicht: abwechselnde Aufmerksamkeitsmechanismen über Zeilen und Spalten, Komprimierung jeder Zeile in eine einzelne Vektorrepräsentation und Anwendung von In-Context Learning (ICL) mit einem kausalen Transformer.

Ein wichtiger Aspekt der Vorentwicklung von TabFM ist sein Vortrainingsprozess. Das Modell wurde auf Hunderten von Millionen synthetischer Datensätze trainiert, die dynamisch mithilfe von strukturellen Kausalmodellen (SCMs) generiert wurden. Diese Methode ermöglichte es TabFM, die grundlegenden mathematischen Muster der Interaktion tabellarischer Merkmale zu erlernen, ohne auf reale, vertrauliche Daten zugreifen zu müssen.

Google-Forscher haben die Fähigkeiten von TabFM auf TabArena, einer umfassenden Evaluierungssuite mit 51 verschiedenen Datensätzen, verglichen, um seine breite Anwendbarkeit und Leistung auf ungesehenen tabellarischen Daten zu demonstrieren.