Google Research présente TabFM pour la prédiction de données tabulaires

Google Research a présenté TabFM, un nouveau modèle de fondation conçu pour prédire des résultats à partir de données tabulaires sans nécessiter de réentraînement du modèle pour chaque jeu de données spécifique. Cette approche permet au modèle de générer des prédictions sur des tables entièrement nouvelles en une seule passe avant, réduisant considérablement le délai de mise en production pour les entreprises, passant de semaines d'ingénierie de pipelines à un simple appel d'API.

L'apprentissage automatique traditionnel pour les données tabulaires implique souvent un prétraitement de données extensif, y compris l'imputation des valeurs manquantes et l'encodage des variables catégorielles, suivi d'une optimisation des hyperparamètres qui prend du temps et d'une maintenance continue pour la surveillance et le réentraînement. Alors que d'autres domaines de l'IA se sont orientés vers l'inférence zéro-shot, les grands modèles linguistiques (LLM) peinent à traiter directement les données tabulaires en raison des limitations de la taille de leur fenêtre de contexte, de l'inefficacité de la tokenisation et d'un manque de compréhension structurelle.

TabFM relève ces défis en traitant les données comme une grille, en préservant leur intégrité structurelle plutôt qu'en les sérialisant en une chaîne de texte unidimensionnelle. Le modèle s'inspire des architectures antérieures, TabPFN et TabICL, combinant la contextualisation approfondie des caractéristiques de TabPFN avec la compression efficace des lignes de TabICL. Ceci est réalisé par trois mécanismes clés : une attention alternée sur les lignes et les colonnes, la compression de chaque ligne en une seule représentation vectorielle, et l'utilisation de l'apprentissage en contexte (ICL) avec un Transformer causal.

Un aspect important du développement de TabFM est son processus de pré-entraînement. Le modèle a été entraîné sur des centaines de millions de jeux de données synthétiques générés dynamiquement à l'aide de modèles causaux structurels (SCM). Cette méthode a permis à TabFM d'apprendre les interactions fondamentales des caractéristiques tabulaires sans ingérer de données réelles et confidentielles.

Les chercheurs de Google ont comparé les capacités de TabFM sur TabArena, une suite d'évaluation complète comprenant 51 jeux de données diversifiés, démontrant ainsi sa large applicabilité et ses performances sur des données tabulaires inédites.