Databricks Lakehouse//RT vise à rendre les bases de données temps réel séparées redondantes

Databricks a lancé Lakehouse//RT, un moteur conçu pour l'analyse en temps réel directement sur les tables Delta Lake et Apache Iceberg. La nouvelle technologie vise à permettre aux applications et aux agents d'IA d'accéder aux données directement depuis le Lakehouse, sans nécessiter de systèmes de service supplémentaires ou de bases de données temps réel spécialisées.

Le marché de l'analyse en temps réel a été historiquement dominé par des systèmes spécialisés tels que ClickHouse, Apache Pinot ou Apache Druid. Les entreprises les utilisent souvent en complément de leurs plateformes d'analyse pour fournir des données à faible latence aux applications, tableaux de bord ou systèmes d'IA, mais les copies de données et les processus de synchronisation impliqués augmentent la complexité et les coûts.

Lakehouse//RT vise à simplifier cette architecture en exécutant des requêtes avec des latences de l'ordre de la milliseconde directement sur les tables Delta Lake et Apache Iceberg, éliminant ainsi le besoin d'une couche de service temps réel distincte. Databricks justifie cette démarche en partie par l'utilisation croissante des agents d'IA, qui nécessitent des informations à jour avec une latence minimale. Lakehouse//RT permet l'accès aux données directement depuis le Lakehouse sans copie intermédiaire.

Le système s'intègre au Unity Catalog de Databricks, ce qui signifie que les politiques de gouvernance et les permissions s'appliquent également aux requêtes temps réel. Cela élimine le besoin de couches de gouvernance séparées ou de formats de données propriétaires, permettant d'accéder aux données en direct à partir des tables Delta ou Iceberg existantes en quelques minutes.