Databricks vill ersätta separata realtidsdatabaser med Lakehouse//RT

Databricks har introducerat Lakehouse//RT, en motor designad för realtidsanalys direkt på Delta Lake- och Apache Iceberg-tabeller. Målsättningen är att applikationer och AI-agenter ska kunna komma åt data direkt i Lakehouse utan behov av ytterligare serveringssystem eller specialiserade realtidsdatabaser.

Marknaden för realtidsanalys har hittills dominerats av system som ClickHouse, Apache Pinot och Apache Druid. Företag har ofta använt dessa parallellt med sina analysplattformar för att förse applikationer, instrumentpaneler eller AI-system med låga svarstider. Data-kopior och synkroniseringsprocesser som krävs för detta ökar dock komplexitet och kostnader.

Med Lakehouse//RT siktar Databricks på att förenkla denna arkitektur. Den nya motorn exekverar frågor med svarstider i millisekundintervall direkt på Delta Lake- och Apache Iceberg-tabeller, vilket eliminerar behovet av ett separat realtidsserveringslager. Teknologin är nu tillgänglig i betastadiet. Databricks motiverar satsningen bland annat med den ökande användningen av AI-agenter som kräver aktuell information med så låg latens som möjligt.

Lakehouse//RT integreras med Databricks Unity Catalog, vilket innebär att policyer och behörigheter gäller även för realtidsfrågor. Detta eliminerar behovet av separata styrningslager eller proprietära dataformat, och gör det möjligt att få tillgång till live-data från befintliga Delta- eller Iceberg-tabeller inom minuter.