Databricks Lakehouse//RT soll separate Echtzeitdatenbanken überflüssig machen

Databricks hat Lakehouse//RT eingeführt, eine Engine für Echtzeit-Analysen, die direkt auf Delta Lake und Apache Iceberg Tabellen zugreift. Das Ziel ist, dass Anwendungen und KI-Agenten Daten ohne zusätzliche Serving-Systeme oder spezialisierte Echtzeitdatenbanken direkt aus dem Lakehouse abrufen können.

Der Markt für Echtzeit-Analysen wurde bisher von spezialisierten Systemen wie ClickHouse, Apache Pinot oder Apache Druid dominiert. Unternehmen setzen diese oft zusätzlich zu ihren Analyseplattformen ein, um Anwendungen und KI-Systemen Daten mit geringen Antwortzeiten bereitzustellen. Die dafür notwendigen Datenkopien und Synchronisierungsprozesse erhöhen jedoch die Komplexität und Kosten.

Mit Lakehouse//RT will Databricks diese Architektur vereinfachen. Die neue Engine führt Abfragen mit Latenzen im Millisekundenbereich direkt auf Delta Lake und Apache Iceberg Tabellen aus, wodurch eine separate Echtzeit-Serving-Schicht überflüssig wird. Databricks begründet diesen Schritt unter anderem mit dem zunehmenden Einsatz von KI-Agenten, die aktuelle Daten mit geringstmöglicher Latenz benötigen.

Lakehouse//RT integriert sich in das Unity Catalog von Databricks. Richtlinien, Berechtigungen und Prüfungsfunktionen gelten somit auch für Echtzeitabfragen. Zusätzliche Governance-Schichten oder proprietäre Datenformate sind nicht erforderlich. Laut Hersteller genügt es, bestehende Delta- oder Iceberg-Tabellen auszuwählen, um live auf Daten zuzugreifen.