Siili Solutions erstellt Near-Real-Time-Daten-Dashboard mit Azure Databricks

Siili Solutions Plc hat eine Methodik zur Erstellung von Dashboards für Near-Real-Time-Daten unter Verwendung des Azure Databricks-Dienstes von Microsoft detailliert beschrieben.

Der Ansatz beinhaltet die Aufnahme von Echtzeit-Verkehrsdaten aus der offenen Daten-API der Finnischen Verkehrsbehörde. Diese Daten werden von einer benutzerdefinierten .NET Core-Containeranwendung erfasst, über Azure Databricks mittels Event Hub verarbeitet und schließlich mit Microsoft Power BI visualisiert.

Siili Solutions hebt Azure Databricks als eine flexible, verteilte Computing-Plattform hervor, die sich für komplexe datenwissenschaftliche Probleme, ETL-Aufgaben und die Verarbeitung von Echtzeitdaten eignet. Die gewählte Architektur mit einem benutzerdefinierten Container ermöglicht auch zukünftige Skalierbarkeit, wie z. B. die Migration zu Kubernetes.

Die Daten werden zur Zwischenverarbeitung und temporären Speicherung (bis zu sieben Tage) an Azure Event Hub gesendet. Azure Databricks verfeinert dann die Daten, die in Databricks Delta-Tabellen gespeichert werden, bevor sie in Power BI präsentiert werden.

Die nächsten Schritte umfassen die Konfiguration von Azure Databricks zum Empfang von Ereignissen von Event Hub, die Implementierung der Digitraffic-API-Schnittstelle und das Design der Power BI-Visualisierungen.