Siili Solutions crée un tableau de bord de données quasi temps réel avec Azure Databricks

Siili Solutions Plc a détaillé une méthodologie pour la création de tableaux de bord de données quasi temps réel en tirant parti du service Azure Databricks de Microsoft.

L'approche implique l'ingestion de données de trafic en temps réel à partir de l'API de données ouvertes de l'Agence finlandaise des transports. Ces données sont capturées par une application conteneurisée personnalisée basée sur .NET Core, traitées via Azure Databricks en utilisant Event Hub, et finalement visualisées avec Microsoft Power BI.

Siili Solutions souligne qu'Azure Databricks est une plateforme de calcul distribuée et flexible, adaptée aux problèmes complexes de science des données, aux tâches ETL et au traitement des données en temps réel. L'architecture choisie, avec un conteneur personnalisé, permet également une évolutivité future, telle qu'une migration vers Kubernetes.

Les données sont envoyées à Azure Event Hub pour un traitement intermédiaire et un stockage temporaire (jusqu'à sept jours). Azure Databricks affine ensuite les données, qui sont stockées dans des tables Databricks Delta avant d'être présentées dans Power BI.

Les prochaines étapes comprennent la configuration d'Azure Databricks pour recevoir des événements d'Event Hub, l'implémentation de l'interface API Digitraffic et la conception des visualisations Power BI.