Siili Solutions skapar nära realtidsdata-dashbord med Azure Databricks

Siili Solutions Plc har publicerat en beskrivning av en metod för att bygga dashboards som baseras på nära realtidsdata, med hjälp av Microsofts Azure Databricks-tjänst.

Metoden utnyttjar det finländska Trafikledsverkets öppna datagränssnitt för att samla in realtids trafikinformation. Data matas in av en anpassad containerapplikation skapad med .NET Core, bearbetas i Azure Databricks via Event Hub-tjänsten och visualiseras slutligen med Microsoft Power BI.

Enligt Siili Solutions erbjuder Azure Databricks en flexibel och distribuerad beräkningsplattform för dataanalytiker och dataingenjörer. Den lämpar sig för komplexa datavetenskapliga problem, som ETL-verktyg och för bearbetning av realtidsdata. Den valda arkitekturen möjliggör även framtida utökningar, som en övergång till en Kubernetes-miljö.

I processen skickas data till Azure Event Hub, som fungerar som en händelseförmedlare och kan lagra händelser i upp till sju dagar. Azure Databricks används för dataförädling och Databricks Delta-tabeller för datalagring. Visualiseringen genomförs med Power BI.

Nästa steg i utvecklingen inkluderar konfiguration av Azure Databricks för att ta emot händelser från Event Hub och överföra data till Delta-tabeller, integration med Digitraffic-gränssnittet samt design av Power BI-visualiseringar.