Siili Solutions rakensi reaaliaikaisen data-analytiikan ratkaisun Azure Databricksillä

Siili Solutions Plc on julkaissut kuvauksen menetelmästä, jolla voidaan rakentaa reaaliaikaisia data-analytiikkapohjaisia kojelautoja hyödyntäen Microsoftin Azure Databricks -palvelua.

Menetelmässä hyödynnetään Suomen Liikenneviraston avoimen datan rajapintaa reaaliaikaisen liikennetiedon keräämiseen. Data ingestoidaan .NET Corella luodulla mukautetulla konttisovelluksella, jota käsitellään Azure Databricksissä Event Hub -palvelun kautta ja visualisoidaan lopuksi Microsoft Power BI:llä.

Siili Solutionsin mukaan Azure Databricks tarjoaa joustavan ja hajautetun laskenta-alustan data-analyytikoille ja -insinööreille. Se soveltuu niin monimutkaisiin datatieteen ongelmiin, ETL-työkaluksi kuin reaaliaikaisen datan käsittelyyn. Valittu arkkitehtuuri mahdollistaa myös tulevaisuuden laajennukset, kuten siirtymisen Kubernetes-ympäristöön.

Prosessissa data lähetetään Azure Event Hubiin, joka toimii tapahtumien välittäjänä ja voi tallentaa tapahtumia jopa seitsemäksi päiväksi. Tiedon jalostukseen käytetään Azure Databricksiä ja tiedon tallennukseen Databricks Delta -tauluja. Visualisointi toteutetaan Power BI:llä.

Kehitystyön seuraavia vaiheita ovat Azure Databricksin konfigurointi vastaanottamaan tapahtumia Event Hubista ja siirtämään data Delta-tauluihin, Digitraffic-rajapinnan integrointi sekä Power BI -visualisointien suunnittelu.