AWS julkaisee Apache Spark -vianmääritystyökalun Amazon EMR:lle ja AWS Gluella

Amazon Web Services (AWS) on ottanut käyttöön uuden Apache Spark -vianmääritystyökalun, jonka tarkoituksena on helpottaa ja nopeuttaa datainsinöörien ja -tieteilijöiden työtä Amazon EMR- ja AWS Glue -ympäristöissä.

Työkalu automatisoi analyysin Spark-työkuormiin liittyvissä ongelmatilanteissa. Perinteisesti monimutkaiseen vianetsintään on kuulunut useiden konsolien manuaalinen selaaminen, laajojen lokitiedostojen läpikäynti ja suorituskykymittareiden analysointi. Uuden työkalun avulla käyttäjät voivat nyt esittää vikaan liittyviä kysymyksiä luonnollisella kielellä saadakseen automaattisia ja toimintakelpoisia suosituksia.

Apache Sparkia hyödynnetään laajasti erilaisten datankäsittelypipelinejen, reaaliaikaisen analytiikan ja koneoppimisen työkuormien parissa. Spark-sovellusten kehitys ja ylläpito on kuitenkin usein iteratiivinen prosessi, johon sisältyy merkittävä määrä vianetsintäaikaa. Monimutkaiset konfiguraatio- ja yhteysvaihtoehdot eri resursseihin sekä Sparkin muistissa tapahtuvan prosessoinnin ja hajautetun data-aineiston käsittelyn luonne voivat tehdä tehottomuuksien tai virheiden syiden tunnistamisesta haastavaa.

Uusi työkalu pyrkii ratkaisemaan näitä haasteita tarjoamalla yksityiskohtaisia syyanalyysejä ja ohjeita ongelmien ratkaisemiseksi. Se integroituu olemassa oleviin valvontaratkaisuihin, virtaviivaistaen vianmääritysprosessia ja vähentäen merkittävästi manuaalista työmäärää.