DataPelago beschleunigt Apache Spark auf Amazon EKS
DataPelago Accelerator for Spark (DPA-S) ist jetzt auf Amazon EKS verfügbar und verspricht bis zu 10-fache Ausführungsgeschwindigkeit und bis zu 80 % Kosteneinsparungen für Apache Spark-Workloads.
Amazon Web Services (AWS) und sein Partner DataPelago haben eine Lösung vorgestellt, die Apache Spark-Workloads auf Amazon Elastic Kubernetes Service (Amazon EKS) erheblich beschleunigt. DataPelago Accelerator for Spark (DPA-S) liefert Berichten zufolge eine bis zu zehnmal schnellere Ausführung und eine Kostenreduktion von bis zu 80 %, ohne dass Änderungen an bestehenden Anwendungen oder Datenpipelines erforderlich sind.
Das Angebot richtet sich an Unternehmen, die große Datensätze verarbeiten und künstliche Intelligenz sowie Analysen nutzen. Historisch gesehen war die Leistung von Apache Spark aufgrund seiner Auslegung für reine CPU-Umgebungen ein Engpass, auch wenn moderne Rechenzentren zunehmend GPUs und andere spezialisierte Verarbeitungseinheiten integrieren.
DataPelago, ein AWS ISV Partner, integriert seine Beschleunigungsfähigkeiten direkt in Amazon EKS. Dies ermöglicht es Kunden in Sektoren wie sozialen Medien, E-Commerce und Finanzdienstleistungen, die Effizienz ihrer Datenverarbeitung zu steigern, ohne Anwendungen neu codieren zu müssen. Erste Produktionsumgebungen haben erhebliche Leistungssteigerungen gezeigt.
AWS und DataPelago bieten Kunden die Möglichkeit, die Lösung im Rahmen von Proof of Concept (PoC)-Projekten in ihrer eigenen Infrastruktur zu testen. Dies ermöglicht die Quantifizierung potenzieller Vorteile vor einer breiteren Einführung.