Bei HighQSoft bieten wir die Integration von Big-Data-Technologien auf vielfältige Weise an. Diese umfassen verschiedene Strategien für Skalierbarkeit, Speichertechnologien und die Integration von Analysen.
Unser Plankton Ecosystem beschreibt unsere Microservices-Plattform rund um die AReS ODS Server. Es umfasst mehrere Gateway-Produkte für den Datenzugriff, eine Dispatcher-Schicht zur Übernahme von alternativen und Nicht-SQL-Datenbanken sowie erweiterte Dienste zur Erfüllung der Kundenanwendungsfälle. Das Ziel von Plankton ist es, dem Kunden eine Business-API zur Verfügung zu stellen, die eine Backend-Infrastruktur seiner Wahl beinhaltet - einschließlich der unten aufgeführten Technologien.
Mit unserem AReS ODS Server haben wir ein Kernprodukt, mit dem wir beginnen können. Als Teil unseres Plankton-Ökosystems machen wir es vielseitig einsetzbar. Wir bieten verschiedene Gateway-Produkte für den Systemzugang an, sind auf alternative Datenspeichertechnologien vorbereitet und bieten Datenanalysen mit Apache Spark oder Python. Wir entwickeln das EcoSystem weiter, um eine Plattform für die Verwaltung von Testdaten zu schaffen, die sich an den jeweiligen Anwendungsfall anpassen lässt.
Big Data bedeutet Skalierbarkeit. Um die Skalierbarkeit zu gewährleisten, verwenden wir Docker-Container und Kubernetes für deren Verwaltung. Unabhängig davon, ob das System in ein lokales Rechenzentrum oder eine Cloud integriert ist, ist die Containerisierung ein Schlüsselelement für die zukünftige Skalierbarkeit. Sie ermöglicht auch die Cloud-Bereitschaft, da die meisten Cloud-Dienste diese Option bieten. Unsere Softwareprodukte erfüllen diesen Anwendungsfall.
Bei der Integration von Big Data kommt es vor allem auf den Anwendungsfall und die Wahl der Technologien an. Nicht alle Technologien erfüllen alle Anwendungsfälle. Mit unserem AReS Server, Merlin Analysis Server und HQL sind wir auf die Anforderungen, die sich aus der Bewertung ergeben, vorbereitet. Bis Ende 2021 haben wir drei Jahre Erfahrung mit dem Betrieb eines vollwertigen Testdatenmanagementsystems mit Ereignis- und KPI-Erkennung auf der Grundlage von Apache Spark, Apache Hadoop und ASAM ODS Parquet-Dateien gesammelt.
ASAM ODS 6 ist mit seiner HTTP-API wesentlich flexibler in der Verwaltung, Bereitstellung und Skalierbarkeit geworden. Unser AReS Server ist sowohl mit der HTTP-API als auch mit moderner Containerisierungs-Software wie Docker und Kubernetes kompatibel. Als Teil des Plankton-Ökosystems enthält unser AReS-Server ein Gateway für den Single-Node-Zugriff und ist auf die Anpassung an zukünftige Datenspeichertechnologien vorbereitet. Dabei kann der Datenspeicher wechseln, aber die ODS-API und/oder das Business Gateway bleiben gleich.
Heute bieten wir Gateways für unsere Produkte AReS ODS Server, HQL, sowie das IIOP Gateway an. Alle sind Einzelknoten-Einstiegspunkte für Testdatenmanagementsysteme und skalieren mit steigenden Anforderungen. Die Gateways basieren auf unserer Microservice-Plattform Plankton und zielen darauf ab, eine einzige API für das Unternehmen bereitzustellen. Kundenspezifische Gateways, z. B. mit ASAM ODS-Zugang und spezifischen Analysefunktionen, sind Teil des Plans. Diese nennen wir Business Gateways - eine Plattformlösung für Ihr Unternehmen.
Als Teil unseres Plankton-Ökosystems bieten wir Microservices-basierte Dienste für die Erzeugung von JSON-, Parquet- und AVRO-Dateien an, die durch ASAM ODS 6.1 definiert sind. Die Komponenten sind in den Datenimport integriert oder basieren auf den ASAM ODS Server Notification Services. So können Testdaten bequem in ein Hadoop-System exportiert werden, um Datenanalysen mit alternativen Zugriffs-APIs durchzuführen.
Einige Daten erfordern alternative Speichertechnologien. Insbesondere Indexer bieten eine Reihe von Funktionen wie Schnellfilterung, facettierte Suche und automatische Vervollständigung der Suche. Wir setzen Elastic-Produkte ein, um diese Anwendungsfälle zu erfüllen. Ob wir Ereignis- und KPI-Daten in einem Indexer speichern und direkt von der Webanwendung aus nutzen oder ob es sich um eine Datenquelle für AReS Server (Plankton) handelt, hängt vom Anwendungsfall ab.
Wir haben Apache SPARK als Verarbeitungsmaschine für Ereignis- und KPI-Berechnungen integriert. Unser Merlin Server kombiniert Messdaten mit dem Kundenalgorithmus und berechnet das Ergebnis. Da wir unabhängig von Datenmodellen sind, haben der Prozess und die Integration meist den Charakter einer produktbasierten Lösung.
Die ASAM ODS / BODS-Definitionen der Dateiformate JSON, Parquet und AVRO wurden für die Integration von Big-Data-Technologien entwickelt. Unsere Ereignis- und KPI-Berechnungen basieren auf Apache SPARK, Hadoop und Parquet. Mit unseren Plankton-Microservices und unserem Merlin-Analyse-Framework sind wir unabhängig von der Technologie. Das Hadoop-Ökosystem ist an sich schon umfassend. Wir werden eine Lösung vorschlagen, die auf dem Anwendungsfall und den Anforderungen des Kunden basiert.
HighQSoft GmbH
Black-und-Decker-Straße 17c
D-65510 Idstein
