BODS - Big Data ODS

Skalierbarkeit der "klassischen" Systeme (ASAM ODS 5)

In den Anfängen von ASAM ODS waren die Testdatenverwaltungssysteme als einzelne Datenablagen für unabhängige Projekte konzipiert. Im Laufe der Zeit wurden Projekte zusammengelegt, z. B. die Bereiche Motor und Getriebe zum Projekt "Antriebsstrang". Heutzutage konsolidieren Unternehmenssysteme die Daten von Unternehmen, verschiedenen Quellen, einschließlich Fahrzeugen, mehreren Benutzergruppen und Interessengruppen, sowie automatisierte Analysesysteme.

 

Unser Avalon ODS Server verfügte immer über eine parallele Instanziierung, um z.B. die Arbeitslast von Importprozessen, Benutzern und Analysen zu kanalisieren. Im Jahr 2015 haben wir den Avalon Distributor als einziges Gateway für den Zugang zu ASAM ODS 5 eingeführt. Das Hauptmerkmal des Avalon Distributors war die Lastverteilung von Abfragen, die mehrere Avalon ODS Server nutzen. Außerdem können Sie die Verteiler mit Fallback-Optionen nutzen, so dass die gesamte Serverinfrastruktur erhalten bleibt. Damit bietet ASAM ODS frühzeitig horizontale und vertikale Skalierbarkeit für das Testdatenmanagement. Das Feature wurde kontinuierlich weiterentwickelt und ist auch heute noch ein integrierter Bestandteil.

Ein weiterer einschränkender Faktor für ASAM ODS 5-Systeme ist die CORBA-Abhängigkeit, die neuere Kontainer-Technologien wie Docker und Kubernetes verhindert.

Im Jahr 2019/2020 wurde die ASAM ODS 6 API eingeführt. Diese Entwicklung ist ein Wendepunkt, da sie eine moderne HTTP-REST-API bereitstellt, die die Integration von Testdatenverwaltungssystemen in heutige Infrastrukturen ermöglicht. Auf Webplattformen basierende Anwendungen, wie unsere Manatee-Webanwendung, ermöglichen den Datenzugriff von jedem Ort der Welt aus. Neben dem ASAM ODS 6 Web Service ermöglichten die HighQSoft Query Language Libraries (HQL) Entwicklern und Ingenieuren, ihre Tools, Plattformen oder Analysen ohne größeren Aufwand oder ODS-API-Kenntnisse in ODS zu integrieren - und damit Daten leichter zugänglich zu machen als je zuvor.

 

Ein relativ neuer Aspekt von ASAM ODS ist die Integration von automatisierten Auswertungen. Der Ingenieur kann zwar immer noch das bevorzugte Werkzeug zur Entwicklung von Algorithmen verwenden, aber Frameworks wie Merlin integrieren die Algorithmen in einen Serverprozess und bringen den Algorithmus zu den Daten. Eingehende Daten werden nun automatisch validiert und für standardisierte Berichte aufbereitet. Dies war ein wichtiger Schritt in Richtung Leistung, Vergleichbarkeit der Ergebnisse und Vermeidung von Datenredundanz.

 

Alle diese Aspekte einer Lösungsintegration entsprechen dem Stand der Technik in ODS und sind für die meisten Fälle im ASAM ODS-Bereich ausreichend leistungsfähig.

Initial Participants

Audi
AVL
BMW
Bosch
Cummins
ETAS
Ford Motor Company
GM
HighQSoft
IASYS
Müller BBM
National Instruments
Peak Solution
PSA
RD Electronic
Vector
White Pine

Einführung von ASAM ODS 6.1 - Big Data ODS

ASAM ODS PDF

Um den Anforderungen der Verwaltung großer Datenmengen und der Big-Data-Analyse gerecht zu werden, haben der Bereich und alle seine Mitglieder eine Initiative zur Weiterentwicklung des ASAM ODS-Standards gegründet. An der von Cummins in den USA organisierten Initiative beteiligten sich u. a. AUDI, Cummins, ETAS, Evolutionary Software, Ford, General Motors, HighQSoft, RDE data solutions und White Pine Software Technologies.

 

Daraufhin hat die ASAM ODS-Arbeitsgruppe drei Formate definiert, die sich gut in die Big-Data-Welt integrieren lassen: Ein JSON-Format zur Integration von Metadaten in Indexierungsdienste, ein AVRO-Format für den Datentransport und ein PARQUET-Format für die Datenspeicherung in Hadoop.

BODS - Definitionen für große Daten von ASAM ODS

JSON Format

ASAM ODS 6 verfügt über eine HTTP-API, die die Integration oder eine Kombination von Nicht-SQL-Daten-Repositories ermöglicht. Um eine Verbindung mit der heutigen Welt der Webdienste herzustellen, hat die ASAM ODS-Arbeitsgruppe ein JSON-Schema für den Export von Daten in andere Repositories oder Indexer-Technologien definiert. Der Hauptzweck des JSON-Formats ist die Austauschbarkeit von Metadaten.

Parquet Format

Mit den Definitionen des Parquet-Dateiformats hat die ASAM ODS-Arbeitsgruppe ein Format definiert, das leicht in das Hadoop-Ökosystem integriert werden kann. Sie enthält die Massendaten/Kanaldaten, auf die mit den in den JSON- oder ATFx-Dateien gespeicherten Informationen zugegriffen werden kann. Dies eröffnet die Möglichkeit, mit anderen Schnittstellen oder Abfragesprachen, die von Datenwissenschaftlern bevorzugt werden, auf Daten zuzugreifen. Gleichzeitig garantieren die Formatdefinitionen, dass die Daten immer transparent gespeichert werden.

AVRO Format

Mit den AVRO-Dateiformatdefinitionen hat die ASAM-Arbeitsgruppe ein alternatives Format für Parquet definiert. Das Parquet-Format kann für die Datenspeicherung verwendet werden, erfüllt aber in erster Linie den Anwendungsfall des schnellen Schreibens und Transportierens von Daten, wenn diese erzeugt werden. Das AVRO-Format kann in das Parkett-Format umgewandelt werden und umgekehrt. It works in combination with the same JSON definitions. Beides sind Single-Node-Einstiegspunkte zur Skalierung des Testdatenmanagementsystems bei steigenden Anforderungen. Außerdem steht ein IIOP-Gateway zur Verfügung, das ein Migrationsszenario für ASAM ODS 5 zu ASAM ODS 6 Systemen bietet. Das IIOP-Gateway bietet die gleichen Funktionen wie die anderen Gateways.

HighQSoft GmbH

Black-und-Decker-Straße 17c
D-65510 Idstein