Bugtracking License Activation ManateeWeb Demo
Big Data Messdaten Systeme2017-03-07T17:04:41+01:00

Unsere Entwicklung im Bereich Big Data – BIG ODS

Unsere Kunden fragen uns nach einer Lösung mit integrierten Big-Data-Technologien. Zu Recht.

Skalierbarkeit von ASAM-ODS-Systemen

linie_grau

In den vergangenen Monaten wurden einige wesentliche Features zur Unterstützung der Skalierbarkeit von ODS-Systemen eingeführt. Die Anforderung an eine Messdaten-Management-Lösung (MDM), diese abteilungsübergreifend als zentralen Baustein einer Infrastruktur aufzustellen, ist bereits Stand der Technik.

Während Oracle als einzige Komponente eine lokale Schnittstelle für den Zugriff auf die Daten darstellt, ist es zeitgleich jedoch in der Lage, den performanten Zugriff auf die Metadaten sowie die Verweise auf die Massendaten zu verwalten. Unser Avalon-ODS-Server selbst kann jederzeit über eine parallele Instanziierung skaliert werden. Oft wird dies zur Trennung der Auslastung durch Import-Prozesse, Anwender und automatisierte Auswertungen realisiert.

Mit unserer Avalon ODS Server Suite 2015 haben wir zusätzlich den Avalon Distributor eingeführt. Eine Avalon-Instanz kann nun von allen ODS-Clients (Benutzern) als Gateway verwendet werden, um die Arbeitslast auf mehrere andere Avalon-Worker-Server aufzuteilen (Load-Balancing). Der Distributor besitzt zusätzlich auch Fallback-Optionen, sollte der ODS-Service, ein Avalon-Worker oder ein Distributor ausfallen. Dadurch bietet ODS bereits heute schon eine sehr umfassende horizontale und vertikale Skalierbarkeit für das Messdatenmanagement.

Dazu wurde innerhalb der letzten zwei Jahre die Zugriffschicht auf ODS-Systeme für den Endnutzer stark vereinfacht. Der Zugriff auf die Daten via Webapplikation hat Einzug in die Domäne gehalten.
Die Herausforderung, sich die Daten unabhängig vom Datenmodell anzusehen,  sie zu durchsuchen, zu teilen oder zu exportieren, ist somit gelöst worden. Webplattformen wie z.B. die ManateeWeb-Anwendung und die Manatee Integration Platform verfügen mittlerweile über weitreichende Anwendungen und bieten einen bequemen Datenzugriff von überall in der Welt an. Zusätzlich bieten die ASAM-Webservices und die HighQSoft-Query-Language-Bibliotheken (HQL) Entwicklern und Ingenieuren eine Schnittstelle an, ihre Werkzeuge, Plattformen oder Applikationen effizient und ohne ODS-API-Know-how in ODS zu integrieren.

Ein ziemlich neuer Aspekt in ODS ist die Integration von automatisierten Auswertungen. Auswertungen können durch Importprozesse ausgelöst werden, um z.B. die eingehenden Daten zu überprüfen. Dies ist für Standard-Auswertungen über Fahrzeugflotten eine große Erleichterung für die Ingenieure, da die Analyse wie bei modernen Big-Data-Technologien zu den Daten gebracht wird.

Dieses Grundgerüst ist nicht nur sehr wichtig für deren Integration, es können auch große Datenvolumen schnell bearbeitet, die Vergleichbarkeit der Ergebnisse hergestellt und die Datenredundanz reduziert werden. Eine Lösung zur Umsetzung von automatisierten Auswertungen gibt es durch unser Produkt Merlin 2G. Auswertungen werden entweder über Java oder bald über unsere Matlab-Unterstützung integriert.

Die gegebenen Aspekte der ODS-Lösungen, die dem diskutierten Stand der Technik entsprechen, besitzen somit genügend Leistung für die meisten Herausforderungen und Projekte innerhalb der ODS-Domäne.

Dazu sind die bereits vorhandenen Vorgehensweisen sehr wichtig für die weitere Entwicklung hinsichtlich der Integration von Big-Data-Technologien. Diese bieten in ihrer natürlichen Form keinen kompetenten Ansatz für die Verwaltung von komplexen Messdaten.

 Warum ODS Richtung Big Data gehen muss

linie_grau

Derzeitige ASAM-ODS-Systeme kopieren Messdaten üblicherweise von einer Quelle und speichern sie in ODS in einem „Mixed-Mode“-Verfahren. Dieser Modus speichert die erzeugten Daten in zwei Teilen:

Die Metadaten (z.B. Beschreibung der Messung) werden in eine zentrale relationale Datenbank (z.B. Oracle) kopiert während die tatsächlichen Massendaten auf einen Dateiserver verschoben werden. Die Dateien werden entweder generiert oder bleiben in ihrem ursprünglichen Format. Die Inhalte der Dateien werden über Referenzen in ODS zugänglich gemacht und aufgeschlossen, so dass der Server auch einzelne Abfragen durchführen kann, ohne die gesamte Datei zu lesen. Der Vorteil hierbei ist, dass die Dateien auf mehreren verschiedenen Dateiservern liegen können.

Die beschriebene Lösung (siehe auch „Die Skalierbarkeit der ODS-Systeme“) funktioniert für die meisten Messdaten-Projekte performant genug.

Das System ist jedoch auf das Verwalten der Metadaten ausgelegt. Während individuelle Datenzugriffe auf Metadaten schnell hergestellt werden und dabei eine tolle Leistung erzielt wird, können bestimmte Funktionalitäten wie eine „facettierte Suche“, „Suche auf Massendaten“ oder eine „On-Demand-Analyse“ nicht durchgeführt werden, da sie jenseits der Grenze des Möglichen für die ODS-Systeme liegen (in Bezug auf die Performanz). Abhilfe kann allerdings durch die Integration von Indexing-Services geschafft werden. Jedoch ist diese Vorgehensweise nicht standardisiert und immer durch Kundenanforderungen spezifisch gehalten.

Zwei der zukünftigen Herausforderungen sind durch den Stand der Technik momentan nicht abgedeckt:

  • Verwaltung von sehr großen Datenmengen aus der Fahrzeugerprobung
  • Nachfrage nach Big-Data-Analysefunktionen (in ODS)

Die großen Datenmengen stammen aus Fahrzeugtests, dort vor allem aus dem Test von Fahrerassistenzsystemen, welche versuchen, möglichst genau die menschlichen Sinne in Daten zu erfassen. Das sind sehr viele Daten. Wir bei HighQSoft reden von über 1000 Fahrzeugen mit 100 Messungen mit 10 ^ 3-10 ^ 5 Kanäle pro Tag (2 * 10 ^ 10 / Jahr), um den zukünftigen Anforderungen gerecht zu werden.

Da keine der selbst entwickelten Ansätze und Lösungen der Big-Data-Domäne derzeit eine Antwort auf die sehr straff organisierten Daten des ASAM-ODS und ihre Anwendungsfälle haben, stellt sich die Frage, wie deren Vorteile am besten zu nutzen und zu integrieren sind.

Als Ausblick ist zu sagen, dass die Organisation und Verwaltung der Messdaten nach wie vor durch ein ODS-System durchgeführt werden, um die vielen Vorteile des Standards wie die Vergleichbarkeit und die langfristige Verfügbarkeit der Daten sowie die Stabilität eines Standards zu halten. Die Frage ist jedoch, wie man beide Welten vereinen und ihre Vorteile kombiniert nutzen kann.

Der ASAM-ODS-Big-Data-Antrag

linie_grau

Um den neuen Anforderungen zur Verwaltung von großen Datenmengen und deren Auswertungen zukünftig gerecht zu werden, haben sich die Mitglieder der Domäne in einer Initiative zusammen geschlossen, um zu untersuchen, wie eine standardisierte Lösung aussehen soll.

Die Untersuchung beginnt mit der ODS-API. Derzeit wird ein neutraler Partner beauftragt, neue API-Protokolle zu untersuchen, um die API dem neuesten Stand der Technik anzupassen. Dabei handelt es sich um eines der berühmten Fraunhofer-Institute in Deutschland, das sich diesem Vorhaben derzeit für die Version ODS 6 des Standards annimmt.

Darüber hinaus muss die physikalische Speicherung der Daten untersucht werden, da z.B. die Massendaten nicht mehr einfach auf einem Dateiserver liegen können, sondern in ein Big-Data-Cluster integriert werden müssen. Dies wird durch den ASAM-Big-Data-Antrag vorgeschlagen.

Initiiert von Cummins in den USA, haben sich Mitglieder wie Audi, Cummins, ETAS, Evolutions Software, Ford, General Motors, HighQSoft, RDE datasolutions, White Pine Software Technologies und viele mehr zusammengeschlossen, um das festgelegte Ziel zu erreichen: Die Entwicklung eines Prototyps, der große Datenmengen in einem BIG-ODS-System ablegen und verwalten kann. Die Ergebnisse dieses Projekts werden als Definitionen dem ASAM e.V. für die Normung eingereicht.

Einer der Hauptaspekte der Integration ist, wie die vielzähligen, zur Verfügung stehenden Technologien (vor allem auf der Basis von Hadoop) integriert werden können, ohne den Standard hinter sich zu lassen /durch proprietäre Lösungen zu ersetzen.

Ein guter Ansatz, vorgeschlagen von HighQSoft, ist die Definition einer abstrakten Zugriffsschicht als Middleware zwischen ODS und den Big-Data-Technologien. Diese setzt eine standardisierte Schnittstelle um, die es erlaubt auch mehrere Technologien der physikalischen Ablage innerhalb eines Clusters anzusprechen. Auf diese Weise bleibt ODS die Zugriffsebene für die Verwaltung der Daten und vor allem der Sicherheit. Die Daten selbst liegen in einem großen Datencluster, welches die Datenablage und Performanz skaliert.

Wir als HighQSoft sind Teil des Antrags und haben die Absicht, einen wesentlichen Beitrag für die Entwicklung zu leisten.

Der HighQSoft-Ansatz für Big Data

linie_grau

Sowohl als einer der wesentlichen Innovatoren und Mitwirkenden im ASAM-ODS-Standard als auch als ODS-Server-Anbieter betreibt HighQSoft Forschung in Richtung Prototyping einer Umsetzung. Um die Herausforderung großer Datenmengen und der Verwaltung eines Clusters zu bewältigen, verbündeten wir uns mit großen Partnern wie Bertrandt und ETAS. Beide Unternehmen besitzen bereits Cluster und Know-how und können Daten für Tests zur Verfügung stellen.

Folgender Ansatz wurde gewählt: Mit unserem Avalon-ODS-Server sind wir in der Lage, über unser bereits vorhandenes Framework weitere Treiber als Plug-in zu integrieren. Ein Treiber wird als Zugriff auf ein Big-Data-Cluster notwendig und wird bereits entwickelt. Der Zugriff erfolgt nicht direkt. Wir implementieren einen „Big-Data-Webservice“ als abstrakte Zugriffsschicht, um eine Ebene als Standardisierung zu erhalten. Der „Big-Data-Webservice“ ist als ein Teil des großen Datenclusters zu sehen und verarbeitet alle durch den Avalon-Server (oder anderweitig) bezogenen Anfragen.

big data mit messdaten management (MDM)

Auf diese Weise trennt der Weservice das ODS-Datenmanagement von dem Zoo der Big-Data-Technologien. Innerhalb des Webservice sind die „Jobs“ zum Lesen und Schreiben von ODS-konformen Daten zu implementieren. „Jobs“ sind dabei generisch in ihrer Aufgabe aber spezifisch für eine Technologie, z.B. eine MongoDB- oder Parkett-Umsetzung. Allerdings können, wie bei dem Webservice selbst, die „Jobs“ in ihrer Definition vereinheitlicht werden. Dies erlaubt es, jedes potentielle Szenario eines Kunden aufzugreifen und die BIG-ODS-Lösung daran anzupassen.

Um diesen Ansatz einen Schritt weiter zu vertiefen, wird der Big-Data-Webservice eine Funktion enthalten, mit der Drittanbieter (Analyse-)“Jobs“, die von ODS verwaltet und innerhalb des Clusters ausgeführt werden, integriert werden können. Dies ermöglicht eine gezielte Auswertung von Messdaten mit der Performanz von Big Data.

Die aktuelle Entwicklung ist im Gange, mit dem Ziel die Definitionen dem ASAM e.V. für die Normung zu übergeben.

Big Data ODS
by HighQSoft GmbH
Outlook on HighQSoft approach to integrate big data into ODS to make it BIG ODS.
Download: Big-Data-ODS.pdf

By continuing to use the site, you agree to the use of cookies. more information

The cookie settings on this website are set to "allow cookies" to give you the best browsing experience possible. If you continue to use this website without changing your cookie settings or you click "Accept" below then you are consenting to this.

Close