Der ModelMapper wird verwendet, um flexible und regelbasierte Datenimporteure für benutzerdefinierte Dateiformate zu entwickeln. Die erzeugten Messdaten kommen in verschiedenen Dateiformaten, Datenströmen oder aus anderen Datenbanken. Die Messungen können Daten von einer Minute, einer Stunde, einem Tag oder sogar von mehr als einem Monat enthalten. Unsere Tools helfen uns bei der Herausforderung, Ihre Daten in ODS zu standardisieren - egal wie.
Wir haben mehrere Optionen, um die meisten, wenn nicht sogar alle Varianten von Datenimporten abzudecken. Mit unserer Datenimport-Engine "ModelMapper" steht ein Werkzeug für die Entwicklung von Importer-Software zur Verfügung, um eigene Dateiformate in der standardisierten ODS-Anwendungsmodell-Semantik zu beschreiben. Es unterstützt die Analyse, Transformation und das Kopieren von Informationen zwischen ODS-Umgebungen und verschiedenen Anwendungsmodellen auf der Grundlage konfigurierbarer "Regeln". Die Verwendung des ModelMappers erfordert eine Bibliothek von Regeln, die alle Eingangsinformationen der Quelle auf das Ziel (Element, Attribut, ...) abbilden. Merkmale des ModelMappers sind:
Sobald der Importer-Job abgeschlossen ist, kann die Avalon-Benachrichtigung Benachrichtigungen senden, um die Benutzer über ihre Daten zu informieren, oder einen Auslöser, um einen Prozess zu starten. Die Arbeit kann beginnen!
In einem idealen Arbeitsablauf können die Sensoren des Prüfstands die Messwerte an den ASAM ODS-Server oder an eine Art Gateway senden, das Nachrichten von den Sensoren übersetzen und in ASAM ODS API-Aufrufe umwandeln kann. Das heißt: Nach der Durchführung einer Prüfung werden alle Messwerte mit den zugehörigen Metadaten auf dem Server gespeichert und stehen dem technischen Personal zur Verfügung. Wenn dies nicht der Fall ist, benötigen Sie eine Importersoftware.
In einem typischen Arbeitsablauf sind die Sensoren der Testbench jedoch nicht intelligent genug, um mit einem ODS-Server zu kommunizieren. Schließlich kann der Hersteller der Sensoren nicht wissen, wie das Geschäftsanwendungsmodell aussieht. Es ist auch wahrscheinlich, dass die an die Sensoren angeschlossenen Computer ebenfalls nicht über solche Fähigkeiten verfügen. In der Praxis werden die Messwerte über ein physikalisches Kommunikationsprotokoll (z. B. seriell, USB) ausgelesen und die Messwerte als Binär- oder Textdateien abgerufen. Nach Beendigung eines Tests gibt es eine Sammlung von Dateien mit den Kanalmessungen und den Metadaten, die Informationen über den durchgeführten Test enthalten (Startzeit, getestete Ausrüstung, Parameter zur Reproduktion des Tests usw.).
Die ASAM ODS-Datenbank kann mit Testdaten/Metadaten gefüllt werden, indem ein Programm geschrieben wird, das eine Sammlung von Eingabedateien liest und die Server-API (CORBA oder HTTP) zur strukturierten Speicherung der Daten aufruft. Diese Lösung funktioniert gut, aber sie erfordert eine Anfangsinvestition (Entwickler/Stunden) für die Implementierung dieses benutzerdefinierten Importers. Wenn mehrere Anwendungsmodelle benötigt werden, ist ein Allzweck-Importprogramm, das für verschiedene Modelle verwendet werden kann, von Vorteil. Irgendwann ist es notwendig, eigene Toolsets zu erstellen, um den Import von Messdaten zu unterstützen.
Eine unserer häufigsten Aufgaben bei HighQSoft ist es, unsere Kunden beim Import von benutzerdefinierten Dateien in ihre Anwendungsmodelle zu unterstützen. Aus diesem Grund wurde das Model Mapper Framework (auch bekannt als MoMa) entwickelt, um die Entwicklung von benutzerdefinierten Importern zu erleichtern. Dieser Rahmen übernimmt die wichtigsten wiederkehrenden Aufgaben (d.h. Aufgaben, die unabhängig vom Anwendungsmodell sind) und überlässt so wenig Arbeit wie möglich den Teilen des Importers, die auf das angestrebte Anwendungsmodell zugeschnitten sind.
Das MoMa-Framework liest ein Skript, das den Importprozess konfiguriert und eine Reihe von Regeln aufruft, die festlegen, wie Daten aus Eingabedateien gelesen, umgewandelt und in die Datenbank geschrieben werden. Die MoMa-Laufzeit, wie sie durch das Import-Skript konfiguriert wurde, ist verantwortlich für:
Gelegentlich ist es notwendig, sich mit einem neuen und einzigartigen Dateiformat zu befassen. In diesem Fall gibt es keine bestehende Regel, die es uns ermöglicht, dieses spezielle Dateiformat zu analysieren. Die Lösung für dieses Problem ist die Implementierung einer neuen Regel unter Verwendung der öffentlichen API des MoMa-Frameworks. Die neue Regel kann als Plugin hinzugefügt werden. Es sind keine Änderungen an der Engine selbst erforderlich. Darüber hinaus können neue Regeln in einer Bibliothek mit benutzerdefinierten Regeln gespeichert werden, so dass sie verfügbar sind, wenn das gleiche spezifische Dateiformat in Zukunft behandelt werden muss.
Unser ModelMapper kann Daten aus beliebigen Dateien (unabhängig vom Format), Ordnern oder Datenbanken importieren. Typische Eingaben für den Importer sind CSV- (Comma Separated Values) und MDF-Dateien (Measurement Data Format) oder andere ASAM ODS-Server wie der Santorin-Server (ein in Hardware implementierter ASAM ODS-Server).
Ein Datenpaket enthält in der Regel eine oder mehrere generierte Testdatendateien, die entweder direkt aus der Quelle oder aus einer definierten Landezone, z.B. einem bestimmten Ordner und einer bestimmten Struktur, stammen können. Diese kann an die gegebenen Einschränkungen und Anforderungen angepasst werden.
Nach dem Parsen werden die Daten für den nächsten Schritt vorbereitet.
Testdaten enthalten in der Regel keine umfangreichen Metadaten, die beschreiben, woher der Test stammt, wer ihn getestet hat und was der Zweck des Tests war. Diese Informationen können durch den Importprozess erweitert werden. Zusätzliche Informationen werden entweder über eine zusätzliche Datei oder eine API mit Verbindungsinformationen bereitgestellt oder können zu einem späteren Zeitpunkt durch eine Client-Anwendung hinzugefügt werden.
Neben dem Lesen und Parsen von Informationen ist ein wichtiger Schritt beim Datenimport die Datenvalidierung. Der Importer ist in der Lage, Daten gegen formale Einschränkungen des Geschäftsmodells zu validieren, Attribute gegen Kataloge oder sogar einzelne Attributbereiche zu validieren. Ein gutes Beispiel ist die Überprüfung, ob bestimmte Werte innerhalb eines definierten Bereichs liegen oder ob ein aufgezeichneter Kanal gültige Werte liefert.
Mit seinen integrierten Überprüfungsfunktionen dient der ModelMapper als Torwächter zur Datenbank. Beim Schreiben von Daten in die Datenbank sind die Daten bereits validiert und von ausreichender Qualität, um importiert zu werden. Abschließend wird geprüft, ob alle Informationen vorhanden sind und entsprechende Einträge geschrieben werden können.
In der Regel werden die Daten in einem gemischten Speichermodus aufbewahrt. Ist dies der Fall, werden die beschreibenden Daten (Metadaten) in der Datenbank gespeichert und die Kanaldaten (Massendaten) an einen geschützten Ort verschoben. Je nach Anforderung können Binärdateien beibehalten werden (z.B. MDF4) oder es kann ein neues internes Binärformat verwendet werden. Dateien im Textformat werden nicht verwendet.
Sobald die Aufgabe erledigt ist, kann die Avalon-Benachrichtigung Benachrichtigungen senden, um die Benutzer über ihre Daten zu informieren, oder einen Auslöser zum Starten eines Prozesses.
Erfolgreiches Testdatenmanagement ist am effizientesten, wenn es auf validierten Testdaten basiert. Unser Avalon ODS Server nimmt Testdaten aus verschiedenen Quellen und Speicherorten auf und organisiert sie - unabhängig davon, welches Format sie haben. Die gängigsten Dateiformate sind unten aufgeführt. Die Aufschlüsselung von Daten ist eine unserer Spezialitäten. Wir sind in der Lage, fast jeden Datentyp zu importieren.
Unser Avalon ODS Server ist kompatibel mit dem ASAM ATFx Dateiformat. ATFx-Dateien werden für Import, Datenaustausch und Export verwendet. Unser Manatee Web verwendet ATFx als Standard-Export.
Unser ODS-Server ist mit dem Avro-Dateiformat als Eingabe kompatibel. Wir können aus CSV-Dateien importieren, aber die Kanaldaten ressourcenschonend im Binärformat auf dem Server speichern.
Auf der Grundlage der ASAM ODS 6.1-Spezifikation können wir Avro-Dateien vom Server exportieren.
Unser Avalon ODS Server ist mit dem CSV-Dateiformat kompatibel. Wir können aus CSV-Dateien importieren, aber die Kanaldaten ressourcenschonend im Binärformat auf dem Server speichern. CSV ist ein Standard-Exportformat für unser Manatee Web.
nser ODS-Server ist mit dem HTML-Dateiformat als Eingabe kompatibel. Wir können aus HTML-Dateien importieren, aber die Kanaldaten ressourcensparend in Binärdateien auf der Serverseite speichern.
Unser Avalon ODS Server ist kompatibel mit dem ISO MME Datenformat. Das Format kann leicht importiert werden.
Unser ODS-Server ist mit dem JSON-Dateiformat als Input kompatibel. Wir können aus CSV-Dateien importieren, aber die Kanaldaten ressourcenschonend im Binärformat auf dem Server speichern.
Auf der Grundlage der ASAM ODS 6.1-Spezifikation können wir JSON-Dateien aus der Datenbank exportieren.
Unser Avalon ODS Server ist kompatibel mit dem Datenformat ASAM MDF 4.2 - sowie mit allen früheren Versionen. ASAM MDF ist eine weit verbreitete Containerdatei, die sich mit Avalon leicht verwalten lässt. Mit der Version 4.2 wurde das Format auch für das Lesen optimiert.
Unser ODS-Server ist mit dem Parquet-Dateiformat als Eingabe kompatibel. Wir können aus Parquet-Dateien importieren, aber die Kanaldaten ressourcenschonend in binärer Form auf dem Server speichern.
Auf der Grundlage der ASAM ODS 6.1-Spezifikation können wir Parkettdateien aus der Datenbank exportieren.
Unser Avalon ODS Server ist kompatibel mit dem DIAdem TDMS Datenformat. Häufig verwenden wir DIAdem als Datenimportwerkzeug. Insbesondere bei Importen aus vielen Quellen ist DIAdem ein unverzichtbares Werkzeug zur Validierung und Konsolidierung von Daten für unseren ModelMapper-Importer. Komplexe Algorithmen wie z.B.: berechnete Kanäle können vor dem Datenimport hinzugefügt werden.
Unser ODS-Server ist mit dem TXT-Dateiformat als Input kompatibel. Wir können aus TXT-Dateien importieren, aber die Kanaldaten ressourcenschonend im Binärformat auf dem Server speichern.
Unser ODS-Server ist mit dem XLS-Dateiformat als Input kompatibel. Wir können aus XLS-Dateien importieren, aber die Kanaldaten ressourcenschonend im Binärformat auf dem Server speichern.
Unser ODS-Server ist mit dem XML-Dateiformat als Input kompatibel. Wir können aus XML-Dateien importieren, aber die Kanaldaten ressourcenschonend in binärer Form auf dem Server speichern.
Fehlt Ihnen ein Format, das Sie in Ihre Testdatenmanagementlösung importieren möchten? Wir sind sicher, dass wir helfen können? Die meisten Formate sind kompatibel.
HighQSoft GmbH
Black-und-Decker-Straße 17c
D-65510 Idstein
