BODS - ビッグデータ ODS

「従来型」システムの拡張性(ASAM ODS 5)

ASAM ODS の初期段階において、テストデータ管理システムは独立したプロジェクト向けの単一データリポジトリとして始まりました。時を経て、プロジェクトは統合され、例えばエンジンとトランスミッション領域はパワートレインプロジェクトに統合されました。現在では、エンタープライズシステムが企業データ、車両を含む様々なソース、複数のユーザーグループやステークホルダー、自動化された分析フレームワークのデータを統合しています。

 

弊社の Avalon ODS Server は、インポートプロセス、ユーザー、分析などからのチャネルワークロードを並列インスタンス化することを常に特徴としてきました。2015 年には、ASAM ODS 5 アクセス用の単一ゲートウェイとして Avalon Distributor を導入しました。Avalon Distributor の主要機能は、複数の Avalon ODS Server を活用したクエリの負荷分散でした。さらに、Distributor ではフォールバックオプションが利用可能で、サーバーインフラ全体を稼働状態に維持できます。これにより ASAM ODS は、テストデータ管理において早期から水平・垂直両方向のスケーラビリティを提供しました。この機能は継続的に開発が進められ、現在も統合コンポーネントとして運用されています。

ASAM ODS 5 システムの残存する制約要因は、CORBA への依存性であり、これにより Docker や Kubernetes といった新しいコンテナ化技術の利用が妨げられています。

2019/2020 年に ASAM ODS 6 API が導入されました。この開発は、テストデータ管理システムを現代のインフラに統合するための最新の HTTP REST API を提供するという点で、画期的なものです。弊社の Manatee Web アプリケーションなど、Web プラットフォームを基盤とするアプリケーションは、世界中どこからでもデータアクセスを可能にします。さらに、ASAM ODS 6 Web サービスに加え、HighQSoft Query Language Libraries(HQL)により、開発者やエンジニアは、大きな労力や ODS API の専門知識を必要とせずに、自身のツール、プラットフォーム、分析を ODS に統合できるようになりました。これにより、データはこれまで以上にアクセスしやすくなっています。

 

ASAM ODS の比較的新しい側面は、自動評価機能の統合です。エンジニアはアルゴリズム開発に好みのツールを使い続ける一方、Merlin のようなフレームワークはアルゴリズムをサーバーサイドプロセスに統合し、アルゴリズムをデータに近づけましたた。これにより入力データは自動的に検証され、標準化されたレポート用に準備されるようになりました。これは性能向上、結果の比較可能性、データ冗長性の回避に向けた重要な一歩です。

 

ソリューション統合のあらゆる側面は、ODS における最先端技術に適合し、ASAM ODS 領域内のほとんどのケースにおいて十分な性能を備えています。

初期の参加者

Audi
AVL
BMW
Bosch
Cummins
ETAS
Ford Motor Company
GM
HighQSoft
IASYS
Müller BBM
National Instruments
Peak Solution
PSA
RD Electronic
Vector
White Pine

ASAM ODS 6.1 の導入 - ビッグデータ ODS

ASAM ODS PDF

大規模データ管理とビッグデータ分析の要件を満たすため、この分野とそのメンバー全員が、ASAM ODS 標準をさらに発展させる取り組みを開始しました。米国カミンズ Cummins 社がアレンジしたこの取り組みには、AUDI、Cummins、ETAS、Evolutionary Software、Ford、General Motors、HighQSoft、RDE data solutions、White Pine Software Technologies などが参加しました。

 

その結果、ASAM ODS ワーキンググループはビッグデータ環境との統合性に優れた3つのフォーマットを定義しました:メタデータをインデクサーサービスに統合するための JSON フォーマット、データ転送用の AVRO フォーマット、Hadoop におけるデータ保存用の PARQUET フォーマットです。

BODS - ASAM ODS によるビッグデータの定義

JSON フォーマット

ASAM ODS 6 には、非 SQL データリポジトリの統合または組み合わせを可能にする HTTP API が付属しています。現代の Web サービス環境との相互接続を実現するため、ASAM ODS ワーキンググループは、データを他のリポジトリやインデクサー技術へエクスポートするための JSON スキーマを定義しました。JSON 形式の主な目的は、メタデータの相互運用性を確保することにあります。

Parquet フォーマット

Parquet ファイルフォーマット定義により、ASAM ODS ワーキンググループは Hadoop エコシステム内に容易に統合可能なフォーマットを定義しました。このフォーマットには、JSON または ATFx ファイルに保存された情報でアクセス可能な大量データ/チャネルデータが含まれます。これにより、データサイエンティストの好みに従った他のインターフェイスやクエリ言語でデータにアクセスする可能性が開かれます。同時に、このフォーマット定義はデータが常に透過的に保存されることを保証します。

AVRO フォーマット

AVRO ファイルフォーマットの定義において、ASAM ワーキンググループは Parquet の代替フォーマットを定義しました。Parquet フォーマットはデータ保存に使用可能ですが、主にデータ生成時の迅速な書き込みと転送というユースケースを満たします。AVRO フォーマットは Parquet フォーマットへ変換可能であり、その逆も同様です。同じ JSON 定義と組み合わせて動作します。両者は単一ノードのエントリポイントとして機能し、増加する要件に応じてテストデータ管理システムを拡張します。また、ASAM ODS 5 から ASAM ODS 6 システムへの移行シナリオを提供する IIOP ゲートウェイが利用可能です。IIOP ゲートウェイは他のゲートウェイと同様の機能を提供します。

HighQSoft GmbH

Black-und-Decker-Straße 17b
D-65510 Idstein