Integrations
主要な OSS データプロトコル・lineage・メタデータ規格との相互運用性<br>「どう繋ぐか」は規格に、「来歴として何を検証して流すか」は provin に
※ planned は別リポで提供予定、community-buildable は pipeline の拡張点(source / sink / observer)の契約に対して実装できる相互運用ポイントです。
protocol
projects.eclipse.org/projects/technology.edc ↗
IDSA Dataspace Protocol の OSS リファレンス実装。組織間データ共有における コネクタ・ポリシー交渉・データ転送を担います。
edc-source / edc-sink adapter は、OSS の Source / Sink 拡張点の契約を 実装する別リポジトリとして提供予定です(拡張 adapter は OSS 本体のスコープ外)。 これにより、EDC が交渉・転送した合意済みデータに対し、provin パイプラインで 来歴 VC を付与する構成が組めます。
「Dataspace Protocol = どう繋ぐか」と「provin = 何を保証して流すか」が 責務分担となり、両者を組み合わせると IDSA / GAIA-X 系データスペースに 来歴証明レイヤーを追加できます。
lineage
Linux Foundation 配下の、データパイプライン lineage の業界標準仕様。 Airflow / dbt / Spark など主要データツールがネイティブ対応。
provin の pipeline/observer は処理完了通知の差し込み口として設計されており、 ここに OpenLineage emitter を実装すれば、provin の処理を OpenLineage Run Event として 外部の lineage ツールに送れます。
正式 adapter としての同梱はまだですが、ProcessObserver インターフェースを 通じてコミュニティが実装可能な設計です。
lineage
OpenLineage のリファレンス実装サーバ。lineage 可視化・履歴管理を提供します。
provin から OpenLineage emitter 経由で接続することで、Marquez の UI 上で パイプライン来歴を時系列・グラフとして閲覧できるようになります。
metadata
代表的な OSS メタデータ管理プラットフォーム。データ資産・スキーマ・lineage を 組織横断で一元管理します。
provin の VC を pipeline/observer 経由で DataHub / Atlas のメタストアに 登録することで、来歴証明済みのデータ資産として外部カタログに登録できます。
protocol
分散データパイプラインのオープンプロトコル(参照実装は kamu)。データと メタデータを暗号台帳として保存し、決定的な再計算によって照会結果を検証します。
provin とは同じ問題域の隣接アプローチです。ODF は「データ自体の台帳化 + 再現可能な 変換」で 結果を 検証し、provin は「境界コミットメントへの署名」で 帰属を 検証します — AI 推論や人間の判断のような決定的でない処理段を許容するのが provin 側の分担です。
相互運用は Source / Sink 拡張点で、ODF データセットをパイプラインの入出力として 扱う形で実装できます。