Airbyte
600+ コネクタを持つ ELT プラットフォーム(Elastic License 2.0 の source-available — 標準的な OSI ライセンスではない点に留意)。 Source 拡張点の契約を実装し、Airbyte が取り込んだデータをそのまま パイプラインに流す構成で接続できます。
Connectors
データが出入りする外部システムと、provin 側の受け口
接続は 4 つの拡張点 — Source / Sink / Transport / Observer — の契約に実装する
※ 「同梱済み」は現行 OSS main に存在する実装、「community-buildable」は拡張点の契約に対して実装できる接続先を指します。
受け口は OSS の pipeline/ の契約 — Process、sink の Writer、transport の Publisher / Subscriber、contract.ProcessObserver — に対応し、同梱コンポーネントがそのまま参照実装になります。
Source
外部システムからデータを取り込む入口。
同梱: ingest / aggregate
Sink
処理結果を外部へ書き出す出口。production / archival 構成では検証済み判定のみ通る(fail-closed)。
同梱: console / file
Transport
プロセス間のレコード搬送層。
同梱: NATS (Core NATS)
Observer
処理完了イベントの購読口(fire-and-forget の best-effort 通知)。監査記録は同期の store 経路が担う。
同梱: logobserver
600+ コネクタを持つ ELT プラットフォーム(Elastic License 2.0 の source-available — 標準的な OSI ライセンスではない点に留意)。 Source 拡張点の契約を実装し、Airbyte が取り込んだデータをそのまま パイプラインに流す構成で接続できます。
Singer 標準ベースの OSS ELT。CLI / GitOps 派の選択肢で、600+ の tap を持ちます。 Meltano の出力を Source 拡張点で受ける構成で接続できます。
PostgreSQL / MySQL / MongoDB などの変更ログから CDC ストリームを取り出す OSS フレームワーク。Source 拡張点で Debezium のイベントを購読すれば、 DB 変更をほぼリアルタイムにパイプラインへ取り込めます。
任意の HTTP push を入口・出口として扱う汎用の接続形。 SaaS イベント通知や外部システムからのトリガーを Source 拡張点で受け、 パイプラインの結果を任意の HTTP エンドポイントへ通知する Sink として書き出せます。
ストリーミングブローカーの定番。既存の topic を Source 拡張点で購読し、 処理結果を Sink 拡張点で別 topic へ書き出す構成で接続できます。 既存の Kafka / Redpanda クラスタに provin を「上に乗せる」形で導入でき、 ブローカー選択を変えずに来歴レイヤーだけを足せます。
multi-tenant とジオレプリケーションに強みを持つ OSS ストリーミング基盤。 Source / Sink 双方の拡張点で接続でき、地理分散環境でのパイプライン構築に向きます。
軽量・セルフホスト容易な OSS PubSub。provin OSS のデフォルト Transport として
Core NATS が同梱され(pipeline/transport/nats)、Pipeline Process 間のレコード搬送
(transport 層)を担います。外部データコネクタではなく内部の伝送路で、SQS/SNS 等と
差し替え可能です。quickstart スタックにも組み込み済み。
JetStream による exactly-once / durable delivery は follow-up として ソース上に明記されています(現行同梱は Core NATS)。
warpstreamlabs.github.io/bento/ ↗
Benthos の MIT フォーク。単一バイナリで動く軽量ストリーム処理ツールで、 Bloblang による宣言的マッピングや 200+ プロセッサを持ちます。 パイプラインの前段の整形(Source 側)や後段の配信(Sink 側)として接続できます。
OSS lakehouse の事実上標準テーブルフォーマット。 パイプライン出力を Iceberg テーブルへ書き出す接続を、Sink 拡張点の契約に 対して実装できます。
AI エージェントへ構造化データを公開するためのオープンプロトコル。 パイプラインの出力を Sink 拡張点から MCP サーバとして提供することで、 LLM エージェントに来歴付きデータを参照させられます。