OSS ETLツール

抽出（Extract）、変換（Transform）、ロード（Load）を、再実行可能なジョブとして実装・運用するためのツールです。

移行で必要な機能

• データベース、ファイル、APIなど複数の入出力に接続できること
• コード変換、正規化、名寄せ、例外処理をバージョン管理できること
• 依存関係に沿った実行順序、再実行、失敗時の通知を制御できること
• 件数・金額・エラー内容のログを保存し、検証証跡を残せること

運用設計のポイント

ETLジョブ、設定値、マッピング定義、実行ログを分けて管理します。本番移行前には、本番相当データで所要時間とエラー処理を検証し、ロールバック手順まで含めてリハーサルします。