04
ツール：選定の考え方と候補
製品名は代表例です。要件、既存基盤、データ量、運用体制、セキュリティ要件を先に確認して選定してください。
ETL / ELT / 変換処理エンジン
候補：Informatica、IBM DataStage、Apache NiFi、Airbyte、dbt、Python (Pandas/Polars)、Apache Spark
評価のポイント：大規模データの高速抽出・クレンジング・変換・投入ロジックを実装・実行するために利用する。
データ突合・自動検証ツール
候補：QuerySurge、自作Python/SQLスクリプト、Great Expectations
評価のポイント：ソース・ターゲットDB間の件数・金額・ハッシュ値の一致を自動検証するロジックを構築するために利用する。
ジョブ自動化・オーケストレーション
候補：Apache Airflow、Control-M、Azure Data Factory、AWS Step Functions
評価のポイント：依存関係を持つ移行スクリプト群を順次実行し、エラーハンドリングやログ収集を自動化するために利用する。