04
ツール:選定の考え方と候補
製品名は代表例です。要件、既存基盤、データ量、運用体制、セキュリティ要件を先に確認して選定してください。
データプロファイリングツール
候補:Great Expectations、Informatica Data Quality、Ataccama、OpenMetadata
評価のポイント:現行DBの実データを自動スキャンし、件数・NULL率・重複・コード異常値を定量抽出・可視化するために利用する。
マッピング・設計管理ツール
候補:Enterprise Architect、Microsoft Excel / SharePoint、LeanIX
評価のポイント:新旧DBのカラム対応関係、型変換式、デフォルト値、例外ルールを一元管理しバージョンコントロールするために利用する。
データクレンジング・検証ルール定義ツール
候補:Great Expectations、Soda Core、dbt
評価のポイント:プロファイリング結果に基づき、クレンジングルールや整合性テスト条件を宣言的に記述・検証するために利用する。
データアーカイブ・ストレージ設計ツール
候補:AWS S3 Glacier、Azure Archive Storage、Snowflake Cold Storage
評価のポイント:移行非対象データや法令保管要件のあるデータを低コストで長期保存・参照できるようにアーカイブ構造を設計する。