Datacook Datacook

STEP 02 / 06

Step 02: 設計(準備) - 詳細(作業・成果物)

移行対象データと新旧システムの対応関係を定義し、誰が実行しても再現できる移行手順を設計する。

02

詳細:作業と成果物

概要で示した作業を、Input / Output、依存関係、完成条件まで具体化します。成果物は名前だけでなく、次工程が使える状態まで仕上げます。

1. Outputの目的と完成条件

Output目的・役割サンプル/記載事項完成条件・次工程
移行対象データ定義書移行・アーカイブ・廃棄の境界を確定し、不要なデータを後工程へ持ち込まない。

次工程:プロファイリング範囲、抽出条件、テストデータの基準に使う。

対象テーブル/ファイル、期間、条件、件数見込み、保管区分、根拠、承認者全対象が区分され、対象外の理由・参照方法・業務承認が記録されている。
データプロファイリング結果報告書データ品質を感覚ではなく数値で把握し、対処の優先順位を決める。

次工程:マッピング、クレンジング、テストの合否基準に使う。

件数、NULL率、重複率、異常値、コード値分布、主キー重複、品質課題一覧重要項目の品質指標と許容基準、課題の原因・対応方針・担当者が揃っている。
データマッピング定義書新旧項目の対応と変換を再現可能な形で合意する。

次工程:ETL実装、突合、業務受入テストの期待値に使う。

ソース/ターゲット項目、型・コード変換、デフォルト値、空欄・エラー時の処理必須項目・例外・コード変換を含め、業務責任者とIT責任者が承認している。
データクレンジング仕様書欠損・重複・不正値をどの条件で補正、除外、保留するかを明確にする。

次工程:ETL処理、例外データ管理、再実行、品質検証のルールに使う。

対象条件、補正前後、優先順位、除外条件、例外ルート、業務確認者、実施方法自動補正・手動確認・移行対象外の境界が定義され、補正後の品質基準と承認者が決まっている。
データアーカイブ設計書移行しないデータを、保持要件と将来の参照性を満たして安全に保管する。

次工程:旧システム停止、保管運用、監査対応の前提に使う。

対象データ、保持期間、保管先、形式、検索キー、アクセス権、暗号化、廃棄方法法令・契約・業務の保持要件、参照手順、復元確認、管理責任者が合意されている。
移行手順書(Runbook担当者が変わっても同じ手順を安全に実行できるようにする。

次工程:開発、リハーサル、本番移行の実行台本に使う。

事前条件、コマンド/ジョブ、投入順、確認ポイント、ログ保存先、切り戻しリハーサルで実行可能性を確認し、所要時間・担当・判定基準・ロールバックが記載されている。

2. 作業・Input / Output・依存関係

作業概要InputOutput先行依存区分
2-1. 移行対象データの特定テーブル/ファイル単位での移行・アーカイブ・廃棄の分類1-2 システム・IF移行マスター、1-3 系統別移行方針書、現行DB定義書移行対象データ定義書STEP 1必須
2-2. データプロファイリング実施ソースデータの件数、NULL率、重複、異常値、型・コード値の定量調査・品質評価2-1 移行対象データ定義書、現行DBデータプロファイリング結果報告書2-1必須
2-3. データマッピング定義新旧項目の型変換、コード変換、デフォルト値、例外ルールの策定2-1 移行対象データ定義書、2-2 データプロファイリング結果報告書、新旧DBスキーマデータマッピング定義書2-2必須
2-4. クレンジングルール定義不整合データ、欠損値、重複データのクレンジング条件の定義2-3 データマッピング定義書、2-2 データプロファイリング結果報告書データクレンジング仕様書2-3必須
2-5. 移行手順書 Runbook作成実行順序、コマンド、事前条件、検証ステップ、ロールバック方針の作成2-1 移行対象データ定義書、2-3 データマッピング定義書、2-4 データクレンジング仕様書移行手順書(初版)2-4必須
2-6. 移行データアーカイブ設計移行非対象データの長期保管・参照方法の設計2-1 移行対象データ定義書、1-3 系統別移行方針書、法令保管要件データアーカイブ設計書2-1任意

3. 補助的に用意する文書・ツール

補助文書

新旧DB定義書、コード変換表、データ分類表、法令・保管要件、業務用語集

項目の意味・保持期間・変換判断の根拠を揃える。

確認用ツール

Great Expectations、Soda Core、dbt、SQL、Python(Pandas/Polars)

品質指標を自動計測し、プロファイリング結果を再現する。

管理ツール

Git、SharePoint、Excel、Confluence、Jira

マッピングの版管理、承認、課題と判断の紐付けを行う。

4. 変更・履歴管理

  • Gitや構成管理ツールによるマッピング定義(JSON/YAML/Excel)のバージョン管理。
  • マッピング変更(カラムの追加・変更・型変換ルールの調整)は影響分析を行った上で変更理由と承認履歴を紐付ける。

5. このStepの完了条件

対象範囲、データマッピング、変換・例外ルール、実行手順を確定し、安全に移行を開始できる状態をつくる。

  • 全体概要: 移行対象データの選定、データプロファイリングによるデータ品質の定量化、新旧システムのデータマッピング、データ変換・クレンジングルール、および実行可能な移行手順書(Runbook)を策定する。
  • Input/Output: 【Input】新旧DBスキーマ、1-2 システム・IF移行マスター 【Output】移行対象データ定義書、データプロファイリング結果報告書、データマッピング定義書、データクレンジング仕様書、移行手順書
  • 依存関係と必須性: [2-1.対象特定(必須)] → [2-2.プロファイリング(必須)] → [2-3.マッピング(必須)] → [2-4.クレンジング(必須)] → [2-5.手順書作成(必須)] / [2-6.アーカイブ設計(任意)]
  • 変更管理・履歴管理: Git等でマッピング定義(JSON/YAML/Excel)をバージョン管理。カラム変更や型変換調整は影響分析後に変更理由と承認履歴を紐付ける。