7.1 データ戦略とガバナンス

概要と動機

データ戦略とは、データを資産として扱うための意図した計画です。データがどう生成され、記述され、所有され、保護され、共有され、消費されて、価値を生むか。データガバナンスは、戦略を現実にする運用システムです。データを時間にわたって信頼でき適合した状態に保つ、役割、方針、標準、統制。小さなチームでは、これらの関心事はしばしば暗黙で、少数のエンジニアの頭の中にあります。大きな開発者組織、企業、政府機関の規模では、その非公式さは崩れます。数百のチームが数千のテーブルを生み出します。数十のシステムが「本当の」顧客レコードを保持していると主張します。そして、取締役会の資料や公的な報告書でどの数字が正しいかを、誰も自信をもって言えません。

大きなチームにとって、貧しいデータガバナンスのコストは抽象的ではありません。規制当局は、GDPR(EUの一般データ保護規則)、HIPAA(米国の医療保険の携行性と責任に関する法律)、業界固有の規則のような制度のもとで、個人、財務、医療のデータについて実証可能な系統と制御を期待します。企業は、誤って報告された指標、失敗した監査、重複したデータプラットフォームから、直接の財務上の露出に直面します。政府機関は、記録の保持、情報公開へのアクセス、公的な説明責任、市民の公平な扱いについて、追加の義務を負います。これらすべての設定で、信頼できないデータは、データがないよりも悪い。自信に満ちた、しかし間違った決定を駆動するからです。

規模での進歩を駆動する考えは単純です。データをプロダクトとして扱う。データがアプリケーションの排気の副産物であるのではなく、各重要なデータセットが、所有者、文書化されたインターフェース、品質の保証、顧客として扱われる消費者を持ちます。本章は、そのプロダクトの考え方を、古典的なガバナンスの規律と並べて扱います。スチュワードシップ、カタログ化、マスターデータ管理、品質。また、どのモデルがチームに合うかを決める組織上の選択も扱います。データメッシュ(プロダクトとして公開される、分散したドメイン所有のデータ)、データレイクハウス(柔軟なデータレイクの上に重ねられた、ウェアハウス流の管理とガバナンス)、データウェアハウス(モデル化されクエリの準備ができたデータの、統治された中央のストア)。

関連項目: 4.5章(プライバシーとデータ保護)、7.2章(データエンジニアリング)、4.6章(コンプライアンスとガバナンス)。

主要原則

データは、アプリケーションの使い捨ての副産物ではなく、所有者を持つ持続的な資産です。
すべての重要なデータセットには、名前のある責任ある所有者と、文書化されたコントラクトがあります。
ガバナンスは信頼できる利用を可能にします。ノーと言うだけの官僚的なゲートではありません。
各重要なビジネスエンティティには、一つの権威ある情報源があるべきです。
品質、プライバシー、系統は、後から検査されるのではなく、設計に組み込まれます。
データの消費者は、そのニーズがプロダクトを形づくる顧客です。
方針は、善意に任されるのではなく、可能な限り自動的に符号化され徹底されます。
組織が育つにつれて、連合した所有は、単一の中央チームよりもよくスケールします。

推奨事項

データをプロダクトとして扱う

各重要なデータセットに、その利用適合性に責任を負うプロダクトオーナーを与えます。データプロダクトは、名前、文書化されたスキーマ、その意味と出所の説明、定義された更新の周期、公表された品質の期待値を持ちます。消費者は、生産するチームに一つも質問せずに、それを発見し、理解し、頼れるべきです。ソフトウェアのAPIに適用するのと同じ規律を適用します。バージョニング、非推奨の通知、変更履歴、後方互換性。

データコントラクトとSLAを確立する

データコントラクトは、生産者とその消費者の間の、明示的で機械的にチェック可能な合意です。スキーマ、意味、鮮度、量、許される変更をカバーします。上流の破壊的な変更が、数週間後に下流のレポートを静かに壊すのではなく、源で早く失敗するよう、パイプラインでコントラクトを徹底します。コントラクトを、サービスレベル合意と目標と組みます。たとえば、「顧客ディメンションは毎日06:00までに更新、99.5パーセントの日で、ビジネスキーのヌルが0.1パーセント未満」。これらを公開し、違反にアラートを出します。

スチュワードシップとガバナンスの運用モデルを築く

説明責任を実行から分けておきます。データの所有者(しばしばビジネスのリーダー)は、ドメインに説明責任を負います。データのスチュワード(主題の専門家)は、定義を保守し、品質の問題を解決し、アクセスを承認します。軽量なデータガバナンス評議会が、横断的な標準を設定し、論争を解決します。モデルを連合に保ちます。中央のイネーブルメントチームがツール、標準、コーチングを提供し、ドメインのチームが自分のデータを所有します。これは、完全な集中のボトルネックと、ガバナンスがまったくない混沌の両方を避けます。

データカタログと系統に投資する

検索可能なカタログは、データ資産群への玄関口です。ビジネス用語集、技術的なスキーマ、所有権、機微さの分類、品質スコア、源のシステムから変換を経てダッシュボードに至る端から端までの系統を保持すべきです。すぐ腐る手作業の文書化に頼るのではなく、メタデータの収集を自動化します。系統は、影響分析、インシデント対応、監査、データ主体のアクセスや削除のような規制上の要求に不可欠です。

マスターデータ管理と単一の真実の源

中核のエンティティ(顧客、市民、製品、サプライヤー、従業員)には、マスターデータ管理を使って、重複と衝突するレコードを一つのゴールデンレコードに調整します。ハブがどれだけ権威を持つ必要があるかに基づいて、アーキテクチャ(レジストリ、統合、共存、集中型)を選びます。マッチングとサバイバーシップのルールを明示的に定義し、監査可能にします。単一の真実の源は、財務、営業、運用がそれぞれ異なる収益を報告するという、古典的な失敗を防ぎます。

次元にわたってデータ品質を測定する

品質を、名前のある次元に沿って管理します。正確性、完全性、一貫性、適時性、妥当性、一意性。消費者が影響を受ける前に異常を捉えられるよう、パイプラインを自動化されたテストと継続的なデータオブザーバビリティ(鮮度、量、スキーマのずれ、分布のチェック)で計装します。データのインシデントを、検知、トリアージ、根本原因分析、ポストモーテムを伴う、本番の障害のように扱います。

分類し、保護し、アクセスを制御する

データを機微さで分類し、暗号化、マスキング、トークン化、行と列レベルのセキュリティ、定期的にレビューされる最小権限のアクセスという、比例した統制を適用します。最小化の要件と記録保持法の両方を満たす、保持と削除のスケジュールを保ちます。政府の文脈では、透明性の義務とプライバシーの保護を、ケースバイケースではなく、意図して調整します。

トレードオフ: 長所と短所

アプローチ	長所	短所	最適な場合
集中したガバナンスチーム	一貫した標準、明確な説明責任	ボトルネック。ドメインから切り離される	小さい、あるいは高度に規制された組織
連合したガバナンス	スケールする。ドメインの専門知識。当事者意識	強いツールと文化が必要	大きな複数ドメインの企業
データウェアハウス	成熟し、統治され、高性能なSQL	硬い。構造化されていないデータには高価	安定したBI中心のワークロード
データレイクハウス	柔軟で、統一され、あらゆる種類のデータを扱う	若いツール。ガバナンスの労力	分析とMLが混在
データメッシュ	ドメイン所有。組織的にスケールする	高い成熟度の基準。調整のコスト	非常に大きく分散した組織

ガバナンスは常に、速度と信頼を交換します。軽いガバナンスはチームを速く動かせますが、監査、侵害、恥ずかしい誤報が高価な清算を強いるまでです。重いガバナンスは信頼を守りますが、実験を窒息させ、チームをシャドーシステムに向かわせえます。持続する答えは、ガバナンスを自動化されたセルフサービスのガードレールとして符号化し、適合した道が易しい道にもなるようにすることです。アーキテクチャ上は、ウェアハウスは統治された単純さを、メッシュは組織的な規模を好み、レイクハウスはその中間を取ります。正しい選択は、どんな技術的なベンチマークよりもはるかに、組織の構造に従います。

チームで議論すべき問い

どのデータアーキテクチャ(ウェアハウス、レイクハウス、メッシュ)が、組織の構造に実際に合い、それぞれが要求する成熟度の基準について誠実ですか。トレードオフの表は、この選択がベンチマークではなく組織の構造に従うという点を示しています。ウェアハウスは安定したBI中心のワークロードに報い、レイクハウスは分析とMLが混在するものを扱い、メッシュは多くの自律的なドメインにわたってスケールしますが、高い成熟度と強いツールを要求します。数十のドメインを持つ大企業や政府機関にとって、セルフサービスのプラットフォームとガバナンスの文化を持つ前にメッシュに飛びつくことは、分散に装った混沌を生みます。具体的なシグナルを持ち込んでください。いくつのドメインがデータを生み出すか、中央のチームがすでにボトルネックか、ドメインのチームがプロダクトを所有する技能とインセンティブを持つか。今日、連合したツールがないなら、誠実な答えは、今は統治されたウェアハウスかレイクハウス、メッシュは後で、かもしれません。人々が実際に運用できるモデルを選び、それから次のモデルが必要とする成熟度に投資してください。
今日、削除の要求を端から端まで果たせますか。そして系統は、個人レコードのすべてのコピーがどこへ行ったかを証明しますか。 GDPRや同様の制度のもとで、データ主体の削除やアクセスの要求は、厳しい期限を伴う法的義務であり、系統なしにデータを広くコピーすることは、それを満たすのを不可能にします。大きなチームは、データをマート、抽出物、キャッシュ、スプレッドシートに日常的に扇状に広げるので、本当の問いは、元のものを削除できるかではなく、すべてのコピーをたどって届けるかです。証拠を持ち込んでください。本物の顧客あるいは市民を一人選び、そのデータが住むすべての場所を列挙してみる。できないなら、そのギャップは、コンプライアンスのリスクであり、侵害の影響範囲の問題でもあります。答えは、自動化された系統と、制御されないコピーへのより厳しい統制への投資を駆動すべきです。要求が届く前に、適合した道を築かなければならないからです。
ガバナンスは易しい道ですか。それとも人々が回避するゲートで、それを証明するシャドーシステムはどこにありますか。 本章の持続する答えは、ガバナンスを自動化されたセルフサービスのガードレールとして符号化し、適合した道が最も速い道でもあるようにすることです。重い手作業のガバナンスは、チームをシャドーのスプレッドシートや統治されないコピーに向かわせるからです。企業や機関にとって、シャドーシステムは、侵害、間違った数字、失敗した監査が生まれる場所です。誰も見ていないからこそ。具体的な目録を持ち込んでください。どのチームが自分のコピーを保っているか、どのレポートがカタログを迂回しているか、公式のプロセスが遅すぎると人々が言う所はどこか。各シャドーシステムは、統治された道が回避策よりコストがかかるというシグナルです。さらに方針を出すのではなく、摩擦を直し、認証されたデータとコントラクトの利用が、それを回避するより本当に易しくなるようにしてください。
どの重要なビジネスエンティティが、最も単一の権威ある情報源を必要とし、そのゴールデンレコードに今日、名前で責任を負うのは誰ですか。 マスターデータ管理は、財務、営業、運用がそれぞれ異なる顧客や異なる収益の数字を報告するのを止めるために存在し、規模では、一つの権威ある情報源がないことが、あらゆる領域横断の数字を議論に変えます。相反する考慮は、ハブがどれだけ権威を持たなければならないか(レジストリ、統合、共存、完全な集中)と、構築し監査してもよいマッチングとサバイバーシップのロジックの量です。重いハブはよりコストがかかりますが、より多くの衝突を解決します。最も多くのレポートに現れるエンティティ(顧客、市民、製品、サプライヤー、従業員)、それぞれについて本当のレコードを保持していると主張するシステムの数、今日使っているマッチングのルール(あれば)を持ち込んでください。銀行や国の機関では、所有者とサバイバーシップのルールを明示的に名指ししてください。公的な報告から源まで数字をたどる規制当局は、どの重複が勝つかを誰が決めたのかを尋ね、「誰も」は監査を生き延びる答えではないからです。
重要なデータセットが利用に適していることを、消費者が壊れているのを発見する前に、どうやって知りますか。 未成熟な資産群では、品質は、ダッシュボードが壊れたアナリストや、取締役会の数字が間違っている経営者によって発見され、それは考えうる最も高価な検知点です。緊張は、品質を計装するコスト(正確性、完全性、妥当性のような名前のある次元にわたる、テスト、鮮度と量のチェック、分布とスキーマのずれの監視)と、防ぐインシデントのコストの間にあり、チームは、失敗が壊滅的になるまで見えないままなので、日常的に投資不足になります。直近三つのデータのインシデント、それらがどう検知されたか、誰かが気づくまでどれだけ続いたか、今日実際に公表しアラートを出している品質のSLAを持ち込んでください。企業と政府のレポーティングでは、各重要なデータプロダクトを明示的な品質の閾値に結びつけ、違反を、トリアージとポストモーテムを伴う本番の障害のように扱ってください。規制上の提出書類や公的な統計の間違った数字は、監視の請求書をはるかに上回る法的で評判上のコストを伴うからです。
ガバナンスはドメインの所有を伴って本当に連合していますか。それとも、理解していないデータに責任を負わされる中央のチームですか。 本章は、イネーブルメントを中央に置いた連合した所有が、純粋な集中がボトルネックになり、純粋な分散が混沌に陥る所でスケールすると論じますが、多くの組織は連合を主張しながら、領域の知識を持たない数千のテーブルに、少人数の中央のチームが名目上責任を負い続けています。相反する引力は本物です。中央のチームは一貫性と単一の責任の窓口を与え、ドメインの所有は専門知識と説明責任を与えますが、ビジネスの所有者が、望まないかもしれない責任を受け入れることを要求します。上位のドメインについて、誰が責任を負い、誰が実際に定義を保守して品質の問題を解決しているかの誠実な地図、スチュワードが役割が求める権限と時間を持つかを持ち込んでください。大きな企業や機関では、所有が、領域の知識とノーと言う権限の両方を持つ人にあることを確認してください。権限のない中央のチームに割り当てられたガバナンスは、誰も従わない方針と、何も決めない評議会を生むからです。

セクター別の視点

スタートアップ。 速度と生存がプロセスに勝ります。各中核のデータセットに一人の所有者を名指しし、「アクティブな顧客」のようなエンティティの単一の真実の源として一つのストアにし、カタログ、評議会、メッシュはすべて飛ばしてください。少数の重要なテーブル(スキーマ、更新時刻、一つの品質の期待値)の1ページのコントラクトは、「誰の数字が正しいか」という議論を午後のうちに終わらせます。人員を置く余裕のない機能の代わりに、ウェアハウスにすでに組み込まれたガバナンスに頼ってください。

小規模事業者。 専任のデータの専門家がおらず予算も厳しいので、ガバナンスをプラットフォームのプロジェクトではなくデータの衛生として扱ってください。どんな個人データを持ち、どこに住み、誰が触れてよいかを知る。築くのではなく、すでに動かしているツールに埋め込まれたガバナンスを買えるよう、系統、アクセス制御、保持を最初から提供するマネージドなウェアハウスやBIツールを好みます。カスタムのパイプラインは、事業を本当に駆動する一つのデータセットのために取っておきます。

大企業。 多くのチームにわたる規模では、仕事は中央のイネーブルメントを伴う連合した所有です。自動化された系統を備えた共有のカタログ、徹底されたデータコントラクト、中核のエンティティのマスターデータ、ベースラインに対して測定された品質のSLA。適合した道が速い道にもなるよう、ガバナンスをセルフサービスのガードレールとして符号化し、データを名前のある所有者を持つプロダクトのポートフォリオとして管理します。そうすれば、監査人はどの数字もレポートから源までたどれ、グループは同じパイプラインと定義を再発明するのをやめます。

政府。 調達規則、透明性、公的な説明責任があらゆる選択を形づくります。公表される指標を、文書化された方法論、バージョン管理されたリリース、品質のゲートを伴うデータプロダクトとして扱い、情報公開とオープンデータの義務を、プライバシーと最小化とケースバイケースではなく意図して調整します。ロックインを避けるために、ベンダーの契約でデータの可搬性と系統の開示を求め、擁護できる保持と削除のスケジュールを保ち、「世帯」や「失業」がすべての部門で同じ意味になるよう、スチュワードシップ評議会に共有の定義を持たせてください。

事例

スタートアップ。 シードステージのSaaS企業は、請求のスプレッドシート、営業ツール、プロダクトのデータベースがそれぞれ異なる顧客数を報告し、投資家向けの更新でどれが正しいか誰も言えないことを発見しました。4人のチームは、各中核のデータセットに一人の所有者を名指しし、ウェアハウスを「アクティブな顧客」の単一の情報源にし、スキーマと毎日の更新時刻を記述する1ページのコントラクトを書きました。午後しかかからず、誰の数字を信頼するかの毎週の議論を終わらせました。

大企業。 多国籍の銀行は、リテール、融資、ウェルスの部門にわたる数十の衝突する顧客レコードを、サバイバーシップのルールとゴールデンレコードを備えたマスターデータ管理のハブに統合しました。各ドメインは、コントラクトと鮮度のSLAを備えたデータプロダクトを公開し、系統とともに中央のカタログに表面化されます。監査人がどの数字もレポートから源までたどれるようになったので、規制報告の時間は大きく減りました。銀行はいくつかの冗長なレポーティングのプラットフォームも退役させました。

政府。 国の統計機関は、公表する指標を、文書化された方法論、バージョン管理されたリリース、厳格な品質のゲートを伴うデータプロダクトとして扱います。スチュワードシップ評議会が部門にわたって定義を調整するので、「失業」や「世帯」はどこでも同じ意味になります。分類と管理されたアクセスが回答者の機密性を守り、公開のカタログが透明性と情報公開の義務を支えます。

ビジネスケース: 動機、ROI、TCO

データガバナンスの動機は、リスクの低減と価値の創出がほぼ等しい割合です。リスクの側では、避けられるコストに、規制上の罰金、侵害の責任、失敗した監査、間違った数字を公表する評判の損害が含まれます。価値の側では、信頼でき発見可能なデータが、下流のあらゆる分析と機械学習の取り組みを速め、重複したパイプラインを減らし、問いから答えまでの時間を短縮します。

採用のコストは本物です。カタログと品質のツール、スチュワードと所有者の時間、所有を定着させる組織的な変化。TCO(総所有コスト)を、採用しないコストと量ってください。それは通常より大きく、ただ隠れています。測定されないと、そのコストは、アナリストがほとんどの時間をデータを見つけて掃除することに費やすこと、チームが同じパイプラインを再構築すること、誰も擁護できない数字で経営者が決定を下すこととして現れます。リーダーシップには彼らの言葉で論拠を示してください。ガバナンスは、データを、際限のない下振れを持つ負債から、複利で見返りを生む資産に変え、信頼できるAIの前提条件です。痛みと規制上の露出が最も高い所から始め、素早く価値を示せるようにします。

アンチパターンと落とし穴

自動化のない委員会によるガバナンスで、誰も従わない方針を生むこと。
実際に重要なデータセットではなく、すべてを一度にカタログ化すること。
海を沸かそうとして、ゴールデンレコードを決して出荷しないマスターデータのプロジェクト。
データ品質を、継続的なオブザーバビリティではなく、一度きりの掃除として扱うこと。
ドメインの知識も権限も欠く中央のチームに割り当てられた所有。
wikiに文書化されているがパイプラインでは徹底されないコントラクト。
系統なしにデータを広くコピーし、削除の要求を果たせなくすること。
ツールを買って戦略と呼ぶこと。運用モデルのないツールは失敗します。

成熟度モデル

開始: データは文書化も所有もされず、その場しのぎで反応的に扱われます。定義はチーム間で衝突します。品質は、レポートが壊れたときに消費者によって発見されます。カタログも系統も存在しません。
発展: 基本的な実践が現れますが、チーム間で一貫しません。一部のデータセットには所有者と文書があり、部分的なカタログが存在します。品質のチェックは手作業で反応的です。ガバナンスの方針は書かれていますが、弱く不均一にしか徹底されません。
標準化: 所有、コントラクト、SLAが文書化され、組織全体で徹底されています。重要なデータプロダクトには名前のある所有者がおり、自動化された系統を備えたカタログが主要なドメインをカバーし、中核のエンティティのマスターデータが存在し、ガバナンスは中央のイネーブルメントを伴って連合し、チームごとではなく一貫して適用されます。
管理: 資産群が、ベースラインに対して測定され、制御されています。品質の次元(正確性、完全性、適時性、妥当性、一意性)が公表されたSLAの目標に対して追跡され、コントラクトの違反率、系統とカタログのカバレッジ、鮮度、削除の要求を果たす時間がダッシュボードで報告され、オブザーバビリティがスキーマのずれと量の異常にアラートを出し、インシデントはトリアージ、根本原因分析、ポストモーテムを受け、アクセスと実施/不実施の判断は意見ではなくベースラインに対する指標に基づきます。
オーケストレーション: ガバナンスは継続的に改善され、組織全体に統合されています。プロダクトとしてのデータがドメインにわたって標準で、コントラクトは自動的に徹底され、破壊的な変更は早く失敗し、セルフサービスのガードレールが方針を符号化し、品質と系統が先回りのリスク管理に供給され、定義は組織全体で信頼され、規制対象のレポーティングとAIを支えます。組織は日常的に所有を再均衡し、冗長なプラットフォームを退役させ、ビジネスと規制が変わるにつれてガバナンスを適応させます。

議論のためのアイデア

どのビジネスエンティティが最も緊急に単一の真実の源を必要とし、なぜ今日断片化しているのですか。
徹底されたデータコントラクトは、最近のどのインシデントを防いだはずですか。
組織は連合した所有のために構造化されていますか。それとも、今は集中のほうが合いますか。
政府の透明性の義務を、プライバシーと最小化とどう調整しますか。
アナリストの時間の何パーセントがデータを見つけて掃除することに費やされ、それを半分にすることはいくらの価値がありますか。
最も重要なデータセットに、名前で責任を負うのは誰で、その人はそれを知っていますか。

要点

データを、アプリケーションの排気ではなく、所有者、コントラクト、SLAを持つプロダクトとして扱います。
中央のイネーブルメントを伴う連合したガバナンスは、純粋な集中よりよくスケールします。
自動化された系統を備えたカタログは、信頼できるデータ資産群への玄関口です。
マスターデータ管理を通じて、中核のエンティティの単一の真実の源を確立します。
オブザーバビリティとインシデント対応で、名前のある次元にわたって品質を継続的に管理します。
適合した道が易しい道になるよう、ガバナンスを自動化されたガードレールとして符号化します。
誇大宣伝ではなく組織に合うよう、ウェアハウス、レイクハウス、メッシュを選びます。

参考文献とさらなる読み物

DAMA International, “DAMA-DMBOK: Data Management Body of Knowledge.”
Zhamak Dehghani, “Data Mesh: Delivering Data-Driven Value at Scale.”
Ralph Kimball and Margy Ross, “The Data Warehouse Toolkit.”
Piethein Strengholt, “Data Management at Scale.”
David Loshin, “Master Data Management.”
Chad Sanderson and colleagues, writings on data contracts.
ISO/IEC 38505, “Governance of data.”
ISO 8000, “Data quality” standard series.