7.0 第7部の導入: データ、分析、洞察
データは、大きな組織が持つ最も価値ある資産の一つです。同時に、最も誤管理されるものの一つでもあります。ほぼすべてのチームがそれを生み出し、それに依存し、それを使って決定を行います。それでも、少数のエンジニアには機能する非公式な習慣は、大きな開発者組織、企業、政府機関の規模では崩れます。数百のチームが数千のデータセットを生成します。複数のシステムがそれぞれ「本当の」レコードを保持していると主張します。そして、取締役会の資料や公的な報告書にどの数字が属するかを、誰も自信をもって言えません。この部は、その乱立を信頼できる理解に変え、理解をより良い決定に変えることについてです。
賭け金は具体的です。規制当局は、個人、財務、医療のデータについて、実証可能な系統と制御を期待します。企業は、誤って報告された指標、失敗した監査、重複したプラットフォームから直接の露出に直面します。政府機関は、記録の保持、公的な説明責任、市民の公平な扱いについて、追加の義務を負います。これらすべての設定で、信頼できないデータは、データがないよりも悪い。自信に満ちた、しかし間違った決定を駆動するからです。したがって、データを正しく扱うことは、バックオフィスの関心事ではありません。財務上の露出、法令遵守、公共の信頼の問題です。
第7部は、データが価値になる旅の全体をたどります。組織がデータを資産として扱うことをどう決めるかから始まります。次に、それを動かし形づくるエンジニアリング、意味を取り出す分析と実験、そして最後に、洞察が人々の行動を実際に変えられるようにする文化。全体を通じて、単一の真実の版を手放さずに、これを規模で行うことが強調されます。
この部の章
7.1 データ戦略とガバナンス: データを、明確な所有者、インターフェース、品質の保証を持つプロダクトとして扱い、データを時間にわたって信頼でき適合した状態に保つガバナンスの規律に裏打ちされます。スチュワードシップ、カタログ化、マスターデータ管理(衝突するレコードを一つの権威ある版に調整すること)、品質。
7.2 データエンジニアリング: データを生成される所から価値を生む所へ動かす、取り込み、変換、ストレージ、オーケストレーションのパイプラインを築いて運用し、冪等で、テスト可能で、観察可能で、規模で手頃に保ちます。
7.3 分析とビジネスインテリジェンス: 統治されエンジニアリングされたデータを、レポーティング、ダッシュボード、セルフサービスのツールを通じて理解と行動に変え、すべての指標がどこでも一つの合意された方法で定義され計算されるよう、セマンティックレイヤーに据えます。
7.4 プロダクト分析と実験: 行動の計装を通じて人々がプロダクトを実際にどう使うかを理解し、厳密な管理された実験で因果関係を確立し、プロダクトの決定が「と思う」から「と測った」へ動くようにします。すべてをプライバシーを尊重し同意を意識した形で行います。
7.5 意思決定科学とデータに基づく文化: 統計、行動科学、判断を使ってデータを本物の決定に結びつけ、因果関係を誠実に推論し、不確かさを忠実に伝え、データの劇場と侵襲的な監視の両方を避ける文化を築きます。
7.6 リアルタイムデータとストリーミングデータ: レイテンシが本当に重要なときに到着するままに無制限のデータを処理し、ウィンドウとウォーターマークでイベント時刻と遅れた、あるいは順序の乱れたデータを扱い、処理の保証と冪等なシンクを選び、変更データキャプチャで運用データベースからストリーミングします。
7.7 データモデリングとセマンティックレイヤー: データがどこに住むかを決める前にそれが何を意味するかを決めます。概念、論理、物理のモデル、分析のためのディメンショナルモデリング、すべてのビジネス指標がどこでも一つの定義を持つ統治されたセマンティックレイヤーを通じて。
7.8 データ品質とオブザーバビリティ: 品質の次元を定義し、パイプラインを検証してデータコントラクトを徹底し、鮮度、量、スキーマ、系統を監視して、データのインシデントが本番のインシデントのように捉えられ解決されるようにすることで、データを保証つきのプロダクトとして扱います。
7.9 マスターデータと参照データの管理: マッチング、サバイバーシップ、スチュワードシップを通じて、顧客、製品、サプライヤーのような中核のエンティティのための単一の信頼できるゴールデンレコードを作り、共有の参照データを、管理されバージョン管理された語彙として統治します。
これらの章の相互関係
これらの章は意図した順序を形づくり、各層が前のものの上に乗ります。戦略とガバナンス(7.1)は、どのデータが存在すべきか、誰が所有するか、「信頼できる」が何を意味するかを決めます。データエンジニアリング(7.2)は、統治されたデータが源から消費者へ確実に流れるようにする配管です。分析とビジネスインテリジェンス(7.3)は、それらのパイプラインの直下流にあり、モデル化されたデータを共有の指標とダッシュボードに変えますが、それが安全なのは上流の定義が統治されているときだけです。プロダクト分析と実験(7.4)は、その基盤の上に、行動の証拠と因果の厳密さを加えます。最後に、意思決定科学とデータ文化(7.5)が締めくくりです。それ以前のすべての戦略、エンジニアリング、分析、実験は、決定をより良く変えなければ無価値です。筋道は、ガバナンスからエンジニアリング、BI、実験、意思決定の文化へと走り、どの段階の弱さも、下流のすべてを損ないます。
この部は外にもつながります。個人データのガバナンスは、プライバシーとデータ保護(4.5章)とコンプライアンス(4.6章)に大きく依拠し、この部が満たさなければならない法的制約を設定します。データパイプラインはソフトウェアシステムなので、本書の他の箇所にある信頼性、テスト、オブザーバビリティの実践、6.2章の運用監視を含め、ここにも直接当てはまります。そして洞察は最終的に組織を導くためのものなので、ここでの意思決定と測定の実践は、11.1章のような第11部のリーダーシップとマネジメントのトピックを補強します。合わせて読むと、これらの章は、大きな組織が自らを明確に見て、見たものに基づいて行動する方法を描いています。