Software Engineering Guide
12.4

View in English

12.4 成熟度の自己評価

本ガイドブックのすべての章は、実践が通常どう進化するかを記述する「成熟度モデル」で終わります。この付録は、すべての章の成熟度モデルを一つの参照に統合するので、チーム、領域、あるいは組織全体を一目で評価できます。

共有の5段階の尺度

すべての章が同じ進行を記述します。正確な言葉遣いは章ごとにわずかに異なりますが、意図はこれらの5段階にきれいに対応します。

  • レベル1、開始。 その場しのぎで、反応的で、人柄に駆動される。実践は個人が選ぶ所にだけ存在し、成果は英雄的行為と運に依存する。
  • レベル2、発展。 基本的な実践は存在するが、チーム間で一貫せず、部分的に手作業で、圧力のもとでしばしば迂回される。
  • レベル3、標準化。 実践が文書化され、標準化され、組織全体で徹底される。これは監査とコンプライアンスの床で、ほとんどの企業と政府の仕事が、信頼でき監査可能であるために到達しなければならない水準である。
  • レベル4、管理。 実践が、ベースラインに対するデータと指標で測定され制御される。各実践がどう機能するかを定量的に知っていて、数字に基づいて行動する。
  • レベル5、オーケストレーション。 実践が継続的に改善され、組織全体に統合され、適応的である。安全あるいは正しい道が既定で、組織は意図して学び、進化する。

自己評価での使い方

  1. 自分の文脈に関連する各章について、以下の5つのセルを読み、典型的な行動を誠実に記述する水準を選びます。最良の日の最良のチームでも、書かれた方針でもなく、実際に起こっていること。
  2. 各章を1から5で採点します。迷うときは切り下げます。一貫しない実践はレベル3ではなくレベル2です。
  3. 部の中で得点を平均して、領域全体の位置を見て、それからばらつきを見ます。レベル1の章を隠す「平均3」の部は、依然としてレベル1のリスクを抱えています。
  4. 定期的に再評価して傾向を追跡します。動きは、どの単一のスナップショットよりも重要です。

成熟度は目的ではなく手段である

高い成熟度が自動的により良いわけではありません。目標は適合です。実際に直面するリスクと規模を管理するのに十分な厳密さで、それ以上ではありません。小さく賭け金の低いツールにレベル5のカオスエンジニアリングは要りません。本物の問題を解くためではなくトロフィーとして高い水準に手を伸ばすと、価値のない儀式が生まれます。以下のすべての「レベル5」を、「賭け金が正当化するときに適切」と読み、どこまで登るかをリスク、規模、規制上の露出に決めさせてください。

第1部 人

主題レベル1 開始レベル2 発展レベル3 標準化レベル4 管理レベル5 オーケストレーション
エンジニアリングの文化と価値文化は偶然で人柄に駆動される。インシデントは非難を意味する。知識は少数の頭にある。一部のチームはポストモーテムを行い文書を書くが、実践は一貫せず、リーダーシップに強化されない。責めない学び、所有のモデル、書く文化が、明確な期待とツールを伴う組織全体の規範である。文化の健全性が測定され(心理的安全性の調査、インシデントからの学びの率、定着)、ベースラインに対して追跡されて行動される。文化は継続的に改善され、実践はチーム間に広がる。リーダーシップは組織が育ち学ぶにつれて規範を適応させる。
チームトポロジーチームは偶然あるいは人数で形成される。構造はレガシーの階層を映す。至る所に依存関係。一部のストリームに揃ったチームが存在するが、共有のボトルネックと機能のサイロが残る。四つのチームの種類と明示的な相互作用の様式が意図して使われる。プラットフォームとInnerSourceが依存関係を削る。認知負荷、フロー、依存関係の数がチームごとに目標に対して測定される。数字が落ちたら境界が調整される。組織は、プロダクトとプラットフォームが進化するにつれてフローを保つため、チームと相互作用の様式を継続的に作り変える。
役割、キャリアの梯子、成長書かれた梯子がない。昇進と報酬はその場しのぎで人柄に駆動される。基本的な梯子が存在するが、一貫せずに適用される。較正なし。採用は構造化されていない。二つの軌道、明確なコンピテンシーの行列、較正、構造化された採用が標準である。昇進の率、報酬の公平性、段階での在籍期間がベースラインに対して測定される。較正の結果が偏りについて分析される。枠組みは仕事とともに継続的に進化する。役割が変わるにつれて、スポンサーシップと徒弟制が意図され組織全体で行われる。
働き方プロセスはその場しのぎあるいはカーゴカルト。コミュニケーションは会議駆動で文書化されない。見積りは約束として扱われる。方法論は一貫して守られるが、儀式は形式的で、チーム間の調整は重い。実践は文脈に合わせて選ばれる。非同期でドキュメントファーストのコミュニケーションが規範。見積りは制御ではなく情報を与える。フロー指標(リードタイム、仕掛かりの仕事、スループット)がベースラインに対して追跡され、毎サイクルレビューされる。チームはそれらの指標から働き方を継続的に調整する。調整の必要は源で最小化され、良い実践は組織全体に広がる。
意思決定とガバナンス決定はその場しのぎで記録されない。ガバナンスは不在あるいは一律のボトルネック。負債は見えない。一部の決定は文書化され、いくらかのレビューが存在するが、プロセスは一貫せず、決定の重みに合っていない。ADR、舗装された道、可逆性ベースの委任、負債の目録が標準で透明である。決定のサイクルタイム、取り消し率、負債の水準が測定される。精査は決定の重みでそれらの数字に対して較正される。ガバナンスは組織全体で継続的に調整される。精査は不可逆な決定を狙い、負債と調達は進化するポートフォリオとして管理される。

第2部 ソフトウェアプログラミング

主題レベル1 開始レベル2 発展レベル3 標準化レベル4 管理レベル5 オーケストレーション
コーディング標準とスタイルスタイルは作者ごと。共有の設定なし。書式がレビューで議論される。各チームにフォーマッターとリンターがあるが、設定とルールはチーム間で異なる。言語ごとの中央の共有設定。CIでの徹底。新しいリポジトリはテンプレートを通じて標準を引き継ぐ。標準の採用、違反率、レビュー時間への影響がベースラインに対して測定される。設定はバージョン管理され統治される。標準はそのデータから継続的に洗練されて組織全体で共有される。徹底はほぼ摩擦なしで、新しい言語に適応する。
ソフトウェア設計の原則設計はその場しのぎ。結合が蓄積する。原則は知られていない、あるいはスローガンとして唱えられる。チームは原則を知って適用するが、一貫せず、しばしば教条的に。共有の設計の語彙、意図した結合/凝集の分析、チームに揃った境界づけられたコンテキスト。結合、凝集、変更失敗の指標が、ベースラインに対して設計レビューに情報を与える。決定は記録される。設計の決定は証拠が蓄積するにつれて見直される。原則はニュアンスを伴って適用され、パラダイムの選択は領域が進化するにつれて組織全体で適応する。
APIとインターフェース設計APIは実装から現れる。共有の慣習なし。破壊的変更が一般的で告知されない。チームは基本的なRESTの慣習に従い非公式にバージョン管理するが、一貫性とドキュメントは異なる。契約ファーストの設計、機械可読な仕様、廃止の方針、一貫したエラー/ページネーションの慣習。採用、レイテンシ、エラー率、破壊的変更の頻度がAPIごとに目標に対して測定される。APIは強いDevExを伴うカタログ内の統治されたプロダクトである。実践は継続的に適応し、破壊は稀で組織全体でよく管理される。
テスト戦略テストは手作業でその場しのぎ。自動のカバレッジは最小。退行が頻繁。自動のユニットテストと一部の統合テストが存在するが、スイートは遅いあるいは不安定で、信頼が低い。バランスのとれた、速く、信頼できるスイートがすべての変更をゲートする。不安定さは管理され、非機能テストが統合される。カバレッジ、不安定さ、すり抜けた欠陥、スイートの所要時間の指標が、労力を狙うためにベースラインに対して追跡される。高度な技法(プロパティ、ミューテーション、ファズ)が価値の高いコードを狙う。戦略は継続的に改善し、チーム間に広がる。
コードレビューと協働レビューは一貫しない、あるいは飛ばされる。機械的な問題が支配的。フィードバックの規範が未設定。レビューは必須だが遅く不均一。自動化は部分的。PRの大きさと質は大きく異なる。小さなPR、自動の機械的チェック、明確な標準とフィードバックの規範、監視されるレイテンシ。レビューのレイテンシ、PRの大きさ、欠陥のすり抜け率が目標に対して追跡される。深さは測定されたリスクに合わせられる。組織はそのデータからレビューを継続的に改善する。ペアリングとAI支援は意図して採用され、実践はチーム間に広がる。
バージョン管理とソース管理その場しのぎのブランチ。長寿命のブランチ。貧しいメッセージ。シークレットスキャンなし。頻繁なマージの痛み。一貫したブランチモデルとメッセージの慣習が存在するが、ブランチは長く生き、徹底は部分的。トランクベース開発、保護されたメインライン、徹底されたコミットの慣習、シークレットスキャン、意図したリポジトリ構造。ブランチの寿命、マージ頻度、リバート率がデリバリーの指標とベースラインに対して測定される。自動化が衛生を端から端まで徹底する。リポジトリ構造とワークフローは、デリバリーのニーズが変わるにつれて組織全体で継続的に進化する。
ドキュメンテーションドキュメントはまばらで散らばり古い。知識は人々の頭にある。主要なドキュメント(README、一部のランブック)は存在するが、保守は一貫せず見つけにくい。明確な構造を伴うドキュメント・アズ・コード、生成されたAPIドキュメントと変更履歴、決定記録、更新の期待。ドキュメントのカバレッジ、鮮度、正確さがベースラインに対して測定される。古さは自動的に旗が立てられる。ドキュメントは生きていて、大部分が生成あるいはシステムに対してテストされ、所有され発見可能である。実践は組織全体で継続的に改善する。

第3部 システム

主題レベル1 開始レベル2 発展レベル3 標準化レベル4 管理レベル5 オーケストレーション
アーキテクチャの基礎アーキテクチャは暗黙で頭の中にある。品質特性もADRもない。決定はインシデントの間に表面化する。主要な図が存在し、主要な決定は時に記録される。品質特性は名指しされるが、めったに定量化されない。ドキュメントはずれる。品質特性のシナリオとASRが仕様化される。ADRは日常的。C4/arc42のドキュメントがコードの近くで保守される。トレードオフのレビューが行われる。フィットネス関数がCIで品質特性を徹底し、ベースラインに対して測定された結果を記録する。トレードオフは定量化される。アーキテクチャはそのデータで組織全体で継続的に進化する。ドキュメントは、システムが適応するにつれて監査人に信頼できるままである。
アーキテクチャのスタイルとパターン一つのもつれたモノリス、あるいは偶然の分散した混乱。境界は層や歴史に従う。スタイルは流行で選ばれる。意図したモジュール境界あるいは少数の粗いサービス。一部の横断的関心事は一貫。分割は依然としてその場しのぎ。データを所有する境界づけられたコンテキストに揃ったサービス。適切な所にゲートウェイ/BFF。クリーン/ヘキサゴナルの層が標準。スタイルの決定は証拠に基づき、ベースラインに対する測定された結合、レイテンシ、変更コストのデータを使う。成熟したプラットフォームが分散を安くする。組織は、分割が元を取らなくなったとき再統合し、証拠が変わるにつれてスタイルを適応させる。
分散システムリモート呼び出しがローカルとして扱われる。再試行がない/素朴。失敗が連鎖する。デバッグはマシンごとのログの探索。タイムアウトと基本的な再試行が存在するが一貫しない。一部の冪等性。ログは集中化されるが相関づけられていない。共有ライブラリによる冪等性、バックオフ、サーキットブレーカー、バルクヘッド。サガ。分散トレーシング。フローごとに文書化された一貫性。レジリエンスがSLOに対して測定される。フォールトインジェクションの結果と失敗率がベースラインに対して追跡される。レジリエンスはプラットフォームの既定で、フォールトインジェクションで継続的にテストされる。グレースフルデグラデーションは設計に組み込まれ、組織全体で進化する。
データアーキテクチャとストレージあらゆる目的に一つのデータベース。移行の規律なし。偶発的なキャッシュ。より大きなマシンでスケール。ストレージの選択はおおむね意図されている。キャッシュと、おそらくウェアハウス。バージョン管理されたマイグレーションが時に停止時間を要する。ワークロードに合わせたポリグロット永続化で、各ストアが所有される。自動のゼロダウンタイムのマイグレーション。明示的なキャッシュとレプリカ。ストレージの選択がアクセスパターン、レイテンシ、コストのベースラインに対して測定される。シャーディングとキャッシュの決定はデータ駆動。データアーキテクチャは組織全体で継続的にレビューされ進化する。マイグレーションはワークロードが変わるにつれて自動化され監査される。
スケーラビリティ、パフォーマンス、レジリエンス単一インスタンスあるいは垂直スケール。サーバー側の状態。負荷テストもバジェットもない。失敗が全面停止を引き起こす。水平スケールのステートレスな層。基本的なオートスケーリング。一部のローンチ前の負荷テスト。DRは文書化されるがめったにテストされない。余裕を伴う容量計画。CIのパフォーマンスバジェット。レジリエンスのパターンが標準。RTO/RPOが定義され、DRがテストされる。容量が測定された負荷から予測される。パフォーマンスバジェットとRTO/RPOがベースラインに対して追跡される。マルチリージョンの自動フェイルオーバー、継続的なカオス、ゲームデーが、システムが組織全体で進化するにつれて復旧目標を証明し改善する。
レガシーの近代化レガシーは恐れられ凍結される。目録なし。近代化は全部かゼロの書き直し。知識は引退する頭の中にある。目録が存在し、一部のリスクが理解されている。レガシーはAPIで包まれる。依然として一斉の考え方。移行は過小評価される。システムがリスクと価値で優先順位づけされる。ストラングラーフィグとブランチ・バイ・アブストラクションが標準。移行は並行運用で突き合わされる。近代化は、ベースラインに対して測定されたリスク、価値、進捗とともにポートフォリオとして管理される。近代化は組織全体で継続的。段階的な置き換えは日常的で可逆で、優先順位が移るにつれて適応する。

第4部 セキュリティ

主題レベル1 開始レベル2 発展レベル3 標準化レベル4 管理レベル5 オーケストレーション
セキュリティの基礎と文化セキュリティは反応的で集中化されている。レビューは、あっても遅い。脅威モデリングなし。セキュリティは「他人の問題」。セキュリティチームが標準を定義する。主要なプロジェクトでいくらかの脅威モデリング。基本的な訓練。セキュリティはゲートと見なされる。セキュリティ推進者が組み込まれる。脅威モデリングは日常的。セキュアSDLCが文書化される。リスクベースの優先順位づけ。責めないレビュー。セキュリティ指標(脅威モデリングのカバレッジ、発見から修正までの時間、統制の採用)がベースラインに対して追跡される。セキュリティは本当に全員の仕事。脅威モデリングは習慣的。ゼロトラストはほぼ実現され、実践は組織全体で継続的に改善する。
アプリケーションセキュリティセキュリティは個人の知識に依存する。標準の統制なし。コード内のシークレット。古い依存関係。その場しのぎの認証。OWASP Top 10の認識。一部のフレームワークの保護。シークレットマネージャーは不均一に使われる。時折の依存関係スキャン。階層ごとのASVSベースの要件。パラメータ化クエリ。MFAを伴う中央のアイデンティティ。管理されたシークレット。SBOMとパイプラインのスキャン。脆弱性の密度、是正までの平均時間、統制のカバレッジが、サービスにわたってベースラインに対して測定される。安全な既定が舗装された道のフレームワークに付属する。短命な資格情報と完全なサプライチェーンの保証(SLSA)が組織全体で継続的に検証される。
インフラストラクチャとクラウドのセキュリティ手作業のプロビジョニング。広い権限と静的な鍵。平らなネットワーク。一貫しない暗号化。姿勢管理なし。一部のIAMロールとMFA。基本的なネットワーク階層。主要なストアの保存時の暗号化。定期的な手作業のレビュー。部分的なIaC。短命な資格情報を伴う最小権限のRBAC/ABAC。既定で拒否のセグメンテーション。KMSによる既定での暗号化。方針を伴うCSPM。姿勢、ドリフト、方針違反の指標がベースラインに対して追跡される。ガードレールの有効性が測定される。安全な既定がランディングゾーンとIaCに付属する。マイクロセグメンテーションと予防的なガードレールは継続的に進化し、ドリフトは組織全体で自動是正される。
セキュリティ運用セキュリティテストは手作業でまれ。中央のログもSIEMもない。インシデント計画なし。その場しのぎのパッチ適用。敵対的にテストされたことがない。パイプラインに一部のスキャナー。中央のログ。基本的なインシデント計画。緩いパッチ適用のタイムライン。年次のペネトレーションテスト。リスクベースのゲートを伴う完全なDevSecOpsのスキャン。一部のSOARを伴うSIEM。机上訓練でリハーサルされたIR。是正のSLA。レッドチーミング。MTTDとMTTRがベースラインに対して測定される。検知のカバレッジが敵対的な技法に対応づけられ追跡される。テストと対応は高度に自動化される。パープルチーミングと検知エンジニアリングが継続的に改善し、組織全体で新しい脅威に適応する。
プライバシーとデータ保護個人データが自由に収集される。目録、最小化、保持なし。同意は後付け。権利のプロセスなし。プライバシー方針と基本的な同意が存在する。一部の保持の認識。権利の要求は手作業で遅く処理される。DPIAを伴う設計段階でのプライバシー。データが地図にされ分類される。保持が徹底される。適法な根拠が文書化される。権利が期限通りに満たされる。プライバシーの姿勢が測定される。データ目録のカバレッジ、保持のコンプライアンス、権利要求の処理時間がベースラインに対して。プライバシーは既定のエンジニアリング上の制約。最小化と自動の保持が標準。権利要求はセルフサービスで、実践は組織全体で適応する。
コンプライアンスとガバナンスコンプライアンスは反応的。統制の枠組みなし。証拠が期限のもとで手作業で組み立てられる。指摘が頻繁。主要な枠組みが特定される。一部の文書化された統制。監査は重い手作業で合格する。アクセシビリティは遅れて検討される。統一された統制の枠組みが標準を相互に対応づける。証拠は部分的に自動化。アクセシビリティがテストされる。記録と認可が確立される。統制の有効性と証拠のカバレッジがベースラインに対して継続的に測定される。指摘が傾向づけられる。コンプライアンスは常時稼働の証拠とコンプライアンス・アズ・コードで継続的。新しい認証は低コストで、枠組みは組織全体で適応し、いつでも監査に対応できる。

第5部 UI/UXデザイン

主題レベル1 開始レベル2 発展レベル3 標準化レベル4 管理レベル5 オーケストレーション
UXの基礎専任のUXの実践なし。決定は意見による。調査はその場しのぎ。一貫しない流れと用語。一部のデザイナーと時折のユーザビリティテスト。ペルソナは保守されない。UXは段階で、しばしば迂回される。継続的な混合手法の調査が優先順位づけに供給する。共有のペルソナ、ジャーニーマップ、IA。完了の定義にUX品質ゲート。UX指標(タスク成功、満足、ユーザビリティスコア)が事業指標と並んでベースラインに対して追跡される。調査は継続的で成果に結びつく。管理された実験がループを閉じ、プロダクトが進化するにつれて洞察がチーム間に広がる。
UIデザインとデザインシステム各チームが自分のUIを築く。共有のコンポーネントなし。一貫しない見た目。ハードコードされた色と間隔。部分的なスタイルガイドあるいはコンポーネントライブラリが存在するが、任意でしばしばデザインとコードで同期していない。保守されるコード化されたライブラリ、ドキュメント、ガバナンスを伴うトークン化されたデザインシステムがチーム間で使われる。a11yが組み込まれる。デザインとコードの一致、コンポーネントの採用、ドリフトがベースラインに対して測定される。バージョニングが追跡される。システムは、ロードマップを持つ統治されたプロダクトである。組織全体で継続的に改善し、リブランドはトークンの変更になる。
アクセシビリティアクセシビリティの実践なし。問題は苦情あるいは訴訟で見つかる。非セマンティックでテストされていないマークアップ。認識が存在する。一部の自動スキャンとローンチ前の監査。a11yは遅いチェックリストで、しばしば後回しにされる。WCAG 2.2 AAが標準。a11yがデザインシステムに組み込まれ、テストされ、完了の定義に含まれる。チームが所有者とともに訓練される。アクセシビリティの適合がWCAGのベースラインに対してCIで測定される。欠陥率と監査の結果が追跡される。アクセシビリティは継続的。障害のある人々が調査に関与する。調達、トークン、CIに組み込まれ、組織全体で改善する。
コンテンツとコミュニケーションのデザインコンテンツの実践なし。言葉がその場しのぎで書かれる。一貫しない用語とトーン。役に立たないエラーと空の状態。スタイルガイドがあるかもしれない。一部の平易な言葉の認識。コンテンツは依然として後段階でチームごとで再利用がほとんどない。コンテンツ戦略、ボイスとトーンのガイド、用語集がチーム間で使われる。平易な言葉が標準。共有のパターン。コンテンツがベースラインに対する成果(理解、タスク完了、エラー率)で測定される。コンテンツはその証拠から継続的に改善される。ダークパターンは禁止され監査される。パターンは組織全体で既定でローカライズされアクセシブルである。
国際化とローカライゼーション単一言語。ハードコードされた文字列。非Unicodeの想定。新しいロケールはコードの変更を要する。文字列が外部化されUnicodeが使われるが、ローカライゼーションは手作業のローンチ前のバッチ。書式と複数形が一貫しない。共有のi18nアーキテクチャとロケール対応の書式。TMSと継続的パイプライン。擬似ローカライゼーションとマルチロケールCI。ローカライゼーションのカバレッジ、文字列の鮮度、ロケール欠陥率がベースラインに対して測定される。i18nがチーム間でツールとリントで徹底される。ローカライゼーションは継続的で、文化的適応は体系的で、新しいロケールは速く立ち上がる。
フロントエンドエンジニアリングチームごとのその場しのぎのフロントエンド。重いクライアントコード。バジェットなし。チームのデバイスでだけテスト。流行でフレームワーク。一部の共有ツールとコンポーネントライブラリ。パフォーマンスは時折測定され、バジェット化されない。限定的なデバイス間のテスト。フレームワークとレンダリングが面ごとに意図して選ばれる。バジェットがRUMとともにCIで徹底される。プログレッシブエンハンスメントが標準。パフォーマンス、レジリエンス、到達範囲が、実ユーザーのベースラインとバジェットに対して測定される。退行はビルドを失敗させる。それらのシグナルが成果に結びつけられ、フロントエンドとそのユーザーが進化するにつれて面にわたって継続的に改善される。

第6部 人工知能

主題レベル1 開始レベル2 発展レベル3 標準化レベル4 管理レベル5 オーケストレーション
AI戦略と準備その場しのぎの実験。共有の戦略なし。決定は誇大宣伝と個人の熱意に駆動される。一部のプロジェクトで問題の枠づけ。最初のプラットフォームのベースライン。築くか買うかが議論されるが一貫しない。明確な指標を伴うユースケースのポートフォリオ、決定木、準備の評価、ロックイン/TCOの分析。ユースケースの価値、採用、準備がベースラインに対して測定される。ポートフォリオのROIが追跡される。AI戦略は事業とリスクの計画と統合される。準備は継続的に維持され、システムは証拠に基づいて組織全体で範囲を見直される。
MLOpsモデルはノートブックでその場しのぎに築かれる。手作業のデプロイ。データ/モデルのバージョニングなし。監視なし。一部の実験追跡とモデルレジストリ。半自動のデプロイ。少数のモデルの基本的な監視。フィーチャーストア、レジストリ、再現可能なパイプライン、系譜を備えた共有プラットフォーム。ドリフト/品質の監視。統治された昇格。モデルの品質、ドリフト、事業へのインパクトがベースラインに対して測定される。再学習はゲートを伴う閾値で起動される。ライフサイクルは完全に自動化され監査可能。セルフサービスの舗装された道と継続的な評価が、データが移るにつれて組織全体でモデルを改善する。
生成AIとLLMアプリケーション孤立したプロジェクトでのその場しのぎのプロンプト。グラウンディングもガードレールも評価もない。ハルシネーションが本番で見つかる。一部のRAGとプロンプトのバージョニング。基本的な出力の検証。小さな手作業の評価セット。RAG、ガードレール、ツール使用の共有パターン。すべての変更での自動オフライン評価。オンライン指標と人間によるレビュー。オフラインとオンラインの評価スコア、ハルシネーションとインジェクションの率がベースラインに対して測定される。評価は成果に結びつけられ、継続的に改善する。インジェクションへの防御、統治され観察可能なエージェント、緩和策は組織全体で適応する。
AI支援のソフトウェア開発個人がアシスタントをその場しのぎで使う。方針なし。測定なし。シークレットとIPがリスクにさらされる。基本的な使用の指針とデータのルール。一部のセキュリティスキャン。逸話的な生産性の主張。リスク水準ごとの明確な規範。必須のレビューとスキャン。誠実な成果の指標。安全なデプロイと開示。支援のデリバリーと品質への影響がベースラインに対して測定される。検証のカバレッジが追跡される。検証はパイプラインで強力。技能の開発は意図され、方針はツールと証拠が変わるにつれて組織全体で継続的に適応する。
責任ある信頼できるAI公正さのテスト、説明、ガバナンスなし。責任は未定義。問題は害の後にしか見つからない。一部の偏りのテストと文書化。その場しのぎの監督。枠組みの認識はあるが部分的な採用。認められた枠組みに対応づけられたガバナンス。体系的な公正さ/安全性/プライバシーのテスト。文書化された監督と異議申立て。レッドチーミング。公正さ、安全性、プライバシーの指標が、ベースラインと閾値に対して本番で監視される。ガバナンスはデリバリーに統合される。責任は全員の仕事で、アプローチは組織全体で継続的に改善する。
AIインフラストラクチャと運用その場しのぎのGPU割り当て。バッチ処理もキャッシュもない。コストの可視性なし。バージョン管理されないプロンプト。最小限の監視。一部の共有スケジューリングとキャッシュ。基本的なコスト追跡。バージョン管理のプロンプト。その場しのぎの評価。スケジューリング、クォータ、バッチ処理、キャッシュ、適正サイズ化を備えた共有プラットフォーム。ベクトルインフラ。自動評価。コストの帰属。稼働率、成果あたりのコスト、レイテンシがベースラインに対して測定される。バジェットとクォータが徹底される。ルーティングとスケーリングは自動化され、LLMOpsのオブザーバビリティは完全で、稼働率とコストは可搬性を保ちながら組織全体で継続的に最適化される。

第7部 データ、分析、洞察

主題レベル1 開始レベル2 発展レベル3 標準化レベル4 管理レベル5 オーケストレーション
データ戦略とガバナンスデータは文書化されず所有されない。対立する定義。品質はレポートが壊れて初めて見つかる。カタログも系譜もない。一部のデータセットに所有者とドキュメント。部分的なカタログ。手作業で反応的な品質チェック。方針は書かれているが弱く徹底される。重要なデータプロダクトに所有者、契約、SLA。自動の系譜を伴うカタログ。継続的な品質。連合型のガバナンス。データ品質、契約の遵守、鮮度がSLAとベースラインに対して測定される。データ・アズ・プロダクトが規範。契約は自動的に徹底され、セルフサービスのガードレールは適応し、定義は企業全体で信頼される。
データエンジニアリングその場しのぎのスクリプト、手作業の実行、テストも監視もない。失敗は利用者に見つかる。コストは管理されない。一部のオーケストレーションとスケジューリング。バージョン管理の基本的な変換。時折のテスト。反応的な火消し。層状でテストされバージョン管理されたモデルを伴うELT。再試行/バックフィルを伴うオーケストレーションされた依存関係。オブザーバビリティ。コストが追跡される。パイプラインの信頼性、鮮度、コストがSLAに対して測定される。異常がベースラインに対して検知される。パイプラインはCI/CD、契約、テストを伴うソフトウェアである。プラットフォームは継続的に改善し、新しいデータプロダクトは組織全体で速く出荷される。
分析とビジネスインテリジェンスレポートはスプレッドシートでその場しのぎに築かれる。一貫しない指標。誤解させるチャート。ガバナンスなし。一部の共有ダッシュボードを伴うBIツール。指標の定義は依然として乖離する。管理されないセルフサービスと乱立が始まる。セマンティックレイヤーが中核の指標を一度だけ定義する。認証済み対実験的なコンテンツ。ガードレール内のセルフサービス。管理されたライフサイクル。指標の使用、鮮度、定義の変更がベースラインに対して追跡される。認証済みコンテンツが監視される。指標は所有者と変更履歴を伴うAPIのように統治される。分析は記述的から処方的に及び、組織全体で意思決定の点に組み込まれる。
プロダクト分析と実験計装がほとんどない/一貫しない。決定は意見による。実験なし。虚栄の指標。不注意な同意。一部のイベントが追跡されるが分類が一貫しない。検出力分析のない時折のA/Bテスト。北極星は提案されるが組み込まれない。統治され検証された追跡計画。ファネル/コホート/リテンションは日常的。共有プラットフォームでの実験。同意が適切に扱われる。実験の量、検出力、勝率がベースラインに対して測定される。計装のカバレッジが追跡される。実験が既定。共有の結果リポジトリと所有された計装により、組織は累積的に学び、適応する。
意思決定科学とデータ文化決定は階層と直感による。相関が因果として扱われる。不確実性は無視される。指標が監視し、ゲーム化される。データは決定を正当化するために選択的に参照される。因果の罠への一部の認識。不確実性はめったに伝えられない。分析が事前に定義された基準で決定に結びつけられる。相関対因果が区別される。不確実性が伝えられる。成果への焦点。決定の質と予測の較正が、成果とベースラインに対して追跡される。「何が私たちの考えを変えるか」が日常的。因果の厳密さと誠実な不確実性が規範で、リーダーは組織全体で証拠に基づいて目に見える形で更新する。

第8部 自動化

主題レベル1 開始レベル2 発展レベル3 標準化レベル4 管理レベル5 オーケストレーション
CI/CDとデリバリービルドとデプロイはおおむね手作業で一貫しない。遅い統合。頻度が低くストレスの多いリリース。手作業のロールバック。コミットごとの自動ビルドとユニットテスト。スクリプト化されるが手作業で監督されるデプロイ。成果物が段階ごとに再構築されうる。標準化されたパイプラインが、自動のゲートで一つの不変の成果物を環境を通じて昇格させる。カナリア/ブルーグリーン。自動の変更記録。DORA指標(リードタイム、デプロイ頻度、変更失敗率、MTTR)がベースラインに対して追跡され、ロールバックをゲートする。プログレッシブデリバリーがフラグでリリースを切り離す。パイプラインは自ら改善し、コンプライアンスの証拠は組織全体で自動的。
インフラストラクチャ・アズ・コードと構成インフラストラクチャは手作業でプロビジョニングされる。一貫しない文書化されない環境。遅く不確かな復旧。一部のインフラストラクチャがスクリプト化されるが実践は異なる。一貫しない状態。ドリフトが一般的。方針は手作業のレビューで徹底される。共有のバージョン管理されたモジュールとリモート状態を伴う宣言的IaCが標準。ポリシー・アズ・コードのガードレール。定期的なドリフト検知。ドリフト、プロビジョニング時間、方針違反の率がベースラインに対して測定される。コンプライアンスの証拠は自動的。インフラストラクチャは不変でGitOps駆動で、自己修復する。モジュールと方針のライブラリは継続的に改善し、組織全体で適応する。
コンテナ、オーケストレーション、クラウドネイティブコンテナはその場しのぎで使われる。手作りでスキャンされないイメージ。手作業のデプロイ。共有プラットフォームも隔離モデルもない。チームがコンテナ化してオーケストレーターを使うが、実践は異なる。スキャンと上限が一貫しない。コストとテナンシーが統治されない。強化されたイメージ、署名/スキャンのゲート、クォータとネットワークポリシーを伴う名前空間のテナンシー、コスト配分を備えた標準化されたプラットフォーム。稼働率、密度、ワークロードあたりのコストがベースラインに対して測定される。FinOpsの最適化はデータ駆動。強いマルチテナンシーを伴うセルフサービスで自己修復するプラットフォームが、可搬でハイブリッド/ソブリンに対応し続け、組織全体で継続的に改善する。
プラットフォームエンジニアリングとDevExプラットフォームなし。各チームが一貫せずに自分のツールを組み立てる。チケット駆動の引き継ぎ。高い認知負荷。一部の共有ツールとテンプレートがあるが、断片的で部分的に手作業。限定的なセルフサービス。DevExは測定されない。プラットフォームチームがゴールデンパス、セルフサービスのプロビジョニング、サービスカタログ付きの開発者ポータル、スコアカードを運営する。ガードレールが舗装された道に。DevExが測定される。採用、DevExスコア、認知負荷のシグナルがベースラインに対して測定されレビューされる。成熟したプラットフォームプロダクトが、そのフィードバックから継続的に改善する。自発的な採用が高く、ガバナンスは組織全体でワークフローの中で見えないまま。
テストとプロセスの自動化テストと運用はおおむね手作業。一貫しないカバレッジ。手順は頭の中か古いドキュメントにある。コンプライアンスの証拠は手作業。自動テストは存在するが遅い/不安定で一貫せずに走る。一部の運用スクリプト。手作業の是正。定期的なレビューのガバナンス。速く、並列で、信頼できるテストインフラ。体系化されたランブック。ChatOps。自動生成されるコンプライアンスの証拠。自動チェックとしてのガバナンス。自動化のカバレッジ、誤検知率、是正時間がベースラインに対して測定される。日常のインシデントは安全装置を伴って自動是正される。コンプライアンスは継続的で監査に対応でき、人間は組織全体で判断に集中する。

第9部 運用、信頼性、オブザーバビリティ

主題レベル1 開始レベル2 発展レベル3 標準化レベル4 管理レベル5 オーケストレーション
サイトリライアビリティエンジニアリング運用は手作業で反応的。SLOなし。信頼性は意見。同じインシデントが繰り返される。火消しが支配的。主要なサービスに基本的なSLI/SLO。一部の監視とアラート。苦役は認められるが測定されない。一貫しないポストモーテム。エラーバジェットが優先順位づけに影響する。苦役が測定され上限を設けられる。日常的な容量計画。資金のある自動化。PRRと関与のモデル。エラーバジェット、苦役、SLOの達成がベースラインに対して測定され、優先順位づけを駆動する。エラーバジェットの方針は自動化され尊重される。セルフサービスの運用と先回りの容量により、組織はデータで速度と安定性をトレードオフし、適応する。
オブザーバビリティと監視基本的な稼働チェックとマシンごとの構造化されていないログ。デバッグはSSHを意味する。うるさく無視されるアラート。集中化されたメトリクスとログの集約。一部のダッシュボードと閾値のアラート。トレースは欠けるか部分的。相関は手作業。伝播されるトレースIDを伴うOpenTelemetryの計装。構造化ログ、トレーシング、選り抜きのダッシュボード、SLOの症状アラート。持続可能なオンコール。アラートの質、MTTD、テレメトリのコストがベースラインに対して測定される。バーンレートのアラートがSLOに調整される。高カーディナリティでイベントの豊かなオブザーバビリティが臨機応変な調査を支える。保持はコスト最適化され、テレメトリは組織全体で決定に情報を与える。
インシデント管理インシデントは気づいた人によってその場しのぎで扱われる。役割、深刻度、ポストモーテムなし。非公式なオンコール。失敗が繰り返される。基本的なオンコールのローテーションと深刻度。一部のポストモーテムがあるが、役割が不明確で、是正行動が一貫せずに追跡される。明確な役割と基準を伴う正式なインシデント指揮システム。責めないポストモーテムが標準。行動が追跡される。オンコールが補償される。インシデントの頻度、MTTR、オンコールの負荷がベースラインに対して測定される。繰り返す原因が傾向づけられる。対応はゲームデーでリハーサルされる。オンコールは持続可能で静かなままで、集計の分析が、組織が学ぶにつれて構造的な投資を駆動する。
コスト、持続可能性、グリーンソフトウェアクラウドコストは毎月の驚き。タグ付け、配分、炭素の意識なし。気前が良く見直されないプロビジョニング。基本的なコストの可視性とタグ付け。一部の反応的な適正サイズ化と遊んでいるものの片付け。持続可能性は認められるが測定されない。帰属、バジェット、予測、異常アラート、コミットメント、適正サイズ化を伴うFinOpsの実践。主要なサービスについて炭素が測定される。コストと炭素がチームごとにバジェットとベースラインに対して測定される。異常に旗が立てられる。コストと炭素は継続的でチームが所有するシグナル。効率的な既定、自動化された最適化、炭素を意識したスケジューリングが組織全体で継続的に改善する。

第10部 プロジェクト/プロダクト/プログラムの管理

主題レベル1 開始レベル2 発展レベル3 標準化レベル4 管理レベル5 オーケストレーション
ポートフォリオとプログラムの管理優先順位は最も大声で頼む人によってその場しのぎで設定される。ポートフォリオの視点なし。依存関係は危機として表面化する。年次の資金の大慌て。定期的にレビューされるポートフォリオの目録。仕事との結びつきが弱い公表された目標。依存関係の台帳。プロジェクトベースの予算。戦略がOKRを通じてカスケードする。一貫した優先順位づけの枠組み。チーム間の計画が依存関係を管理する。持続するチームの資金。ポートフォリオの成果、デリバリーの予測可能性、依存関係の数がベースラインに対して測定される。ポートフォリオは成果の証拠で継続的に再均衡される。依存関係は設計から消し去られ、資金の周期は組織全体で学びの周期に合っている。
リスク、監査、保証リスクはインシデントの後に反応的に扱われる。枠組みも登録簿もない。文書化されない統制。痛みを伴う手作業の監査。主要なシステムのリスク登録簿。統制の枠組みが採用され、監査は通るが手作業で時点のもの。サプライヤーはオンボーディングで評価される。スリーラインズのモデルと共通の枠組みが組織全体に。多くの統制が自動化される。継続的な監視。サプライヤー/SBOMの目録。予定されたDR。統制の有効性、開いたリスクの数、監査の指摘がリスク選好とベースラインに対して測定される。保証は継続的で大部分が自動化される。監査人は生きた証拠をサンプリングし、サプライチェーンの完全性は組織全体でリスクが進化するにつれて検証される。
調達、オープンソース、ライセンスオープンソースが自由に追加される。方針も目録もない。ライセンスは検討されない。寿命の終わりは偶然に見つかる。所有者なし。基本的な方針と承認済みライセンスの一覧。一部の手作業/遅いスキャン。主要なシステムの目録。その場しのぎの貢献。OSPOが戦略とツールを所有する。自動のライセンス/脆弱性スキャンと帰属。SBOM。明確な貢献。EOLが追跡される。ライセンスのコンプライアンス、依存関係の鮮度、脆弱性の露出がベースラインに対して測定される。オープンソースは、完全に自動化されたコンプライアンスを伴う管理された戦略的資産。アップストリームへの投資は意図され、鮮度とEOLは組織全体で継続的に管理される。
大規模で長寿命なシステムの維持システムは英雄に依存する。所有は記憶による。文書化されない知識。システムは壊れるまで凍結される。廃止は決して終わらない。主要なシステムの所有が割り当てられ記録される。一部のドキュメントとランブック。明白な重要な機能に二人目がいる。反応的な保守。再編を生き延びるカタログ内のチームレベルの所有。バスファクターが測定され緩和される。決定記録とランブック。段階的な近代化。バスファクター、所有のカバレッジ、知識移転の進捗がベースラインに対して測定される。スチュワードシップは資金のある規律。どの重要なシステムも人間の単一障害点ではなく、知識の移転と計画された終わりが組織全体で続く。
倫理、説明責任、公共の利益倫理は扱われない、あるいは不祥事の後に反応的。アクセシビリティは無視される。救済のない不透明な自動的決定。偏りはテストされない。行動規範といくらかの(遅れた)アクセシビリティ。注目を集める自動的決定にはいくらかの監督。時折の偏りのチェック。倫理的なレビューがプロセスの一部。アクセシビリティは設計に組み込まれユーザーテストされる。重大な決定に説明と救済が伴う。公平性、アクセシビリティ、アルゴリズムの説明責任の成果がベースラインに対して監視される。責任は組織が築く方法に埋め込まれている。公平性は交渉の余地のない既定で、アルゴリズムの説明責任は標準で組織全体で継続的に改善する。

全体の成熟度の自己評価

上の行列を使って、軽量で誠実なスコアを出します。

採点の基準

  1. 典型的な現実に最もよく合う水準を使って、各章を1から5で採点します。行動が一貫しないときは、低い水準を採点します。
  2. 部ごとに平均します。部の章の得点を合計し、章の数で割ります。これで部ごとの成熟度が得られます(たとえば「第4部の平均は2.5」)。
  3. 平均だけでなく最小値を記録します。平均が3.0でもレベル1の章を含む部は、平均にかかわらずその章のリスクを抱えています。
  4. 傾向をプロットします。一、二四半期ごとに再採点し、向かう方向を見ます。2 → 3に動いている領域は、静的な3にとどまる領域より健全です。

部ごとの単純なワークシート:

部採点した章平均最も低い章注記/優先度
I-X数平均最小の水準…

何を改善するかの優先順位づけ

すべてを一度に上げようとせず、最も高い平均を追わないでください。リスクで重みづけた成熟度の隔たりで優先順位をつけます。低い水準が高い結果に出会う領域を攻略します。

  • まず: 最もリスクの高い領域の、最も成熟度の低い章。ほとんどの組織にとって、それはセキュリティ、プライバシー、信頼性、コンプライアンス、失敗が人に害を与える、あるいは法に違反するあらゆるシステムを意味します。ここのレベル1は緊急です。
  • 次に: 他のすべての領域の天井を上げる基盤の推進要素(文化、働き方、CI/CD、IaC、オブザーバビリティ)。これらを改善すれば、後の利得が安くなります。
  • 後で: すでにレベル3にあり、レベル4あるいは5に登れる領域。賭け金と規模が追加の投資を正当化する所でのみ、床を越えて押し進めます。

企業と政府の基準線

企業と政府の文脈は、通常「動く」で止まれません。監査に通り、認可を維持し、規制上と公的な説明責任の義務を満たすために、ほとんどの領域は少なくともレベル3(標準化)に到達しなければなりません。実践が標準化され、文書化され、チーム間で徹底され、証拠を生む水準です。レベル2は、一貫せず期限のもとで手作業で組み立てられるので、通常は監査に失敗し、レベル1は完全に失敗します。

レベル3を、監査可能あるいは安全に関わるあらゆるものの床として、より高い水準(4と5)を、継続的な保証、規模、公的な信頼が追加の厳密さに見合う所でのみの目標として読んでください。成熟度は手段のままです。目標は完璧なスコアではなく、実際に負うリスクに対して、擁護でき比例した水準の統制です。