11.5 重要業績評価指標(KPI)

概要と動機

重要業績評価指標(KPI)とは、重要な何かの継続的な健全性を反映するために、組織が意図して追跡することを選ぶ指標です。ここでは重要という語が重みを担います。KPIは集められるどんな数字でもなく、舵取りに値すると決めた少数の集合です。目標と主要な結果(OKR)が今推進している変化を記述するのに対して、KPIは守っている定常状態を記述します。それが二つを分けておく最もきれいな方法です。OKRは望む変化で、KPIは維持する健全性です。11.4章はOKR、その周期、採点についての相棒の章で、この章はKPIを選び、定義し、歪みから守ることについてです。

大きなチームにとって、良いKPIが課す規律は、指標自体と同じくらい価値があります。企業では、数十のチームが戦略から静かにずれる局所的な数字を追い、よく選ばれた一つのKPIが、数百人を顧客が実際に受け取る価値に揃えられます。政府では、複数年のプログラムが法定の義務づけに対して公的資金をコミットし、待ち時間や不正が改善しなかったなら、「作業範囲記述書のモジュールを納品した」は弁明になりません。まずく選ばれたKPIは静かに腐敗します。1時間あたりの完了した通話で測られるコールセンターは、問題を解決するのではなく、通話を終わらせます。

この章は、それらの選択と、その周りのガードレールを正しく得ることについてです。11.1章は、ディスカバリーパイプラインの一部としてKPIを簡潔に紹介し、ここでは深さが得られます。賭け金が高いのは、KPIが測定を装った指示だからです。人々は数えるものを最適化するので、数えるものは望むものであるべきです。

主要原則

多数ではなく、重要。 KPIは、舵取りに選んだ少数の指標の一つであり、集められるすべてではありません。
測定可能で、対処可能で、所有される。 すべてのKPIには、一つの正確な定義、真実の源、所有者、それを動かすてこがあります。
変化ではなく、健全性。 KPIは守る定常状態を追跡し、OKR(11.4章)は望む変化を駆動します。
可能な所では先行し、必要な所では確認する。 先行指標を好み、遅行指標は検証に使います。
アウトカムに重みを置く。 インプットとアウトプットは数えやすく、価値はアウトカムに住みます。
すべての指標はゲーム化されると想定する。 比率、コホート、対になったガードレールで、グッドハートの法則に対して設計します。
虚栄を拒否する。 どんな読み取りも決定を変えないなら、その指標は飾りです。
誠実に可視化する。 ダッシュボードは、誤解させずに数秒で知らせるべきです。

推奨事項

KPIを「良い」ものにするものを定義する

良いKPIは四つのテストに合格します。整合している: 述べられた目標にたどれるので、それを動かすことが意味を持つ。測定可能: 一つの正確な定義、名指しされた真実の源(権威ある記録のシステム)、単位、収集の方法を持つので、別々に計算する二人が同じ数字に着く。対処可能: 所有するチームが実際にそれを動かすてこを持つ。所有されている: 一人の説明責任のある人あるいはチームが、その傾向、定義、データの質を所有する。四つのテストのどれかに失敗する指標は、ダッシュボードの候補ではなく、削除の候補です。大きな組織の指標の乱雑さの多くは、これらの少なくとも二つに失敗し、決して退役させられなかった数字です。

タイミングと価値の連鎖で指標を分類する

二つのレンズがKPIの集合のバランスを保ちます。第一はタイミングです。先行指標は予測的で今動かせます(トライアルのサインアップ、オンボーディングの完了)。遅行指標は確認的で遅い(年間収益、解約)。先行指標は、もう変えられない判決を遅行指標が下す前に舵を取らせます。第二のレンズは価値の連鎖です。インプットの指標は費やした労力(働いた時間、投じたドル)を、アウトプットの指標はシステムが生産したもの(出荷された機能、閉じられたチケット)を、アウトカムの指標は実際に望んだ変化(維持された収益、削られた待ち時間)を測ります。チームは、数えやすく完全に自分の制御下にあるので、インプットとアウトプットへ引き寄せられますが、価値はアウトカムに住みます。集合をアウトカムに重みづけ、すべてがアウトプットのダッシュボードを警告のサインとして扱ってください。

ゲーム化に強い指標を設計する

グッドハートの法則を想定します。尺度が目標になると、良い尺度でなくなります。歪みが現れてから反応するのではなく、最初からそれに対して設計します。

生の数より比率と率を好む。 「閉じられたチケット」は量に報い、「初回の接触で解決された割合」は解決に報います。生の数は、無価値な何かをより多く行うことでゲーム化できます。
コホートを使う。 コホートは、共通の出発点で定義されたグループ(3月にサインアップしたすべてのユーザー)です。コホートで報告すると、強い最近の月が支える見栄えの良い集計の中に、下降する傾向が隠れるのを防げます。
インセンティブのあるすべてのKPIをガードレールと対にする。 ガードレール指標は、主要なものを押す間に劣化してはならない、対になった対抗指標です。通話の処理時間と顧客満足、アクティベーションとサポートの負荷。ガードレールは、ごまかしを目に見えて高価にします。

虚栄の指標を拒否し、対処可能性を要求する

虚栄の指標は、確実に上がり、印象的に見え、決定を何も変えません。累積の登録ユーザー、ページビュー、コード行数。兆候は一貫しています。上がるだけ。比率ではなく絶対的な数。そして「この数字が倍になったら何を違うようにするか」という問いに答えがない。対照的に対処可能な指標は、影響を与えられる特定の行動と、それが変える決定に結びついています。KPIを採用する前に、良い読み取りと悪い読み取りがそれぞれどんな行動を引き起こすかを尋ねます。両方の読み取りが同じ行動につながるなら、その指標を捨てます。このテストだけで、提案されたダッシュボードのほとんどが半分に縮みます。

単一の北極星の指標のもとにKPIツリーを築く

KPIを平らな一覧として追跡してはいけません。KPIツリー(あるいは指標ツリー)として配置します。上位の指標を、それを数学的あるいは因果的に駆動する指標へ、水準ごとに、個々のチームが所有する運用上の尺度まで分解したもの。ツリーは、上位の指標が動いたとき、どの下位の指標を調査すべきかを教え、「数字が下がった」を「このハブの滞留時間が原因だ」に変えます。最上位には、単一の北極星の指標を名指しします。顧客に届けられる中核の価値を最もよく捉える尺度。マーケットプレイスなら完了した取引、プロダクトなら中核機能の週間アクティブな利用かもしれません。北極星は労力を揃え、部門が対立する局所的な数字を最適化するのを止めますが、それは虚栄ではなく価値を測り、ガードレールがバランスをとる場合に限ります。最上位の指標が、顧客が受け取る価値が減る間も上がり続けうるなら、それは戦略を装った虚栄です。

ベースライン、目標、閾値を設定する

参照点のないKPIは、画面上の単なる数字です。すべてに三つの参照を与えます。ベースラインは現在あるいは過去の値で、変化が不可解ではなく意味を持ちます。目標は到達するつもりの値で、日付を伴います。閾値は、目標が勝ち取られあるいは失われる前に行動を引き起こします。警告の閾値は注意を促し、重大の閾値は介入を促します。目標を、切りのいい数字の楽観ではなく、証拠(過去の傾向、外部のベンチマーク、容量モデル)に根づかせ、その推論を書き留めます。記録された推論こそ、外れが単に失望させるのではなく何かを教えるようにするものです。起こったことを、目標を設定した前提と比較できるからです。

ダッシュボードで誠実に可視化する

KPIのダッシュボードは、読み手が誤解させられることなく、数秒で状況と傾向を把握できるようにすべきです。単一のスナップショットではなく、時間にわたる傾向を示します。述べられた理由がない限り、値の軸はゼロから始めます。切り詰められた軸は、小さな変化を劇的に誇張するからです。偽の精度ではなく、変動と不確実性を示します。読み手が本物の変化と雑音を見分けられるよう、文脈に注釈を付けます。デプロイ、インシデント、季節性、方針の変更。数字を持ち上げるチャートの小細工を避けます。相関を含意する二軸、都合よく選んだ日付範囲、比率を歪める3Dの効果。これらの実践は、分析とビジネスインテリジェンス(7.3章)、プロダクト分析と実験(7.4章)に直接つながり、そこでは、指標が何を語っているかをどう読むかを、同じ誠実さの標準が統べます。

運用上のKPIの語彙を採用する

運用上の健全性には、再発明するのではなく再利用すべき確立されたKPIの語彙があります。サイトリライアビリティエンジニアリング(9.1章)から。サービスレベル指標(SLI)はサービスの健全性の測定されたシグナル(レイテンシ、成功率)、サービスレベル目標(SLO)はSLIの目標範囲(リクエストの99.9%が成功)、エラーバジェットは許容される不足分(出荷を止めて安定させる前に、リスクに使える0.1%)です。デリバリーパイプライン(11.2章)から。フロー指標は仕事のシステム内の動きを追跡し(フロー時間、スループット、仕掛かりの仕事、フロー効率)、DevOps Research and Assessment(DORA)プログラムの四つの指標は、速度と安定性を対にします。デプロイ頻度、変更のリードタイム、変更失敗率、サービス復旧までの時間。どちらの語彙も、設計によって速度を安定性の隣に置くので、どのチームも、信頼性を静かに犠牲にして優れたベロシティの数字を出せません。これらの同じ運用上のKPIは、エンジニアリングの有効性と開発者の生産性の仕事(1.10章)に供給します。

公共部門のパフォーマンス報告の義務に応える

政府は、独特の要件を加えます。KPIは、立法府、監督機関、公衆に、時には法令のもとで報告される公表されたパフォーマンスの尺度であることがしばしばです。これらにはさらなる厳密さで臨みます。傾向が年ごとに本当に比較可能になるよう、報告期間にわたって定義を安定に保ちます。方法論とデータの源を文書化します。限界について誠実にします。公表された尺度は強いインセンティブを生むので、グッドハートの歪みに特に陥りやすいです。待機リストを減らす目標は、誰が待機中に数えられるかを再定義することで達成されます。公表された各尺度をガードレールと対にし、数字だけでなく定義自体を監査します。公共のKPIについての最も重要な問いは、「改善したか」ではなく、「主張したことをまだ測っているか」であることがしばしばです。

トレードオフ: 長所と短所

選択	長所	短所
アウトカムの指標	労力を本物のインパクトに揃える。ゲーム化しにくい	定義が難しい。遅く雑音が多い。帰属が難しい
インプット/アウトプットの指標	測定が容易。明確な所有。速いフィードバック	インパクトより活動に報いる。価値への結びつきが弱い
先行指標	早期に舵を取れる	予測的なので、より雑音が多く確実性が低い
遅行指標	権威ある確認	結果を変えるには届くのが遅すぎる
少数のKPI	集中、明確さ、伝えやすい	次元を見逃しうる。死角
多数のKPI	広いカバレッジ。驚きが少ない	注意が薄まる。ダッシュボード疲労。対立するシグナル
公的なパフォーマンス報告	説明責任、透明性、信頼	強いゲーム化の圧力。定義が政治的になる

中心的な緊張は集中対カバレッジで、動機づけ対歪みによって鋭くなります。全体像を見るのに十分な尺度、チームが実際に行動できる程度に少なく、それぞれが、インセンティブを付けること自体がそれを腐敗させないよう守られていることを望みます。ツリーとして一つの北極星の指標のもとに配置された、少数の所有されたアウトカムに重みづけされたKPIを保ち、インセンティブのあるすべての尺度をガードレールと対にすることで、緊張を解決してください。そうすればカバレッジは、画面上の指標の数そのものではなく、ツリーの構造から来ます。

チームで議論すべき問い

単一の北極星の指標はありますか。そしてそれは届けられた価値を測っていますか。それとも単なる活動ですか。 KPIの平らな一覧は部門に対立する局所的な数字を最適化させますが、北極星は全員を、顧客が実際に受け取る価値に揃えます。マーケットプレイスなら完了した取引、プロダクトならアクティベーション。最上位の指標が、顧客が受け取る価値が減っても上がり続けるかを尋ねてください。そうなりうるなら、戦略を装った虚栄です。大きな組織では、北極星が、あるチームの勝利が別のチームの敗北になるのを止めるものなので、チームが制御する運用上の尺度のKPIツリーの頂点にあるべきです。現在の最上位の指標を持ち込み、各チームが所有するものまでたどってみます。ツリーがつながらないなら、北極星は舵取りの仕組みではなく飾りです。
インセンティブのある各KPIについて、それをゲーム化する最も安い方法は何で、そのごまかしを露呈するガードレールは何ですか。 報酬や評判を付けるすべての指標は、アウトカムではなく数字の最適化を招き、最も安い道は、意図したものであることはめったにありません。座って、各KPIについて、意図して悪用の方法を設計してください。合理的なチームは、本当に望むことをより少なく行いながら、この数字をどう良く見せるか。それから、それを捉える対抗指標を名指しします(処理時間と満足、アクティベーションとサポートチケット、速度とエラー率)。この演習は、上に報告するか公表する指標で最も重要です。それらが最も強いインセンティブと、したがって最も強い歪みの圧力を負うからです。KPIのガードレールを名指しできないなら、まだそれにインセンティブを付ける準備ができていません。
目標は証拠に根づいていますか。そして各々の背後の推論を書き留めましたか。 ベースラインのないKPIは単なる数字で、聞こえが野心的だからと切りのいい数字に設定された目標は、外したときに解釈できません。各KPIについて、ベースライン、日付を伴う目標、警告と重大の閾値、過去の傾向、ベンチマーク、容量モデルから引かれた記録された根拠を持っているかを確認してください。これは、法定あるいは契約上の重みを持つ尺度で最も重要です。「有効な請求の90%を21日以内に支払う」は、野心的な推測ではなく擁護できるものである必要があります。現在の目標を持ち込み、それぞれについて「なぜこの数字で、より高くも低くもないのか」と尋ねます。答えが沈黙なら、目標は楽観で、外れは何も教えてくれません。
メインのダッシュボードのすべての指標を擁護しなければならないとしたら、どれが生き残り、使われないそれぞれは何を代価にしていますか。 すべてのKPIは繰り返されるコストを負います。計装、パイプライン、ダッシュボードのタイル、あらゆるレビューでの注意の一部で、蓄積して育った集合は、誰もそう決めていないのに組織に静かに課税します。緊張は集中対カバレッジです。指標が少なすぎれば死角が生じ、多すぎればどのチームもどれにも行動できません。完全な目録を持ち込み、各指標について、良い読み取りあるいは悪い読み取りがどんな決定を引き起こすかに答えてください。答えのないものは、保守するのにお金を払っている飾りです。数十のチームのダッシュボードを持つ企業や、法定の枠組みに対して報告する政府機関では、指標を退役させる規律が、加えることと同じくらい重要です。使われない公表された尺度も、ゲーム化を招き、監査のもとで擁護されなければならないからです。
ダッシュボードのどれだけの割合が、費やした労力や生産したアウトプットではなく、実際に望んだアウトカムを測っていますか。 チームは、数えやすくチームの制御の中にあるので、インプットとアウトプットへ流れますが、価値はアウトカムに住み、それは遅く、雑音が多く、帰属が難しい。タイルを数えてください。ダッシュボードがほとんど出荷された機能、閉じられたチケット、記録された時間なら、活動を測ってそれをパフォーマンスと呼んでいます。各指標をインプット、アウトプット、アウトカムに分類したものを持ち込み、アウトカムだけが動いた場合にどの決定が変わるかについて誠実になってください。大きな組織では、このバランスが局所最適の隠れる所です。部門は何年も優れたアウトプットの数字を出しながら、資金提供者が気にするアウトカム、維持された収益や削られた待ち時間が静かに侵食されうるからです。政府では、アウトプットだけの報告(「納品されたモジュール」)は、まさに監督機関が信頼しないことを学んだ答えです。
各KPIについて、定義と真実の源を誰が所有し、二つのチームが独立に計算して同じ数字に着きますか。 一人の説明責任のある所有者と一つの権威ある記録のシステムのない指標は、常設の議論になります。二つのグループが異なるクエリから「アクティブユーザー」を報告し、傾向を管理する代わりに数字の突き合わせに会議を費やすからです。相反する引力は自律対一貫性です。チームは自分のやり方で計装したいが、異なる部屋で異なる意味を持つKPIは、共有の北極星に積み上がれません。各指標の定義、単位、真実の源、名指しされた所有者を持ち込み、二人に冷たい状態で計算させて、いくつかをテストしてください。事業部にわたって指標を積み上げる企業や、法令で報告期間にわたって安定に保たれる政府の尺度では、漂う、あるいは争われる定義は迷惑にとどまらず、パフォーマンス報告全体を擁護不能にする失敗です。

セクター別の視点

スタートアップ。 少数の人員とわずかな滑走路では、会社全体のダッシュボードは1画面に収まるべきです。顧客が価値を受け取り続けているかを測る単一の北極星の指標、その二つか三つの駆動要因、一つのガードレール。累積のサインアップのような虚栄の数を、決定を形づくる前に早期に退役させ、強いローンチが下の解約を隠せないよう、北極星をサインアップの週でコホート化します。豊かな指標の集合より速度が重要なので、実際に行動する少数の数字だけを計装し、残りは飛ばします。

小規模事業者。 おそらくアナリストはおらずパイプラインを築く時間もないので、すでに持っているツールに組み込まれたKPIの語彙に頼ってください。販売時点、サポート、会計ソフトウェアのダッシュボード。生存に対応する二つか三つの尺度(リピート購入率、手元資金の日数、時間通りの履行)を選び、生の数がずれるのを眺めるのではなく、それぞれにベースラインと目標を与えます。手で組み立てなければならない報告より、一目で読める比率を好みます。

大企業。 問題は、対立する局所的な数字を最適化する数十のチームなので、仕事は、一つの北極星のもとのKPIツリー、名指しされた真実の源を伴う正確な定義、インセンティブのあるすべての尺度のガードレールです。指標が事業部にわたってきれいに積み上がるよう定義を標準化し、運用上のSLI、SLO、DORA指標を事業のKPIと統合し、集合を、育つだけでなく刈り込まれるポートフォリオとして統治します。数字だけでなく定義を監査してください。規模では、静かに再定義された指標が、数千の人々を一度に誤解させるからです。

政府。 KPIはしばしば、法令のもとで立法府に報告される公表されたパフォーマンスの尺度なので、各定義を期間にわたって安定に保ち、方法論とデータの源を文書化し、限界について誠実にしてください。公表された目標は最も強いゲーム化の圧力を負うので、それぞれをガードレールと対にし、定義自体の独立した監査を委託して、たとえばまだ待っている請求者が数から再分類されて外されていないことを確認します。成功を、納品されたモジュールではなく市民の成果として定義してください。「作業範囲記述書を出荷した」は、待ち時間や不正が実際に改善したかを尋ねる立法府への答えにならないからです。

事例

スタートアップ。 6人の生産性アプリのスタートアップは、誰かが製品を実際に使い続けているのかと取締役が尋ねるまで、増え続ける「登録ユーザー総数」のグラフを祝っていました。その虚栄の数を退役させ、7日間のアクティベーションを北極星の指標として採用し、強いローンチが下の解約を隠せないようサインアップの週でコホート化します。ベースライン(25%)、目標(45%)、警告と重大の閾値を与え、押しつけがましいオンボーディングの流れでアクティベーションを水増しできないよう、ガードレール(アクティブユーザーあたりのサポートチケット)と対にします。会社全体のダッシュボードは1画面に収まります。北極星、その二つの駆動要因、ガードレール。KPIが警告の閾値に向かって傾くと、ツリーからどの駆動要因を最初に調査すべきかがわかります。

大企業。 世界的な物流企業は、時間通りの配達率を北極星の指標として採用し、その下にKPIツリーを築きます。集荷の時間厳守、ハブの滞留時間、ラストマイルの成功で、それぞれがベースライン、目標、警告と重大の閾値を持つ名指しされた地域リードに所有されます。各速度のKPIはガードレールと対にされるので、時間通りの率は破損率とともに移動し、どの地域も、パーセルを急いで破損に追い込むことで数字を達成できません。プラットフォームのSLO(トラッキングAPIの可用性99.95%、9.1章)とDORA指標(11.2章)が、エンジニアリングのダッシュボードの事業のKPIの隣に置かれます。ある地域で時間通りの率が警告の閾値に向かって下がるとき、ツリーはそのハブの滞留時間を原因として特定し、修正は会社全体の慌てではなく的を絞ったものになります。チームが今四半期動かすと決めた指標は、そのチームのOKR(11.4章)の主要な結果になり、残りは常設のガードレールとして残ります。

政府。 州の失業保険機関は、「処理された請求」という虚栄の数ではなく、悪い四半期が悪化する積み残しを隠せないよう請求の月でコホート化した、請求から最初の支払いまでの日数の中央値を、公表されたパフォーマンスの尺度として報告します。速度がエラーで買われないよう、その尺度をガードレール(支払いの正確さと不服申立ての覆り率)と対にします。「中央値の日数」の定義は年を超えて凍結され、公に文書化され、独立した監査が定義自体をチェックして、まだ待っている請求者が数から静かに再分類されて外されていないことを確認します。最前線のSLI(ポータルの稼働率、電話の応答率)が、公表された尺度の下の運用ダッシュボードに供給します。成功が納品されたモジュールではなく請求者の成果として定義されるので、機関は立法府に、精査を生き延びる測定可能な公共の価値を示せます。

ビジネスケース: 動機、ROI、TCO

良いKPIの見返りは集中と整合から来て、大きな組織における最大の隠れたコストを避けます。多くのチームが、懸命に、期限通りに、戦略を前進させないことに取り組んでいること。重要な少数の尺度が明示的で可視であれば、重複した労力が表面化し、対立する局所的な目標が衝突する前に調整され、低価値の仕事は覆いを失います。大きな組織の最も高価な資源は人々の揃った注意で、KPIの支配的な見返りは、向け直された容量です。

間違ったKPIのコストはダッシュボードではありません。実際のアウトカムが侵食される間に数字を最適化する何四半期もの労力に、のちにゲーム化された行動を解きほぐすコストを加えたものです。1年間、繰り返しの接触を最大化しながら処理時間を最小化したコールセンターは、善意の単一の指標だけで、マイナスの見返りを生み、それからプロセスと職員の信頼の両方を築き直さなければなりませんでした。

KPIの総所有コスト(TCO)は、控えめですが本物で繰り返されます。各指標は継続的なコストを負います。それを集める計装とパイプライン、それを表示するダッシュボード、それを議論するレビュー会議、見張るもう一つのものという精神的な負荷。その繰り返されるコストこそ、すべてのKPIが元を取る少数の集合のための最強の論拠です。使われない指標も、保守するのにお金がかかるからです。集合を小さく、定義を正確に、ガードレールを整えておけば、KPIは避けられた誤った方向づけで、オーバーヘッドを何倍も返します。

アンチパターンと落とし穴

虚栄の指標: 上がるだけで決定を何も変えない累積の数。
指標への固執: ガードレールが隔たりを露呈しないので、行動がアウトカムではなく数字を最適化すること。
所有されない、あるいは定義の曖昧なKPI: 説明責任のある人がいない、あるいは二つのチームが「アクティブユーザー」を異なって計算し、管理せずに議論すること。
アウトプットだけのダッシュボード: 測られるすべてがチームが生産したもので、引き起こした変化を測るものがない。
ツリーのない平らな一覧: 数十のゲージがあり北極星がないので、動く数字がどこを見るべきかの手がかりを与えない。
根拠のない切りのいい目標: 大胆に聞こえたから選ばれた目標で、外したときに解釈できない。
不誠実なチャート: 切り詰められた、あるいは二つの軸、都合よく選んだ窓、物語を作り出す3Dの効果。
再定義でゲーム化された公表された尺度: 誰が待機中に数えられるかを変えることで達成された待機リストの目標。
KPIとOKRの混同: 常設の健全性の指標を四半期の変化の目標として、あるいはその逆に扱うこと(11.4章)。

成熟度モデル

レベル1、開始: 指標はほとんどが、ベースライン、目標、所有者、共有の定義のない虚栄の数です。ダッシュボードは傾向なしのスナップショットを示し、報告は反応的でその場しのぎで、どの数字が最も重要かを誰も言えません。
レベル2、発展: KPIは一部のチームにベースラインと目標とともに存在しますが、ほとんどがアウトプットで、定義はチーム間で異なり、ガードレールがありません。実践は組織全体で一貫せず、ゲーム化が現れてゲーム化として認識されません。
レベル3、標準化: 一貫した所有されるKPIの集合が、正確な定義と名指しされた真実の源を持ち、文書化されて組織全体で徹底されます。指標は先行あるいは遅行、インプット、アウトプット、アウトカムに分類され、インセンティブのある尺度はガードレールと対にされ、チャートはすべてのチームで誠実な可視化の標準に従います。
レベル4、管理: KPIの集合自体が、ベースラインに対して測定され制御されます。定義の正確さ、データ品質のエラー率、各指標がゲーム化される頻度が時間とともに追跡され、目標は毎サイクル証拠に対してレビューされ、警告と重大の閾値は文書化された介入を引き起こし、定義は監査されるので、公表された尺度は主張したものを測り続けます。グッドハートの効果は、損害の後に発見されるのではなく、意図して監視されます。
レベル5、オーケストレーション: KPIツリーが、最前線の尺度を単一の北極星の指標に結びつけ、アウトカムの指標が集合を支配し、運用上のSLI、SLO、DORAとフロー指標が事業のKPIと統合されます。チームが動かすと選ぶ指標はそのOKR(11.4章)にきれいに供給され、組織は戦略とリスクの状況が移るにつれて、KPIを継続的に退役させ、置き換え、範囲を見直します。

議論のためのアイデア

KPIのうち、プロダクトやサービスが悪くなっていても上がり続けるものはどれですか。
インセンティブのある各KPIについて、それをゲーム化する最も安い方法は何で、そのごまかしを露呈するガードレールは何ですか。
ダッシュボードの指標のうち、アウトカムはいくつで、数えやすいから数えているインプットやアウトプットはいくつですか。
所有者や単一の合意された定義を欠く指標はどれで、その曖昧さは議論でどれだけのコストを払わせましたか。
報告あるいは公表する尺度について、アウトカムを改善するのではなく、尺度を再定義することで目標を達成できてしまいませんか。
ダッシュボードを五つの指標に削らなければならないとしたら、どれが生き残り、その五つの頂点に北極星はありますか。

要点

KPIは、守りたい目標を反映するために選ばれた指標で、良いものは整合し、測定可能で、対処可能で、所有されています。
OKRは望む変化で、KPIは維持する健全性です。 OKR、周期、採点は11.4章を参照してください。
指標を先行か遅行か、インプット、アウトプット、アウトカムに分類し、集合をアウトカムに重みづけます。
グッドハートの法則を想定します。インセンティブのあるすべてのKPIをガードレールと対にし、生の数より比率とコホートを好みます。
虚栄の指標を拒否し、KPIを単一の北極星の指標のもとのツリーに組織し、それぞれにベースライン、目標、閾値を与えます。
誠実に可視化し(7.3章と7.4章)、運用上の語彙を再利用します。SLI、SLO、エラーバジェット(9.1章)とDORAとフロー指標(11.2章)。
政府では、公表された尺度に追加の定義の厳密さで臨み、数字だけでなく定義を監査します。

参考文献とさらなる読み物

Key Performance Indicators: Developing, Implementing, and Using Winning KPIs, by David Parmenter (a practical framework for selecting and structuring KPIs).
Lean Analytics, by Alistair Croll and Benjamin Yoskovitz (vanity versus actionable metrics, and the One Metric That Matters).
The Lean Startup, by Eric Ries (actionable versus vanity metrics, and cohort analysis).
How to Measure Anything, by Douglas W. Hubbard (defining and quantifying the seemingly unmeasurable).
The Visual Display of Quantitative Information, by Edward R. Tufte (honest, high-integrity data graphics).
Site Reliability Engineering, by Betsy Beyer, Chris Jones, Jennifer Petoff, and Niall Richard Murphy, eds. (SLIs, SLOs, and error budgets).
Accelerate, by Nicole Forsgren, Jez Humble, and Gene Kim (the DORA delivery and stability metrics).
Goodhart, C. A. E., “Problems of Monetary Management: The UK Experience” (1975): the origin of Goodhart’s law; see also Marilyn Strathern’s widely quoted formulation.
U.S. Government Accountability Office (GAO) guidance on performance measurement and the GPRA Modernisation Act: public-sector performance-reporting practice.