11.5 关键绩效指标(KPI)
概述与动机
关键绩效指标(key performance indicator,KPI)是你的组织刻意选择去追踪的一个指标,因为它反映了某个重要事物的持续健康状况。关键(key)这个词承载着分量:KPI 不是你能收集到的任意数字,而是你已经决定值得据此来掌舵的那一小撮数字。目标与关键结果(OKR)描述的是你此刻正在推动的一次变化,而 KPI 描述的是你正在守护的稳态。这是把两者分开的最干净方式:OKR 是你想要的变化;KPI 是你要维系的健康。第 11.4 章是关于 OKR 及其节奏与评分的姊妹章节;本章则关注如何选择 KPI、定义它们,并防止它们被扭曲。
对大型团队而言,一个好的 KPI 所强加的纪律,其价值不亚于这个指标本身。在企业中,数十个团队各自追逐着悄悄偏离战略的局部数字,而一个精心选择的 KPI 可以让成百上千人围绕客户真正获得的价值而对齐。在政府中,历时多年的项目按照法定授权来投入公共资金,如果等待时间或欺诈情况从未改善,“我们按工作说明书交付了各个模块”这句话是站不住脚的辩护。一个选错的 KPI 会悄无声息地腐蚀组织:如果一个呼叫中心以每小时结案数来考核,它就会去关闭工单,而不是去解决问题。
本章关注的正是如何把这些选择及其防护措施做对。第 11.1 章作为发现流水线的一部分简要介绍了 KPI;这里则提供深度剖析。这件事之所以利害攸关,是因为 KPI 是一条伪装成度量的指令。人们会优化你所计量的东西,所以你计量的东西最好就是你真正想要的东西。
关键原则
- 贵精不贵多。 KPI 是你选来据以掌舵的少数几个指标之一,而不是你能收集到的一切。
- 可度量、可行动、有归属。 每一个 KPI 都有一个精确的定义、一个权威数据源、一个负责人,以及一个能推动它变化的杠杆。
- 健康,而非变化。 KPI 追踪你要守护的稳态;OKR(第 11.4 章)驱动你想要的变化。
- 能领先就领先,须确认就确认。 优先选用领先指标;用滞后指标来做验证。
- 权重向结果倾斜。 投入和产出容易计数;价值则存在于结果之中。
- 假定每个指标都会被人钻空子。 用比率、同期群和成对的护栏指标来对抗古德哈特定律。
- 拒绝虚荣。 如果无论读数如何都不会改变任何决策,这个指标就只是装饰品。
- 诚实地可视化。 仪表盘应当能在几秒钟内让人了解真实情况,而不会误导。
建议
定义什么样的 KPI 算”好”
一个好的 KPI 要经受四项考验。它是对齐的(aligned):能追溯到一个明确陈述的目标,因此推动它意味着某种真实的意义。它是可度量的(measurable):有一个精确的定义、一个指名的权威数据源(source of truth)(拥有权威地位的记录系统)、一个单位和一种收集方法,使两个人分别计算时能得出同一个数字。它是可行动的(actionable):负责的团队拥有真正能推动它的杠杆。它是有归属的(owned):由一个负责任的人或团队拥有它的走势、定义和数据质量。一个在这四项考验中任何一项不合格的指标,都应当是被删除的候选者,而不是上仪表盘的候选者。大型组织中大多数杂乱的指标,都是至少在两项考验中不合格、却从未被淘汰的数字。
按时效性与价值链对指标分类
有两个视角能让一组 KPI 保持平衡。第一个是时效性。领先指标(leading indicator)具有预测性,现在就可以推动(试用注册数、入职完成率);滞后指标(lagging indicator)具有确认性,反应缓慢(年度收入、流失率)。领先指标让你能在滞后指标给出一个你已无法改变的定论之前,先行掌舵。第二个视角是价值链。投入指标(input metric)衡量投入的努力(工时、投入的资金);产出指标(output metric)衡量系统产出了什么(发布的功能、关闭的工单);结果指标(outcome metric)衡量你真正想要的那种改变(留存的收入、缩短的等待时间)。团队倾向于聚焦投入和产出,因为它们容易计数、也完全在团队掌控之内,但价值存在于结果之中。让你的指标组合向结果倾斜,并把一个全是产出指标的仪表盘视为一个警示信号。
设计能抵抗被钻空子的指标
假定古德哈特定律成立:一旦一个度量变成了目标,它就不再是一个好的度量。要从一开始就针对它进行设计,而不是等扭曲出现之后才做反应。
- 优先选用比率和速率,而不是原始计数。 “关闭的工单数”奖励的是数量;“首次联系解决率”奖励的是解决问题。原始计数很容易通过多做一些毫无价值的事情来钻空子。
- 使用同期群。 同期群(cohort)是一群拥有共同起点的对象(比如所有在三月注册的用户)。按同期群报告能防止一个下滑趋势藏身于一个被某个亮眼近期月份撑起来的、讨好人的汇总数字之中。
- 给每一个被纳入激励的 KPI 配一个护栏指标。 护栏指标(guardrail metric)是一个成对出现的反向制衡指标,在你推动主指标时它绝不能恶化:通话处理时长要与客户满意度配对,激活率要与支持负载配对。护栏指标让作弊变得明显地代价高昂。
拒绝虚荣指标;要求可行动性
虚荣指标(vanity metric)总是稳步上升、看起来令人印象深刻,却不会改变任何决策:累计注册用户数、页面浏览量、代码行数。它们的破绽是一致的:它只会一直往上走;它是一个绝对计数而不是一个速率;而且它对”如果这个数字翻倍,我们会做出什么不同的事情?“这个问题给不出答案。与之相对,可行动指标(actionable metric)与一种你能够影响的具体行为相绑定,也与一个它会改变的决策相绑定。在采纳任何一个 KPI 之前,先问一问好读数和坏读数各自会触发什么行动。如果两种读数导向的是同一种行为,就丢弃这个指标。仅这一项测试,就能把大多数被提议的仪表盘砍掉一半。
在单一北极星指标之下构建 KPI 树
不要把 KPI 当作一份平铺的清单来追踪。把它们组织成一棵KPI 树(或称指标树):一个顶层指标被逐层拆解为从数学上或因果上驱动它的各个指标,一直拆到各个团队自己拥有的具体运营度量。这棵树告诉你,当顶层指标发生变化时该去调查哪个下层指标,从而把”这个数字下降了”变成”是这个枢纽的滞留时间导致的”。在树的最顶端,指定唯一一个北极星指标(north-star metric):最能捕捉交付给客户的核心价值的那个度量。对一个市场平台而言,它可能是完成的交易数;对一款产品而言,它可能是核心功能的每周活跃使用量。北极星指标能对齐各方的努力,阻止各部门去优化相互冲突的局部数字()但前提是它度量的是价值而非虚荣,并且有护栏指标为它保持平衡。如果你的顶层指标可能在客户获得的价值减少的同时持续上升,那它就是披着战略外衣的虚荣。
设定基线、目标和阈值
一个没有参照点的 KPI 只是屏幕上的一个数字。给每一个 KPI 三个参照。基线(baseline)是当前值或历史值,这样一次变化才有意义,而不是神秘莫测。目标(target)是你打算达到的值,并带有一个日期。阈值(threshold)在目标被赢得或失去之前就触发行动:预警阈值(warning threshold)提示关注,危急阈值(critical threshold)促使干预。要把目标建立在证据之上(一个过往趋势、一个外部基准,或一个容量模型),而不是整数式的乐观臆测,并把推理过程写下来。记录下来的推理,正是让一次未达标能教会你一些东西、而不只是让你失望的原因,因为你可以把实际发生的情况与设定该目标时的假设进行对照。
在仪表盘上诚实地可视化
一个 KPI 仪表盘应当让读者在几秒钟内掌握状态和趋势,而不会被误导。展示随时间变化的趋势,而不是孤立的一张快照。除非有明确说明的理由,否则数值轴要从零开始,因为被截断的坐标轴会把微小的变化夸大成戏剧性的变化。展示波动性和不确定性,而不是虚假的精确。为图表添加背景注解,让读者能分辨出真实的变化和噪声:部署、事故、季节性、政策变化。避免那些能把一个数字打扮得好看的图表花招:暗示相关性的双轴、刻意挑选的时间区间,以及扭曲比例的 3D 效果。这些做法直接呼应了分析与商业智能(第 7.3 章)以及产品分析与实验(第 7.4 章)()在那里,同样的诚实标准也支配着你该如何解读一个指标正在告诉你的信息。
采用现成的运营 KPI 词汇体系
运营健康度已经有了成熟的 KPI 词汇体系,你应当直接沿用,而不是重新发明。来自站点可靠性工程(第 9.1 章):服务水平指标(service level indicator,SLI)是对服务健康状况的一次测量信号(延迟、成功率);服务水平目标(service level objective,SLO)是 SLI 的目标区间(99.9% 的请求成功);错误预算(error budget)是允许的差额(在停止发布、转为稳定化之前,你可以拿去冒险花掉的那 0.1%)。来自交付流水线(第 11.2 章):流动指标(flow metrics)追踪工作在系统中的流转(flow time、吞吐量、在制品、流动效率),而来自 DevOps 研究与评估(DORA)项目的四个指标,把速度与稳定性配对在一起:部署频率、变更前置时间、变更失败率,以及服务恢复时间。这两套词汇体系都在设计上把速度和稳定性并列摆放,因此没有一个团队能靠悄悄牺牲可靠性来交出一个漂亮的速度数字。这些运营 KPI 同样为工程效能与开发者生产力方面的工作(第 1.10 章)提供输入。
履行公共部门的绩效报告义务
政府场景多了一项独特的要求:KPI 往往是已发布的绩效度量(published performance measures),要向立法机构、监督机构和公众报告,有时还受制定法约束。要以额外的严谨来对待它们。让定义在各个报告期之间保持稳定,这样年度之间的趋势才具有真正的可比性。记录方法论和数据来源。对局限性保持诚实。由于一项已发布的度量会催生强烈的激励,它尤其容易受到古德哈特扭曲:一个降低候补名单的目标,可能通过重新定义”谁算作在等待”来”达成”。为每一项已发布的度量配上护栏指标,并审计定义本身,而不仅仅是那个数字。关于一项公共 KPI,最重要的问题往往不是”它改善了吗?“,而是”它是否仍在度量它当初声称要度量的东西?”
权衡:利与弊
| 选择 | 优点 | 缺点 |
|---|---|---|
| 结果指标 | 使努力对齐真实影响;难以钻空子 | 难以定义;反应慢、噪声大;归因困难 |
| 投入/产出指标 | 易于度量;归属清晰;反馈快 | 奖励活动而非影响;与价值的联系弱 |
| 领先指标 | 让你能提前掌舵 | 具有预测性,因而噪声更大、确定性更低 |
| 滞后指标 | 权威性的确认 | 出现得太晚,已无法改变结果 |
| 精简的 KPI 集合 | 聚焦、清晰、易于沟通 | 可能遗漏某些维度;存在盲点 |
| 庞大的 KPI 集合 | 覆盖面广;意外情况更少 | 注意力被稀释;仪表盘疲劳;信号相互冲突 |
| 公共绩效报告 | 问责、透明、信任 | 钻空子的压力很大;定义会变得政治化 |
核心张力在于聚焦与覆盖之间,并被激励与扭曲之间的张力进一步放大。你希望有足够的度量来看清全貌,又希望数量足够少,团队才能真正据此行动,同时每一个都要被守护,以免激励这个动作本身腐蚀了它。解决这一张力的办法是:坚持一小组有归属、向结果倾斜的 KPI,把它们组织成一棵在单一北极星指标之下的树,并为每一个被纳入激励的度量配上一个护栏指标。这样一来,覆盖面来自这棵树的结构,而不是来自屏幕上指标的绝对数量。
需要与团队讨论的问题
你们有唯一的北极星指标吗,它度量的是交付的价值,还是仅仅是活动量? 一份平铺的 KPI 清单会让各部门去优化相互冲突的局部数字,而一个北极星指标能让所有人围绕客户真正获得的价值对齐:对一个市场平台而言是完成的交易,对一款产品而言是激活率。问一问,如果客户获得的价值在减少,你们的顶层指标是否仍会持续上升,因为如果答案是肯定的,那它就是披着战略外衣的虚荣。在一个大型组织中,北极星指标正是防止一个团队的胜利变成另一个团队损失的东西,所以它必须位于一棵由各团队所掌控的运营度量组成的 KPI 树的顶端。带上你们当前的顶线指标,试着把它一路追溯到每个团队所拥有的具体度量。如果这棵树接不上,那么这个北极星指标就只是装饰,而不是一种掌舵机制。
对每一个被纳入激励的 KPI 而言,钻空子最便宜的办法是什么,什么样的护栏指标能揭穿这种作弊? 你为之附加奖励或声誉的每一个指标,都会招来对数字本身、而非结果的优化,而最便宜的路径很少是你原本想要的那条。坐下来,针对每一个 KPI,刻意设计出那个漏洞:一个理性的团队会如何让这个数字看起来漂亮,同时却少做你真正想要的事情?然后指出能够抓住这种行为的反向指标(处理时长要与满意度配对,激活率要与支持工单配对,速度要与错误率配对)。这项练习对那些你要向上汇报或对外发布的指标最为重要,因为它们承载着最强的激励,因而也承载着最强的扭曲压力。如果你说不出一个 KPI 的护栏指标是什么,那你还没准备好去激励它。
你们的目标是否建立在证据之上,你们是否把每一个目标背后的理由都写了下来? 一个没有基线的 KPI 只是一个数字,而一个因为听起来雄心勃勃就定成整数的目标,在你没达成时是无法解读的。对每一个 KPI,检查它是否带有基线、带日期的目标、预警和危急阈值,以及一段取自过往趋势、基准或容量模型的记录在案的理由。这一点对那些承载法定或合同分量的度量最为重要,“在 21 天内支付 90% 的有效索赔”这样的表述需要是站得住脚的,而不是抱着希望的臆测。带上你们当前的各项目标,对每一个都问一句”为什么是这个数字,而不是更高或更低的数字?“。如果答案是沉默,那这个目标就只是乐观情绪,一次未达标也教不会你任何东西。
如果你必须为主仪表盘上的每一个指标辩护,哪些能存活下来,每一个未被使用的指标又在让你付出什么代价? 每一个 KPI 都携带着一份持续性的成本:埋点和数据管道、一个仪表盘图块,以及每一次评审中被占用的一份注意力,因此一套靠不断累积而变大的指标集合,会在无人决定该如此的情况下悄悄向组织征税。这里的张力是聚焦与覆盖:指标太少会产生盲点,太多则没有一个团队能对其中任何一个采取行动。带上完整的清单,对每一个指标回答”一个好读数或坏读数会触发什么决策”;答不上来的那些,就是你正在花钱维护的装饰品。对于一个拥有数十个团队仪表盘的企业,或一个要按法定框架报告的政府机构而言,淘汰指标的纪律与新增指标同样重要,因为一个未被使用的已发布度量,仍然招人钻空子,也仍然必须在审计中被辩护。
你的仪表盘上有多大比例是在度量你真正想要的结果,而不是你付出的努力或产出的东西? 团队会不自觉地偏向投入和产出,因为它们容易计数,也完全在团队的掌控之内,但价值存在于结果之中()结果更慢、噪声更大、也更难归因。数一数图块:如果一个仪表盘几乎全是发布的功能、关闭的工单和记录的工时,那它度量的是活动量,却把它称作绩效。带上每一个被归类为投入、产出或结果的指标,诚实地说清楚,如果只有结果发生了变化,哪些决策会随之改变。在一个大型组织中,这种平衡正是局部优化藏身之处,因为一个部门可以连续数年交出漂亮的产出数字,而资助方真正在意的结果()留存的收入或缩短的等待时间()却在悄悄侵蚀;在政府场景中,一份只谈产出的报告(“各模块已交付”)正是监督机构早已学会不信任的那种答案。
对每一个 KPI,谁拥有它的定义和权威数据源,两个团队独立计算时会得出同一个数字吗? 一个没有一个负责人、也没有一个权威记录系统的指标,会变成一场持续不断的争论()两个小组各自用不同的查询报告”活跃用户”,把会议时间花在核对数字上,而不是管理趋势上。这里相互竞争的拉力是自主权与一致性之间的取舍,因为团队想按自己的方式埋点,但一个在不同房间里意味着不同东西的 KPI,无法汇总进一个共享的北极星指标里。带上每个指标的定义、单位、权威数据源和指名的负责人,并挑几个让两个人各自凭空计算来做测试。对于要跨业务单元汇总指标的企业,以及依法在各报告期之间保持稳定的政府度量而言,一个漂移不定或有争议的定义不是一个小麻烦,而是能让整份绩效报告站不住脚的那种失败。
行业视角
初创公司。 团队只有寥寥数人,跑道也不长,整个公司的仪表盘应当能装进一个屏幕:一个衡量客户是否持续获得价值的北极星指标、它的两三个驱动因素,以及一个护栏指标。及早淘汰像累计注册数这样的虚荣计数,趁它们还没来得及左右决策;按注册周对北极星指标做同期群划分,这样一次亮眼的发布就不能把底下的流失情况藏起来。速度比丰富的指标集合更重要,所以只埋点那几个你真的会据此行动的数字,其余的都跳过。
小型企业。 你大概率没有分析师,也没有时间去搭建数据管道,因此要依靠你已经拥有的工具中内置的 KPI 词汇体系:你的销售点系统、支持系统或会计软件中的仪表盘。挑出两三个与生存直接相关的度量(复购率、现金可支撑天数、准时履约率),为每一个设定基线和目标,而不是任由原始计数漂移。优先选择一眼就能读懂的比率,而不是要你手工汇总的报表。
企业。 问题在于数十个团队各自优化着相互冲突的局部数字,因此工作重点是在一个北极星指标之下构建一棵 KPI 树、精确的定义配上指名的权威数据源,以及为每一个被纳入激励的度量配上护栏指标。把定义标准化,使一个指标能在各业务单元之间干净地汇总;把运营层面的 SLI、SLO 和 DORA 指标与业务 KPI 整合起来;把这套指标集合当作一个投资组合来治理()要有修剪,而不只是增长。要审计定义本身,而不仅仅是数字,因为在大规模场景下,一个被悄悄重新定义的指标会同时误导成千上万的人。
政府。 KPI 往往是依法向立法机构报告的已发布绩效度量,因此要让每一个定义在各报告期之间保持稳定,记录方法论和数据来源,并对局限性保持诚实。已发布的目标承载着最强的钻空子压力,因此要为每一个配上护栏指标,并委托对定义本身进行独立审计,确认(例如)仍在等待中的申请人没有被重新归类而被排除在计数之外。把成功定义为公民所获得的结果,而不是已交付的模块,因为面对立法机构关于等待时间或欺诈情况是否真正改善的质询,“我们按工作说明书交付了”这句话给不出答案。
示例
初创公司。 一家六人规模的效率应用初创公司,正在为一条不断上扬的”累计注册用户”曲线而庆祝,直到一位董事会成员问,是否真的还有人在用这款产品。他们淘汰了这个虚荣计数,改用 7 天激活率作为北极星指标,并按注册周做同期群划分,这样一次亮眼的发布就不能把底下的流失情况藏起来。他们为它设定了基线(25%)、目标(45%)以及预警和危急阈值,并为它配上了一个护栏指标(每活跃用户的支持工单数),这样他们就不能靠一个过于强势的入职流程来硬拉高激活率。整个公司的仪表盘装进了一个屏幕:北极星指标、它的两个驱动因素,以及那个护栏指标。当这个 KPI 朝着预警阈值滑落时,他们能凭这棵树知道该先去查哪个驱动因素。
企业。 一家全球物流公司把准时送达率定为北极星指标,并在其下构建了一棵 KPI 树:取件准时率、枢纽滞留时间和最后一公里成功率,每一项都由一名指名的区域负责人拥有,带有基线、目标以及预警和危急阈值。每一个速度类 KPI 都配上了一个护栏指标,因此准时率总是与破损率同行,没有哪个地区能靠赶工把包裹送成破损来刷出好看的数字。平台层面的 SLO(99.95% 的追踪 API 可用性,第 9.1 章)和 DORA 指标(第 11.2 章)与业务 KPI 一同出现在工程仪表盘上。当某个地区的准时率滑向其预警阈值时,这棵树能精准指出是该枢纽的滞留时间在作祟,修复因而是有针对性的,而不是全公司范围的兵荒马乱。团队本季度决定要推动的那些指标,会成为该团队 OKR(第 11.4 章)中的关键结果;其余的则作为常设护栏指标留在原地。
政府。 一个州失业保险机构把从申领到首次付款的中位天数作为其已发布的绩效度量,按申领月份做同期群划分,这样一个好季度就无法掩盖一个正在恶化的积压问题()而不是用”已处理申领数”这样的虚荣计数。它为这项度量配上了护栏指标(付款准确率和上诉改判率),这样速度就不能靠出错来换取。“中位天数”的定义在各个年度之间被冻结,并对外公开记录,独立审计会检查定义本身,确认仍在等待中的申领人没有被悄悄重新归类而排除在计数之外。一线 SLI(门户正常运行时间、接通率)为已发布度量之下的运营仪表盘提供输入。由于成功被定义为申领人所获得的结果,而不是已交付的模块,该机构得以向其立法机构展示经得起审视的、可度量的公共价值。
商业理由:动机、投资回报率与总拥有成本
一个好的 KPI 所带来的回报来自聚焦与对齐,它避免了大型组织中最大的一项隐性成本:许多团队都在努力工作、按时交付,做的却是无助于推进战略的事情。当那一小组真正重要的度量被明确并可见时,重复的努力就会浮出水面,相互矛盾的局部目标会在碰撞之前就被协调,低价值的工作也就失去了掩护。一个大型组织最昂贵的资源,是其成员那份对齐一致的注意力,而 KPI 带来的主要回报,正是被重新导向的这份产能。
错误的 KPI 所付出的代价,不在于仪表盘本身,而在于整整几个季度里,大家都在优化一个数字,而真正的结果却在侵蚀,事后还要花代价去消除被钻空子扭曲的行为。一个呼叫中心花了一年时间去压低处理时长、同时最大化重复联系次数,仅凭这一个出于善意的指标,就交出了一个负回报,之后还不得不重建流程,也重建员工的信任。
一个 KPI 的总拥有成本(total cost of ownership,TCO)不算高,但确实存在且持续发生。每一个指标都携带着一份持续性的成本:用来收集它的埋点和数据管道、用来展示它的仪表盘、用来讨论它的评审会议,以及多盯一件事情所带来的心智负担。这份持续性的成本,正是支持保持一套精简指标集合()让每一个 KPI 都物有所值()的最有力论据,因为一个未被使用的指标,维护它依然要花钱。让这套指标集合保持精简、定义保持精确、护栏保持到位,你的 KPI 就会以避免误导的方式,多倍偿还其维护开销。
反模式与陷阱
- 虚荣指标: 只会上升、不会改变任何决策的累计计数。
- 指标固化: 行为优化的是那个数字,而不是结果,因为没有护栏指标能揭穿这道裂缝。
- 无归属或定义不清的 KPI: 没有负责的人,或者两个团队对”活跃用户”各有各的算法,进而争论不休,而不是去管理趋势。
- 只有产出的仪表盘: 所度量的一切都是团队产出了什么;没有什么在度量它所引发的改变。
- 没有树结构的平铺清单: 几十个仪表盘却没有北极星指标,一个数字变化了,却没有任何线索告诉你该去看哪里。
- 没有理由的整数目标: 一个仅仅因为听起来雄心勃勃就选定的目标,未达成时根本无从解读。
- 不诚实的图表: 被截断或使用双轴的坐标轴、精心挑选的时间窗口,以及制造出一个虚假叙事的 3D 效果。
- 靠重新定义来钻空子的已发布度量: 一个候补名单目标,靠改变”谁算作在等待”来”达成”。
- 把 KPI 和 OKR 混为一谈: 把一个常设的健康度指标当作一个季度性的变化目标,或反过来(第 11.4 章)。
成熟度模型
- 第 1 级,启动: 指标大多是没有基线、目标、负责人或共享定义的虚荣计数。仪表盘只展示快照,没有趋势;报告是被动且临时的;没有人能说清楚哪个数字最重要。
- 第 2 级,发展: 一部分团队已经有了带基线和目标的 KPI,但它们大多是产出指标,各团队之间的定义各不相同,也没有护栏指标。整个组织的做法参差不齐,钻空子的行为已经出现,却没有被识别为钻空子。
- 第 3 级,标准化: 一套连贯、有归属的 KPI 集合拥有精确的定义和指名的权威数据源,在全组织范围内被记录并强制执行。指标被分类为领先或滞后、投入、产出或结果;被纳入激励的度量都配有护栏指标;各团队的图表都遵循诚实可视化的标准。
- 第 4 级,管理: KPI 集合本身也依据基线被测量和控制。定义的准确性、数据质量的错误率,以及每个指标被钻空子的频率都会被持续追踪;目标每个周期都会依据证据被复核;预警和危急阈值触发有记录在案的干预措施;定义会被审计,以确保一项已发布的度量仍在度量它当初声称要度量的东西。古德哈特效应被刻意监测,而不是等到损害发生之后才被发现。
- 第 5 级,编排: 一棵 KPI 树把一线度量与唯一的北极星指标连接在一起;结果指标在整套指标中占主导地位;运营层面的 SLI、SLO 以及 DORA 和流动指标与业务 KPI 深度整合。团队选择要推动的那些指标,会干净利落地汇入其 OKR(第 11.4 章)之中,整个组织随着战略和风险态势的变化,持续地淘汰、替换和重新界定 KPI 的范围。
讨论思路
- 你的哪些 KPI,即使产品或服务的质量在下降,也会持续上升?
- 对每一个被纳入激励的 KPI,钻空子最便宜的办法是什么,什么样的护栏指标能揭穿这种作弊?
- 你的仪表盘指标中有多少是结果指标,又有多少是因为容易计数而被计入的投入或产出指标?
- 你的哪些指标缺少负责人或一个共同认可的定义,这种含糊不清让你在争论中付出了什么代价?
- 对于一项你要对外报告或发布的度量,这个目标是否可能通过重新定义度量本身、而不是改善结果来达成?
- 如果你必须把仪表盘砍到只剩五个指标,哪些能存活下来,这五个之中的顶端是否坐着一个北极星指标?
关键要点
- KPI 是因为反映了你想守护的一个目标而被选中的指标;一个好的 KPI 是对齐的、可度量的、可行动的、有归属的。
- OKR 是你想要的变化;KPI 是你要维系的健康。 关于 OKR、节奏与评分,参见第 11.4 章。
- 把指标分类为领先或滞后,以及投入、产出或结果,并让你的指标组合向结果倾斜。
- 假定古德哈特定律成立:为每一个被纳入激励的 KPI 配上一个护栏指标,并优先选用比率和同期群,而不是原始计数。
- 拒绝虚荣指标;把 KPI 组织成一棵位于单一北极星指标之下的树;为每一个指标设定基线、目标和阈值。
- 诚实地可视化(第 7.3 章和第 7.4 章),并沿用现成的运营词汇体系:SLI、SLO 和错误预算(第 9.1 章)以及 DORA 和流动指标(第 11.2 章)。
- 在政府场景中,要以额外的定义严谨性来对待已发布的度量,并审计定义本身,而不仅仅是数字。
参考资料与延伸阅读
- Key Performance Indicators: Developing, Implementing, and Using Winning KPIs,David Parmenter 著(选择和构建 KPI 的一套实用框架)。
- Lean Analytics,Alistair Croll 与 Benjamin Yoskovitz 著(虚荣指标与可行动指标的区分,以及”唯一重要指标”)。
- The Lean Startup,Eric Ries 著(可行动指标与虚荣指标的区分,以及同期群分析)。
- How to Measure Anything,Douglas W. Hubbard 著(对看似无法度量之物进行定义和量化)。
- The Visual Display of Quantitative Information,Edward R. Tufte 著(诚实、高完整性的数据图表)。
- Site Reliability Engineering,Betsy Beyer、Chris Jones、Jennifer Petoff 与 Niall Richard Murphy 编(SLI、SLO 与错误预算)。
- Accelerate,Nicole Forsgren、Jez Humble 与 Gene Kim 著(DORA 的交付与稳定性指标)。
- Goodhart, C. A. E., “Problems of Monetary Management: The UK Experience”(1975):古德哈特定律的起源;另见 Marilyn Strathern 被广泛引用的表述形式。
- 美国政府问责局(GAO)关于绩效度量和《GPRA 现代化法案》的指导:公共部门绩效报告实践。