11.5 핵심 성과 지표(KPI)

개요와 동기

핵심 성과 지표(KPI)는 중요한 무언가의 지속되는 건강을 반영하기 때문에 조직이 의도적으로 추적하기로 고른 지표입니다. 무게는 핵심(key)이라는 단어에 실려 있습니다. KPI는 수집할 수 있는 아무 숫자가 아니라, 그것으로 조타하기로 정한 소수의 집합입니다. 목표와 핵심 결과(OKR)가 지금 이끌고 있는 변화를 기술한다면, KPI는 지키고 있는 정상 상태를 기술합니다. 이것이 둘을 떼어 놓는 가장 깔끔한 방법입니다. OKR은 원하는 변화이고, KPI는 유지하는 건강입니다. 11.4장은 OKR, 그 주기, 채점에 대한 짝이 되는 장이고, 이 장은 KPI를 고르고, 정의하고, 왜곡으로부터 지키는 것에 관한 것입니다.

큰 팀에게 좋은 KPI가 부과하는 규율은 지표 자체만큼 가치가 있습니다. 기업에서는 수십 개 팀이 전략에서 조용히 갈라지는 지역 숫자를 추구하는데, 잘 고른 하나의 KPI가 수백 명을 고객이 실제로 받는 가치에 정렬할 수 있습니다. 정부에서는 다년 프로그램이 입법된 임무에 대해 공적 자금을 약정하며, 대기 시간이나 사기가 개선되지 않았다면 “작업 기술서의 모듈을 전달했습니다”는 변명이 되지 않습니다. 잘못 고른 KPI는 조용히 부패시킵니다. 시간당 종결된 통화로 측정되는 콜센터는 문제를 풀지 않고 통화를 종결할 것입니다.

이 장은 그런 선택과 그 둘레의 가드레일을 제대로 하는 것에 관한 것입니다. 11.1장은 디스커버리 파이프라인의 일부로 KPI를 간략히 소개하고, 여기서 깊이를 다룹니다. KPI는 측정으로 위장한 지시이므로 판돈이 큽니다. 사람들은 세는 것을 최적화하므로, 세는 것이 원하는 것이어야 합니다.

핵심 원칙

많은 것이 아니라 핵심. KPI는 수집할 수 있는 모든 것이 아니라 조타하기로 고른 소수의 지표입니다.
측정 가능하고, 행동 가능하고, 소유자가 있어야 합니다. 모든 KPI에는 하나의 정확한 정의, 진실 공급원, 소유자, 움직이는 지렛대가 있습니다.
변화가 아니라 건강. KPI는 지키는 정상 상태를 추적하고, OKR(11.4장)은 원하는 변화를 이끕니다.
가능한 곳에서는 앞서고, 필요한 곳에서는 확인하십시오. 선행 지표를 선호하고, 후행 지표는 검증에 쓰십시오.
성과 쪽으로 가중하십시오. 투입과 산출은 세기 쉽습니다. 가치는 성과에 있습니다.
모든 지표가 조작되리라 가정하십시오. 비율, 코호트, 짝지은 가드레일로 굿하트의 법칙에 맞서 설계하십시오.
허영을 거부하십시오. 어떤 값도 결정을 바꾸지 못한다면 그 지표는 장식입니다.
정직하게 시각화하십시오. 대시보드는 오해시키지 않으면서 몇 초 안에 알려 줘야 합니다.

권장 사항

KPI를 “좋게” 만드는 것을 정의한다

좋은 KPI는 네 가지 시험을 통과합니다. 정렬됨: 명시된 목표까지 추적되어 움직이면 의미가 있습니다. 측정 가능함: 하나의 정확한 정의, 이름 붙은 진실 공급원(기록의 권위 있는 시스템), 단위, 수집 방법이 있어 두 사람이 따로 계산해도 같은 숫자에 이릅니다. 행동 가능함: 소유 팀에게 그것을 실제로 움직이는 지렛대가 있습니다. 소유자가 있음: 한 명의 책임 있는 사람이나 팀이 그 추세, 정의, 데이터 품질을 소유합니다. 네 시험 중 하나라도 실패하는 지표는 대시보드의 후보가 아니라 삭제의 후보입니다. 큰 조직의 지표 난립 대부분은 이 중 적어도 둘을 실패하고 결코 폐기되지 않은 숫자입니다.

시기와 가치 사슬로 지표를 분류한다

두 렌즈가 KPI 집합의 균형을 유지합니다. 첫째는 시기입니다. 선행 지표는 예측적이고 지금 움직일 수 있으며(체험 가입, 온보딩 완료), 후행 지표는 확인적이고 느립니다(연간 매출, 이탈). 선행 지표는 후행 지표가 더 이상 바꿀 수 없는 판결을 내리기 전에 조타하게 해 줍니다. 둘째 렌즈는 가치 사슬입니다. 투입 지표는 쓴 노력(일한 시간, 투입한 달러)을 측정하고, 산출 지표는 시스템이 생산한 것(출하한 기능, 닫은 티켓)을 측정하며, 성과 지표는 실제로 원했던 변화(유지한 매출, 줄어든 대기 시간)를 측정합니다. 팀은 세기 쉽고 완전히 통제 안에 있어서 투입과 산출로 끌리지만, 가치는 성과에 있습니다. 집합을 성과 쪽으로 가중하고, 모두 산출인 대시보드를 경고 신호로 다루십시오.

조작에 저항하는 지표를 설계한다

굿하트의 법칙을 가정하십시오. 척도가 목표가 되면 좋은 척도이기를 멈춥니다. 왜곡이 나타난 뒤에 반응하는 대신 처음부터 그에 맞서 설계하십시오.

원시 개수보다 비율과 율을 선호하십시오. “닫은 티켓”은 물량에 보상하고, “첫 접촉에서 해결된 비율”은 해결에 보상합니다. 원시 개수는 가치 없는 것을 더 많이 해서 조작할 수 있습니다.
코호트를 쓰십시오. 코호트는 공유된 시작점(3월에 가입한 모든 사용자)으로 정의된 집단입니다. 코호트별로 보고하면 강한 최근 한 달이 받쳐 주는 그럴듯한 집계 안에 하락 추세가 숨는 것을 막습니다.
유인이 걸린 모든 KPI를 가드레일과 짝지우십시오. 가드레일 지표는 주 지표를 밀어붙이는 동안 저하되어서는 안 되는 짝지은 대응 지표입니다. 통화 처리 시간과 고객 만족, 활성화와 지원 부하입니다. 가드레일은 속임수를 눈에 띄게 비싸게 만듭니다.

허영 지표를 거부하고 행동 가능성을 요구한다

허영 지표는 안정적으로 오르고, 인상적으로 보이고, 어떤 결정도 바꾸지 않습니다. 누적 등록 사용자, 페이지 뷰, 코드 줄 수입니다. 징후는 일관됩니다. 오르기만 합니다. 비율이 아니라 절대 개수입니다. 그리고 “이 숫자가 두 배가 되면 무엇을 다르게 할 것인가?”라는 질문에 답이 없습니다. 반면 행동 가능한 지표는 영향을 줄 수 있는 구체적 행동과 그것이 바꿀 결정에 묶입니다. 어떤 KPI든 채택하기 전에 좋은 값과 나쁜 값이 각각 어떤 행동을 촉발하는지 물으십시오. 두 값이 같은 행동으로 이어진다면 그 지표를 버리십시오. 이 시험만으로도 제안된 대시보드 대부분이 절반으로 줄어듭니다.

단일 북극성 지표 아래 KPI 트리를 구축한다

KPI를 평평한 목록으로 추적하지 마십시오. KPI 트리(또는 지표 트리)로 배열하십시오. 최상위 지표를 그것을 수학적으로나 인과적으로 이끄는 지표로 수준마다 나누어, 개별 팀이 소유하는 운영 척도까지 내려갑니다. 트리는 최상위 지표가 움직일 때 어느 하위 지표를 조사해야 하는지 알려 주며, “숫자가 내려갔다”를 “이 허브의 체류 시간이 원인이다”로 바꿉니다. 맨 위에는 단일 북극성 지표의 이름을 정하십시오. 고객에게 전달된 핵심 가치를 가장 잘 포착하는 척도입니다. 마켓플레이스라면 완료된 거래, 제품이라면 핵심 기능의 주간 활성 사용일 수 있습니다. 북극성은 노력을 정렬하고 부서들이 충돌하는 지역 숫자를 최적화하는 것을 막지만, 허영이 아니라 가치를 측정하고 가드레일이 균형을 잡을 때만 그렇습니다. 최상위 지표가 고객이 더 적은 가치를 받는 동안에도 계속 오를 수 있다면, 전략으로 위장한 허영입니다.

기준선, 목표, 임계값을 정한다

기준점 없는 KPI는 화면 위의 숫자일 뿐입니다. 모든 KPI에 세 가지 기준을 주십시오. 기준선은 현재 또는 과거 값으로, 변화가 신비롭지 않고 의미 있게 합니다. 목표는 날짜와 함께 도달하려는 값입니다. 임계값은 목표가 이겨지거나 잃어지기 전에 행동을 촉발합니다. 경고 임계값은 주의를 촉구하고 위험 임계값은 개입을 촉구합니다. 목표를 둥근 숫자의 낙관이 아니라 증거(과거 추세, 외부 벤치마크, 역량 모델)에 근거시키고 추론을 적어 두십시오. 기록된 추론이 놓침이 단지 실망시키는 것이 아니라 무언가를 가르치게 해 줍니다. 일어난 일을 목표를 정한 가정과 비교할 수 있기 때문입니다.

대시보드에서 정직하게 시각화한다

KPI 대시보드는 독자가 오도되지 않고 몇 초 안에 상태와 추세를 파악하게 해야 합니다. 홀로 있는 스냅샷이 아니라 시간에 따른 추세를 보이십시오. 명시된 이유가 없는 한 값 축을 0에서 시작하십시오. 잘린 축은 작은 변화를 극적인 것으로 과장하기 때문입니다. 거짓 정밀 대신 변동과 불확실성을 보이십시오. 독자가 진짜 이동과 잡음을 구별할 수 있도록 맥락에 주석을 다십시오. 배포, 인시던트, 계절성, 정책 변경입니다. 숫자를 돋보이게 하는 차트 속임수를 피하십시오. 상관을 암시하는 이중 축, 골라 뽑은 날짜 범위, 비율을 왜곡하는 3D 효과입니다. 이런 실천은 분석과 비즈니스 인텔리전스(7.3장), 제품 분석과 실험(7.4장)에 직접 연결되며, 거기서도 같은 정직의 기준이 지표가 말해 주는 것을 읽는 방식을 다스립니다.

운영 KPI 어휘를 채택한다

운영 건강에는 재발명하지 말고 재사용해야 할 잘 확립된 KPI 어휘가 있습니다. 사이트 신뢰성 엔지니어링(9.1장)에서: 서비스 수준 지표(SLI)는 서비스 건강의 측정된 신호(지연, 성공률)이고, 서비스 수준 목표(SLO)는 SLI의 목표 범위(요청의 99.9% 성공)이며, 오류 예산은 허용된 부족분(출하를 멈추고 안정화하기 전에 위험에 쓸 수 있는 0.1%)입니다. 전달 파이프라인(11.2장)에서: 흐름 지표는 시스템을 통한 일을 추적하고(흐름 시간, 처리량, 진행 중인 작업, 흐름 효율), DevOps 리서치 및 평가(DORA) 프로그램의 네 지표는 속도와 안정성을 짝지웁니다. 배포 빈도, 변경 리드 타임, 변경 실패율, 서비스 복원 시간입니다. 두 어휘 모두 속도를 안정성 곁에 두도록 설계되어, 어느 팀도 신뢰성을 조용히 희생해 훌륭한 속도 숫자를 낼 수 없습니다. 이런 같은 운영 KPI가 엔지니어링 효과성과 개발자 생산성 작업(1.10장)에 공급됩니다.

공공 부문 성과 보고 의무를 충족한다

정부는 구별되는 요구 사항을 더합니다. KPI가 입법부, 감독 기관, 대중에게, 때로 법에 따라 보고되는 공표된 성과 척도인 경우가 많습니다. 이를 특별한 엄밀함으로 다루십시오. 추세가 해마다 진정으로 비교 가능하도록 보고 기간 사이에서 정의를 안정적으로 유지하십시오. 방법론과 데이터 출처를 문서화하십시오. 한계에 대해 정직하십시오. 공표된 척도는 강한 유인을 만들기 때문에 특히 굿하트 왜곡에 취약합니다. 대기자 명단을 줄이라는 목표는 누가 대기자로 치는지를 재정의해 충족됩니다. 공표된 각 척도를 가드레일과 짝지우고, 숫자만이 아니라 정의 자체를 감사하십시오. 공적 KPI에 대한 가장 중요한 질문은 “개선되었는가?”가 아니라 “여전히 측정한다고 주장한 것을 측정하는가?”인 경우가 많습니다.

장단점

선택	장점	단점
성과 지표	노력을 실제 영향에 정렬. 조작하기 어려움	정의하기 어려움. 느리고 시끄러움. 귀속이 어려움
투입/산출 지표	측정하기 쉬움. 분명한 소유권. 빠른 피드백	영향보다 활동에 보상. 가치와의 약한 연결
선행 지표	일찍 조타하게 해 줌	예측적이므로 더 시끄럽고 덜 확실
후행 지표	권위 있는 확인	결과를 바꾸기엔 너무 늦게 도착
적은 KPI	집중, 명확성, 소통하기 쉬움	차원을 놓칠 수 있음. 사각지대
많은 KPI	폭넓은 커버리지. 적은 놀람	희석된 주의. 대시보드 피로. 충돌하는 신호
공적 성과 보고	책무, 투명성, 신뢰	강한 조작 압력. 정의가 정치적으로 됨

중심 긴장은 집중 대 커버리지이며, 동기 부여 대 왜곡으로 날카로워집니다. 전체 그림을 볼 만큼 충분한 척도, 팀이 실제로 행동할 수 있을 만큼 적은 척도, 그것에 유인을 거는 행위가 부패시키지 않도록 각각 가드레일을 둔 척도를 원합니다. 하나의 북극성 지표 아래 트리로 배열한, 소유자가 있고 성과에 가중된 소수의 KPI를 유지하고, 유인이 걸린 모든 척도를 가드레일과 짝지워 푸십시오. 그러면 커버리지는 화면 위 지표의 단순한 개수가 아니라 트리의 구조에서 옵니다.

팀과 논의할 질문

단일 북극성 지표가 있으며, 그것이 전달된 가치를 측정합니까, 아니면 활동만 측정합니까? 평평한 KPI 목록은 부서들이 충돌하는 지역 숫자를 최적화하게 두지만, 북극성은 모두를 고객이 실제로 받는 가치에 정렬합니다. 마켓플레이스라면 완료된 거래, 제품이라면 활성화입니다. 고객이 더 적은 가치를 받는 중에도 최상위 지표가 계속 오를지 물으십시오. 그럴 수 있다면 전략으로 위장한 허영입니다. 큰 조직에서 북극성은 한 팀의 승리가 다른 팀의 패배가 되지 않게 하는 것이므로, 팀이 통제하는 운영 척도의 KPI 트리 맨 위에 있어야 합니다. 현재 최상위 지표를 가져와 각 팀이 소유한 것까지 추적해 내려가 보십시오. 트리가 연결되지 않는다면, 북극성은 조타 메커니즘이 아니라 장식입니다.
유인이 걸린 각 KPI를 조작하는 가장 싼 방법은 무엇이며, 그 속임수를 드러낼 가드레일은 무엇입니까? 보상이나 평판을 붙인 모든 지표는 성과가 아니라 숫자의 최적화를 부르며, 가장 싼 경로는 의도한 것인 경우가 드뭅니다. 앉아서 각 KPI마다 의도적으로 악용을 설계해 보십시오. 합리적인 팀이 정말 원하는 것은 덜 하면서 이 숫자를 좋아 보이게 하려면 어떻게 하겠습니까? 그런 다음 그것을 잡을 대응 지표의 이름을 대십시오(처리 시간과 만족, 활성화와 지원 티켓, 속도와 오류율). 이 연습은 위로 보고하거나 공표하는 지표에서 가장 중요합니다. 가장 강한 유인, 따라서 가장 강한 왜곡 압력을 지니기 때문입니다. KPI의 가드레일 이름을 댈 수 없다면, 아직 그것에 유인을 걸 준비가 되지 않은 것입니다.
목표는 증거에 근거하며, 각각 뒤의 추론을 적어 두었습니까? 기준선 없는 KPI는 숫자일 뿐이고, 야심 차게 들렸다는 이유로 둥근 수치로 정한 목표는 놓쳤을 때 해석할 수 없습니다. 각 KPI에 기준선, 날짜가 있는 목표, 경고 및 위험 임계값, 과거 추세, 벤치마크, 역량 모델에서 가져온 기록된 근거가 있는지 확인하십시오. 이는 “유효한 청구의 90%를 21일 안에 지급”이 열망적 짐작이 아니라 방어 가능해야 하는 법정이나 계약상 무게를 지닌 척도에서 가장 중요합니다. 현재 목표를 가져와 각각에 대해 “왜 더 높거나 낮은 숫자가 아니라 이 숫자인가?”를 물으십시오. 답이 침묵이라면 목표는 낙관이었고, 놓침은 아무것도 가르치지 못할 것입니다.
주 대시보드의 모든 지표를 변호해야 한다면 어느 것이 살아남으며, 쓰이지 않는 각각은 비용이 얼마입니까? 모든 KPI에는 반복 비용이 있습니다. 계측, 파이프라인, 대시보드 타일, 모든 리뷰에서의 주의 한 조각입니다. 그래서 누적으로 자란 집합은 아무도 그렇게 결정하지 않았는데 조직에 조용히 세금을 매깁니다. 긴장은 집중 대 커버리지입니다. 지표가 너무 적으면 사각지대가 생기고, 너무 많으면 어느 팀도 어느 것에도 행동할 수 없습니다. 전체 목록을 가져와 각 지표에 대해 좋은 또는 나쁜 값이 어떤 결정을 촉발하는지 답하십시오. 답이 없는 것은 유지하는 데 돈을 쓰고 있는 장식입니다. 수십 개의 팀 대시보드가 있는 기업이나 법정 틀에 대해 보고하는 정부 기관에서 지표를 폐기하는 규율은 추가하는 것만큼 중요합니다. 쓰이지 않는 공표된 척도도 여전히 조작을 부르고 감사에서 변호해야 하기 때문입니다.
대시보드 척도 중 쓴 노력이나 생산한 산출이 아니라 실제로 원했던 성과를 측정하는 것은 몇 퍼센트입니까? 팀은 세기 쉽고 팀의 통제 안에 완전히 있어서 투입과 산출로 표류하지만, 가치는 더 느리고, 더 시끄럽고, 귀속하기 더 어려운 성과에 있습니다. 타일을 세어 보십시오. 대시보드가 거의 전부 출하한 기능, 닫은 티켓, 기록한 시간이라면 활동을 측정하면서 성과라 부르고 있습니다. 각 지표를 투입, 산출, 성과로 분류해 가져오고, 성과만 움직인다면 어떤 결정이 바뀔지 정직해지십시오. 큰 조직에서 이 균형은 지역 최적화가 숨는 곳입니다. 한 부서가 수년간 훌륭한 산출 숫자를 낼 수 있는 동안 자금 제공자가 신경 쓰는 성과, 곧 유지한 매출이나 줄어든 대기 시간은 조용히 침식합니다. 정부에서 산출만 있는 보고서(“전달한 모듈”)는 바로 감독 기관이 불신하게 된 답입니다.
각 KPI의 정의와 진실 공급원은 누가 소유하며, 두 팀이 독립적으로 계산해도 같은 숫자에 이르겠습니까? 한 명의 책임 소유자와 하나의 권위 있는 기록 시스템이 없는 지표는 상설 논쟁이 됩니다. 두 집단이 서로 다른 질의로 “활성 사용자”를 보고하고, 추세를 관리하는 대신 숫자를 조정하며 회의를 보냅니다. 경쟁하는 끌림은 자율 대 일관성입니다. 팀은 자기 방식으로 계측하고 싶지만, 방마다 다른 뜻을 지닌 KPI는 공유된 북극성으로 취합될 수 없습니다. 각 지표의 정의, 단위, 진실 공급원, 이름 붙은 소유자를 가져오고, 두 사람이 처음부터 계산하게 해서 몇 개를 시험하십시오. 사업부 전반으로 지표를 취합하는 기업과 법정으로 보고 기간 사이에 안정적으로 유지되는 정부 척도에서 표류하거나 다툼이 있는 정의는 불편이 아닙니다. 성과 보고서 전체를 방어할 수 없게 만드는 실패입니다.

분야별 관점

스타트업. 인력이 소수이고 런웨이가 짧으면 회사 전체 대시보드는 한 화면에 들어가야 합니다. 고객이 계속 가치를 얻는지 측정하는 단일 북극성 지표, 두세 개의 동인, 가드레일 하나입니다. 누적 가입 같은 허영 개수는 결정을 형성하기 전에 일찍 폐기하고, 강한 출시가 그 밑의 이탈을 숨기지 못하도록 북극성을 가입 주 코호트로 나누십시오. 풍부한 지표 집합보다 속도가 중요하므로, 실제로 행동할 소수의 숫자만 계측하고 나머지는 건너뛰십시오.

소기업. 분석가도 파이프라인을 만들 시간도 없을 테니, 이미 가진 도구에 내장된 KPI 어휘에 기대십시오. 판매 시점 관리, 지원, 회계 소프트웨어의 대시보드입니다. 생존에 매핑되는 두세 개의 척도(재구매율, 보유 현금 일수, 정시 이행)를 골라 원시 개수가 떠다니는 것을 보는 대신 각각에 기준선과 목표를 주십시오. 손으로 조립해야 하는 보고서보다 한눈에 읽을 수 있는 비율을 선호하십시오.

대기업. 문제는 수십 개 팀이 충돌하는 지역 숫자를 최적화하는 것이므로, 일은 하나의 북극성 아래 KPI 트리, 이름 붙은 진실 공급원이 있는 정확한 정의, 유인이 걸린 모든 척도의 가드레일입니다. 지표가 사업부 전반에서 깔끔하게 취합되도록 정의를 표준화하고, 운영 SLI, SLO, DORA 지표를 비즈니스 KPI와 통합하고, 집합을 늘리기만 하지 않고 가지치기하는 포트폴리오로 다스리십시오. 숫자만이 아니라 정의를 감사하십시오. 규모에서는 조용히 재정의된 지표가 수천 명을 한꺼번에 오도하기 때문입니다.

정부. KPI는 법에 따라 입법부에 보고되는 공표된 성과 척도인 경우가 많으므로, 각 정의를 기간 사이에서 안정적으로 유지하고, 방법론과 데이터 출처를 문서화하고, 한계에 대해 정직하십시오. 공표된 목표는 가장 강한 조작 압력을 지니므로 각각을 가드레일과 짝지우고, 정의 자체에 대한 독립 감사를 의뢰해(예컨대) 여전히 기다리는 청구인이 집계에서 재분류되어 빠지지 않았는지 확인하십시오. 성공을 전달된 모듈이 아니라 시민 성과로 정의하십시오. “작업 기술서를 출하했습니다”는 대기 시간이나 사기가 실제로 개선되었는지 묻는 입법부에 대한 답이 아니기 때문입니다.

사례

스타트업. 여섯 명의 생산성 앱 스타트업은 이사회 구성원이 누군가 정말 제품을 계속 쓰는지 묻기 전까지 상승하는 “총 등록 사용자” 차트를 축하하고 있습니다. 그 허영 개수를 폐기하고 7일 활성화를 북극성 지표로 채택하며, 강한 출시가 그 밑의 이탈을 숨기지 못하도록 가입 주 코호트로 나눕니다. 기준선(25%), 목표(45%), 경고 및 위험 임계값을 주고, 밀어붙이는 온보딩 흐름으로 활성화를 부풀릴 수 없도록 가드레일(활성 사용자당 지원 티켓)과 짝지웁니다. 회사 전체 대시보드는 한 화면에 들어갑니다. 북극성, 두 동인, 가드레일입니다. KPI가 경고 임계값으로 향하면 트리에서 어느 동인을 먼저 조사할지 압니다.

기업. 한 글로벌 물류 회사가 정시 배송률을 북극성 지표로 채택하고 그 아래 KPI 트리를 구축합니다. 픽업 시간 엄수, 허브 체류 시간, 라스트 마일 성공으로, 각각 이름 붙은 지역 리드가 소유하고 기준선, 목표, 경고 및 위험 임계값이 있습니다. 각 속도 KPI는 가드레일과 짝지워지므로 정시율은 파손율과 함께 움직이고 어느 지역도 소포를 급히 처리해 파손을 부르며 숫자를 맞출 수 없습니다. 플랫폼 SLO(99.95% 추적 API 가용성, 9.1장)와 DORA 지표(11.2장)가 엔지니어링 대시보드의 비즈니스 KPI 곁에 있습니다. 한 지역에서 정시율이 경고 임계값으로 내려가면 트리가 그 허브의 체류 시간을 원인으로 지목하고, 수정은 회사 전체의 허둥지둥이 아니라 표적화됩니다. 이번 분기에 팀이 움직이기로 정한 지표는 그 팀의 OKR(11.4장) 핵심 결과가 되고, 나머지는 상설 가드레일로 남습니다.

정부. 한 주 실업 보험 기관이 “처리한 청구”라는 허영 개수 대신, 좋은 분기가 악화되는 적체를 가리지 못하도록 청구 월 코호트로 나눈 청구에서 첫 지급까지 중앙값 일수를 공표된 성과 척도로 보고합니다. 이 척도를 가드레일(지급 정확도와 이의 신청 번복률)과 짝지워 속도가 오류로 살 수 없게 합니다. “중앙값 일수”의 정의는 해마다 고정되어 공개 문서화되고, 독립 감사가 정의 자체를 점검해 여전히 기다리는 청구인이 조용히 집계에서 재분류되지 않았는지 확인합니다. 일선 SLI(포털 가동 시간, 통화 응답률)가 공표된 척도 밑의 운영 대시보드에 공급합니다. 성공이 전달된 모듈이 아니라 청구인 성과로 정의되므로, 기관은 정밀 조사를 견디는 측정 가능한 공공 가치를 입법부에 보일 수 있습니다.

비즈니스 사례: 동기, ROI, TCO

좋은 KPI의 수익은 집중과 정렬에서 오며, 큰 조직의 가장 큰 숨은 비용을 피합니다. 많은 팀이 열심히, 제때, 전략을 진전시키지 않는 일을 하는 것입니다. 중요한 소수의 척도가 명시적이고 보이면 중복된 노력이 드러나고, 모순된 지역 목표가 충돌하기 전에 조정되며, 저가치 일은 엄호를 잃습니다. 큰 조직의 가장 비싼 자원은 구성원의 정렬된 주의이고, KPI의 지배적인 수익은 재조정된 역량입니다.

잘못된 KPI의 비용은 대시보드가 아닙니다. 진짜 성과가 침식하는 동안 숫자를 최적화하는 데 쓴 여러 분기의 노력과, 나중에 조작된 행동을 푸는 비용입니다. 한 해 동안 처리 시간을 최소화하면서 재접촉을 최대화한 콜센터는 선의의 단일 지표 하나로 순전히 음의 수익을 냈고, 그 뒤 프로세스와 직원의 신뢰를 모두 다시 지어야 했습니다.

KPI의 총소유비용(TCO)은 소박하지만 실제이고 반복됩니다. 각 지표에는 지속적 비용이 있습니다. 수집하는 계측과 파이프라인, 표시하는 대시보드, 논의하는 리뷰 회의, 지켜볼 것이 하나 더 있다는 정신적 부담입니다. 그 반복 비용이 모든 KPI가 값을 하는 작은 집합을 위한 가장 강한 논거입니다. 쓰이지 않는 지표도 유지하는 데 돈이 들기 때문입니다. 집합을 작게, 정의를 정확히, 가드레일을 갖춰 유지하면 KPI는 피한 방향 상실로 오버헤드를 여러 번 갚습니다.

안티패턴과 함정

허영 지표: 오르기만 하고 어떤 결정도 바꾸지 않는 누적 개수.
지표 집착: 가드레일이 간극을 드러내지 않아 행동이 성과가 아니라 숫자를 최적화하는 것.
소유자 없거나 정의가 불분명한 KPI: 책임 있는 사람이 없거나, 두 팀이 “활성 사용자”를 다르게 계산하고 관리하는 대신 다투는 것.
산출만 있는 대시보드: 측정하는 모든 것이 팀이 생산한 것이고, 그것이 일으킨 변화는 아무것도 측정하지 않는 것.
트리 없는 평평한 목록: 수십 개의 게이지와 북극성 없음, 그래서 움직이는 숫자가 어디를 봐야 할지 단서를 주지 않는 것.
근거 없는 둥근 숫자 목표: 대담하게 들렸다는 이유로 고른 목표, 놓쳤을 때 해석할 수 없음.
부정직한 차트: 이야기를 만들어 내는 잘린 축이나 이중 축, 골라 뽑은 기간, 3D 효과.
재정의로 조작된 공표 척도: 누가 대기자로 치는지를 바꿔 충족한 대기자 명단 목표.
KPI와 OKR의 혼동: 상설 건강 지표를 분기별 변화 목표로, 또는 그 반대로 다루는 것(11.4장).

성숙도 모델

1단계, 시작: 지표는 대부분 기준선, 목표, 소유자, 공유된 정의가 없는 허영 개수입니다. 대시보드는 추세 없는 스냅샷을 보이고, 보고는 반응적이고 임시적이며, 어떤 숫자가 가장 중요한지 말할 수 있는 사람이 없습니다.
2단계, 발전: 일부 팀에 기준선과 목표가 있는 KPI가 있지만 대부분 산출이고, 정의는 팀마다 다르며, 가드레일이 없습니다. 실천은 조직 전체에서 일관되지 않고, 조작이 나타나도 조작으로 인식되지 않습니다.
3단계, 표준화: 일관되고 소유자가 있는 KPI 집합에 정확한 정의와 이름 붙은 진실 공급원이 있고, 문서화되어 조직 전체에 시행됩니다. 지표는 선행 또는 후행, 투입, 산출, 성과로 분류되고, 유인이 걸린 척도는 가드레일과 짝지워지며, 차트는 모든 팀에서 정직한 시각화 표준을 따릅니다.
4단계, 관리: KPI 집합 자체가 기준선에 대해 측정되고 통제됩니다. 정의 정확도, 데이터 품질 오류율, 각 지표가 조작되는 빈도가 시간에 걸쳐 추적되고, 목표는 매 주기 증거에 대해 리뷰되며, 경고 및 위험 임계값은 문서화된 개입을 촉발하고, 정의는 공표된 척도가 여전히 주장한 것을 측정하도록 감사됩니다. 굿하트 효과는 피해 뒤에 발견되는 대신 의도적으로 모니터링됩니다.
5단계, 오케스트레이션: KPI 트리가 일선 척도를 단일 북극성 지표에 묶고, 성과 지표가 집합을 지배하며, 운영 SLI, SLO, DORA 및 흐름 지표가 비즈니스 KPI와 통합됩니다. 팀이 움직이기로 선택한 지표는 그 OKR(11.4장)에 깔끔하게 공급되고, 조직은 전략과 위험 상황이 이동함에 따라 KPI를 지속적으로 폐기하고, 교체하고, 범위를 다시 정합니다.

논의를 위한 아이디어

KPI 중 제품이나 서비스가 나빠져도 계속 오를 것은 무엇입니까?
유인이 걸린 각 KPI를 조작하는 가장 싼 방법은 무엇이며, 그 속임수를 드러낼 가드레일은 무엇입니까?
대시보드 지표 중 성과는 몇 개이며, 세기 쉬워서 세는 투입이나 산출은 몇 개입니까?
어느 지표에 소유자나 단일 합의된 정의가 없으며, 그 모호함이 논쟁으로 얼마나 비용이 들었습니까?
보고하거나 공표하는 척도에서, 성과를 개선하지 않고 척도를 재정의해서 목표를 충족할 수 있습니까?
대시보드를 다섯 개 지표로 줄여야 한다면 어느 것이 살아남으며, 그 다섯 개 맨 위에 북극성이 있습니까?

핵심 요점

KPI는 지키고 싶은 목표를 반영하기 때문에 고른 지표이며, 좋은 것은 정렬되고, 측정 가능하고, 행동 가능하고, 소유자가 있습니다.
OKR은 원하는 변화이고, KPI는 유지하는 건강입니다. OKR, 주기, 채점은 11.4장을 보십시오.
지표를 선행 또는 후행, 투입, 산출, 성과로 분류하고 집합을 성과 쪽으로 가중하십시오.
굿하트의 법칙을 가정하십시오. 유인이 걸린 모든 KPI를 가드레일과 짝지우고, 원시 개수보다 비율과 코호트를 선호하십시오.
허영 지표를 거부하고, KPI를 단일 북극성 지표 아래 트리로 조직하고, 각각에 기준선, 목표, 임계값을 주십시오.
정직하게 시각화하고(7.3장, 7.4장), 운영 어휘를 재사용하십시오. SLI, SLO, 오류 예산(9.1장)과 DORA 및 흐름 지표(11.2장)입니다.
정부에서는 공표된 척도를 특별한 정의의 엄밀함으로 다루고, 숫자만이 아니라 정의를 감사하십시오.

참고 문헌과 더 읽을거리

Key Performance Indicators: Developing, Implementing, and Using Winning KPIs, by David Parmenter (a practical framework for selecting and structuring KPIs).
Lean Analytics, by Alistair Croll and Benjamin Yoskovitz (vanity versus actionable metrics, and the One Metric That Matters).
The Lean Startup, by Eric Ries (actionable versus vanity metrics, and cohort analysis).
How to Measure Anything, by Douglas W. Hubbard (defining and quantifying the seemingly unmeasurable).
The Visual Display of Quantitative Information, by Edward R. Tufte (honest, high-integrity data graphics).
Site Reliability Engineering, by Betsy Beyer, Chris Jones, Jennifer Petoff, and Niall Richard Murphy, eds. (SLIs, SLOs, and error budgets).
Accelerate, by Nicole Forsgren, Jez Humble, and Gene Kim (the DORA delivery and stability metrics).
Goodhart, C. A. E., “Problems of Monetary Management: The UK Experience” (1975): the origin of Goodhart’s law; see also Marilyn Strathern’s widely quoted formulation.
U.S. Government Accountability Office (GAO) guidance on performance measurement and the GPRA Modernisation Act: public-sector performance-reporting practice.