11.5 Ключевые показатели эффективности (KPI)

Обзор и мотивация

Ключевой показатель эффективности (KPI) это метрика, которую ваша организация намеренно выбирает для отслеживания, потому что она отражает текущее здоровье чего-то важного. Вес здесь несёт слово ключевой: KPI не любое число, которое можно собрать, а малый набор, по которому вы решили стоит управлять. Там, где цель и ключевой результат (OKR) описывают изменение, которое вы осуществляете прямо сейчас, KPI описывает установившееся состояние, которое вы защищаете. Это самый чистый способ удержать их порознь: OKR это изменение, которое вы хотите; KPI это здоровье, которое вы поддерживаете. Глава 11.4 спутница об OKR, их ритме и оценке; эта глава о выборе KPI, их определении и защите от искажений.

Для больших команд дисциплина, накладываемая хорошим KPI, стоит не меньше самой метрики. В корпорациях десятки команд преследуют локальные числа, тихо расходящиеся со стратегией, а один хорошо выбранный KPI может согласовать сотни людей вокруг ценности, которую клиенты действительно получают. В государстве многолетние программы обязуют общественные средства перед законодательными мандатами, и «мы поставили модули из описания работ» не оправдание, если времена ожидания или мошенничество так и не улучшились. Плохо выбранный KPI искажает тихо: колл-центр, измеряемый по закрытым звонкам в час, будет закрывать звонки, а не решать проблемы.

Эта глава о том, как верно сделать эти выборы и ограждения вокруг них. Глава 11.1 кратко вводит KPI как часть конвейера исследования; здесь вы получаете глубину. Ставки высоки, потому что KPI это инструкция, замаскированная под измерение. Люди оптимизируют то, что вы считаете, поэтому то, что вы считаете, лучше бы было тем, чего вы хотите.

Ключевые принципы

Ключевые, а не многие. KPI это одна из немногих метрик, по которым вы выбрали управлять, а не всё, что можно собрать.
Измеримые, применимые и имеющие владельца. У каждого KPI одно точное определение, источник истины, владелец и рычаг, который его двигает.
Здоровье, а не изменение. KPI отслеживают установившееся состояние, которое вы защищаете; OKR (глава 11.4) ведут изменение, которое вы хотите.
Опережайте, где можете, подтверждайте, где должны. Предпочитайте опережающие индикаторы; используйте запаздывающие для проверки.
Смещайте вес к результатам. Входы и выпуск легко считать; ценность живёт в результатах.
Исходите из того, что каждую метрику будут подкручивать. Проектируйте против закона Гудхарта с отношениями, когортами и парными ограждениями.
Отвергайте тщеславие. Если ни одно показание не изменило бы решение, метрика декорация.
Визуализируйте честно. Панель должна информировать за секунды, не вводя в заблуждение.

Рекомендации

Определите, что делает KPI «хорошим»

Хороший KPI проходит четыре проверки. Он согласован: прослеживается к заявленной цели, так что его сдвиг что-то значит. Он измерим: одно точное определение, названный источник истины (авторитетная система учёта), единица и метод сбора, так что двое, считающие его отдельно, приходят к одному числу. Он применим: у владеющей команды есть рычаги, действительно его двигающие. У него есть владелец: один подотчётный человек или команда владеет его трендом, определением и качеством данных. Метрика, проваливающая любую из четырёх проверок, кандидат на удаление, а не на панель. Большая часть метрического хлама в больших организациях числа, проваливающие как минимум две из них и никогда не выведенные.

Классифицируйте метрики по времени и по цепочке ценности

Две линзы удерживают набор KPI сбалансированным. Первая время. Опережающий индикатор предсказателен и подвижен сейчас (регистрации на пробный период, завершение знакомства); запаздывающий индикатор подтверждающий и медленный (годовая выручка, отток). Опережающие индикаторы позволяют управлять, пока запаздывающие не вынесли вердикт, который уже не изменить. Вторая линза цепочка ценности. Входная метрика измеряет потраченные усилия (отработанные часы, вложенные деньги); метрика выпуска измеряет произведённое системой (отгруженные функции, закрытые заявки); метрика результата измеряет изменение, которого вы на самом деле хотели (сохранённая выручка, сокращённое время ожидания). Команды тяготеют к входам и выпуску, потому что их легко считать и они полностью под их контролем, но ценность живёт в результатах. Смещайте вес набора к результатам и воспринимайте панель из одного выпуска как предупредительный знак.

Проектируйте метрики, устойчивые к манипуляциям

Исходите из закона Гудхарта: когда мера становится целью, она перестаёт быть хорошей мерой. Проектируйте против него с самого начала, а не реагируйте после появления искажения.

Предпочитайте отношения и доли сырым счётчикам. «Закрытые заявки» вознаграждает объём; «процент решённых при первом обращении» вознаграждает решение. Сырой счётчик поддаётся манипуляции выполнением большего ничего не стоящего.
Используйте когорты. Когорта это группа, определённая общей отправной точкой (все пользователи, зарегистрировавшиеся в марте). Отчётность по когортам не даёт снижающемуся тренду прятаться внутри лестного агрегата, подпираемого сильным недавним месяцем.
Сопрягайте каждый стимулируемый KPI с ограждением. Метрика-ограждение это парная контрметрика, которая не должна деградировать, пока вы давите на основную: время обработки звонка в паре с удовлетворённостью клиентов, активация в паре с нагрузкой на поддержку. Ограждение делает мошенничество заметно дорогим.

Отвергайте метрики тщеславия; требуйте применимости

Метрика тщеславия надёжно растёт, выглядит впечатляюще и не меняет ни одного решения: накопленное число зарегистрированных пользователей, просмотры страниц, строки кода. Признаки постоянны. Она только растёт. Это абсолютный счётчик, а не доля. И у неё нет ответа на вопрос «что мы сделали бы иначе, если бы это число удвоилось?». Применимая метрика, напротив, связана с конкретным поведением, на которое вы можете влиять, и с решением, которое она изменила бы. Прежде чем принять любой KPI, спросите, какое действие запустили бы хорошее и плохое показания. Если оба показания ведут к одному поведению, отбросьте метрику. Эта проверка одна сократит вдвое большинство предлагаемых панелей.

Стройте дерево KPI под единой метрикой северной звезды

Не отслеживайте KPI плоским списком. Расположите их как дерево KPI (или дерево метрик): верхняя метрика, разложенная на метрики, математически или причинно её определяющие, уровень за уровнем, вплоть до операционных мер, которыми владеют отдельные команды. Дерево говорит, какую нижнюю метрику исследовать, когда верхняя сдвинулась, что превращает «число упало» в «причина во времени простоя этого хаба». На самом верху назовите единую метрику северной звезды: меру, лучше всего схватывающую основную ценность, доставляемую клиентам. Для торговой площадки это могут быть завершённые транзакции; для продукта еженедельное активное использование основной функции. Северная звезда согласует усилия и не даёт отделам оптимизировать конфликтующие локальные числа, но только если измеряет ценность, а не тщеславие, и только если уравновешена ограждениями. Если ваша верхняя метрика может продолжать расти, пока клиенты получают меньше ценности, это тщеславие, одетое в стратегию.

Задайте базовые значения, цели и пороги

KPI без точки отсчёта просто число на экране. Дайте каждому три опоры. Базовое значение это текущее или историческое значение, чтобы изменение было осмысленным, а не загадочным. Цель это значение, которого вы намерены достичь, с датой. Пороги запускают действие до того, как цель выиграна или проиграна: предупредительный порог привлекает внимание, а критический порог вызывает вмешательство. Основывайте цели на свидетельствах (прошлый тренд, внешний эталон или модель мощности), а не на оптимизме круглых чисел, и записывайте рассуждение. Записанное рассуждение позволяет промаху чему-то научить, а не просто разочаровать, потому что вы можете сравнить случившееся с допущением, задавшим цель.

Визуализируйте честно на панелях

Панель KPI должна позволять читателю уловить статус и тренд за секунды, не вводя в заблуждение. Показывайте тренд во времени, а не одинокий снимок. Начинайте оси значений с нуля, если нет заявленной причины иначе, потому что усечённые оси раздувают малые изменения до драматических. Показывайте вариацию и неопределённость вместо ложной точности. Аннотируйте контекст, чтобы читатель мог отличить настоящий сдвиг от шума: развёртывания, инциденты, сезонность, изменения политики. Избегайте графических трюков, льстящих числу: двойные оси, подразумевающие корреляцию, выбранные вишнёвым отбором диапазоны дат и трёхмерные эффекты, искажающие пропорции. Эти практики напрямую связаны с аналитикой и бизнес-аналитикой (глава 7.3) и с продуктовой аналитикой и экспериментированием (глава 7.4), где те же стандарты честности управляют тем, как вы читаете, что говорит метрика.

Принимайте операционные словари KPI

У операционного здоровья есть устоявшиеся словари KPI, которые стоит использовать повторно, а не изобретать заново. Из инженерии надёжности сайтов (глава 9.1): индикатор уровня обслуживания (SLI) это измеряемый сигнал здоровья сервиса (задержка, доля успеха); целевой уровень обслуживания (SLO) это целевой диапазон для SLI (99,9% запросов успешны); а бюджет ошибок это допустимая недостача (те 0,1%, что вы можете потратить на риск, прежде чем перестанете отгружать и стабилизируетесь). Из конвейера поставки (глава 11.2): метрики потока отслеживают работу через систему (время потока, пропускная способность, незавершённая работа, эффективность потока), а четыре метрики программы DevOps Research and Assessment (DORA) сопрягают скорость со стабильностью: частота развёртываний, время выполнения изменений, доля неудачных изменений и время восстановления сервиса. Оба словаря по замыслу ставят скорость рядом со стабильностью, так что ни одна команда не может показать отличное число скорости, тихо жертвуя надёжностью. Эти же операционные KPI питают работу по инженерной эффективности и продуктивности разработчиков (глава 1.10).

Выполняйте обязанности публичной отчётности об эффективности

Государство добавляет отдельное требование: KPI нередко публикуемые меры эффективности, о которых сообщают законодательным органам, надзорным органам и обществу, иногда по закону. Относитесь к ним с особой строгостью. Держите определение стабильным между отчётными периодами, чтобы тренд был подлинно сопоставим из года в год. Документируйте методологию и источник данных. Будьте честны об ограничениях. Поскольку публикуемая мера создаёт сильные стимулы, она особенно склонна к искажению по Гудхарту: цель сократить список ожидания выполняется переопределением того, кто считается ожидающим. Сопрягайте каждую публикуемую меру с ограждениями и проверяйте само определение, а не только число. Важнейший вопрос о публичном KPI нередко не «улучшилось ли?», а «измеряет ли он по-прежнему то, что заявлял?».

Компромиссы: плюсы и минусы

Выбор	Плюсы	Минусы
Метрики результатов	Согласуют усилия с реальным эффектом; трудно подкрутить	Трудно определить; медленные, шумные; атрибуция сложна
Метрики входа/выпуска	Легко измерять; ясное владение; быстрая обратная связь	Вознаграждают активность, а не эффект; слабая связь с ценностью
Опережающие индикаторы	Позволяют управлять рано	Предсказательны, значит шумнее и менее достоверны
Запаздывающие индикаторы	Авторитетное подтверждение	Приходят слишком поздно, чтобы изменить результат
Мало KPI	Фокус, ясность, легко сообщать	Могут пропустить измерения; слепые пятна
Много KPI	Широкое покрытие; меньше сюрпризов	Размытое внимание; усталость от панелей; конфликтующие сигналы
Публичная отчётность об эффективности	Подотчётность, прозрачность, доверие	Сильное давление манипуляций; определения становятся политическими

Центральное напряжение фокус против покрытия, обостряемое мотивацией против искажения. Вам нужно достаточно мер, чтобы видеть всю картину, достаточно мало, чтобы команда могла по ним действовать, и каждая защищена так, чтобы сам акт её стимулирования не портил её. Разрешайте напряжение, держа малый набор имеющих владельцев, смещённых к результатам KPI, расположенных в дереве под одной метрикой северной звезды, и сопрягая каждую стимулируемую меру с ограждением. Покрытие тогда идёт от структуры дерева, а не от числа метрик на экране.

Вопросы для обсуждения с командой

Есть ли у вас единая метрика северной звезды и измеряет ли она доставленную ценность или просто активность? Плоский список KPI позволяет отделам оптимизировать конфликтующие локальные числа, тогда как северная звезда согласует всех вокруг ценности, которую клиенты действительно получают: завершённые транзакции для торговой площадки, активация для продукта. Спросите, продолжила бы ваша верхняя метрика расти, если бы клиенты получали меньше ценности, потому что, если может, это тщеславие, одетое в стратегию. В большой организации северная звезда не даёт победе одной команды стать поражением другой, поэтому она должна сидеть на вершине дерева KPI операционных мер, которые контролируют команды. Принесите вашу текущую верхнюю метрику и попробуйте проследить её вниз до того, чем владеет каждая команда. Если дерево не соединяется, северная звезда декорация, а не механизм управления.
Для каждого стимулируемого KPI каков самый дешёвый способ его подкрутить и какое ограждение выявило бы это мошенничество? Каждая метрика, к которой вы прикрепляете награду или репутацию, приглашает оптимизировать число, а не результат, а самый дешёвый путь редко тот, что вы задумали. Сядьте и для каждого KPI намеренно спроектируйте эксплойт: как рациональная команда сделала бы это число хорошим, делая меньше того, что вы на самом деле хотите? Затем назовите контрметрику, которая это поймала бы (время обработки в паре с удовлетворённостью, активация в паре с заявками в поддержку, скорость в паре с долей ошибок). Это упражнение важнее всего для метрик, о которых вы сообщаете наверх или публикуете, потому что они несут сильнейшие стимулы, а значит сильнейшее давление искажения. Если вы не можете назвать ограждение для KPI, вы ещё не готовы его стимулировать.
Основаны ли ваши цели на свидетельствах и записали ли вы рассуждение за каждой? KPI без базового значения просто число, а цель, заданная круглой цифрой, потому что звучала амбициозно, не поддаётся интерпретации, когда вы её промахиваетесь. Для каждого KPI проверьте, что у него есть базовое значение, цель с датой, предупредительный и критический пороги и записанное обоснование из прошлого тренда, эталона или модели мощности. Это важнее всего для мер, несущих законный или контрактный вес, где «выплатить 90% действительных заявлений в течение 21 дня» должно быть защитимо, а не амбициозной догадкой. Принесите ваши текущие цели и спросите для каждой «почему это число, а не выше или ниже?». Если ответ молчание, цель была оптимизмом, а промах ничему вас не научит.
Если бы вам пришлось защищать каждую метрику на вашей главной панели, какие выжили бы и чего стоит каждая неиспользуемая? Каждый KPI несёт повторяющуюся цену: инструментирование, конвейеры, плитку панели и долю внимания в каждой рецензии, так что набор, выросший наращением, тихо облагает организацию налогом, и никто не решал, что так должно быть. Напряжение между фокусом и покрытием: слишком мало метрик, и появляются слепые пятна, слишком много, и ни одна команда не может действовать по любой из них. Принесите полную опись и для каждой метрики ответьте, какое решение запустило бы хорошее или плохое показание; те, у которых нет ответа, декорации, которые вы платите поддерживать. Для корпорации с десятками панелей команд или государственного органа, отчитывающегося по законодательной рамке, дисциплина вывода метрик важна не меньше добавления, потому что неиспользуемая публикуемая мера всё равно приглашает манипуляции и всё равно должна защищаться при аудите.
Какая доля вашей панели измеряет результат, которого вы на самом деле хотели, а не потраченные усилия или произведённый выпуск? Команды дрейфуют к входам и выпуску, потому что их легко считать и они полностью под контролем команды, однако ценность живёт в результатах, более медленных, шумных и трудных для атрибуции. Посчитайте плитки: если панель почти целиком отгруженные функции, закрытые заявки и учтённые часы, она измеряет активность и называет это эффективностью. Принесите каждую метрику, классифицированную как вход, выпуск или результат, и честно скажите, какие решения изменились бы, если бы сдвинулся только результат. В большой организации в этом балансе прячется локальная оптимизация, потому что подразделение может годами показывать отличные числа выпуска, пока результат, который заботит финансирующего, сохранённая выручка или сокращённое время ожидания, тихо разъедается; в государстве отчёт только о выпуске («поставлено модулей») как раз тот ответ, которому надзорные органы научились не доверять.
Для каждого KPI кто владеет его определением и источником истины и пришли бы две команды, считающие независимо, к одному числу? Метрика без одного подотчётного владельца и одной авторитетной системы учёта становится постоянным спором, когда две группы сообщают «активных пользователей» из разных запросов и тратят совещание на сверку чисел вместо управления трендом. Конкурирующая тяга автономия против согласованности, поскольку команды хотят инструментировать по-своему, но KPI, означающий разное в разных комнатах, не может сворачиваться в общую северную звезду. Принесите определение, единицу, источник истины и названного владельца для каждой метрики и проверьте несколько, попросив двоих вычислить их с нуля. Для корпораций, сворачивающих метрики по бизнес-подразделениям, и для государственных мер, удерживаемых стабильными по отчётным периодам законом, дрейфующее или оспариваемое определение не неудобство, а провал, делающий весь отчёт об эффективности незащитимым.

Взгляд по секторам

Стартап. С горсткой людей и коротким запасом вся панель вашей компании должна умещаться на одном экране: единая метрика северной звезды, измеряющая, продолжают ли клиенты получать ценность, её два-три драйвера и одно ограждение. Выводите счётчики тщеславия вроде накопленных регистраций рано, пока они не сформировали решения, и разбивайте северную звезду на когорты по неделе регистрации, чтобы сильный запуск не скрыл отток под собой. Скорость важнее богатого набора метрик, поэтому инструментируйте только те немногие числа, по которым будете действовать, а остальное пропустите.

Малый бизнес. У вас, вероятно, нет аналитика и времени строить конвейеры, поэтому опирайтесь на словари KPI, уже встроенные в инструменты, которыми владеете: панели в вашем кассовом, поддержки или бухгалтерском программном обеспечении. Выберите две-три меры, отображаемые на выживание (доля повторных покупок, дни наличности, исполнение вовремя) и дайте каждой базовое значение и цель, а не наблюдайте дрейф сырых счётчиков. Предпочитайте отношения, читаемые с одного взгляда, отчётам, которые приходится собирать вручную.

Крупная организация. Проблема десятки команд, оптимизирующих конфликтующие локальные числа, поэтому работа это дерево KPI под одной северной звездой, точные определения с названным источником истины и ограждение на каждой стимулируемой мере. Стандартизируйте определения, чтобы метрика чисто сворачивалась по бизнес-подразделениям, интегрируйте операционные SLI, SLO и метрики DORA с бизнес-KPI и управляйте набором как портфелем, который подрезают, а не только растят. Проверяйте определения, а не только числа, потому что в масштабе тихо переопределённая метрика вводит в заблуждение тысячи людей разом.

Государственный сектор. KPI нередко публикуемые меры эффективности, о которых сообщают законодательным органам по закону, поэтому держите каждое определение стабильным по периодам, документируйте методологию и источник данных и будьте честны об ограничениях. Публикуемые цели несут сильнейшее давление манипуляций, поэтому сопрягайте каждую с ограждениями и заказывайте независимый аудит самого определения, подтверждающий (например), что заявители, всё ещё ожидающие, не переклассифицированы из подсчёта. Определяйте успех как результаты для граждан, а не поставленные модули, потому что «мы поставили описание работ» не ответ законодательному органу, спрашивающему, улучшились ли времена ожидания или мошенничество.

Примеры

Стартап. Стартап из шести человек с приложением для продуктивности празднует растущий график «всего зарегистрированных пользователей», пока член совета не спрашивает, пользуется ли кто-нибудь продуктом на самом деле. Они выводят этот счётчик тщеславия и принимают 7-дневную активацию как метрику северной звезды, разбитую на когорты по неделе регистрации, чтобы сильный запуск не скрыл отток под собой. Они дают ей базовое значение (25%), цель (45%) и предупредительный и критический пороги и сопрягают с ограждением (заявки в поддержку на активного пользователя), чтобы не накрутить активацию навязчивым потоком знакомства. Вся панель компании умещается на одном экране: северная звезда, её два драйвера и ограждение. Когда KPI идёт к предупредительному порогу, они знают из дерева, какой драйвер исследовать первым.

Крупная организация. Глобальная логистическая компания принимает долю доставки вовремя как метрику северной звезды и строит под ней дерево KPI: пунктуальность забора, время простоя хаба и успех последней мили, каждым из которых владеет названный региональный руководитель с базовым значением, целью и предупредительным и критическим порогами. Каждый KPI скорости сопряжён с ограждением, так что доля вовремя идёт вместе с долей повреждений, и ни один регион не может выполнить свое число, спешно загоняя посылки в поломку. SLO платформы (доступность API отслеживания 99,95%, глава 9.1) и метрики DORA (глава 11.2) сидят на инженерной панели рядом с бизнес-KPI. Когда доля вовремя в одном регионе падает к предупредительному порогу, дерево указывает на время простоя этого хаба как на причину, и исправление целевое, а не общекорпоративная суета. Метрики, которые команда решает сдвинуть в этом квартале, становятся ключевыми результатами в OKR этой команды (глава 11.4); остальные остаются постоянными ограждениями.

Государственный сектор. Агентство страхования по безработице штата сообщает медианное число дней от заявления до первой выплаты как публикуемую меру эффективности, разбитую на когорты по месяцу заявления, чтобы хороший квартал не мог замаскировать ухудшающийся бэклог, вместо счётчика тщеславия «обработано заявлений». Оно сопрягает эту меру с ограждениями (точность выплат и доля отмены при апелляции), чтобы скорость нельзя было купить ошибками. Определение «медианных дней» заморожено на годы и публично документировано, а независимый аудит проверяет само определение, подтверждая, что заявители, всё ещё ожидающие, не переклассифицируются тихо из подсчёта. Передовые SLI (время работы портала, доля отвеченных звонков) питают операционную панель под публикуемыми мерами. Поскольку успех определён как результаты для заявителей, а не поставленные модули, агентство может показать своему законодательному органу измеримую общественную ценность, переживающую проверку.

Бизнес-обоснование: мотивы, ROI и TCO

Отдача хорошего KPI идёт от фокуса и согласованности, избегающих самой большой скрытой цены в больших организациях: многих команд, усердно и в срок работающих над вещами, не продвигающими стратегию. Когда малый набор важных мер явен и видим, дублированные усилия всплывают, противоречивые локальные цели согласуются до столкновения, а малоценная работа теряет прикрытие. Самый дорогой ресурс большой организации согласованное внимание её людей, и доминирующая отдача KPI перенаправленная мощность.

Цена неверного KPI не панель. Это кварталы усилий, оптимизирующих число, пока реальный результат разъедается, плюс цена последующего разматывания подкрученного поведения. Колл-центр, год минимизировавший время обработки и максимизировавший повторные обращения, произвёл отрицательную отдачу целиком через единую доброжелательную метрику, а затем должен был перестроить и процесс, и доверие персонала.

Совокупная стоимость владения (TCO) KPI скромна, но реальна и повторяется. Каждая метрика несёт текущую цену: инструментирование и конвейеры для её сбора, панели для отображения, совещания для обсуждения и умственную нагрузку ещё одной вещи, за которой надо следить. Эта повторяющаяся цена сильнейший довод за малый набор, где каждый KPI окупает себя, потому что неиспользуемая метрика всё равно стоит денег на поддержание. Держите набор малым, определения точными и ограждения на месте, и ваши KPI окупят накладные расходы многократно в избегнутом неверном направлении.

Антипаттерны и ловушки

Метрики тщеславия: накопленные счётчики, которые только растут и не меняют решений.
Фиксация на метриках: поведение оптимизирует число, а не результат, потому что никакое ограждение не выявляет разрыв.
KPI без владельца или с плохим определением: нет подотчётного человека, или две команды считают «активного пользователя» по-разному и спорят вместо управления.
Панели только выпуска: всё измеренное это то, что произвела команда; ничто не измеряет изменение, которое она вызвала.
Плоский список без дерева: десятки датчиков и никакой северной звезды, так что движущееся число не даёт подсказки, где искать.
Цели круглыми числами без обоснования: цель, выбранная потому, что звучала смело, не поддающаяся интерпретации при промахе.
Нечестные графики: усечённые или двойные оси, диапазоны вишнёвого отбора и трёхмерные эффекты, фабрикующие историю.
Публикуемые меры, подкрученные переопределением: цель по списку ожидания, достигнутая изменением того, кто считается ожидающим.
Путаница KPI с OKR: воспринимание постоянной метрики здоровья как квартальной цели изменения или наоборот (глава 11.4).

Модель зрелости

Уровень 1, Начальный: Метрики в основном счётчики тщеславия без базовых значений, целей, владельцев или общих определений. Панели показывают снимки без тренда, отчётность реактивна и стихийна, и никто не может сказать, какое число важнее всего.
Уровень 2, Развитие: KPI существуют для некоторых команд с базовыми значениями и целями, но это в основном выпуск, определения различаются между командами, а ограждения отсутствуют. Практика непоследовательна по организации, а манипуляции появляются и не распознаются как манипуляции.
Уровень 3, Стандартизация: Связный, имеющий владельцев набор KPI с точными определениями и названным источником истины документирован и принуждается по организации. Метрики классифицированы как опережающие или запаздывающие и как вход, выпуск или результат; стимулируемые меры сопряжены с ограждениями; а графики следуют стандартам честной визуализации в каждой команде.
Уровень 4, Управление: Сам набор KPI измеряется и контролируется относительно базовых значений. Точность определений, доли ошибок качества данных и как часто каждую метрику подкручивают отслеживаются во времени; цели пересматриваются относительно свидетельств каждый цикл; предупредительные и критические пороги запускают документированные вмешательства; а определения проверяются, чтобы публикуемая мера по-прежнему измеряла заявленное. Эффекты Гудхарта мониторятся намеренно, а не обнаруживаются после ущерба.
Уровень 5, Оркестрация: Дерево KPI связывает передовые меры с единой метрикой северной звезды; метрики результатов доминируют в наборе; а операционные SLI, SLO и метрики DORA и потока интегрируются с бизнес-KPI. Метрики, которые команда выбирает двигать, чисто питают её OKR (глава 11.4), а организация непрерывно выводит, заменяет и пересматривает объём KPI по мере сдвигов стратегии и картины рисков.

Идеи для обсуждения

Какие из ваших KPI продолжали бы расти, даже если бы продукт или услуга становились хуже?
Для каждого стимулируемого KPI каков самый дешёвый способ его подкрутить и какое ограждение выявило бы это мошенничество?
Сколько метрик вашей панели результаты и сколько входы или выпуск, которые вы считаете, потому что это легко?
Каким из ваших метрик не хватает владельца или единого согласованного определения и чего эта неоднозначность стоила вам в спорах?
Для меры, о которой вы сообщаете или которую публикуете, можно ли достичь цели переопределением меры, а не улучшением результата?
Если бы пришлось сократить вашу панель до пяти метрик, какие выжили бы и сидит ли северная звезда на вершине этих пяти?

Главные выводы

KPI это метрика, выбранная потому, что отражает цель, которую вы хотите защитить; хороший согласован, измерим, применим и имеет владельца.
OKR это изменение, которое вы хотите; KPI это здоровье, которое вы поддерживаете. Об OKR, ритме и оценке см. главу 11.4.
Классифицируйте метрики как опережающие или запаздывающие и вход, выпуск или результат и смещайте вес набора к результатам.
Исходите из закона Гудхарта: сопрягайте каждый стимулируемый KPI с ограждением и предпочитайте отношения и когорты сырым счётчикам.
Отвергайте метрики тщеславия; организуйте KPI в дерево под единой метрикой северной звезды; дайте каждому базовое значение, цель и пороги.
Визуализируйте честно (главы 7.3 и 7.4) и используйте повторно операционные словари: SLI, SLO и бюджеты ошибок (глава 9.1) и метрики DORA и потока (глава 11.2).
В государстве относитесь к публикуемым мерам с особой определительной строгостью и проверяйте определение, а не только число.

Источники и дополнительное чтение

Key Performance Indicators: Developing, Implementing, and Using Winning KPIs, by David Parmenter (a practical framework for selecting and structuring KPIs).
Lean Analytics, by Alistair Croll and Benjamin Yoskovitz (vanity versus actionable metrics, and the One Metric That Matters).
The Lean Startup, by Eric Ries (actionable versus vanity metrics, and cohort analysis).
How to Measure Anything, by Douglas W. Hubbard (defining and quantifying the seemingly unmeasurable).
The Visual Display of Quantitative Information, by Edward R. Tufte (honest, high-integrity data graphics).
Site Reliability Engineering, by Betsy Beyer, Chris Jones, Jennifer Petoff, and Niall Richard Murphy, eds. (SLIs, SLOs, and error budgets).
Accelerate, by Nicole Forsgren, Jez Humble, and Gene Kim (the DORA delivery and stability metrics).
Goodhart, C. A. E., “Problems of Monetary Management: The UK Experience” (1975): the origin of Goodhart’s law; see also Marilyn Strathern’s widely quoted formulation.
U.S. Government Accountability Office (GAO) guidance on performance measurement and the GPRA Modernisation Act: public-sector performance-reporting practice.