10.8 Модели зрелости

Обзор и мотивация

Модель зрелости это структурированный способ оценить, насколько способна и согласованна ваша практика в какой-то области, и описать путь её улучшения. Она определяет небольшую лестницу уровней. Внизу работа стихийна и реактивна. Наверху она измеряется, управляется и непрерывно оптимизируется. У каждой ступени есть наблюдаемые характеристики, по которым можно сверяться.

Модели зрелости превращают расплывчатый вопрос («хороши ли мы в этом?») в повторяемый ответ («мы на уровне 2 здесь, на уровне 4 там, а вот что потребовал бы уровень 3»). Это руководство использует пятиуровневую модель в каждой главе и сводит их в главе 12.4. Эта глава о самой дисциплине: как работают модели, когда они помогают и как вводят в заблуждение.

Причина их важности проста. Большие организации не могут улучшать то, чего не видят. По десяткам команд возможности различаются огромно и невидимо. У одних команд превосходное тестирование и слабая безопасность; у других наоборот. Модель зрелости даёт общий словарь и общую мерку, так что пробелы становятся сопоставимыми, вложения можно приоритизировать, а прогресс отслеживать со временем, а не просто утверждать. Хорошо известные примеры включают CMMI (интегрированную модель зрелости возможностей, для процесса), модель DORA (DevOps Research and Assessment) (эффективность поставки программного обеспечения), OWASP SAMM (модель зрелости гарантий программного обеспечения) и BSIMM (модель зрелости встраивания безопасности) для безопасности программного обеспечения, TMMi (интегрированную модель зрелости тестирования, для тестирования), модель Agile Fluency и модели зрелости управления данными, плюс бесчисленные внутренние карты оценок.

Для корпораций и особенно государства модели зрелости несут особый вес. Государственное контрактование давно использует уровни оценки CMMI как квалификацию поставщика, а рамки вроде американской CMMC (сертификации модели зрелости кибербезопасности) привязывают зрелость кибербезопасности прямо к праву на оборонную работу. Это даёт моделям зрелости настоящие зубы. Это также создаёт центральный риск этой главы: когда уровень становится барьером или целью, люди оптимизируют под оценку, а не под лежащую в основе возможность. При хорошем использовании модели зрелости зеркало. При плохом театр.

Ключевые принципы

Зрелость средство, а не цель. Цель возможности и результаты, а не номер уровня.
Оценивайте, чтобы учиться, а не ставить баллы. Честная самооценка побеждает льстивую аттестацию.
Выше не всегда лучше. Правильная цель зависит от риска, контекста и цены.
Измеряйте по областям, а не одной глобальной оценкой. Возможности неравномерны; единое число скрывает это.
Приоритизируйте пробелы с наименьшей зрелостью и наибольшим риском первыми.
Остерегайтесь закона Гудхарта. Как только уровень становится целью, он перестаёт измерять возможность.
Переоценивайте периодически. Зрелость дрейфует по мере изменения людей, систем и угроз.

Компромиссы: плюсы и минусы

Подход	Плюсы	Минусы
Формальные аттестуемые модели (CMMI, CMMC)	Сопоставимы, признаны контрактно, строги	Дорого; приглашает обман системы; может окостенить процесс
Лёгкие внутренние карты оценок	Быстро, действенно, малые накладные расходы	Менее сопоставимы извне; легко смещаются
Основанные на свидетельствах модели возможностей (DORA)	Привязаны к реальным результатам; подкреплены исследованиями	Более узкий охват; нужны настоящие метрики
Единая общая оценка зрелости	Просто сообщать	Скрывает неравномерные возможности; вводит в заблуждение
Оценка по возможностям	Точная, действенная приоритизация	Больше усилий; нет единого заглавного числа

Центральное напряжение оценка как зеркало против оценки как цели. Та же модель, что помогает команде ясно увидеть себя, становится контрпродуктивной в момент, когда уровень привязан к награде, праву или статусу. Чем больше значит уровень, тем больше энергии уходит на видимость зрелости, а не суть.

Вопросы для обсуждения с командой

Следует ли держать откровенную внутреннюю самооценку отдельно от любого контрактно аттестованного уровня и кто владеет каждой? Когда уровень CMMC или CMMI ограничивает выручку, аттестация и правда расходятся, потому что энергия течёт к прохождению, а не улучшению. Для большой корпорации или государственного поставщика этот разрыв то место, где прячется риск: вы проходите аудит и остаётесь экспонированными. Ведите две книги намеренно. Держите формальную аттестацию для права, а прямую внутреннюю карту оценок, за раздувание которой никого не вознаграждают, отдельно. Назовите владельца каждой и воспринимайте любое расстояние между ними как сигнал для расследования, а не для замазывания. Принесите на совещание недавние инциденты, чуть не случившиеся происшествия и послеаттестационный распад как свидетельство того, какая книга говорит правду.
Для каждой области принимаем ли мы установленную основанную на свидетельствах модель или изобретаем собственную карту оценок и верный ли это выбор? Установленные модели (DORA для поставки, SAMM или BSIMM для безопасности, TMMi для тестирования) несут исследования и внешнюю сопоставимость, с которыми доморощенная сетка не сравнится. Лёгкая внутренняя четырёхуровневая шкала быстрее и действеннее, и нередко лучший выбор для внутреннего руководства. Ловушка в изобретении тяжёлой заказной рамки, имеющей всю церемонию формальной модели и никакой базы свидетельств. Решайте по областям: оставляйте формальные аттестуемые модели для того, где их требует контракт, используйте основанные на свидетельствах модели там, где они есть и подходят, и держите простую шкалу по возможностям для всего остального. Принесите список областей, отметьте, какую модель использует каждая сегодня, и оспорьте каждую выдуманную карту оценок.
Кто проводит наши оценки, как мы поймали бы щедрое выставление оценок и как часто переоцениваем? Оценка, ставящая себе сама, льстит себе, а зрелость дрейфует по мере изменения людей, систем и угроз, поэтому двухлетняя аттестация нередко вымысел. Ротируйте оценщиков или привлекайте внешнюю проверку здравомыслия и воспринимайте подозрительно высокую самооценку как запах, который нужно гнать, а не победу для празднования. Задайте ритм переоценки, привязанный к скорости изменения каждой области: безопасность чаще, чем, скажем, документация. Собирайте свидетельства и вовлекайте людей, делающих работу, а не собирайте мнения руководителей. Если ваш ответ в том, что одна команда раз в год ставит себе оценки без перекрёстной проверки, вы измеряете комфорт, а не возможность.
Какой целевой уровень зрелости на самом деле нужен каждой возможности и где продвижение выше лишь купило бы вес процесса? Выше не бесплатно: каждый уровень вверх стоит усилий и обычно добавляет церемонию, поэтому сплошная цель «уровень 5 везде» сливает конечный бюджет улучшений в бюрократию, которую некоторые области никогда не окупят. Для большой организации правильная цель различается по возможностям, потому что малорисковая область на уровне 2 может быть совершенно безопасной, тогда как критичная для безопасности или соответствия область на том же уровне авария. Принесите оценку риска по возможностям, честную оценку того, чего следующая ступень стоит в усилиях и процессе, и любой пол аудита или контракта, поскольку многие аудиты требуют по меньшей мере определённого уровня 3. В корпоративной и государственной среде некоторые регулируемые возможности действительно нуждаются в верхних ступенях, тогда как большинство хорошо обслужены на уровне 3, поэтому задавайте цели намеренно, возможность за возможностью, и прекращайте подъём, когда прекращается отдача с поправкой на риск.
Когда мы в последний раз поднимали уровень зрелости, улучшился ли результат, который он призван защищать, или сдвинулась только оценка? Уровень, растущий, пока инциденты, время выполнения или доли дефектов остаются плоскими, закон Гудхарта в действии: как только число становится целью, оно перестаёт измерять возможность. Для большой команды это проскакивает легко, потому что успешная аттестация ощущается как прогресс, даже когда производство рассказывает другую историю. Привяжите уровень каждой возможности к реальной метрике результата до вложений, затем принесите свидетельства «до и после» на обсуждение: инциденты за квартал, долю неудачных изменений, время восстановления, что бы ни улучшала эта возможность. В корпоративных и государственных портфелях, где аттестованный уровень ограничивает право, разрыв опасен, потому что уровень может вырасти на собранных свидетельствах, пока лежащая в основе практика тихо распадается, и первым доказательством этого становится взлом, сбой или проваленный аудит.
Сообщаем ли мы одну заглавную оценку зрелости или картину по возможностям и привязаны ли когда-нибудь уровни к награде, ранжированию или положению команды? Единое общее число легко представить руководству, и оно скрывает именно ту неравномерность, что важна, потому что сильная поставка может маскировать возможность безопасности уровня 1; тепловая карта по возможностям больше работы, но показывает, где низкая зрелость встречается с высоким риском. Более трудный вопрос в том, как оценки используются, потому что в момент, когда уровень привязан к награде или ранжированию команды, честная отчётность умирает, а усилия текут в видимость зрелости, а не суть. Принесите тепловую карту и откровенный отчёт о каждом месте, где уровень сейчас питает рецензию эффективности, бюджетное решение или карту оценок поставщика. Для корпораций и государственных поставщиков, где аттестованные уровни могут ограничивать выручку и право, будьте явны, какие оценки несут последствия, а какие существуют только для руководства, потому что картина зрелости, раздувание которой вознаграждают, перестаёт описывать реальность.

Взгляд по секторам

Стартап. Тяжёлая аттестуемая модель накладные расходы, которых вы не можете себе позволить при коротком запасе. Проведите часовую самооценку по простой шкале по горстке возможностей, исправьте только пробел наименьшей зрелости, блокирующий что-то конкретное (скажем, анкету безопасности от вашего первого корпоративного клиента), и оставьте остальное. Оценка должна стоить день, а не консультанта, а её результат одно следующее действие, а не равномерно высокий балл, который вам не нужен и который вы не можете финансировать.

Малый бизнес. Без выделенного оценщика и при ограниченном бюджете заимствуйте лёгкую публичную модель вместо заказа заказной рамки: короткий контрольный список поставки или безопасности, который можно оценить самому. Воспринимайте это как ежегодный разговор о том, где слабое место стоило бы вам клиента, а не как постоянную программу. Держите дёшево и прямо, потому что льстивый балл, за получение которого вы заплатили поставщику, стоит меньше откровенного, который вы поставили сами за день.

Крупная организация. Ценность общая карта оценок по возможностям, применяемая последовательно по многим командам, так что пробелы становятся сопоставимыми, а бюджет улучшений течёт туда, где низкая зрелость встречается с высоким риском. Жёстко защищайтесь от театра зрелости, как только уровни питают бюджет или статус: ротируйте оценщиков или проверяйте их здравомыслие извне и управляйте результатами как тепловой картой, направляющей вложения в проторённые дороги (глава 4.2), а не турнирной таблицей, ранжирующей команды и убивающей честную отчётность.

Государственный сектор. Уровень зрелости здесь нередко буквальный барьер: CMMC для оборонной работы, аттестация CMMI как квалификация поставщика. Достигайте требуемого уровня подлинной возможностью и держите откровенную внутреннюю самооценку отдельно от формальной аттестации, чтобы пол аудита никогда не стал тихо потолком. Документируйте свидетельства прозрачно для аттестаторов и воспринимайте любое расстояние между сертифицированным уровнем и реальной практикой как подотчётный риск, который нужно закрыть, а не бумагу для подшивки.

Примеры

Стартап. SaaS-стартап из десяти человек проводит часовую самооценку по простой четырёхуровневой шкале, охватывающей поставку, тестирование, безопасность и дежурства. Он находит поставку и тестирование на уровне 3, но безопасность застряла на уровне 1, что важно, потому что он вот-вот подпишет первого корпоративного клиента с анкетой безопасности. Поэтому основатели тратят следующий месяц на подъём только безопасности до защитимого уровня 2 и оставляют остальное, а не гонятся за равномерно высоким баллом, который им пока не нужен и не по карману.

Крупная организация. Фирма финансовых услуг оценивает свои 40 команд лёгкой картой оценок по возможностям (поставка, тестирование, безопасность, наблюдаемость, дежурства). Тепловая карта показывает, что зрелость безопасности отстаёт сильнее всего там, где регуляторная экспозиция наибольшая, поэтому платформенная команда сначала финансирует инструменты безопасности проторённой дороги (глава 4.2) для этих команд. Поскольку оценка используется для приоритизации вложений, а не ранжирования команд, руководители сообщают честно. Переоценка через год показывает реальное движение и, что важно, меньше инцидентов безопасности, а не только более высокие баллы.

Государственный сектор. Оборонный подрядчик должен достичь требуемого уровня CMMC, чтобы участвовать в торгах, а системный интегратор держит аттестацию CMMI как квалификацию по контракту. Здесь уровень зрелости буквальный барьер к выручке. Хорошо ведомая версия воспринимает требуемый уровень как пол подлинной возможности и держит откровенную внутреннюю самооценку отдельно от формальной аттестации. Плохо ведомая версия собирает свидетельства для аттестации и позволяет реальной практике распасться на следующий день, проходя аудит, но оставаясь экспонированной.

Бизнес-обоснование: мотивы, ROI и TCO

Отдача от оценки зрелости приходит от направленных вложений. Бюджеты улучшений конечны. Потраченные вслепую, они финансируют то, что громче. Оценка зрелости показывает, где возможность слабее всего относительно риска, так что те же расходы покупают больше снижения риска и больше улучшения результатов. Сама оценка дешева, всего дни структурированной, основанной на свидетельствах рецензии, на фоне цены неверно распределённых программ улучшения или, хуже, необнаруженного пробела возможности, всплывающего как взлом, сбой или проваленный аудит.

По совокупной стоимости владения дисциплина дёшева, когда вы держите её лёгкой, и дорога, когда она затвердевает в аттестационную бюрократию. Главная скрытая цена театр зрелости: усилия, потраченные на производство видимости зрелости, ничего не возвращают и могут маскировать реальный риск, а это отрицательный ROI. Обосновывая перед руководством, представляйте зрелость как линзу риска и вложений, тепловую карту, превращающую «улучшить всё» в «улучшить сначала эти три вещи», и явно бюджетируйте против соблазна гнаться за уровнями ради них самих. Где уровень требуется контрактно (CMMC, CMMI), ROI прямой: это цена права, и цель достичь его подлинной возможностью, а не дорогим притворством.

Антипаттерны и ловушки

Уровень как цель: погоня за числом вместо возможности, которую оно призвано представлять.
Театр зрелости: сбор свидетельств для аттестации, пока реальная практика распадается.
Одна глобальная оценка: единый балл зрелости, скрывающий опасную неравномерность.
Выше всегда лучше: подъём каждой возможности до уровня 5 независимо от риска или цены.
Оценить раз и никогда больше: разовая аттестация, воспринимаемая как постоянная истина.
Ранжирование команд для обвинения: использование зрелости для наказания, убивающее честную отчётность.
Поклонение модели: следование церемонии тяжёлой рамки за точкой полезности.
Игнорирование результатов: подъём по лестнице, пока поставка, надёжность или безопасность не улучшаются.

Модель зрелости

Уровень 1, Начальный. Нет общего понятия зрелости; возможность предполагается, неравномерна и не измеряется; любая оценка реактивна, запущена инцидентом или требованием аудита, а не запланирована.
Уровень 2, Развитие. Несколько команд проводят стихийные оценки по какой-то шкале, но модель, ритм и строгость различаются от команды к команде; результаты используются непоследовательно, а свидетельства скудны, поэтому оценка ради видимости постоянный риск.
Уровень 3, Стандартизация. Единая модель по возможностям и ритм оценки документированы и применяются по организации; оценки основаны на свидетельствах, вовлекают людей, делающих работу, и питают приоритизированную очередь улучшений, а не табель.
Уровень 4, Управление. Зрелость измеряется и контролируется данными: уровень каждой возможности отслеживается относительно базового значения, привязан к метрике результата (инциденты, время выполнения, доля неудачных изменений) и переоценивается по заданному ритму, так что дрейф и щедрое выставление оценок проявляются числами, а не мнениями, а цели задаются намеренно по областям относительно риска и цены.
Уровень 5, Оркестрация. Оценка интегрирована по организации и непрерывно улучшается: зрелость, риск и результаты информируют вложения как единая адаптивная картина, цели перебалансируются по мере сдвигов угроз и контекста, оценщики ротируются или проверяются извне в порядке вещей, а практика активно выводит церемонию, перестающую оправдывать свою цену.

Идеи для обсуждения

Какие из ваших возможностей вы предполагаете зрелыми без свидетельств?
Где ваша наименьшая зрелость совпадает с вашим наибольшим риском и туда ли идёт ваш бюджет улучшений?
Является ли какой-либо уровень зрелости в вашей организации целью или барьером? Какое поведение это породило?
Каков правильный целевой уровень для каждой возможности и где дальнейший подъём лишь добавил бы бюрократию?
Сообщали бы ваши команды о зрелости честно или то, как вы используете оценки, наказывает откровенность?
Когда вы в последний раз «повышали зрелость», изменились ли результаты на самом деле?

Главные выводы

Модель зрелости оценивает возможность по лестнице уровней и описывает путь улучшения: зеркало, а не трофей.
Выбирайте установленные, основанные на свидетельствах модели по областям (CMMI, DORA, SAMM/BSIMM, CMMC); лёгкая шкала по возможностям нередко действеннее всего.
Оценивайте честно, по возможностям и используйте результаты, чтобы приоритизировать по риску, а не ранжировать или обвинять.
Выше не всегда лучше: задавайте целевые уровни намеренно относительно риска и цены.
Остерегайтесь театра зрелости и закона Гудхарта: уровень, ставший целью, перестаёт измерять возможность.
См. главу 12.4 для сводной самооценки зрелости этого руководства и собственный раздел зрелости каждой главы.

Источники и дополнительное чтение

CMMI Institute / ISACA, Capability Maturity Model Integration (CMMI).
Watts Humphrey, Managing the Software Process (origins of software process maturity).
Nicole Forsgren, Jez Humble, Gene Kim, Accelerate (capability, not maturity-level, thinking for delivery).
OWASP, Software Assurance Maturity Model (SAMM); BSIMM (Building Security In Maturity Model).
U.S. Department of Defence, Cybersecurity Maturity Model Certification (CMMC).
TMMi Foundation, Test Maturity Model integration.
James Shore and Diana Larsen, The Agile Fluency Model.
Martin Fowler, “Maturity Model” (bliki), on their uses and abuses.

10.8 Модели зрелости

Обзор и мотивация

Ключевые принципы

Рекомендации

Выбирайте правильную модель для области

Оценивайте честно и по возможностям

Используйте зрелость для приоритизации, а не наказания

Задавайте целевые уровни намеренно: выше не бесплатно

Защищайтесь от театра зрелости