7.0 Введение к части 7: Данные, аналитика и озарение
Данные это один из самых ценных активов, которыми владеет большая организация. Это также один из самых плохо управляемых. Почти каждая команда производит их, зависит от них и принимает с ними решения. Однако неформальные привычки, работающие для горстки инженеров, рассыпаются в масштабе больших организаций разработки, корпораций и государственных ведомств. Сотни команд порождают тысячи наборов данных. Несколько систем каждая претендует на хранение «настоящей» записи. И никто не может с уверенностью сказать, какое число принадлежит презентации для совета директоров или публичному отчёту. Эта часть о превращении этого разрастания в заслуживающее доверия понимание и о превращении понимания в лучшие решения.
Ставки конкретны. Регуляторы ожидают демонстрируемого происхождения и контроля над персональными, финансовыми и медицинскими данными. Корпорации сталкиваются с прямой экспозицией от неверно сообщённых метрик, проваленных аудитов и дублированных платформ. Государственные ведомства несут дополнительные обязательства вокруг хранения записей, публичной подотчётности и равного обращения с гражданами. Во всех этих условиях данные, которым нельзя доверять, хуже отсутствия данных, потому что они управляют уверенными, но неверными решениями. Поэтому правильное обращение с данными не забота бэк-офиса. Это вопрос финансовой экспозиции, юридического соответствия и общественного доверия.
Часть 7 следует по полному пути данных, по мере того как они становятся ценностью. Она начинается с того, как организация решает воспринимать данные как актив. Затем идёт инженерия, перемещающая и формирующая их, аналитика и эксперименты, извлекающие смысл, и наконец культура, позволяющая озарению действительно менять то, что делают люди. На всём протяжении упор на том, чтобы делать это в масштабе, не отказываясь от единой версии истины.
Главы этой части
7.1 Стратегия данных и управление данными: Воспринимайте данные как продукт с ясными владельцами, интерфейсами и гарантиями качества, подкреплённый дисциплинами управления, держащими данные заслуживающими доверия и соответствующими требованиям со временем: стюардство, каталогизация, управление мастер-данными (согласование конфликтующих записей в единую авторитетную версию) и качество.
7.2 Инженерия данных: Стройте и эксплуатируйте конвейеры приёма, преобразования, хранения и оркестрации, перемещающие данные оттуда, где они производятся, туда, где они создают ценность, сохраняя их идемпотентными, тестируемыми, наблюдаемыми и доступными по цене в масштабе.
7.3 Аналитика и бизнес-аналитика: Превращайте управляемые, спроектированные данные в понимание и действие через отчётность, панели и инструменты самообслуживания, закрепляемые семантическим слоем, так что каждая метрика определена и вычислена одним согласованным способом повсюду.
7.4 Продуктовая аналитика и эксперименты: Понимайте, как люди на самом деле используют продукт, через поведенческое инструментирование и устанавливайте причину и следствие строгими контролируемыми экспериментами, так что решения о продукте переходят от «мы думаем» к «мы измерили», всё это с уважением к приватности и с учётом согласия.
7.5 Наука о решениях и культура данных: Связывайте данные с реальными решениями с помощью статистики, поведенческой науки и суждения, строя культуру, честно рассуждающую о причине и следствии, достоверно сообщающую неопределённость и избегающую и театра данных, и навязчивой слежки.
7.6 Потоковые данные и данные реального времени: Обработка неограниченных данных по мере их поступления, когда задержка действительно важна, обращение со временем события и запоздавшими или неупорядоченными данными с помощью окон и водяных знаков, выбор гарантий обработки и идемпотентных приёмников и потоковая передача из операционных баз данных через захват изменений данных.
7.7 Моделирование данных и семантический слой: Решение о том, что данные значат, до решения о том, где они живут, через концептуальные, логические и физические модели, размерностное моделирование для аналитики и управляемый семантический слой, так что у каждой бизнес-метрики одно определение повсюду.
7.8 Качество данных и наблюдаемость: Воспринимание данных как продукта с гарантиями через определение измерений качества, проверку конвейеров и принуждение контрактов данных и мониторинг свежести, объёма, схемы и происхождения, так что инциденты с данными ловятся и решаются как производственные инциденты.
7.9 Управление мастер-данными и справочными данными: Создание единой заслуживающей доверия золотой записи для основных сущностей, таких как клиент, продукт и поставщик, через сопоставление, определение выжившего значения и стюардство и управление общими справочными данными как контролируемым версионируемым словарём.
Как эти главы связаны между собой
Эти главы образуют намеренную последовательность, где каждый слой опирается на предыдущий. Стратегия и управление (7.1) решают, какие данные должны существовать, кто ими владеет и что значит «заслуживающие доверия». Инженерия данных (7.2) это сантехника, заставляющая управляемые данные течь надёжно от источника к потребителю. Аналитика и бизнес-аналитика (7.3) стоят прямо ниже по течению этих конвейеров, превращая смоделированные данные в общие метрики и панели, что безопасно только когда вышестоящие определения управляемы. Продуктовая аналитика и эксперименты (7.4) добавляют поведенческие свидетельства и причинную строгость поверх этого фундамента. Наконец, наука о решениях и культура данных (7.5) венец: вся стратегия, инженерия, аналитика и эксперименты, что приходят до неё, бесполезны, если не меняют решения к лучшему. Сквозная линия идёт от управления к инженерии, к бизнес-аналитике, к экспериментам и к культуре решений, а слабость на любой стадии подрывает всё ниже по течению.
Часть также простирается наружу. Управление персональными данными сильно опирается на приватность и защиту данных (глава 4.5) и соответствие требованиям (глава 4.6), задающие юридические ограничения, которые эта часть должна удовлетворять. Конвейеры данных это программные системы, поэтому практики надёжности, тестирования и наблюдаемости, найденные в других местах руководства, применимы и здесь напрямую, включая эксплуатационный мониторинг в главе 6.2. И поскольку озарение в конечном счёте призвано направлять организации, практики принятия решений и измерения здесь усиливают темы лидерства и управления из части 11, такие как глава 11.1. Прочитанные вместе, эти главы описывают, как большая организация может ясно видеть себя и действовать по увиденному.