7.0 Introdução à Parte 7: Dados, análises e percepção

Os dados são um dos ativos mais valiosos que uma grande organização possui. Também são um dos mais mal geridos. Quase toda equipe os produz, depende deles e toma decisões com eles. Mas os hábitos informais que funcionam para um punhado de engenheiros desmoronam na escala das grandes organizações de desenvolvimento, das empresas e das agências governamentais. Centenas de equipes geram milhares de conjuntos de dados. Vários sistemas reivindicam, cada um, guardar o registro “verdadeiro”. E ninguém sabe dizer com confiança qual número pertence a uma apresentação para o conselho ou a um relatório público. Esta parte trata de transformar essa dispersão em entendimento confiável e de transformar o entendimento em decisões melhores.

As apostas são concretas. Os reguladores esperam linhagem e controle demonstráveis sobre dados pessoais, financeiros e de saúde. As empresas enfrentam exposição direta por métricas relatadas de forma errada, auditorias malsucedidas e plataformas duplicadas. As agências governamentais carregam obrigações adicionais de retenção de registros, prestação de contas públicas e tratamento equitativo dos cidadãos. Em todos esses contextos, dados em que vocês não podem confiar são piores que nenhum dado, porque conduzem a decisões confiantes e erradas. Acertar os dados, portanto, não é uma preocupação de retaguarda. É uma questão de exposição financeira, conformidade legal e confiança pública.

A Parte 7 acompanha a jornada completa dos dados enquanto viram valor. Começa por como uma organização decide tratar os dados como um ativo. Depois vêm a engenharia que os move e os molda, as análises e os experimentos que extraem significado e, por fim, a cultura que permite que a percepção de fato mude o que as pessoas fazem. Ao longo de tudo, a ênfase está em fazer isso em escala sem abrir mão de uma única versão da verdade.

Capítulos desta parte

7.1 Estratégia e governança de dados: Tratem os dados como um produto, com donos, interfaces e garantias de qualidade claros, apoiados pelas disciplinas de governança que mantêm os dados confiáveis e em conformidade ao longo do tempo: curadoria, catalogação, gestão de dados mestres (reconciliar registros conflitantes numa versão autoritativa) e qualidade.
7.2 Engenharia de dados: Construam e operem os pipelines de ingestão, transformação, armazenamento e orquestração que levam os dados de onde são produzidos até onde criam valor, mantidos idempotentes, testáveis, observáveis e acessíveis em escala.
7.3 Análises e inteligência de negócio: Transformem dados governados e bem engenheirados em entendimento e ação por meio de relatórios, painéis e ferramentas de autoatendimento, ancorados por uma camada semântica para que cada métrica seja definida e calculada de um único modo combinado em toda parte.
7.4 Análises de produto e experimentação: Entendam como as pessoas de fato usam um produto por meio de instrumentação comportamental e estabeleçam causa e efeito com experimentos controlados rigorosos, para que as decisões de produto passem de “achamos” para “medimos”, tudo de modo que respeite a privacidade e o consentimento.
7.5 Ciência de decisão e cultura de dados: Conectem os dados a decisões reais usando estatística, ciência comportamental e julgamento, construindo uma cultura que raciocina com honestidade sobre causa e efeito, comunica a incerteza com fidelidade e evita tanto o teatro de dados quanto a vigilância intrusiva.
7.6 Dados em tempo real e streaming: Processar dados ilimitados à medida que chegam quando a latência realmente importa, tratar o tempo do evento e os dados atrasados ou fora de ordem com janelas e marcas d’água, escolher garantias de processamento e destinos idempotentes e fazer streaming a partir de bancos de dados operacionais com captura de dados de mudança.
7.7 Modelagem de dados e camada semântica: Decidir o que os dados significam antes de decidir onde vivem, por meio de modelos conceituais, lógicos e físicos, modelagem dimensional para análises e uma camada semântica governada para que cada métrica de negócio tenha uma só definição em toda parte.
7.8 Qualidade e observabilidade de dados: Tratar os dados como um produto com garantias, definindo as dimensões da qualidade, validando pipelines e impondo contratos de dados, e monitorando atualidade, volume, esquema e linhagem para que os incidentes de dados sejam detectados e resolvidos como incidentes de produção.
7.9 Gestão de dados mestres e de referência: Criar um único registro de ouro confiável para entidades centrais como cliente, produto e fornecedor por meio de correspondência, sobrevivência e curadoria, e governar os dados de referência compartilhados como um vocabulário controlado e versionado.

Como estes capítulos se relacionam

Estes capítulos formam uma sequência deliberada, cada camada apoiada na anterior. A estratégia e a governança (7.1) decidem que dados devem existir, quem é dono deles e o que “confiável” significa. A engenharia de dados (7.2) é o encanamento que faz os dados governados fluírem de modo confiável da origem ao consumidor. As análises e a inteligência de negócio (7.3) ficam logo a jusante desses pipelines, transformando dados modelados em métricas e painéis compartilhados, o que só é seguro quando as definições a montante são governadas. As análises de produto e a experimentação (7.4) acrescentam evidência comportamental e rigor causal sobre essa fundação. Por fim, a ciência de decisão e a cultura de dados (7.5) são o arremate: toda a estratégia, a engenharia, as análises e a experimentação que vêm antes dela não valem nada se não mudarem as decisões para melhor. O fio condutor vai da governança à engenharia, à BI, à experimentação e à cultura de decisão, e uma fraqueza em qualquer etapa mina tudo o que vem depois.

A parte também se conecta para fora. A governança de dados pessoais se apoia fortemente na privacidade e proteção de dados (capítulo 4.5) e na conformidade (capítulo 4.6), que definem as restrições legais que esta parte precisa satisfazer. Os pipelines de dados são sistemas de software, então as práticas de confiabilidade, teste e observabilidade encontradas em outras partes do guia se aplicam diretamente aqui também, incluindo o monitoramento operacional do capítulo 6.2. E como a percepção se destina, em última instância, a orientar organizações, as práticas de tomada de decisão e de medição aqui reforçam os temas de liderança e gestão da Parte 11, como o capítulo 11.1. Lidos em conjunto, estes capítulos descrevem como uma grande organização pode enxergar a si mesma com clareza e agir sobre o que enxerga.