7.0 Pengantar Bagian 7: Data, analitik, dan wawasan
Data adalah salah satu aset paling berharga yang dimiliki organisasi besar. Ia juga salah satu yang paling salah kelola. Hampir setiap tim menghasilkannya, bergantung padanya, dan mengambil keputusan dengannya. Namun kebiasaan informal yang berfungsi untuk segelintir insinyur runtuh pada skala organisasi pengembang besar, enterprise, dan lembaga pemerintah. Ratusan tim menghasilkan ribuan dataset. Beberapa sistem masing-masing mengklaim menyimpan catatan “sebenarnya.” Dan tak seorang pun dapat mengatakan dengan yakin angka mana yang pantas masuk dek dewan atau laporan publik. Bagian ini membahas cara mengubah kekacauan itu menjadi pemahaman yang tepercaya, dan mengubah pemahaman menjadi keputusan yang lebih baik.
Taruhannya konkret. Regulator mengharapkan silsilah dan kendali yang dapat didemonstrasikan atas data pribadi, keuangan, dan kesehatan. Enterprise menghadapi paparan langsung dari metrik yang dilaporkan keliru, audit yang gagal, dan platform yang terduplikasi. Lembaga pemerintah memikul kewajiban tambahan seputar retensi catatan, akuntabilitas publik, dan perlakuan setara bagi warga. Dalam semua pengaturan ini, data yang tak dapat Anda percaya lebih buruk daripada tanpa data, karena ia mendorong keputusan yang yakin tetapi salah. Jadi menata data dengan benar bukan urusan belakang kantor. Ia soal paparan keuangan, kepatuhan hukum, dan kepercayaan publik.
Bagian 7 mengikuti perjalanan penuh data saat ia menjadi nilai. Ia dimulai dengan bagaimana organisasi memutuskan memperlakukan data sebagai aset. Lalu datang rekayasa yang memindahkan dan membentuknya, analitik dan eksperimen yang mengekstrak makna, dan akhirnya budaya yang memungkinkan wawasan benar-benar mengubah apa yang dilakukan orang. Sepanjang jalan, penekanannya adalah melakukan ini pada skala besar tanpa melepaskan satu versi kebenaran pun.
Bab dalam bagian ini
7.1 Strategi dan tata kelola data: Perlakukan data sebagai produk dengan pemilik, antarmuka, dan jaminan kualitas yang jelas, didukung disiplin tata kelola yang menjaga data tetap tepercaya dan patuh seiring waktu: kepengurusan, katalogisasi, manajemen data induk (merekonsiliasi catatan yang bertentangan menjadi satu versi otoritatif), dan kualitas.
7.2 Rekayasa data: Bangun dan operasikan pipeline ingesti, transformasi, penyimpanan, dan orkestrasi yang memindahkan data dari tempat ia dihasilkan ke tempat ia menciptakan nilai, dijaga idempoten, dapat diuji, dapat diamati, dan terjangkau pada skala besar.
7.3 Analitik dan business intelligence: Ubah data yang diatur dan direkayasa menjadi pemahaman dan tindakan lewat pelaporan, dasbor, dan perkakas swalayan, dijangkarkan oleh lapisan semantik agar setiap metrik didefinisikan dan dihitung dengan satu cara yang disepakati di mana-mana.
7.4 Analitik produk dan eksperimen: Pahami bagaimana orang benar-benar memakai produk lewat instrumentasi perilaku, dan tetapkan sebab-akibat dengan eksperimen terkendali yang ketat, agar keputusan produk bergeser dari “kami pikir” menjadi “kami ukur,” semuanya dengan cara yang menghormati privasi dan sadar persetujuan.
7.5 Ilmu keputusan dan budaya berbasis data: Hubungkan data dengan keputusan nyata memakai statistik, ilmu perilaku, dan penilaian, membangun budaya yang bernalar jujur tentang sebab-akibat, mengomunikasikan ketidakpastian dengan setia, dan menghindari sandiwara data maupun pengawasan yang mengganggu.
7.6 Data real-time dan streaming: Memproses data tak terbatas saat tiba ketika latensi benar-benar penting, menangani waktu peristiwa dan data terlambat atau tak berurutan dengan window dan watermark, memilih jaminan pemrosesan dan sink idempoten, dan streaming dari basis data operasional dengan change data capture.
7.7 Pemodelan data dan lapisan semantik: Memutuskan apa arti data sebelum memutuskan di mana ia tinggal, lewat model konseptual, logis, dan fisik, pemodelan dimensional untuk analitik, dan lapisan semantik teratur agar setiap metrik bisnis punya satu definisi di mana-mana.
7.8 Kualitas dan observabilitas data: Memperlakukan data sebagai produk dengan jaminan dengan mendefinisikan dimensi kualitas, memvalidasi pipeline dan menegakkan kontrak data, serta memantau kesegaran, volume, skema, dan silsilah agar insiden data tertangkap dan diselesaikan seperti insiden produksi.
7.9 Manajemen data induk dan data referensi: Menciptakan satu golden record tepercaya untuk entitas inti seperti pelanggan, produk, dan pemasok lewat pencocokan, survivorship, dan kepengurusan, serta mengatur data referensi bersama sebagai kosakata terkendali yang diversikan.
Bagaimana bab-bab ini saling berkaitan
Bab-bab ini membentuk urutan yang disengaja, setiap lapisan bersandar pada yang sebelumnya. Strategi dan tata kelola (7.1) memutuskan data apa yang seharusnya ada, siapa yang memilikinya, dan apa arti “tepercaya.” Rekayasa data (7.2) adalah perpipaan yang membuat data teratur mengalir andal dari sumber ke konsumen. Analitik dan business intelligence (7.3) berada langsung di hilir pipeline itu, mengubah data bermodel menjadi metrik dan dasbor bersama, yang aman hanya ketika definisi hulu diatur. Analitik produk dan eksperimen (7.4) menambah bukti perilaku dan ketelitian kausal di atas fondasi itu. Akhirnya, ilmu keputusan dan budaya data (7.5) adalah puncaknya: semua strategi, rekayasa, analitik, dan eksperimen yang mendahuluinya tak berharga jika tidak mengubah keputusan menjadi lebih baik. Benang merahnya berjalan dari tata kelola ke rekayasa ke BI ke eksperimen ke budaya keputusan, dan kelemahan pada tahap mana pun merusak segalanya di hilirnya.
Bagian ini juga terhubung keluar. Tata kelola data pribadi bersandar kuat pada privasi dan pelindungan data (bab 4.5) dan kepatuhan (bab 4.6), yang menetapkan kendala hukum yang harus dipenuhi bagian ini. Pipeline data adalah sistem perangkat lunak, jadi praktik keandalan, pengujian, dan observabilitas yang ditemukan di bagian lain panduan ini berlaku langsung di sini juga, termasuk pemantauan operasional di bab 6.2. Dan karena wawasan pada akhirnya dimaksudkan untuk memandu organisasi, praktik pengambilan keputusan dan pengukuran di sini memperkuat topik kepemimpinan dan manajemen di Bagian 11, seperti bab 11.1. Dibaca bersama, bab-bab ini menggambarkan bagaimana organisasi besar dapat melihat dirinya dengan jelas dan bertindak atas apa yang dilihatnya.