7.0 Giới thiệu Phần 7: Dữ liệu, phân tích và hiểu biết
Dữ liệu là một trong những tài sản giá trị nhất mà một tổ chức lớn nắm giữ. Nó cũng là một trong những tài sản bị quản lý tồi nhất. Gần như mọi đội đều tạo ra nó, phụ thuộc vào nó, và đưa ra quyết định bằng nó. Vậy mà những thói quen không chính thức hiệu quả với một nhúm kỹ sư sụp đổ ở quy mô của các tổ chức phát triển lớn, doanh nghiệp và cơ quan chính phủ. Hàng trăm đội tạo ra hàng nghìn tập dữ liệu. Nhiều hệ thống mỗi cái tuyên bố giữ bản ghi “thật.” Và không ai có thể nói chắc con số nào thuộc về một bộ slide hội đồng quản trị hay một báo cáo công khai. Phần này nói về việc biến sự lan tràn đó thành hiểu biết đáng tin, và biến hiểu biết thành những quyết định tốt hơn.
Rủi ro là cụ thể. Cơ quan quản lý kỳ vọng dòng gốc và kiểm soát chứng minh được đối với dữ liệu cá nhân, tài chính và y tế. Doanh nghiệp đối mặt phơi nhiễm trực tiếp từ các chỉ số báo cáo sai, kiểm toán thất bại và nền tảng trùng lặp. Các cơ quan chính phủ gánh thêm nghĩa vụ về lưu giữ hồ sơ, trách nhiệm giải trình công và đối xử công bằng với công dân. Trong tất cả các bối cảnh này, dữ liệu bạn không tin được còn tệ hơn không có dữ liệu, vì nó thúc đẩy các quyết định tự tin nhưng sai. Vì vậy làm đúng dữ liệu không phải mối quan tâm hậu trường. Đó là vấn đề phơi nhiễm tài chính, tuân thủ pháp luật và lòng tin công chúng.
Phần 7 đi theo toàn bộ hành trình của dữ liệu khi nó trở thành giá trị. Nó bắt đầu với việc một tổ chức quyết định coi dữ liệu là tài sản thế nào. Rồi đến kỹ thuật di chuyển và định hình nó, phân tích và thí nghiệm rút ra ý nghĩa, và cuối cùng là văn hóa để hiểu biết thực sự thay đổi những gì người ta làm. Xuyên suốt, trọng tâm là làm điều này ở quy mô lớn mà không từ bỏ một phiên bản duy nhất của sự thật.
Các chương trong phần này
7.1 Chiến lược và quản trị dữ liệu: Coi dữ liệu là một sản phẩm với chủ sở hữu, giao diện và bảo đảm chất lượng rõ ràng, được hậu thuẫn bởi các kỷ luật quản trị giữ dữ liệu đáng tin và tuân thủ theo thời gian: quản lý viên, lập danh mục, quản lý dữ liệu chủ (đối chiếu các bản ghi xung đột thành một phiên bản có thẩm quyền duy nhất), và chất lượng.
7.2 Kỹ thuật dữ liệu: Xây dựng và vận hành các đường ống thu nạp, biến đổi, lưu trữ và điều phối đưa dữ liệu từ nơi nó được tạo ra đến nơi nó tạo giá trị, giữ chúng lũy đẳng, kiểm thử được, quan sát được và chi trả nổi ở quy mô.
7.3 Phân tích và trí tuệ kinh doanh: Biến dữ liệu được quản trị, được thiết kế kỹ thuật thành hiểu biết và hành động thông qua báo cáo, bảng điều khiển và công cụ tự phục vụ, được neo bởi một lớp ngữ nghĩa để mọi chỉ số được xác định và tính toán theo một cách thống nhất ở mọi nơi.
7.4 Phân tích sản phẩm và thử nghiệm: Hiểu người ta thực sự dùng một sản phẩm thế nào thông qua gắn công cụ đo hành vi, và thiết lập quan hệ nhân quả bằng thí nghiệm có đối chứng chặt chẽ, để quyết định sản phẩm chuyển từ “chúng tôi nghĩ” sang “chúng tôi đã đo,” tất cả theo cách tôn trọng quyền riêng tư và nhận biết sự đồng ý.
7.5 Khoa học quyết định và văn hóa dựa trên dữ liệu: Nối dữ liệu với các quyết định thực bằng thống kê, khoa học hành vi và phán đoán, xây một văn hóa suy luận trung thực về nhân quả, truyền đạt độ bất định trung thực, và tránh cả sân khấu dữ liệu lẫn giám sát xâm phạm.
7.6 Dữ liệu thời gian thực và dữ liệu luồng: Xử lý dữ liệu không giới hạn khi nó đến lúc độ trễ thực sự quan trọng, xử lý thời gian sự kiện và dữ liệu đến muộn hoặc sai thứ tự bằng cửa sổ và dấu mốc, chọn bảo đảm xử lý và đích ghi lũy đẳng, và truyền luồng từ cơ sở dữ liệu vận hành bằng thu thập thay đổi dữ liệu.
7.7 Mô hình hóa dữ liệu và lớp ngữ nghĩa: Quyết định dữ liệu có nghĩa gì trước khi quyết định nó sống ở đâu, thông qua mô hình khái niệm, logic và vật lý, mô hình hóa chiều cho phân tích, và một lớp ngữ nghĩa được quản trị để mọi chỉ số kinh doanh có một định nghĩa ở mọi nơi.
7.8 Chất lượng và khả năng quan sát dữ liệu: Coi dữ liệu là một sản phẩm có bảo đảm bằng cách xác định các chiều của chất lượng, xác thực đường ống và thực thi hợp đồng dữ liệu, và giám sát độ mới, khối lượng, lược đồ và dòng gốc để sự cố dữ liệu được bắt và giải quyết như sự cố sản xuất.
7.9 Quản lý dữ liệu chủ và dữ liệu tham chiếu: Tạo một bản ghi vàng đáng tin duy nhất cho các thực thể cốt lõi như khách hàng, sản phẩm và nhà cung cấp thông qua đối sánh, quyền sống sót và quản lý viên, và quản trị dữ liệu tham chiếu dùng chung như một từ vựng được kiểm soát, có phiên bản.
Các chương này liên hệ với nhau thế nào
Các chương này tạo thành một chuỗi có chủ đích, mỗi lớp đặt trên lớp trước. Chiến lược và quản trị (7.1) quyết định dữ liệu nào nên tồn tại, ai sở hữu nó, và “đáng tin” nghĩa là gì. Kỹ thuật dữ liệu (7.2) là hệ thống ống dẫn giúp dữ liệu được quản trị chảy đáng tin từ nguồn đến người tiêu dùng. Phân tích và trí tuệ kinh doanh (7.3) nằm ngay hạ nguồn của các đường ống đó, biến dữ liệu đã mô hình hóa thành chỉ số và bảng điều khiển dùng chung, điều chỉ an toàn khi các định nghĩa thượng nguồn được quản trị. Phân tích sản phẩm và thử nghiệm (7.4) thêm bằng chứng hành vi và sự chặt chẽ nhân quả lên trên nền tảng đó. Cuối cùng, khoa học quyết định và văn hóa dữ liệu (7.5) là đỉnh chóp: mọi chiến lược, kỹ thuật, phân tích và thí nghiệm đến trước nó đều vô giá trị nếu chúng không thay đổi quyết định theo hướng tốt hơn. Mạch xuyên suốt chạy từ quản trị đến kỹ thuật đến BI đến thí nghiệm đến văn hóa quyết định, và một điểm yếu ở bất kỳ giai đoạn nào làm suy yếu mọi thứ hạ nguồn.
Phần này cũng kết nối ra ngoài. Quản trị dữ liệu cá nhân dựa nhiều vào quyền riêng tư và bảo vệ dữ liệu (chương 4.5) và tuân thủ (chương 4.6), đặt ra các ràng buộc pháp lý mà phần này phải thỏa mãn. Đường ống dữ liệu là hệ thống phần mềm, nên các thực hành về độ tin cậy, kiểm thử và quan sát ở nơi khác trong cẩm nang cũng áp dụng trực tiếp ở đây, gồm giám sát vận hành trong chương 6.2. Và vì hiểu biết cuối cùng nhằm dẫn dắt các tổ chức, các thực hành ra quyết định và đo lường ở đây củng cố các chủ đề lãnh đạo và quản lý trong Phần 11, như chương 11.1. Đọc cùng nhau, các chương này mô tả cách một tổ chức lớn có thể nhìn thấy chính mình rõ ràng và hành động theo những gì nó thấy.