7.5 의사결정 과학과 데이터 기반 문화

개요와 동기

의사결정 과학은 통계, 행동 과학, 판단을 활용해 사람들이 불확실성 아래서 잘 선택하도록 돕는, 데이터를 실제 결정에 연결하는 실천입니다. 데이터 기반 문화는 이것이 기본으로 일어나는 조직적 조건입니다. 사람들이 증거에 손을 뻗고, 인과에 대해 신중히 추론하고, 불확실성을 정직하게 전달하고, 데이터가 정당화할 때 믿음을 갱신합니다. 이 장은 의도적으로 데이터 순서의 정점입니다. 앞에 오는 모든 전략, 엔지니어링, 분석, 실험은 결정을 더 낫게 바꾸지 못하면 가치가 없기 때문입니다.

큰 팀에게 여기가 데이터 투자가 가장 자주 실패하는 곳이며, 파이프라인이 아니라 통찰에서 행동까지의 마지막 구간에서입니다. 기업은 플랫폼과 대시보드에 막대한 돈을 쓰고도 여전히 위계, 습관, 가장 자신 있는 발표자로 중대한 결정을 내립니다. 흔한 실패 모드는 데이터 연극입니다. 엄밀해 보이도록 정교한 대시보드와 분석을 만들어 내지만, 실제 결정은 미리 내려졌고 데이터는 그것을 정당화하려고 골라낸 것입니다. 정부는 높은 판돈과 정밀 검토를 더합니다. 약한 인과 주장으로 정당화된 정책 결정은 공공 자금을 잘못 배분하고 시민을 해칠 수 있으며, 책무에 대한 요구는 증거에 대한 정직한 추론을 단지 좋은 실천이 아니라 시민적 의무로 만듭니다.

여기서 어려운 문제는 기술적이 아니라 인지적이고 문화적입니다. 사람들은 상관을 인과와 혼동하고, 교란 변수(가정된 원인과 결과를 모두 이끄는 숨은 변수)를 무시하고, 처음 본 숫자에 닻을 내리고, 점추정을 확실성으로 읽습니다. 그리고 데이터 중심이 되려는 압박 속에서 조직은 감시로 표류할 수 있습니다. 개인을 너무 침해적으로 측정해 신뢰를 파괴하고 조작을 부르는 것입니다. 진정한 측정 문화를 만드는 일은 추론을 올바르게 하고, 불확실성을 충실히 전달하고, 데이터를 사람에 대한 통제의 도구로 바꾸지 않고 시스템과 성과를 측정하는 것을 뜻합니다.

핵심 원칙

데이터의 목적은 보고서의 생산이 아니라 더 나은 결정입니다.
데이터를 보기 전에 무엇이 마음을 바꿀지 정하십시오.
상관은 인과가 아닙니다. 행동하기 전에 교란 변수를 따져 보십시오.
불확실성을 정직하게 전달하십시오. 범위 없는 점추정은 오도합니다.
데이터에 기반하되 데이터의 노예가 되지 마십시오. 판단과 맥락은 여전히 중요합니다.
개인을 감시하고 벌하기 위해서가 아니라 시스템을 배우고 개선하기 위해 측정하십시오.
증거가 정당화할 때 믿음을 갱신하십시오. 마음을 바꾸는 것은 강점입니다.
심리적 안전은 정직한 분석과 이견의 전제 조건입니다.

권장 사항

데이터를 결정에 연결하고 데이터 연극을 피한다

처음부터 분석을 특정 결정에 묶으십시오. 무엇을 발견하느냐에 따라 우리는 무엇을 다르게 할 것인가? 데이터를 모으기 전에 결정, 선택지, 각각을 선호하게 할 증거를 진술하고, 이상적으로는 어떤 결과가 마음을 바꿀지 말하십시오. 이는 분석이 이미 내려진 결정을 장식하기만 하는 데이터 연극에 대비합니다. 어떤 현실적인 발견도 선택을 바꾸지 못한다면 분석에 돈을 쓰지 마십시오. 판단을 정직하게 내리고 그렇다고 말하십시오. 발표가 차트 순회가 아니라 결정과 권고로 시작하도록 고집하십시오.

인과에 대해 신중히 추론한다

대부분의 비즈니스와 정책 질문은 인과적이지만(이 행동이 이 성과를 낳을까), 대부분의 가용 데이터는 관찰적이며 교란 변수로 가득합니다. 팀에게 상관과 인과의 차이, 그리고 함정을 가르치십시오. 교란 변수, 선택 편향, 역인과, 허위 상관입니다. 가능한 곳에서는 인과적 주장에 무작위 실험을 선호하십시오. 실험이 불가능한 곳에서는 신중한 인과 추론 기법을 쓰고 “와 연관된”에서 “를 야기한다”로 미끄러지는 대신 가정을 명시적으로 진술하십시오. 단일 상관 위에 세운 설득력 있는 이야기에 특히 회의적이십시오.

이해관계자에게 불확실성을 전달한다

정밀한 점추정으로 제시된 숫자는 거짓 확신을 부릅니다. 범위, 신뢰 구간이나 신용 구간, 어떤 수치 뒤의 핵심 가정을 전달하십시오. 의사결정자가 알려진 것과 알려지지 않은 것을 파악하도록 쉬운 말과 정직한 시각 자료(오차 막대, 범위, 시나리오 띠)를 쓰십시오. 데이터가 보여 주는 것, 추론하는 것, 가정하는 것을 구별하십시오. 확신을 증거에 맞게 보정하십시오. 얇은 데이터로 만든 예측은 바로 그것으로 제시하십시오. 정직하게 전달된 불확실성은 현실과의 접촉을 견디기 때문에 거짓 정밀성보다 더 많은 신뢰를 쌓습니다.

감시 없이 측정 문화를 구축한다

팀이 일상적으로 성공 지표를 정의하고, 성과를 측정하고, 거기서 배우는 환경을 만드되, 개인을 모니터링하는 것이 아니라 시스템, 프로세스, 성과를 겨냥해 측정하십시오. 사람을 감시하고 순위 매기는 데 쓰이는 지표는 조작되고, 두려움을 낳고, 좋은 결정이 요구하는 정직함을 파괴합니다(굿하트의 법칙이 포착한 역학: 목표가 된 측정은 좋은 측정이기를 멈춘다). 집계된 성과 지향 지표를 선호하십시오. 팀이 자기 측정을 고르는 데 참여하게 하고, 학습 지표를 성과 평가와 분리하십시오. 사람들이 나쁜 소식과 이견을 일찍 드러내도록 심리적 안전을 지키십시오.

건전한 데이터 습관과 문해력을 기른다

사람들이 차트를 비판적으로 읽고, 지표의 정의를 의심하고, 오도하는 주장을 알아챌 수 있도록 데이터 문해력을 폭넓게 높이십시오. “그걸 어떻게 아는가?”와 “무엇이 우리 마음을 바꿀까?”를 묻는 것을 일상화하십시오. 증거에 비추어 견해를 갱신하는 사람과 유익하게 실패하는 실험을 돌리는 사람에게 보상하십시오. 확실성을 지어내는 대신 “데이터는 알려 주지 않는다”고 말하기 안전하게 만드십시오. 리더가 어조를 정합니다. 리더가 증거에 따라 결정을 바꾸고 불확실성을 인정하면 문화가 따라옵니다.

편향과 오용에 대비한다

예측 가능한 편향을 경계하십시오. 뒷받침하는 데이터를 고르는 확증 편향, 빠진 것을 무시하는 생존자 편향, 처음 숫자에 닻을 내리는 것, 사후 검토의 사후 확신 편향입니다. 악마의 대변인 리뷰, 무엇을 발견할지 예상하는 사전 등록, 중요한 분석에 대한 다양한 관점을 넣으십시오. 특히 결정이 사람들의 생계, 급여, 권리에 영향을 줄 때는 데이터 윤리(공정성, 투명성, 해악 회피)를 진지하게 다루십시오.

장단점

선택	장점	단점	가장 적합한 곳
데이터 주도 (데이터가 결정)	편향을 줄임. 일관됨	맥락을 무시. 조작됨. 취약	잘 이해된 영역
데이터 기반 (데이터에 판단을 더함)	증거와 맥락의 균형	더 느림. 판단 필요	복잡하거나 새로운 결정
인과를 위한 실험	강한 인과 증거	비싸고 느리며 항상 가능하지는 않음	판돈이 큰 되돌릴 수 있는 선택
관찰적 추론	가용한 데이터를 씀	교란 위험. 더 약한 주장	실험이 불가능할 때
성과/시스템 지표	개선을 이끎. 낮은 조작	개인 책무가 덜함	학습하는 문화
개인 감시	세밀한 가시성	조작, 두려움, 침식된 신뢰	정당화되는 경우 드묾

규정하는 긴장은 엄밀함 대 속도와 실현 가능성입니다. 무작위 실험은 가장 강한 인과 증거를 주지만 시간이 들고, 일회성 전략이나 정책 선택에는 불가능한 경우가 많아, 교란 변수에 대한 신중한 판단과 명시적 가정으로 충분해야 합니다. 두 번째 긴장은 측정 대 신뢰입니다. 개인을 더 세밀하게 측정할수록 더 많이 볼 수 있고 정직한 행동은 더 적게 얻습니다. 성숙한 문화는 데이터 기반 판단과 성과 지향의 집계된 측정 쪽으로 기웁니다. 겉보기 정밀성을 조금 덜 받아들이는 대신 견뎌 내는 결정과 진실을 말하는 인력을 얻습니다.

팀과 논의할 질문

데이터를 보기 전에 무엇이 마음을 바꿀지 진술하며, 그 질문이 결정 문서에 적혀 있습니까? 데이터 연극에 대한 이 장의 가장 강한 보호 장치는 데이터를 모으기 전에 결정, 선택지, 각각을 선호하게 할 증거, 이상적으로는 선택을 뒤집을 결과를 이름 붙이는 것입니다. 어떤 현실적인 발견도 결정을 바꾸지 못한다면 정직한 수는 분석을 건너뛰고 판단을 공개적으로 내리는 것입니다. 단일 전략 또는 정책 선택이 분석 프로그램 전체 비용보다 더 많이 낭비할 수 있는 기업과 기관에서 이 규율은 지렛대 효과가 큽니다. 최근 결정 하나를 가져와 어떤 발견이 그것을 바꿀 수 있었는지, 아니면 차트가 이미 도달한 결론을 장식하기만 했는지 물으십시오. “무엇이 우리 마음을 바꿀까?”가 결정 문서의 표준 프롬프트가 아니라면 그렇게 만들고, 발표가 차트 순회가 아니라 권고로 시작하도록 고집하십시오.
설득력 있는 상관이 나타나면, 행동하기 전에 교란 변수를 어떻게 따져 보며, 가능한 곳에서는 실험을 선호합니까? 이 장은 대부분의 비즈니스와 정책 질문은 인과적인데 대부분의 가용 데이터는 관찰적이며 교란 변수, 선택 편향, 역인과로 가득하다고 경고합니다. 이 장 자체의 예시들이 하나의 함정을 반복합니다. 참여도 높은 고객이 기능이나 프로그램에 스스로 선택해 들어가므로, 더 낮은 이탈이나 더 높은 취업과의 원시 상관이 통제된 비교 아래서 사라집니다. 그 상관에 따라 행동하는 것은 비싸고 잘못 겨냥한 캠페인이나 정책을 뜻합니다. 단일 상관에 의존한 최근 결정을 가져와 양쪽을 모두 이끌 수 있는 숨은 변수가 무엇인지 물으십시오. 실험이 가능한 곳에서는 그것을 선호하고, 그렇지 않은 곳에서는 신중한 인과 추론 방법을 쓰고 “와 연관된”에서 “를 야기한다”로 미끄러지는 대신 가정을 명시적으로 진술하십시오.
지표가 시스템과 성과를 개선하는 것을 겨냥합니까, 개인을 모니터링하는 것을 겨냥합니까? 학습 지표를 성과 평가와 분리했습니까? 이 장은 날카로운 선을 긋습니다. 사람을 겨냥한 측정은 조작되고, 두려움을 낳고, 좋은 결정이 요구하는 정직함을 파괴하며, 이는 측정이 목표가 되면 굿하트의 법칙이 예측하는 역학입니다. 집계된 성과 지향 지표, 팀이 자기 측정을 고르는 데 참여, 사람들이 나쁜 소식을 일찍 드러내도록 심리적 안전을 지키는 것을 선호합니다. 정부와 기업 환경에서 일선 직원을 감시하면 애초에 정확한 데이터를 가능하게 하는 신뢰가 침식됩니다. 구체적인 질문을 가져오십시오. 어떤 지표를 개인을 순위 매기거나 벌하는 데 쓸 수 있으며, 사람들이 압박 아래서 그것을 조작하겠습니까? 학습 지표와 성과 평가가 얽혀 있다면 분리해, 측정이 방어적 행동이 아니라 개선을 이끌게 하십시오.
숫자가 의사결정자에게 닿을 때, 가정이 붙은 범위로 도착합니까, 거짓 확신을 부르는 점추정으로 도착합니까? 이 장은 정직하게 전달된 불확실성이 현실과의 접촉을 견디기 때문에 거짓 정밀성보다 더 많은 신뢰를 쌓는다고 주장하지만, 리더가 깔끔한 답을 원할 때 단일한 확신 있는 수치로 끌리는 힘은 강합니다. 큰 팀에서 경쟁하는 압력은 실제입니다. 범위와 오차 막대는 결단력을 보상하는 임원에게는 얼버무리는 것으로 읽힐 수 있어서, 분석가는 들리기 위해 단서를 걷어내는 법을 배웁니다. 최근 보고서를 가져와 그것이 데이터가 보여 주는 것, 추론한 것, 가정한 것을 구별했는지, 얇은 데이터로 만든 예측이 바로 그것으로 표시되었는지 확인하십시오. 수치가 이사회 자료, 예산 제출, 공개 증언에 들어갈 수 있는 기업과 정부 환경에서, 확실성으로 제시된 점추정은 부채이므로, 중대한 숫자가 범위, 핵심 가정, 확신에 대한 쉬운 말의 진술을 지니도록 사내 표준에 합의하십시오.
여기서 “데이터는 알려 주지 않는다”고 말하기가 진정으로 안전하며, 지표의 정의를 누가 이의 제기할 수 있습니까? 이 장은 데이터 문해력과 심리적 안전을 전제 조건으로 다룹니다. 사람들이 차트를 비판적으로 읽고, “그걸 어떻게 아는가?”를 묻고, 불이익 없이 불확실성을 인정할 수 있어야 하며, 그렇지 않으면 문화가 기본으로 거짓 확실성을 지어냅니다. 큰 조직의 긴장은 폭넓은 문해력이 실제 교육 시간과 예산을 들이고, 높은 사람이 좋아하는 지표에 이의를 제기하는 것이 경력에 해로운 것으로 느껴져 검토되지 않은 숫자가 도전받지 않고 위로 올라간다는 것입니다. 방 안에서 누가 실제로 지표의 정의와 출처를 따져 물을 수 있는지에 대한 증거를 가져오고, 마지막으로 누군가가 견해를 갱신하거나 유익한 실패를 보고해 벌이 아니라 상을 받은 때를 떠올려 보십시오. 잘못 정의된 측정이 자금이나 공개 보고를 이끌 수 있는 기업과 정부 기관에서는 누가 지표에 의문을 제기할 자격이 있는지 명시적으로 이름 붙이고, 그들이 그것을 쓸 때 보호하십시오.
중요한 분석을 예측 가능한 편향으로부터 어떻게 지키며, 결정 뒤가 아니라 앞에 이견을 짜 넣습니까? 이 장은 증거를 조용히 오염시키는 함정을 열거합니다. 뒷받침하는 데이터를 고르는 확증 편향, 빠진 것을 무시하는 생존자 편향, 처음 숫자에 닻을 내리는 것, 사후 검토의 사후 확신 편향입니다. 경쟁하는 고려는 속도입니다. 악마의 대변인 리뷰, 무엇을 발견할지 예상하는 사전 등록, 다양한 관점은 모두 결정을 늦추고 마감 압박 아래서 가장 먼저 잘리는 것들이기 때문입니다. 최근 판돈이 큰 분석을 가져와 누군가 반대 사례를 주장하도록 배정되었다면 무엇이 드러났을지, 팀이 결과를 보기 전에 기대를 적어 두었는지 물으십시오. 기업, 특히 결정이 사람들의 생계, 급여, 권리에 영향을 주는 정부 맥락에서는 데이터 윤리와 구조화된 이견을 바쁜 분기가 조용히 버릴 수 있는 추가 사항이 아니라 중대한 분석의 상시 요건으로 다루십시오.

분야별 관점

스타트업. 분석가도 없고 내기마다 몇 주의 자금뿐이니, 의사결정 과학은 기능이 아니라 하나의 습관입니다. 큰 약속 전에 어떤 결과가 마음을 바꿀지, 저렴한 실험이 회의보다 더 빨리 답할 수 있는지 물으십시오. 아주 작은 팀은 잘못 향한 로드맵에서 회복할 수 없으므로, 번지르르한 단일 상관에 분기를 거는 것에 단단히 대비하십시오. 가볍게 유지하십시오. 결코 돌리지 않을 공식 리뷰가 아니라 멈추게 할 신호를 이름 붙이는 결정 문서의 한 줄입니다.

소기업. 데이터 전문가가 없고 이미 쓰는 도구에 든 분석을 살 테니, 위험은 지표가 어떻게 정의되는지, 비교가 공정한지 의심하지 않고 벤더 대시보드를 신뢰하는 것입니다. 부족한 주의를 도구가 아니라 추론에 쓰십시오. 사업을 실제로 움직이는 한두 결정에서 상관을 인과와 구별하고, 되찾을 수 없는 돈을 걸기 전에 정직한 범위를 스스로에게 진술하십시오. 도구가 결정을 자동화하겠다고 제안할 때, 틀린 판단이 고객을 잃게 할 수 있는 곳에서는 사람을 루프에 두십시오.

대기업. 많은 팀에 걸친 문제는 일관성과 거버넌스입니다. 분석이 결정과 중단 기준을 앞서 이름 붙이고, 인과 주장이 가정을 진술하고, 중대한 숫자가 범위를 달고 이사회 자료와 감사에 들어간다는 공유된 기대입니다. 측정이 감시와 조작으로 변질되지 않도록 학습 지표를 성과 평가와 조직 전반에서 분리하십시오. 자신 있는 발표자가 규모에서 증거를 대신할 수 없도록 폭넓은 데이터 문해력과 악마의 대변인 및 사전 등록 같은 리뷰 실천에 투자하십시오.

정부. 조달, 투명성, 공적 책임이 모든 인과 주장의 판돈을 높입니다. 허위 상관으로 정당화된 정책은 공공 자금을 잘못 배분하고 시민을 해칠 수 있기 때문입니다. 프로그램 평가에는 엄밀한 비교 설계를 선호하고, 감독 기관에 효과를 가정이 명시된 범위로 전달하고, 감사가 따라갈 수 있도록 추론을 문서화하십시오. 측정을 담당 직원을 감시하는 것이 아니라 프로그램 성과를 겨냥하고, 증거가 결정을 어떻게 형성했는지 대중에게 분명히 설명하십시오.

사례

스타트업. 시리즈 A 이전의 한 스타트업은 커뮤니티 포럼에 가입한 사용자의 이탈이 훨씬 적음을 알아챘고, 창업자들은 로드맵 전체를 포럼 기능에 맞추려 했습니다. 약속하기 전에 한 명이 무엇이 마음을 바꿀지 물었고, 빠른 확인으로 이미 헌신한 고객이 단지 포럼에 가입하는 수고를 한 사람들이었음이 드러났습니다. 그들은 상관에 분기를 거는 대신 작은 실험을 돌렸고, “무엇이 우리 마음을 바꿀까?”를 결정 문서의 표준 질문으로 삼았습니다.

기업. 한 금융 서비스 회사는 특정 기능을 쓰는 고객의 이탈이 훨씬 낮음을 알아챘고, 모두를 그것으로 밀어 넣는 비싼 캠페인을 거의 시작할 뻔했습니다. 의사결정 과학 리뷰가 명백한 교란 변수를 짚었습니다. 이미 참여도 높은 고객이 기능에 스스로 선택해 들어간 것입니다. 통제 실험은 기능 자체가 이탈에 미치는 인과 효과가 거의 없음을 보였습니다. 회사는 크고 잘못 겨냥한 투자를 피했고, 리더십은 “무엇이 우리 마음을 바꿀까?”를 주요 지출 전의 표준 질문으로 채택했습니다.

정부. 한 취업 프로그램을 평가하던 공공 기관은 참가자가 높은 비율로 일자리를 얻었다는 원시 통계에서 성공을 주장하는 것에 저항했습니다. 동기 있는 사람이 그런 프로그램에 스스로 선택해 들어간다는 것을 인식했기 때문입니다. 엄밀한 비교 설계를 사용하고 추정된 효과를 가정이 명시된 범위로 감독 기관에 전달했습니다. 측정은 담당 직원을 감시하는 대신 프로그램 성과에 집중해, 일선의 신뢰를 지키면서도 책무와 개선을 이끌었습니다.

비즈니스 사례: 동기, ROI, TCO

의사결정 과학의 ROI는 확신에 찬 잘못된 결정의 회피 비용과, 조직이 수천 번 내리는 결정의 개선된 품질입니다. 허위 상관으로 정당화된 단일 주요 전략 또는 정책 선택은 좋은 의사결정 실천을 만드는 전체 비용보다 훨씬 많이 낭비할 수 있습니다. 더 나은 보정(무엇을 알고 모르는지 아는 것)은 내기의 크기를 적절히 정하고 무모한 약속과 마비를 모두 피하게 해 줍니다. 총체적으로 데이터 기반 문화는 복리로 쌓입니다. 모든 팀이 조금 더 낫고 더 잘 추론한 결정을 내리는 것은 엄청난 지렛대입니다.

도입 비용은 대부분 문화적이고 교육적입니다. 데이터 문해력 교육, 신중한 분석과 리뷰의 시간, 리더가 결정을 바꾸고 불확실성을 인정하려는 의향입니다. 달러로는 앞선 장들의 플랫폼보다 싸지만 설치하기는 더 어렵습니다. 힘 있는 사람들에게 증거의 지배를 받으라고 요구하기 때문입니다. 이를 도입하지 않는 비용에 견주어 저울질하십시오. 분석 노력을 낭비하는 데이터 연극, 가장 자신 있는 목소리가 이끄는 결정, 현실과의 접촉에서 무너지는 인과 주장, 감시가 자리 잡은 곳에서는 지표를 조작하고 나쁜 소식을 숨기는 인력입니다. 리더십에게 논거는 단순합니다. 앞선 모든 데이터 투자는 통찰에서 결정까지의 마지막 구간이 건전할 때만 보답하며, 의사결정 과학이 그 마지막 구간입니다.

안티패턴과 함정

데이터 연극: 이미 내려진 결정을 정당화하려고 만든 분석.
교란 변수를 따져 보지 않고 “와 상관된”에서 “를 야기한다”로 미끄러지는 것.
점추정을 확실성으로 제시해 불확실성의 범위를 숨기는 것.
확증 편향: 선호하는 결론을 뒷받침하는 데이터만 찾는 것.
가장 높은 보수를 받는 사람의 의견이 증거를 압도하는 HiPPO 결정.
지표를 개인 감시로 바꿔 조작과 두려움을 부르는 것.
작동 중인 굿하트의 법칙: 중요한 것을 측정하기를 멈춘 목표 지표.
유익한 실패에 사람을 벌해 정직과 실험을 죽이는 것.

성숙도 모델

시작. 결정이 위계와 직관으로 돌아가고, 가장 크거나 가장 높은 목소리가 이깁니다. 상관이 자유롭게 인과로 다뤄지고, 불확실성은 무시되며, 쓰이는 몇 안 되는 지표는 개인을 감시하고 조작됩니다.
발전. 일부 팀이 데이터를 참조하고 인과의 함정에 대한 인식을 보이지만, 분석은 흔히 선택적이고 이미 내려진 결정을 정당화하려고 만들어집니다. 불확실성은 좀처럼 전달되지 않고, 측정 실천은 팀마다 일관되지 않습니다.
표준화. 조직이 공유된 실천을 문서화하고 시행합니다. 분석은 미리 정의된 기준이 있는 지명된 결정에 묶이고, 팀은 상관과 인과를 구별하고 인과 주장에는 실험을 선호하며, 숫자는 범위와 명시된 가정을 달고, 측정은 개인이 아니라 성과를 겨냥하며, 심리적 안전이 지켜집니다.
관리. 결정의 질이 기준선에 대해 측정되고 통제됩니다. 조직은 데이터가 도착하기 전에 분석이 중단 신호를 이름 붙인 빈도, 범위가 전달된 채 출하된 중대한 수치의 비율, 인과 주장 중 실험에 근거한 것 대 단순 상관에 근거한 것의 수, 결정이 증거로 번복되었는지를 추적합니다. 사전 등록과 악마의 대변인 리뷰 같은 편향 방지 실천이 감사되고, 조작되기 시작한 지표는 잡혀 폐기됩니다.
오케스트레이션. 건전한 추론이 조직 전체에서 지속적으로 개선되고 통합됩니다. “무엇이 우리 마음을 바꿀까?”는 모든 주요 결정 전의 일상이고, 인과적 엄밀함과 정직한 불확실성은 문화적 규범이며, 리더는 증거에 따라 눈에 띄게 갱신하고 무엇이 알려지지 않았는지 인정합니다. 측정은 감시 없이 학습을 이끌고, 의사결정 실천은 조직과 그 위험이 이동함에 따라 적응하며, 모든 수준이 그 결과로 더 잘 결정합니다.

논의를 위한 아이디어

조직의 어디서 데이터가 이미 내려진 결정을 장식하는 데 쓰입니까?
최근 어떤 결정이 인과가 아닐 수 있는 상관에 의존했습니까?
보고서가 불확실성을 얼마나 정직하게 전달하며, 누가 범위에 저항합니까?
지표가 시스템 개선을 겨냥합니까, 개인 모니터링을 겨냥합니까?
리더가 마지막으로 데이터 때문에 눈에 띄게 결정을 바꾼 것은 언제입니까?
측정의 추구가 감시로 기울지 않게 하려면 어떻게 합니까?

핵심 요점

데이터의 요점은 더 나은 결정입니다. 데이터 연극에 대비하십시오.
데이터를 보기 전에 무엇이 마음을 바꿀지 진술하십시오.
상관을 인과로 착각하지 마십시오. 교란 변수를 따져 보고 실험을 선호하십시오.
불확실성을 정직하게 전달하십시오. 거짓 정밀성은 실패할 때 신뢰를 파괴합니다.
데이터에 기반하되 데이터의 노예가 되지 마십시오. 판단과 맥락은 여전히 중요합니다.
개인을 감시하는 것이 아니라 배우기 위해 시스템과 성과를 측정하십시오.
사람들이 믿음을 갱신하고 나쁜 소식을 드러내도록 심리적 안전을 지키십시오.

참고 문헌과 더 읽을거리

Daniel Kahneman, “Thinking, Fast and Slow.”
Judea Pearl and Dana Mackenzie, “The Book of Why.”
Douglas W. Hubbard, “How to Measure Anything.”
Nate Silver, “The Signal and the Noise.”
Cathy O’Neil, “Weapons of Maths Destruction.”
Darrell Huff, “How to Lie with Statistics.”
Philip Tetlock and Dan Gardner, “Superforecasting.”
Charles Wheelan, “Naked Statistics.”