7.4 제품 분석과 실험

개요와 동기

제품 분석은 사람들의 행동을 포착하고 분석해 그들이 제품을 실제로 어떻게 쓰는지 이해하는 실천입니다. 어떤 기능을 만지고, 어디서 성공하고, 어디서 이탈하고, 무엇이 그들을 다시 오게 하는지입니다. 실험은 통제된 시행을 돌려 인과를 확립하는 규율로, 가장 흔하게는 A/B 테스트(두 변형의 무작위 일대일 비교)를 써서 의견이나 직관이 아니라 실제 영향으로 제품 변경을 판단하게 합니다. 둘이 함께 제품 결정을 “우리는 생각한다”에서 “우리는 안다”로, 적어도 “우리는 측정했다”로 옮깁니다.

큰 팀에게 이 실천은 결정적입니다. 수십 개 스쿼드가 수백만이 쓰는 제품에 변경을 출하할 때, 이끌어 주는 것 없는 직관은 순효과를 아무도 측정할 수 없는 변경의 흐름을 낳고, 데이터가 해결해야 할 논쟁을 가장 큰 목소리가 이깁니다. 기업은 실험을 써서 규모에서 매출과 전환을 지키고, 전면 롤아웃 전에 해로운 변경을 잡습니다. 정부 디지털 서비스는 필수 서비스(급여 신청, 세금 신고, 면허 갱신)의 이용과 완료를 개선하려고 점점 같은 방법을 쓰며, 완료율의 작은 개선이 시민 성과의 큰 이득과 콜센터 부하 감소로 이어집니다.

제품 분석의 가치는 전적으로 계측의 품질과 분석의 엄밀함에 달려 있습니다. 부실한 이벤트 추적은 아무도 신뢰하지 않는 데이터를 낳습니다. 잘못 운영된 실험은 확신에 차 있지만 거짓인 결론을 낳습니다. 그리고 이 데이터는 행동 데이터이고 흔히 개인 데이터이므로, 프라이버시를 존중하고 동의를 의식하는 방식으로 수집해야 하며, 이는 많은 관할에서 법적 요건이고 어디서나 윤리적 의무입니다. 이 장은 계측, 핵심 행동 분석, 엄격한 실험, 중요한 지표 선택, 이 모두를 존중하며 하는 방법을 다룹니다.

핵심 원칙

문서화된 추적 계획과 일관된 분류 체계로 의도적으로 계측하십시오.
인과적 질문에는 의견보다 통제 실험을 선호하십시오.
통계적 엄밀함은 협상 불가입니다. 검정력이 부족하거나 엿본 테스트는 오도합니다.
허영 숫자가 아니라 실제 가치에 묶인 북극성 지표에 닻을 두십시오.
획득만이 아니라 유지와 참여를 측정하십시오.
분명한 동의와 함께 필요한 최소한의 행동 데이터를 수집하십시오.
계측을 소유자와 품질 검사가 있는 제품으로 다루십시오.
부정적이거나 평평한 실험 결과는 실패가 아니라 가치 있는 발견입니다.

권장 사항

추적 계획과 분류 체계로 계측한다

이벤트를 추가하기 전에 추적 계획을 설계하십시오. 포착할 이벤트, 그 속성, 명명 규칙, 각각이 답하는 질문입니다. 데이터가 팀과 시간에 걸쳐 분석 가능하게 유지되도록 일관된 분류 체계(이벤트와 속성의 안정적인 명명 체계)를 시행하십시오. 추적 계획을 거버넌스가 적용되는 스키마로 다루십시오. 버전을 관리하고, 변경을 리뷰하고, 이벤트를 그에 대해 검증해, 잘못된 형식이거나 예상치 못한 이벤트를 몇 달 뒤 공백으로 발견하는 대신 수집 시점에 잡으십시오. 이 규율이 없으면 제품 데이터는 일관성 없고, 중복되고, 문서화되지 않은 이벤트의 쓸 수 없는 난장판이 됩니다.

퍼널, 코호트, 유지, 참여를 분석한다

퍼널을 써서 핵심 흐름에서 사용자가 어디서 이탈하는지 보고 개선 대상을 정하십시오. 코호트 분석을 써서 가입 시점이나 한 행동으로 정의되는 집단을 비교하면, 변경이 시간에 따라 행동을 실제로 개선하는지 드러납니다. 유지(사용자가 돌아오는가)를 측정하십시오. 유지 없는 획득은 새는 양동이이기 때문입니다. 돋보이게 하는 집계 대신 활성 사용자에 대한 의미 있는 정의로 참여를 정직하게 특성화하십시오. 깨끗한 계측에 근거한 이 분석들이 제품에서 실제로 무슨 일이 일어나는지 알려 줍니다.

엄격한 실험을 수행한다

인과적 질문에는 통제 실험을 돌리십시오. 사용자를 무작위로 변형에 배정하고 결과를 비교합니다. 엄밀함에는 여러 규율이 필요합니다. 시작 전에 충분한 통계적 검정력에 필요한 표본 크기와 기간을 계산하십시오. 결과가 유의해 보인다고 일찍 멈추지 마십시오. 엿보기는 거짓 양성을 부풀립니다. 많은 지표 중에서 유의한 것을 낚지 않도록 주요 지표와 가설을 미리 정의하십시오. 무작위 배정이 건전한지, 가드레일 지표(성능, 매출, 불만)가 해를 입지 않는지 확인하십시오. 배정, 분석, 가드레일을 표준화하는 실험 플랫폼을 써서, 모든 팀이 통계를 서투르게 다시 발명하는 대신 건전한 테스트를 돌리게 하십시오.

북극성 지표를 고르고 허영 지표를 피한다

제품이 사용자에게 주는 핵심 가치를 포착하고, 가치와 무관하게 오르는 허영 숫자가 아니라 커질 때 실제 성공을 알리는 단일 북극성 지표를 고르십시오. 총 등록 사용자, 원시 페이지 뷰, 누적 다운로드는 전형적인 허영 지표입니다. 오르기만 하고 건강을 좀처럼 반영하지 않습니다. 전달되고 유지된 가치에 묶인 지표를 선호하고, 북극성 주위에 팀이 실제로 영향을 줄 수 있는 소수의 입력 지표를 두십시오. 대리를 너무 세게 최적화해 실제 목표를 해치는 것을 경계하십시오.

프라이버시와 동의를 존중한다

행동 데이터는 개인 데이터입니다. 정의된 목적에 필요한 것만 수집하고, 법이 요구하는 대로 동의를 얻고 존중하며, 사용자에게 투명성과 통제를 주십시오. 충분한 곳에서는 집계 및 가명 처리된 분석을 선호하고, 보존을 최소화하고, 다른 민감한 데이터셋과 같은 거버넌스, 분류, 접근 통제를 적용하십시오. 프라이버시를 존중하는 일은 GDPR(EU의 일반 데이터 보호 규정) 같은 체제를 충족하는 것 이상입니다. 제품이 의존하는 사용자 신뢰를 유지합니다. 추적을 거부한 사용자도 동작하는 제품을 얻도록 분석을 설계하십시오.

계측과 실험을 제품으로 다룬다

계측에 그 품질, 커버리지, 문서화에 책임지는 소유자를 두고, 파이프라인을 모니터링하듯 깨졌거나 빠진 이벤트를 모니터링하십시오. 조직이 테스트를 반복하고 결과를 잊는 대신 누적적으로 배우도록, 공유 플랫폼, 실험 설계 리뷰, 과거 결과의 저장소가 있는 실험 문화를 만드십시오.

장단점

선택	장점	단점	가장 적합한 곳
무거운 계측	풍부한 행동 통찰	비용, 프라이버시 노출, 잡음	데이터 중심 제품
최소한의 계측	싸고 프라이버시 위험이 낮음	사각지대. 약한 분석	초기 또는 저위험 제품
A/B 실험	인과적 확실성. 지표를 보호	트래픽, 시간, 엄밀함 필요	트래픽이 많은 제품
출하하고 관찰	빠르고 트래픽 임계값 없음	교란됨. 인과 없음	트래픽이 적거나 되돌릴 수 있는 변경
북극성 집중	정렬. 분명한 우선순위	지나친 단순화. 조작 위험	대부분의 제품 팀
많은 KPI	뉘앙스	흩어진 초점. 충돌하는 목표	성숙한 분석 조직

중심 트레이드오프는 트래픽이 매개하는 속도 대 확실성입니다. 실험은 인과적 확실성을 주지만, 통계적 검정력에 이를 만큼 충분한 사용자와 충분한 인내가 필요합니다. 트래픽이 적은 기능이나 분명히 되돌릴 수 있는 변경에는 규율 있는 출하하고 관찰하기가 실용적일 수 있습니다. 계측은 통찰을 비용 및 프라이버시 노출과 맞바꾸므로, 쌓아 두지 말고 목적을 갖고 수집하십시오. 그리고 북극성 지표는 뉘앙스를 정렬과 맞바꿉니다. 초점에는 강력하지만 조작되면 위험하므로 가드레일과 짝지우십시오.

팀과 논의할 질문

추적 계획은 누가 소유하며, 잘못된 형식의 데이터가 몇 달 뒤 공백으로 드러나는 대신 빨리 실패하도록 수집 시점에 이벤트를 그에 대해 검증합니까? 이 장은 추적 계획을 거버넌스가 적용되는 스키마로 다룹니다. 버전 관리되고, 리뷰되고, 검증되며, 일관된 분류 체계로 데이터가 팀과 시간에 걸쳐 분석 가능하게 유지됩니다. 그 규율이 없으면 제품 데이터는 일관성 없고, 중복되고, 문서화되지 않은 이벤트의 쓸 수 없는 난장판으로 퇴화하고, 질문에 답하려 할 때에야 구멍을 발견합니다. 수십 개 스쿼드와 수백만 사용자가 닿는 제품에서 소유자 없는 추적 계획은 모든 팀이 이벤트를 다르게 명명하고 어떤 팀 간 분석도 성립하지 않는다는 뜻입니다. 증거를 가져오십시오. 핵심 퍼널 하나를 골라 이벤트가 문서화되고 일관되게 명명되었는지 확인하십시오. 소유권이 불분명하면 배정하고, 파이프라인을 모니터링하듯 깨졌거나 빠진 이벤트를 모니터링하십시오.
모든 팀이 검정력 계산과 가드레일이 있는 공유 플랫폼을 통해 실험을 돌립니까, 아니면 각자 통계를 서투르게 다시 발명합니까? 이 장은 엄밀함이 협상 불가라고 분명히 말합니다. 시작 전에 충분한 통계적 검정력을 위한 표본 크기와 기간을 계산하고, 주요 지표와 가설을 미리 정의하고, 엿보고 일찍 멈추지 말고, 성능, 매출, 불만 같은 가드레일 지표를 지켜보라는 것입니다. 공유 실험 플랫폼은 배정, 분석, 가드레일을 표준화해, 모든 스쿼드가 무언가 유의해 보일 때까지 엿보는 대신 모든 팀이 건전한 테스트를 돌리게 합니다. 트래픽이 많은 기업 제품에서는 나쁜 출시 한 번을 막는 것(유지를 조용히 해친 재설계)만으로 프로그램 전체 비용을 낼 수 있습니다. 신호를 가져오십시오. 팀들이 현재 검정력을 계산합니까, 결과가 좋아 보이면 멈춥니까? 후자라면 공통 플랫폼과 설계 리뷰가 해법입니다.
추적을 거부한 사용자에게 제품은 여전히 어떻게 동작하며, 정의된 목적에 필요한 최소한의 행동 데이터만 수집하고 있습니까? 이 장은 행동 데이터를 개인 데이터로 다룹니다. 정의된 목적이 필요로 하는 것만 수집하고, 법이 요구하는 대로 동의를 얻고 존중하고, 보존을 최소화하고, 다른 민감한 데이터셋과 같은 분류와 접근 통제를 적용하라는 것입니다. 이를 존중하면 제품이 의존하는 사용자 신뢰가 유지되며, GDPR과 비슷한 체제에서는 호의가 아니라 법적 요건입니다. 경쟁하는 압력은 더 풍부한 통찰을 위해 무겁게 계측하려는 충동이며, 이는 비용, 잡음, 프라이버시 노출을 높입니다. 증거를 가져오십시오. 수집하는 것을 열거하고 각 이벤트를 그것이 답하는 질문에 묶은 뒤, 추적을 거부해도 동작하는 제품이 나오는지 확인하십시오. 일부 수집에 목적이 없거나 경험을 깨뜨린다면 줄이고, 옵트아웃한 사용자에게 분석이 우아하게 저하되도록 설계하십시오.
제품이 전달하는 가치를 포착하는 단일 북극성 지표는 무엇이며, 실제 목표가 해를 입을 때까지 팀이 대리를 조작하는 것을 어떻게 막습니까? 북극성 지표는 많은 팀을 성공의 하나의 정의로 정렬하지만, 이 장은 너무 세게 최적화한 대리가 그것이 대표하려던 목표를 해칠 수 있고, 총 등록 사용자나 누적 다운로드 같은 허영 숫자는 건강을 반영하지 않은 채 오르기만 한다고 경고합니다. 수십 개 스쿼드가 각자 자기 목표를 쫓는 큰 조직에서 불분명하거나 조작 가능한 북극성은 합쳐도 실제 개선이 되지 않는 지역의 승리를, 더 나쁘게는 아무도 알아채지 못하는 조용한 해를 낳습니다. 현재의 북극성 후보, 팀이 실제로 영향을 줄 수 있는 소수의 입력 지표, 조작을 잡을 가드레일을 가져오고, 보고된 각 지표를 사용자가 더 나빠지는 동안 그것이 오를 수 있는지 물어 스트레스 테스트하십시오. 헤드라인 지표가 예산과 공개 보고를 이끌 수 있는 기업과 정부 환경에서는 전환되지 않는 가입이나 클릭을 쫓아 부풀리지 못하도록 북극성을 유지된 가치나 완료된 성과의 정의에 묶으십시오.
트래픽이 적은 기능에서, 규율 있는 출하하고 관찰하기와 완전한 통제 실험 사이의 정직한 선은 어디이며, 누가 결정합니까? 실험은 인과적 확실성을 주지만 통계적 검정력에 이를 만큼 충분한 사용자와 충분한 인내가 필요하며, 트래픽이 얇은 흐름에 검정력이 부족한 테스트를 강요하면 찾으려는 효과를 탐지할 수 없는 결과를 얻으려고 몇 주를 태웁니다. 경쟁하는 위험은 출하하고 관찰하기가 교란되어 원인에 대해 아무것도 증명하지 못하므로, 그것을 실험과 동등하게 다루면 팀이 사실은 계절성이나 동시에 일어난 변경이었던 승리를 주장하게 한다는 것입니다. 문제의 흐름의 트래픽과 전환 물량, 신경 쓰는 최소 탐지 가능 효과, 변경의 되돌릴 수 있음을 가져오고 규칙에 합의하십시오. 트래픽 임계값 위에서는 실험, 그 아래에서는 분명한 가드레일과 함께 출하하고 관찰하기입니다. 매출을 지키는 기업 제품과 회귀가 시민을 해치는 정부 서비스에서는 누가 실험을 면제할 권한이 있는지 이름을 정하고, 나쁜 출하-관찰을 빨리 되돌릴 수 있도록 되돌릴 수 있는 변경이 진정으로 되돌릴 수 있게 유지되도록 요구하십시오.
부정적이고 평평한 실험 결과를 공유 저장소에 기록합니까, 아니면 조직이 같은 막다른 길을 계속 다시 발견합니까? 이 장은 평평하거나 부정적인 결과가 실패가 아니라 가치 있는 증거라고 분명히 하지만, 검색 가능한 결과 저장소가 없으면 교훈이 증발하고 다른 팀이 1년 뒤 같은 지는 테스트를 다시 돌립니다. 큰 조직에서 이는 복리로 커집니다. 누적적 학습이 실험 문화의 수익 전부이고, 실험 설계와 결과가 다음 팀이 찾을 곳에 적혀 있어야만 쌓이기 때문입니다. 지난 분기에 돌린 실험의 수, 몇 개의 결과가 문서화되고 발견 가능한지, 새 테스트를 설계하기 전에 실제로 저장소를 확인하는 사람이 있는지를 가져오십시오. 기업과 정부 환경에서 지속되는 기록은 감사와 책무에도 봉사하여, 결정이 의견이 아니라 증거에 근거했음을 보이고 공개 대면 변경이 의문시될 때 검토자에게 방어 가능한 추적을 줍니다.

분야별 관점

스타트업. 다른 무엇을 추가하기 전에 활성화와 첫 세션 이벤트에 대한 한 페이지짜리 추적 계획을 써서, 팀이 커지는 동안 가장 이른 데이터가 깨끗하게 유지되게 하십시오. 진짜 A/B 테스트는 가장 물량이 많은 흐름에 남겨 두고 다른 곳에서는 신중한 출하하고 관찰하기를 쓰고, 직접 만드는 대신 호스팅 분석 및 실험 도구를 사고, 활성화 같은 단일 북극성 지표를 지키십시오. 읽지 않는 데이터에 저장 비용이나 프라이버시 위험을 치르지 않도록, 살아 있는 질문에 답하는 이벤트만 수집하십시오.

소기업. 전담 분석가도 빠듯한 예산도 없으니, 이미 운영하는 도구에 내장된 분석에 기대고 실험을 상시 프로그램이 아니라 가끔의 가치 높은 연습으로 다루십시오. 선택은 보통 만들기보다 사기입니다. 내장된 퍼널과 코호트 보기가 유지할 수 없는 맞춤 파이프라인을 이깁니다. 돌리는 몇 안 되는 테스트를 매출을 이끄는 흐름 하나에 집중하고, 추적을 거부한 고객도 동작하는 제품을 얻도록 동의를 단순하고 정직하게 처리하십시오.

대기업. 많은 팀에 걸친 규모에서 문제는 거버넌스입니다. 수집 시점에 검증되는 버전 관리되는 추적 계획, 배정, 검정력 계산, 가드레일을 표준화하는 공유 실험 플랫폼, 스쿼드가 테스트를 반복하는 대신 누적적으로 배우도록 하는 결과 저장소입니다. 계측에 파이프라인처럼 모니터링되는 지명된 소유자를 주고, 영향을 줄 수 있는 입력에 둘러싸인 북극성 지표 하나에 합의하고, 행동 데이터에도 다른 민감한 데이터셋과 같은 데이터 분류와 접근 통제를 적용하되 중대한 출시 결정에는 감사 추적을 두십시오.

정부. 조달 규칙, 투명성, 공적 책임이 모든 선택을 형성합니다. 정의된 목적에 필요한 최소한의 행동 데이터를 수집하고, 동의를 얻고 존중하고, 무엇을 왜 추적하는지 쉬운 말로 공표하되 거부하는 사람에게도 동작하는 서비스를 주십시오. 필수 서비스의 완료를 높이려고 양식 문구와 레이아웃에 통제 실험을 돌리고, 감사를 위해 각 테스트의 문서화되고 방어 가능한 기록을 유지하고, 어떤 분석 벤더든 데이터 처리를 공개하고 이식성을 보장하도록 요구해 종속을 피하십시오.

사례

스타트업. 한 작은 소비자 앱은 새 분석을 추가하기 전에 가입과 첫 세션 이벤트에 대한 짧고 문서화된 추적 계획을 써서, 팀이 커지는 동안 데이터가 깨끗하게 유지되었습니다. 퍼널이 대부분의 신규 사용자가 계정 인증 단계에서 이탈함을 보였고, 더 명확한 문구에 대한 단순한 A/B 테스트가 첫 주 유지를 끌어올렸습니다. 트래픽이 적당했으므로 팀은 가장 물량이 많은 흐름에서만 실험을 돌리고 작은 변경에는 신중한 출하하고 관찰하기를 썼으며, 활성화를 북극성 지표로 유지했습니다.

기업. 한 구독형 스트리밍 서비스는 거버넌스가 적용되는 추적 계획을 계측하고, 모든 의미 있는 변경을 미리 정의된 지표, 검정력 계산, 재생 성능과 이탈에 대한 가드레일이 있는 실험 플랫폼을 통해 돌립니다. 재설계된 온보딩 흐름은 리뷰에서는 더 나아 보였지만 통제 테스트가 그것이 첫 주 유지를 낮춘다는 것을 보였고, 팀은 널리 롤아웃하기 전에 되돌렸습니다. 플랫폼 비용보다 훨씬 가치 있는 건졌습니다.

정부. 한 디지털 서비스 기관이 급여 신청 흐름을 프라이버시를 존중하고 동의를 의식하는 추적 계획으로 계측하고 양식 문구와 레이아웃에 통제 실험을 돌립니다. 퍼널 분석이 신청자의 3분의 1이 포기하는 특정 단계를 드러냈습니다. 더 명확한 안내에 대한 실험이 완료를 크게 늘려, 필요한 최소한의 행동 데이터만 수집하면서 불완전한 신청과 콜센터 물량을 모두 줄였습니다.

비즈니스 사례: 동기, ROI, TCO

제품 분석과 실험의 ROI는 성과에 직접 나타납니다. 더 높은 전환, 유지, 완료, 그리고 결정적으로 해로운 변경을 출하하는 비용의 회피입니다. 실험은 각 테스트가 막은 상승이나 손실을 보고하므로 자기 가치를 정량화하는 몇 안 되는 실천 중 하나입니다. 좋은 계측은 짐작을 증거로 바꿔 모든 제품 결정의 수익을 곱하고, 북극성 지표는 많은 팀을 성공의 같은 정의로 정렬합니다.

도입 비용에는 분석과 실험 도구, 잘 계측하는 엔지니어링 노력, 엄밀하게 테스트를 돌리는 분석 기술, 동의를 위한 프라이버시 프로그램 오버헤드가 있습니다. 이를 도입하지 않는 비용에 견주어 저울질하십시오. 효과를 모르는 변경을 출하하는 것, 증거가 아니라 연차로 논쟁을 이기는 것, 제품이 정체하는 동안 돋보이게 하는 허영 지표를 쫓는 것, 부주의한 데이터 수집에서 오는 규제 노출입니다. 리더십에게 제안은 실험이 제품 개발을 측정 가능하고 스스로 바로잡는 프로세스로 바꾸며, 나쁜 출시 한 번을 막는 것이 프로그램 전체 비용을 내는 경우가 많다는 것입니다.

안티패턴과 함정

추적 계획 없이 이벤트를 추가해 일관성 없고 쓸 수 없는 데이터를 낳는 것.
실험을 엿보고 유의해 보이면 멈춰 거짓 양성을 부풀리는 것.
많은 지표를 테스트하고 우연히 유의하게 나온 것을 축하하는 것.
찾는 효과를 탐지할 수 없는 검정력 부족 테스트를 돌리는 것.
실제 가치를 반영하지 않고 오르는 허영 지표를 최적화하는 것.
진짜 목표가 해를 입을 만큼 세게 대리 지표를 조작하는 것.
동의나 정의된 목적 없이 행동 데이터를 쌓아 두는 것.
부정적 결과를 기록하는 것을 잊어 조직이 실패한 테스트를 반복하는 것.

성숙도 모델

시작. 계측이 희박하거나 일관되지 않고, 결정이 의견과 연차로 내려지며, 실험이 없고, 총 가입 같은 허영 지표가 보고됩니다. 동의가 부주의하게 처리됩니다.
발전. 일부 이벤트가 추적되지만 분류 체계가 팀 사이에서 표류합니다. 가끔의 즉흥적 A/B 테스트가 검정력 계산 없이 돌고, 퍼널과 유지는 비공식적으로 살펴보며, 북극성 지표가 제안되었지만 아직 자리 잡지 않았습니다.
표준화. 거버넌스가 적용되는 추적 계획과 일관된 분류 체계가 문서화되고, 버전 관리되며, 모든 팀에 걸쳐 수집 시점에 검증됩니다. 퍼널, 코호트, 유지가 일상적으로 분석되고, 실험은 미리 정의된 지표, 검정력 계산, 가드레일이 있는 공유 플랫폼에서 돌며, 프라이버시와 동의가 조직 전체에서 제대로 처리됩니다.
관리. 실천이 기준선에 대해 측정됩니다. 계측 커버리지와 이벤트 품질 오류율이 추적되고, 실험 속도와 테스트로 관문 통제되는 출시의 비율이 보고되며, 가드레일 위반과 엿보기가 자동으로 잡히고, 북극성 지표와 그 입력 지표가 명시적 중단 임계값과 함께 모니터링됩니다. 데이터 품질과 프라이버시 컴플라이언스는 가정되는 것이 아니라 고정된 주기로 감사됩니다.
오케스트레이션. 실험이 모든 의미 있는 변경의 기본이고, 계측은 파이프라인처럼 소유되고 모니터링되며, 부정적이고 평평한 결과를 포함하는 공유 결과 저장소가 조직이 누적적으로 배우고 막다른 길을 버리게 합니다. 분석은 제품 및 위험 계획과 통합되고, 설계에서부터 프라이버시를 존중하며, 제품, 시장, 규제가 이동함에 따라 지표 집합의 범위가 지속적으로 다시 정해집니다.

논의를 위한 아이디어

제품의 진짜 북극성 지표는 무엇이며, 모두가 그것에 동의합니까?
보고되는 지표 중 오르기만 하는 허영 숫자는 어느 것입니까?
팀들이 실험을 돌리기 전에 통계적 검정력을 계산합니까, 엿보고 멈춥니까?
계측의 어디에 사용자 고통을 숨기는 사각지대가 있습니까?
필요한 것을 배우면서도 분석을 프라이버시를 존중하게 유지하려면 어떻게 합니까?
트래픽이 적은 기능에서 출하하고 관찰하기는 언제 허용되고, 언제 완전한 실험이 필요합니까?

핵심 요점

거버넌스가 적용되는 추적 계획과 일관된 분류 체계로 의도적으로 계측하십시오.
획득만이 아니라 퍼널, 코호트, 유지, 참여를 분석하십시오.
엄격한 실험을 돌리십시오. 검정력 계산, 미리 정의된 지표, 엿보기 금지입니다.
실제 가치에 묶인 북극성 지표에 닻을 두고 허영 지표에 대비하십시오.
분명한 동의와 강한 거버넌스로 최소한의 행동 데이터를 수집하십시오.
계측을 제품으로 다루고 누적적 실험 문화를 만드십시오.
평평하거나 부정적인 실험 결과는 실패가 아니라 가치 있는 증거입니다.

참고 문헌과 더 읽을거리

Ron Kohavi, Diane Tang, and Ya Xu, “Trustworthy Online Controlled Experiments.”
Alistair Croll and Benjamin Yoskovitz, “Lean Analytics.”
Eric Ries, “The Lean Startup.”
Avinash Kaushik, “Web Analytics 2.0.”
Georgi Georgiev, “Statistical Methods in Online A/B Testing.”
Regulation (EU) 2016/679, General Data Protection Regulation (GDPR).
Douglas W. Hubbard, “How to Measure Anything.”