7.4 プロダクト分析と実験

概要と動機

プロダクト分析とは、人々の行動を捉えて分析することで、プロダクトが実際にどう使われているかを理解する実践です。どの機能に触れ、どこで成功し、どこで離脱し、何が彼らを戻らせ続けるか。実験は、管理された試行を実行することで因果関係を確立する規律で、最も一般的なのはA/Bテスト(二つの変種の無作為化された直接比較)です。プロダクトの変更を、意見や直感ではなく、その本物の影響で判断できます。合わせて、それらはプロダクトの決定を「と思う」から「と知っている」へ、あるいは少なくとも「と測った」へと動かします。

大きなチームにとって、これらの実践は決定的です。数十のスクワッドが何百万人もの人々が使うプロダクトに変更を出荷するとき、導きのない直感は、正味の効果を誰も測れない変更の流れを生み、データが決着させるべき議論に、最も声の大きい人が勝ちます。企業は、実験を使って規模で収益とコンバージョンを守り、全面展開の前に有害な変更を捉えます。政府のデジタルサービスは、同じ方法をますます使って、必須のサービス(給付の申請、税の申告、免許の更新)の利用と完了を改善します。そこでは完了率の小さな改善が、市民の成果の大きな利得とコールセンターの負荷の減少に変わります。

プロダクト分析の価値は、計装の品質と分析の厳密さに完全にかかっています。雑なイベントの追跡は、誰も信頼しないデータを生みます。下手に行われた実験は、自信に満ちた、しかし偽の結論を生みます。そしてこのデータは行動に関するもので、しばしば個人的なので、プライバシーを尊重し同意を意識した形で収集しなければなりません。多くの法域で法的要件であり、どこでも倫理的な義務です。本章は、計装、中核の行動分析、厳密な実験、重要な指標の選択、それをすべて敬意をもって行うことを扱います。

主要原則

文書化された追跡計画と一貫した分類体系で、意図して計装します。
因果の問いには、意見より管理された実験を好みます。
統計的な厳密さは譲れません。検出力の足りないテストや、途中で覗いたテストは誤導します。
虚栄の数字ではなく、本物の価値に結びついた北極星指標に据えます。
獲得だけでなく、リテンションとエンゲージメントを測定します。
明確な同意のもとで、必要な最小限の行動データを収集します。
計装を、所有者と品質チェックを備えたプロダクトとして扱います。
否定的あるいは平坦な実験の結果は、失敗ではなく価値ある発見です。

推奨事項

追跡計画と分類体系で計装する

イベントを加える前に、追跡計画を設計します。捉えるイベント、そのプロパティ、命名規則、それぞれが答える問い。データがチームと時間にわたって分析可能に保たれるよう、一貫した分類体系(イベントとプロパティの安定した命名スキーム)を徹底します。追跡計画を統治されたスキーマとして扱います。バージョンを付け、変更をレビューし、イベントを計画に対して検証し、不正な形式あるいは予期しないイベントを、数か月後にギャップとして発見するのではなく、取り込み時に捉えます。この規律がなければ、プロダクトのデータは、一貫せず、重複し、文書化されていないイベントの使えない混乱になります。

ファネル、コホート、リテンション、エンゲージメントを分析する

ファネルを使って、主要なフローでユーザーがどこで離脱するかを見て、改善の的を絞ります。コホート分析を使って、いつ参加したか、何をしたかで定義されたグループを比較し、変更が時間とともに実際に行動を改善するかを明らかにします。リテンション(ユーザーが戻るか)を測定します。リテンションのない獲得は、漏れるバケツだからです。エンゲージメントを、持ち上げるカウントではなく、アクティブユーザーの意味のある定義で誠実に特徴づけます。きれいな計装に根ざしたこれらの分析が、プロダクトで本当に何が起こっているかを教えます。

厳密な実験を実行する

因果の問いには、管理された実験を実行します。ユーザーを変種に無作為に割り当て、成果を比較します。厳密さにはいくつかの規律が必要です。開始前に、十分な統計的検出力に必要なサンプルサイズと期間を計算します。結果が有意に見えるからと早く止めてはいけません。覗くことは偽陽性を膨らませます。主要な指標と仮説をあらかじめ定義し、多くの指標にわたって有意な結果を探し回ることを避けます。無作為化が健全で、ガードレールの指標(パフォーマンス、収益、苦情)が害されていないことを確認します。割り当て、分析、ガードレールを標準化する実験プラットフォームを使い、すべてのチームが、統計を下手に再発明するのではなく、健全なテストを実行するようにします。

北極星指標を選び、虚栄の指標を避ける

プロダクトがユーザーに届ける中核の価値を捉え、対応する価値なしに上がる虚栄の数字ではなく、育つときに本物の成功を示す、単一の北極星指標を選びます。登録ユーザーの総数、生のページビュー、累積のダウンロードは、古典的な虚栄の指標です。上がるだけで、健全性を反映することはまれです。届けられ保持された価値に結びついた指標を好み、北極星を、チームが実際に影響を与えられる少数の入力指標で囲みます。代理指標をあまりに強く最適化して、本物の目標を損なうことに注意してください。

プライバシーと同意を尊重する

行動データは個人データです。定義された目的に必要なものだけを収集し、法が求めるとおり同意を得て尊重し、ユーザーに透明性と制御を与えます。足りる所では集計と仮名化された分析を好み、保持を最小化し、あらゆる機微なデータセットと同じガバナンス、分類、アクセス制御を適用します。プライバシーの尊重は、GDPR(EUの一般データ保護規則)のような制度を満たす以上のことをします。プロダクトが依存するユーザーの信頼を保つのです。追跡を拒否したユーザーも、動くプロダクトを得られるよう分析を設計します。

計装と実験をプロダクトとして扱う

計装に、その品質、カバレッジ、文書に責任を持つ所有者を与え、パイプラインを監視するのと同じように、壊れた、あるいは欠けたイベントを監視します。共有のプラットフォーム、実験設計のレビュー、過去の結果のリポジトリを伴う実験の文化を築き、組織がテストを繰り返して結果を忘れるのではなく、累積的に学ぶようにします。

トレードオフ: 長所と短所

選択	長所	短所	最適な場合
重い計装	豊かな行動の洞察	コスト、プライバシーの露出、ノイズ	データ駆動のプロダクト
最小限の計装	安く、プライバシーのリスクが低い	死角。弱い分析	初期あるいは低リスクのプロダクト
A/B実験	因果の確実性。指標を守る	トラフィック、時間、厳密さが必要	トラフィックの多いプロダクト
出荷して観察	速い。トラフィックの閾値なし	交絡する。因果なし	トラフィックの少ない、あるいは元に戻せる変更
北極星への集中	整合。明確な優先順位	単純化しすぎる。操作のリスク	ほとんどのプロダクトチーム
多くのKPI	ニュアンス	拡散した焦点。衝突する目標	成熟した分析組織

中心的なトレードオフは、トラフィックに仲介される、速度対確実性です。実験は因果の確実性を与えますが、統計的検出力に達するのに十分なユーザーと十分な忍耐を要します。トラフィックの少ない機能や明らかに元に戻せる変更では、規律ある出荷して観察が実用的かもしれません。計装は洞察をコストとプライバシーの露出と交換するので、溜め込まずに目的をもって収集してください。そして北極星指標はニュアンスを整合と交換します。焦点には強力ですが、操作されると危険なので、ガードレールと組み合わせます。

チームで議論すべき問い

追跡計画を誰が所有し、不正な形式のデータが数か月後にギャップとして表面化するのではなく早く失敗するよう、取り込み時にイベントを計画に対して検証していますか。本章は、追跡計画を、統治されたスキーマとして扱います。バージョン管理され、レビューされ、検証され、データがチームと時間にわたって分析可能に保たれるよう一貫した分類体系を伴う。その規律がなければ、プロダクトのデータは、一貫せず、重複し、文書化されていないイベントの使えない混乱に劣化し、穴を発見するのは、問いに答えようとしたときです。数十のスクワッドと何百万ものユーザーが触れるプロダクトで、所有者のいない追跡計画は、すべてのチームがイベントに異なる名前を付け、チームを横断する分析が成り立たないことを意味します。証拠を持ち込んでください。主要なファネルを一つ選び、そのイベントが文書化され一貫して名付けられているかを確認します。所有が不明なら割り当て、パイプラインを監視するのと同じように、壊れた、あるいは欠けたイベントを監視してください。
すべてのチームが、検出力の計算とガードレールを備えた共有のプラットフォームを通じて実験を行っていますか。それとも、それぞれが統計を下手に再発明していますか。本章は、厳密さは譲れないと率直です。開始前に十分な統計的検出力のためのサンプルサイズと期間を計算し、主要な指標と仮説をあらかじめ定義し、覗いて早く止めず、パフォーマンス、収益、苦情のようなガードレールの指標を観察する。共有の実験プラットフォームは、割り当て、分析、ガードレールを標準化するので、各スクワッドが何かが有意に見えるまで覗くのではなく、すべてのチームが健全なテストを行います。トラフィックの多い企業のプロダクトでは、一回の防がれた悪いローンチ(静かにリテンションを損なった再設計)が、プログラム全体の元を取りえます。シグナルを持ち込んでください。チームは現在、検出力を計算していますか、それとも結果が良く見えたら止めていますか。後者なら、共通のプラットフォームと設計のレビューが解決策です。
追跡を拒否するユーザーにもプロダクトはどう機能し、定義された目的のための最小限の行動データだけを収集していますか。 本章は、行動データを個人データとして扱います。定義された目的が必要とするものだけを収集し、法が求めるとおり同意を得て尊重し、保持を最小化し、あらゆる機微なデータセットと同じ分類とアクセス制御を適用する。これを尊重することは、プロダクトが依存するユーザーの信頼を保ち、GDPRや同様の制度のもとでは、礼儀ではなく法的要件です。相反する圧力は、より豊かな洞察のために重く計装したい衝動で、それはコスト、ノイズ、プライバシーの露出を上げます。証拠を持ち込んでください。収集するものを列挙し、各イベントを、それが答える問いに結びつけ、追跡を拒否しても動くプロダクトが得られることを確認します。目的のない、あるいは体験を壊す収集があれば切り、オプトアウトするユーザーに穏やかに劣化するよう分析を設計してください。
プロダクトが届ける価値を捉える単一の北極星指標は何で、本物の目標が損なわれるまでチームが代理指標を操作するのをどう止めますか。 北極星指標は、多くのチームを成功の一つの定義に揃えますが、本章は、あまりに強く最適化された代理指標は、それが表すはずの目標を損ないうること、登録ユーザーの総数や累積のダウンロードのような虚栄の数字は、健全性を反映せずに上がるだけだと警告しています。数十のスクワッドがそれぞれ自分の目標を追う大きな組織では、不明確あるいは操作可能な北極星は、合計しても本物の改善にならない局所的な勝利、さらには誰も気づかない静かな害を生みます。現在の北極星の候補、チームが実際に影響を与えられる少数の入力指標、操作を捉えるガードレールを持ち込み、報告された各指標について、ユーザーが悪くなる間にそれが上がりうるかを問ってストレステストしてください。見出しの指標が予算と公的な報告を駆動しうる企業と政府の設定では、誰もコンバージョンしないサインアップやクリックを追って膨らませられないよう、北極星を、保持された価値あるいは完了した成果の定義に結びつけてください。
トラフィックの少ない機能で、規律ある出荷して観察と完全な管理された実験の間の誠実な線はどこにあり、誰が決めますか。 実験は因果の確実性を与えますが、統計的検出力に達するのに十分なユーザーと忍耐を要し、トラフィックの薄いフローに検出力の足りないテストを強いることは、探している効果を検出できない結果のために数週間を燃やします。相反するリスクは、出荷して観察は交絡し、原因について何も証明しないことで、それを実験と等価に扱うと、チームは、実際には季節性や同時の変更だった勝利を主張できます。問題のフローのトラフィックとコンバージョンの量、気にする最小検出可能効果、変更の元に戻しやすさを持ち込み、ルールに合意してください。トラフィックの閾値を超えれば実験、下ならガードレールを伴う出荷して観察。収益を守る企業のプロダクトと、退行が市民を害する政府のサービスでは、誰が実験を免除する権限を持つかを名指しし、元に戻せる変更が本当に元に戻せるままであることを求めて、悪い出荷して観察が素早く引き戻せるようにしてください。
否定的で平坦な実験の結果を共有のリポジトリに記録していますか。それとも、組織が同じ行き止まりを再発見し続けていますか。 本章は、平坦あるいは否定的な結果が失敗ではなく価値ある証拠だと明示しますが、検索可能な結果のリポジトリがなければ、教訓は蒸発し、別のチームが一年後に同じ負けるテストを再実行します。大きな組織では、これが複合します。累積的な学びが実験の文化の見返りのすべてであり、実験の設計と成果が、次のチームが見つけられる場所に書き留められている場合にだけ積み上がるからです。前四半期に実行した実験の数、成果のうちいくつが文書化され発見可能か、新しいテストを設計する前に誰かが実際にリポジトリを確認するかを持ち込んでください。企業と政府の設定では、持続する記録は監査と説明責任にも仕えます。決定が意見ではなく証拠に基づいたことを示し、公衆に面する変更が疑問視されたときにレビュアーに擁護できる証跡を与えます。

セクター別の視点

スタートアップ。 他に何かを加える前に、アクティベーションと最初のセッションのイベントの1ページの追跡計画を書いて、チームが育っても最初のデータがきれいに保たれるようにしてください。本物のA/Bテストは最も量の多いフローのために取っておき、他では注意深い出荷して観察を使い、築くのではなくホスト型の分析と実験ツールを買い、アクティベーションのような単一の北極星指標を守ります。生きた問いに答えるイベントだけを収集し、決して読まないデータのストレージのコストやプライバシーのリスクを払わないようにします。

小規模事業者。 専任のアナリストがおらず予算も厳しいので、すでに動かしているツールに組み込まれた分析に頼り、実験を常設のプログラムではなく、ときどきの価値の高い演習として扱ってください。選択は通常、築くより買うです。埋め込まれたファネルとコホートのビューは、保守できないオーダーメイドのパイプラインに勝ります。行うわずかなテストを、収益を駆動する一つのフローに集中させ、追跡を拒否した顧客も動くプロダクトを得られるよう、同意を単純かつ誠実に扱ってください。

大企業。 多くのチームにわたる規模では、問題はガバナンスです。取り込み時に検証されるバージョン管理された追跡計画、割り当て、検出力の計算、ガードレールを標準化する共有の実験プラットフォーム、スクワッドがテストを繰り返すのではなく累積的に学ぶ結果のリポジトリ。計装にパイプラインのように監視される名前のある所有者を与え、影響を与えられる入力に囲まれた一つの北極星指標に合意し、あらゆる機微なデータセットと同じデータ分類とアクセス制御を行動データに適用し、重大なローンチの決定には監査証跡を残してください。

政府。 調達規則、透明性、公的な説明責任があらゆる選択を形づくります。定義された目的のための最小限の行動データを収集し、同意を得て尊重し、何を追跡しなぜかを平易な言葉で公開し、人々が拒否してもサービスが動くようにします。必須のサービスの完了を上げるために、フォームの言葉遣いとレイアウトの管理された実験を実行し、監査のために各テストの文書化された擁護できる記録を保ち、分析ベンダーにデータの取り扱いの開示と可搬性を認めるよう求めて、ロックインを避けてください。

事例

スタートアップ。 小さな消費者向けアプリは、チームが育ってもデータがきれいに保たれるよう、新しい分析を加える前に、サインアップと最初のセッションのイベントの短い文書化された追跡計画を書きました。ファネルは、新しいユーザーのほとんどがアカウント確認のステップで離脱することを示し、より明確な言葉遣いの単純なA/Bテストが、最初の週のリテンションを上げました。トラフィックが控えめなので、チームは最も量の多いフローでだけ実験を実行し、より小さな変更には注意深い出荷して観察を使い、アクティベーションを北極星指標として保ちました。

大企業。 サブスクリプション型のストリーミングサービスは、統治された追跡計画を計装し、あらゆる意味のある変更を、あらかじめ定義された指標、検出力の計算、再生のパフォーマンスと解約のガードレールを備えた実験プラットフォームに通します。再設計されたオンボーディングのフローはレビューではより良く見えましたが、管理されたテストは最初の週のリテンションを下げることを示したので、チームは広い展開の前に元に戻しました。プラットフォームのコストをはるかに上回る価値のある救いでした。

政府。 デジタルサービスの機関は、給付の申請フローを、プライバシーを尊重し同意を意識した追跡計画で計装し、フォームの言葉遣いとレイアウトの管理された実験を実行します。ファネル分析は、申請者の3分の1が離脱する特定のステップを明らかにしました。より明確なガイダンスの実験は完了を有意に増やし、未完了の申請とコールセンターの量の両方を減らし、必要な最小限の行動データだけを収集しました。

ビジネスケース: 動機、ROI、TCO

プロダクト分析と実験のROIは、成果に直接現れます。より高いコンバージョン、リテンション、完了、そして決定的に、有害な変更を出荷することの避けられたコスト。実験は、自らの価値を定量化する数少ない実践の一つです。各テストが、それが防いだ上昇あるいは損失を報告するからです。良い計装は、推測を証拠に置き換えることで、あらゆるプロダクトの決定の見返りを倍増させ、北極星指標は多くのチームを成功の同じ定義に揃えます。

採用のコストには、分析と実験のツール、うまく計装するエンジニアリングの労力、テストを厳密に実行する分析の技能、同意のためのプライバシープログラムのオーバーヘッドが含まれます。採用しないコストと量ってください。効果が未知の変更を出荷すること、証拠ではなく年功で議論に勝つこと、プロダクトが停滞する間に持ち上げる虚栄の指標を追うこと、不注意なデータ収集による規制上の露出。リーダーシップには、実験がプロダクト開発を測定可能で自己修正的なプロセスに変え、最初の防がれた悪いローンチがプログラム全体の元を取ることがよくある、と訴えてください。

アンチパターンと落とし穴

追跡計画なしにイベントを加え、一貫せず使えないデータを生むこと。
実験を覗き、有意に見えたら止めて、偽陽性を膨らませること。
多くの指標をテストし、たまたま有意になったものを祝うこと。
探している効果を検出できない、検出力の足りないテストを実行すること。
本物の価値を反映せずに上がる虚栄の指標を最適化すること。
代理指標をあまりに強く操作して、真の目標が損なわれること。
同意も定義された目的もなく行動データを溜め込むこと。
否定的な結果を記録し忘れ、組織が失敗したテストを繰り返すこと。

成熟度モデル

開始。 計装は希薄あるいは一貫せず、決定は意見と年功でなされ、実験は走らず、総サインアップのような虚栄の指標が報告されます。同意は不注意に扱われます。
発展。 一部のイベントが追跡されますが、分類体系はチーム間でずれます。検出力の計算のないその場しのぎのA/Bテストがときどき走り、ファネルとリテンションは非公式に見られ、北極星指標は提案されているがまだ組み込まれていません。
標準化。 統治された追跡計画と一貫した分類体系が文書化され、バージョン管理され、すべてのチームにわたって取り込み時に検証されます。ファネル、コホート、リテンションは日常的に分析され、実験はあらかじめ定義された指標、検出力の計算、ガードレールを備えた共有のプラットフォームで走り、プライバシーと同意は組織全体で適切に扱われます。
管理。 実践がベースラインに対して測定されます。計装のカバレッジとイベント品質のエラー率が追跡され、実験の速度とテストでゲートされたローンチの割合が報告され、ガードレールの違反と覗き見が自動的に捉えられ、北極星指標とその入力指標が明示的な廃止の閾値とともに監視されます。データ品質とプライバシーの遵守は、想定されるのではなく決まった周期で監査されます。
オーケストレーション。 実験はあらゆる意味のある変更の既定で、計装はパイプラインのように所有され監視され、否定的で平坦な成果を含む共有の結果のリポジトリにより、組織は累積的に学び、行き止まりを退役させます。分析はプロダクトとリスクの計画と統合され、設計によりプライバシーを尊重し、指標の集合はプロダクト、市場、規制が移るにつれて継続的に再スコープされます。

議論のためのアイデア

プロダクトの本当の北極星指標は何で、全員が合意していますか。
報告された指標のうち、上がるだけの虚栄の数字はどれですか。
チームは実験の前に統計的検出力を計算していますか。それとも覗いて止めていますか。
計装のどこに、ユーザーの痛みを隠す死角がありますか。
必要なことを学びながら、分析をプライバシーを尊重するものにどう保ちますか。
トラフィックの少ない機能で、出荷して観察はいつ許容され、完全な実験はいつですか。

要点

統治された追跡計画と一貫した分類体系で、意図して計装します。
獲得だけでなく、ファネル、コホート、リテンション、エンゲージメントを分析します。
厳密な実験を実行します。検出力の計算、あらかじめ定義された指標、覗かない。
本物の価値に結びついた北極星指標に据え、虚栄の指標から守ります。
明確な同意と強いガバナンスのもとで、最小限の行動データを収集します。
計装をプロダクトとして扱い、累積的な実験の文化を築きます。
平坦あるいは否定的な実験の結果は、失敗ではなく価値ある証拠です。

参考文献とさらなる読み物

Ron Kohavi, Diane Tang, and Ya Xu, “Trustworthy Online Controlled Experiments.”
Alistair Croll and Benjamin Yoskovitz, “Lean Analytics.”
Eric Ries, “The Lean Startup.”
Avinash Kaushik, “Web Analytics 2.0.”
Georgi Georgiev, “Statistical Methods in Online A/B Testing.”
Regulation (EU) 2016/679, General Data Protection Regulation (GDPR).
Douglas W. Hubbard, “How to Measure Anything.”