5.8 デザインリサーチとユーザビリティテスト

概要と動機

ユーザーリサーチとは、築く対象の人々、すなわち彼らの目標、文脈、タスク、つまずかせる障害について学ぶ規律です。その中核の価値は、リスクの低減です。ソフトウェアで最も高価な間違いは、バグでも逃した期限でもありません。間違ったものをうまく築き、ローンチの後で、誰もそれを必要としなかった、あるいは誰も使えなかったと発見することです。リサーチは、間違いとわかる方向にエンジニアリングを注ぎ込む前に、そのリスクを安く買い下げます。5.1章はUXの基礎を置きます。本章は、それらの基礎を誠実に保つ二つのエンジンを深く掘り下げます。何を築くべきかを教える生成的リサーチと、築いたものが実際に機能するかを教える評価的リサーチです。

大きなチームにとって、賭け金は倍増します。多くのスクワッドが一つのプロダクトに出荷するとき、それぞれがスプリントごとにユーザーについての賭けをしており、共有のリサーチの習慣がなければ、それらの賭けは自信の衣装を着た意見にすぎません。小さく着実な証拠の流れは、全員に議論の拠り所となる同じ現実を与え、議論が、最も年功のある、あるいは最も声の大きい人ではなく、「少数のユーザーを見に行こう」で終わるようにします。リサーチは移動もします。よく運営された一つのスタディが、うまく捉えて共有すれば、十数のチームの想定を一度に正せます。

企業と政府は、基準をまた引き上げます。企業のソフトウェアにはしばしば辞められない逃げられないユーザーがおり、使えないツールの代償は、ダッシュボードで見える離脱ではなく、エラー、訓練、失われた時間で払われます。政府のサービスは、危機にある人、古いスマートフォンを使う人、デジタルへの自信が低い人、他に選択肢がない人を含む、公衆全体に届きます。多くの国のデジタルサービスの標準は、まさにこの理由で、ユーザーリサーチを今や義務づけています。誰も完了できないフォームは、人々が受ける資格のある給付を拒否するからです。ここでリサーチは礼儀ではありません。公的な約束を守る方法です。

主要原則

リサーチは、間違ったものを築くリスクを減らします。築いた後ではなく、築く前が最も安い。
生成的リサーチは正しい問題を見つけ、評価的リサーチは解決策を確認します。両方が必要です。
人々が言うことだけでなく、することを見ます。表明された好みと実際の行動は乖離します。
定性的な方法は理由を説明し、定量的な方法はどれだけかを測ります。組み合わせます。
小さく継続的であることは、まれで重いことに勝ります。毎週の少数のユーザーは、年に一度の大きなスタディより多くを学びます。
発見は、参加者の分しか代表的ではありません。障害のある、到達しにくいユーザーを含め、意図して募集します。
一つのチームのスライドに住む洞察は失われます。組織全体が再利用できるようにリサーチを捉えます。
バイアスは、誘導的な質問と希望的な統合を通じて忍び込みます。意図してそれに対して設計します。

推奨事項

生成的リサーチと評価的リサーチを分ける

どの問いを問うているかを明示してください。方法が異なるからです。生成的(あるいはディスカバリー)リサーチは、解決策を持つ前に問題空間を探る、自由回答のリサーチです。人々は実際に何を成し遂げようとしているか。現在の体験はどこが痛いか。何を回避しているか。評価的リサーチは、特定のデザインをタスクに対してテストします。人々はそれを完了できるか、どこでつまずくか。二つを混同すると、両方を無駄にします。まだ問題を理解していないときに厳密に台本化されたユーザビリティテストのセッションを実行すると、間違った問いに対する洗練された答えを得ますし、チェックアウトのフローを検証する必要があるときに構造のない雑談をすると、推測するしかなくなります。まずリサーチの問いを名指しし、それから方法を選び、生成的な発見を、ロードマップが実際に形づくられるプロダクトディスカバリー(10.14章)にフィードします。

方法を問いに合わせる

万能の方法はなく、合うものがあるだけです。ユーザーインタビューは、動機、メンタルモデル、経緯を表面化させ、ディスカバリーの主力です。コンテキスチュアル・インクワイアリーは、人々が自分の環境で本物の仕事をするのを観察するもので、会議室では人々が決して言及しない回避策と中断を明らかにします。調査は、大きな母集団にわたる態度と頻度を測りますが、その背後の理由は説明できず、雑な質問の設計に容赦なく罰を与えます。カードソーティングとツリーテストは、ユーザーのメンタルモデルから情報アーキテクチャを導き検証します。カードソーティングは人々に概念をグループ化してラベル付けするよう求め、ツリーテストは提案された構造でものを見つけられるかを確認します。ダイアリースタディは、オンボーディングや習慣の形成のように、数日から数週間にわたって展開する、単一のセッションでは見えない行動を捉えます。単純な経験則。人々を理解するにはインタビューとコンテキスチュアル・インクワイアリー、情報を構造化するにはカードソーティングとツリーテスト、時間と規模を見渡すには調査とダイアリースタディ、デザインを確認するにはユーザビリティテスト。

ユーザビリティテストを、早く、頻繁に、小さく実行する

ユーザビリティテストは、単一で最もてこの効く評価的方法で、コードが存在するずっと前に、紙のスケッチで始められます。よく知られた経験則は、ラウンドごとに約5人のユーザーが、深刻で明らかなユーザビリティの問題の大半を発見するというもので、最後の15人の一大スタディより、デザインが進化するにつれて5人を3ラウンド実行するほうがよいのです。ただし、経験則の限界を理解してください。5人は、大きな問題を発見する単一の均質なグループにだけ十分で、成功率を測らず、異なるユーザーセグメントをカバーせず(意味のある違いを持つ各グループには独自の少数が必要)、まれだが深刻な問題を捉えません。推論を探り、その場で適応し、複雑あるいは機微なタスクを扱いたいときには司会付きのテストを、単純なフローの速度、量、地理的な到達範囲、低いコストが欲しいときには司会なしのテストを選びます。成熟したチームの多くは両方を実行します。理解するために司会付き、規模で確認するために司会なし。

証人を誘導しないタスクと質問を書く

スタディは、プロトコルの分だけ信頼でき、それを台無しにする最も速い方法は、望む答えを漏らすことです。参加者に、指示ではなく現実的な目標を与えます。「プロフィールの編集ボタンをクリックして住所を変更してください」ではなく、「引っ越したばかりで住所を更新する必要があります」と言います。未来の意図ではなく、過去の行動について尋ねます。「これを使いますか」は確実に礼儀正しい嘘を生み、「最後にこれをしたときのことを教えてください」は事実を生むからです。自分の結論を前提とする質問を避け、人間が、すでに信じていることを支持する証拠に気づいて覚えておく傾向である確証バイアスに注意してください。デザインを書いた研究者が、参加者を成功へと静かにコーチしてはならず、見ているチームは、それが何を意味するかを議論する前に、何が起こったかを記録すべきです。タスクのデザインとコミュニケーションを、プロダクトのデザインから切り離す(5.4章)と、よりきれいなシグナルが得られます。

実際にユーザーを代表する参加者を募集する

発見は、募集のバイアスを引き継ぎます。自信があり、接続され、技術に慣れた志願者としかテストしなければ、助けをほとんど必要としない人々にはすばらしく機能し、最も必要としていた人々には失敗するものを出荷します。セグメントを定義し、それから意図して募集します。支援技術に頼る障害のあるユーザー(5.3章)と、危機にある人、デジタルへの自信が低い人、高齢のユーザー、遅い接続や古いデバイスの人々のような到達しにくいグループを含めます。これらの参加者に届くには、より多くの労力がかかり、しばしば地域団体との提携、適切なインセンティブ、柔軟な運営が必要ですが、飛ばしてもユーザーは消えません。発見が、はるかに高価でずっと有害な本番に移るだけです。インセンティブを悪用するプロのテスターではなく、セグメントの本物の構成員を得るよう、慎重に選別します。

発見を報告書だけでなく、決定に統合する

生の観察は洞察ではありません。統合の仕事は、セッションのメモの山を、チームが行動できる少数の決定に変えることです。アフィニティマッピング、つまり個々の観察をテーマにクラスタリングすること(アフィニティ図の背後にある実践)は、セッションにわたってパターンを見えるようにする標準の動きです。インタビューの多いスタディでは、軽いテーマ分析が、どのテーマが実際にデータに支えられているかについて、誠実さを保ちます。持続するパターンを、5.1章の共有モデル、証拠に基づくペルソナとジャーニーマップにまとめ、洞察が蒸発するのではなく複合するようにします。良い統合のテストは単純です。決定は変わったか。美しいスライドを生み、ロードマップの項目が変わらなかったスタディは、劇場でした。すべてのスタディを、順位づけされた短い発見の一覧と、それぞれへの推奨される行動で終えます。

定性的リサーチを分析と実験で三角測量する

定性的リサーチと定量的データは、同じ問いの異なる半分に答え、それぞれが他方の盲点をカバーします。リサーチはユーザーがなぜそう振る舞うかを説明しますが、部屋にいる少数の人しか見ません。分析と実験(7.4章)は母集団全体を見ますが、動機を説明したり、決してユーザーにならなかった人々の問題を捉えたりはできません。それらをループとして使います。分析が離脱を示し、リサーチがそれを説明し、再設計がそれに対処し、実験が修正が数字を動かしたかを測定する。定性的と定量的なシグナルが食い違うとき、矛盾を厄介なものではなく手がかりとして扱ってください。通常、どちらかが、気づいていなかったものを測っているからです。どちらの情報源も他方のボスではありません。決定は、それらを一緒に読むことから来ます。

リサーチがスケールするよう、リサーチ運用を築く

二つ以上のチームがリサーチを行うようになると、ボトルネックは方法ではなく運営になります。募集、スケジュール、同意、インセンティブ、メモの保管、誰かが再実行する前に前四半期のスタディを見つけること。リサーチ運用(ResearchOps)は、その仕組みを信頼できるものにする実践です。発見がタグ付けされ、見つけやすく、チーム間で再利用できるよう、検索可能な洞察のリポジトリに投資します。同意、プライバシー、人々に連絡する頻度を尊重する参加者管理のシステム。スタディが大慌てではなく着実な習慣になるよう、定期的なリサーチの周期。リサーチの民主化、つまり専門家でない人にスタディを実行させることは、行う価値がありますが、ガードレールがあってこそです。テンプレート、訓練、レビューによって、悪いプロトコルと偏った結論の量をスケールさせずに、学びの量をスケールします。

トレードオフ: 長所と短所

方法	最適な用途	長所	短所
ユーザーインタビュー	ディスカバリー、動機	深い「なぜ」、柔軟、始めるのが安い	小さなN。インタビュアーのバイアスを受けやすい
コンテキスチュアル・インクワイアリー	現実世界の行動	回避策と文脈を明らかにする	時間がかかる。スケジュールが難しい
調査	規模での態度	大きなN、定量化可能	理由を説明できない。下手に書きやすい
カードソーティングとツリーテスト	情報アーキテクチャ	構造をメンタルモデルに根づかせる	狭い範囲。慎重な分析が必要
ダイアリースタディ	時間を通じた行動	縦断的なパターンを捉える	脱落が多い。参加者の労力
司会付きユーザビリティテスト	デザインの理解	探り、適応的で、豊か	遅く、コストが高く、スケジュールが大変
司会なしユーザビリティテスト	規模での確認	速く、安く、地理的に広い	フォローアップなし。複雑なタスクには浅い

中心的な緊張は深さ対規模であり、解決は選ぶことではなく順序づけです。理解し仮説を生成するために、深く、定性的で、小さなNの方法を使い、それから、それらを測り確認するために、広く定量的な方法を使います。二つ目の緊張は、速度対厳密さです。継続的な軽量のリサーチは、チームが毎週学び続けられるようにしますが、それを価値あるものにするその速度が、募集とプロトコルで手を抜きやすくもします。厳密さを元に戻しやすさに合わせて解決してください。元に戻すのが高価な決定(中核のフロー、情報アーキテクチャ、プラットフォームへの賭け)には本物の方法論的な注意を払い、次のスプリントで変えられる細部には、速く柔軟に動きます。

チームで議論すべき問い

プロダクトに賭けるとき、私たちの考えを変えるであろう最小のリサーチは何で、コミットする前にそれを実行する意思はありますか。 チームは原則としてリサーチを愛し、期限の圧力のもとで飛ばすので、本当の問いは、証拠がロードマップに対して何らかの権威を持つかです。反証となる証拠に何が当たるかをあらかじめ決めてください。結果にかかわらず無視するスタディは、全員の時間の無駄であり、劇場の一形態だからです。これは、元に戻すのが高価な決定で最も重要で、一週間のディスカバリーは、間違ったものを築く数か月に比べれば取るに足りません。現在の決定を持ち込み、どの発見が方向を変えさせるかを、声に出して名指ししてください。どの発見も変えられないなら、リサーチではなく安心を集めているのであり、誠実にコミットするか、決定を再び開くべきです。
テストに参加する人々は、特に最も苦労する人々を含め、実際にプロダクトを使う人々のように見えますか。 自信があり、接続され、時間のある志願者を募集するのは心地よく、その心地よさは、プロダクトが実際にどれだけ使いやすいかについての、好ましいが偽りの読みを生みます。ソフトウェアがうまく機能することを最も必要とするユーザー、障害のあるユーザー、危機にある人、デジタルへの自信が低い人は、通常、募集が最も難しいので、そのために戦わない限り、静かに標本から抜け落ちます。直近三つのスタディの参加者の人口統計を引き出し、実際のユーザー基盤や公共サービスの義務の隣に並べてください。到達しやすいユーザーに偏っているなら、自信は見当違いで、次のラウンドの発見を信頼する前に、募集のパイプラインを直し、地域団体と提携し、インセンティブを調整すべきです。
リサーチの発見はどこに住み、別のチームが6か月後にそれを見つけて再利用できますか。 大きな組織では、最初のチームがすでに払った答えを誰も見つけられないために、同じ問いが何度もリサーチされ、それは勤勉さに見せかけた純粋な無駄です。誰が洞察のリポジトリを所有するか、スタディがどうタグ付けされ要約されるか、発見を捉えるのが、人々が実際にそうするほど速いものになるような最小限の実用的な書き起こしは何かを決めてください。発見が再利用され共有されるにつれて、同意と参加者のプライバシーに何が起こるかを考えてください。注意のない再利用は、コンプライアンスと信頼の問題だからです。最近の決定を一つ持ち込み、その背後の証拠をたどってみてください。数分以内にスタディを見つけられないなら、リサーチは生み出すより速く蒸発しています。
「約5人のユーザー」の規則を引用するとき、このプロダクトは実際にいくつの異なるセグメントに仕えていて、それぞれの本物の標本をテストしていますか。 5人のユーザーの経験則は、プロダクトが意味のある違いを持つ複数のユーザーグループを持つときに罠になります。一つのグループの5人の参加者は、他のグループについて何も教えないのに、その数字が、一つのラウンドが全員について決着をつけたかのように引用されるからです。共有のプロダクトに出荷する大きなチームでは、セグメントは急速に増えます。異なる役割、地域、デバイス、アクセシビリティのニーズ、専門性のレベル。意味のある違いを持つ各グループには、独自の少数が必要です。相反する圧力はコストとスケジュールで、毎ラウンドすべてのセグメントをテストするのは高価なので、どのセグメントが最大のリスクを持つかを決め、それらを毎ラウンドカバーし、残りは持ち回りにしてください。実際のセグメントの地図と、最近のラウンドのセグメントごとの参加者数を持ち込み、一度も見ていないグループがどれかを誠実に述べてください。逃げられないユーザーと公共サービスの義務のために、無視されたセグメントが単に離れていけない企業と政府の設定では、テストされていないセグメントは、静かに失敗させている母集団であり、そのギャップは、平均で消された統計ではなく、明示的なカバレッジとして計画に属します。
ここでは誰がスタディを実行でき、訓練を受けていない熱心な人が、規模で自信に満ちたナンセンスを生むのを何が止めますか。 リサーチの民主化は、より多くのチームがより速く学べるようにしますが、テンプレート、訓練、レビューがなければ、偏ったプロトコル、誘導的な質問、希望的な統合もスケールするので、学びの量と悪い結論の量が一緒に上がります。緊張はスループット対信頼です。すべてを少数の研究者を通せば、彼らがボトルネックになり、ガードレールなしに門を開けば、誰も行動すべきでない発見で組織を溢れさせます。どのスタディの種類が委任して安全か(簡単な司会なしのタスクテストなど)、どれが訓練を受けた手を要するか(機微な話題、脆弱な参加者、情報アーキテクチャへの賭けなど)を決め、テンプレート、レビューのステップ、最近のセルフサービスのスタディの誠実な監査を持ち込んで、どれだけが精査に耐えるかを見てください。大きな企業や政府機関では、調達とプライバシーの角度を加えてください。共有のリサーチツールはしばしば購入されるものであり、誰もが同意の追跡なしに参加者に連絡できるセルフサービスのプラットフォームは、起こりかけているコンプライアンスのインシデントなので、ガードレールは、方法の質と同じくらい、適法なデータの取り扱いに関するものです。
分析とインタビューが同じ機能について反対の物語を語るとき、このチームはどちらを信じるかをどう決めますか。 定性的と定量的なシグナルは、一つの問いの異なる半分に答え、それらの間の矛盾を、年功で解決する厄介事として扱うことは、持つ中で最も有用な手がかりを捨てることです。通常、どちらかの情報源が、気づいていなかったものを測っているからです。大きな組織にとってリスクは部族主義です。ダッシュボードだけを信頼するデータチームと、セッションだけを信頼するリサーチチームが、それぞれ、一緒に読む代わりに、他方を退けること。本物の最近の不一致を持ち込み、分析からの離脱を、リサーチからの理由の隣に並べ、分析がどこかを示し、リサーチがなぜかを説明し、実験が修正が数字を動かしたかを測定するというループをたどってください。単一の指標が資金や公的な約束を駆動しうる企業と政府の文脈では、二つが食い違ったとき誰が裁定し、どんな証拠が議論を閉じるかをあらかじめ名指しして、決定が、部屋で最も声の大きい支持者を持つ部門ではなく、三角測量された読みに基づくようにしてください。

セクター別の視点

スタートアップ。 少数の人々と無駄にできない猶予なら、リサーチを、段階ではなく、買える最も安い保険として扱ってください。多くのコードを書く前に、創業者が紙のプロトタイプで5回の司会付きセッションを実行し、タスクを指示ではなく目標として枠づけ、まだスケッチの間に、観察したことにアイデアを殺させるか方向転換させてください。リポジトリとパネルは飛ばします。要点は、間違ったものを築くのを避けるのに十分速く学ぶことだからです。

小規模事業者。 おそらく専任の研究者はおらず予算も厳しいので、人員を置いたリサーチ機能ではなく、低コストの司会なしのテストツールと軽量なインタビューに頼ってください。ユーザビリティテストのソフトウェアを買うときは、募集と同意を代わりに扱ってくれるツールを好んでください。あなたの規模で、その仕組みを自分で築く価値はまずないからです。顧客を獲得あるいは失う少数のフローをテストし、証人を誘導しないタスクを書く規律を持ってください。悪いプロトコルは、わずかな予算を無駄にするからです。

大企業。 多くのスクワッドが共有のプロダクトに出荷するなら、制約はガバナンスです。検索可能な洞察のリポジトリ、同意の追跡を備えた管理された参加者のパネル、スタディが大慌てではなく習慣になるリサーチの周期。テンプレート、訓練、レビューのガードレールの中でリサーチを民主化し、悪いプロトコルをスケールさせずに量をスケールさせ、二つのスクワッドが同じ問いに答えるために二度払わないよう、発見がタグ付けされ監査可能であるようにします。参加者のデータを規制対象として扱います。保持、同意、連絡の頻度のすべてに方針が必要です。

政府。 多くの国のデジタルサービスの標準は、ユーザーリサーチを義務づけ、評価の対象にしているので、サービスが証拠とともに通過しなければならないゲートとして扱ってください。調達規則がツールと募集の供給者を形づくり、透明性は、誰とテストし何を見つけたかを文書化することを意味し、公的な説明責任は、最も到達しにくいユーザー、支援付きデジタルや障害のある参加者を含めて募集することを意味します。彼らを排除するサービスは、人々の受給資格を拒否するからです。評価者、監査人、公衆が、リサーチが本物だったと見られるよう、同意と方法の明確な記録を保ってください。

事例

スタートアップ。 フリーランサー向けの経費ソフトウェアを築く6人のスタートアップは、決め手の機能は自動のレシートスキャンだと確信しており、粗い版を築いていました。さらに投資する前に、二人の創業者が、本物のフリーランサーと紙のプロトタイプで5回の司会付きユーザビリティのセッションを実行し、タスクを指示ではなく目標(「今経費にしたコーヒーを記録してください」)として枠づけました。5人のうち4人がスキャンを完全に無視して手で金額を入力しました。彼らの本当の不安は、データ入力の速度ではなく、経費が税務調査を生き延びるかどうかだったからです。チームは、監査に備えたカテゴリー分けと明確な証跡を軸にプロダクトを転換し、反復する間に二つの小さなラウンドをさらに行い、停滞していた無料トライアルを有料の購読者に変えました。すべて、一週間のスケッチと会話のコストでした。

企業。 世界的な物流会社は、拠点にわたって倉庫のソフトウェアを標準化しており、数十のプロダクトスクワッドを誠実に保つために、恒久的なリサーチ運用の機能を立ち上げました。タグ付けされた洞察のリポジトリ、定期的なセッションに同意した倉庫スタッフの管理されたパネル、隔週のリサーチの周期を築きました。二つのスクワッドが独立して同じスキャンのワークフローの再設計を提案したとき、リポジトリの検索が、前四半期のコンテキスチュアル・インクワイアリーを表面化させ、スキャンエラーのほとんどを引き起こしていたのは、画面のレイアウトではなく、手袋と冷蔵倉庫の条件だと示していました。その単一の再利用された発見が、両方のスクワッドを、より大きなタップターゲットと手袋に優しい操作に向かわせ、重複したディスカバリーを避け、出荷後に誤スキャンを測定可能に減らしました。

政府。 予約システムを再設計する国の医療サービスは、ユーザーリサーチを、任意ではなく、デジタルサービスの標準のもとで義務として扱いました。人口統計的に幅広い標本での司会付きユーザビリティテストと並んで、チームは、通常は親族や図書館の補助員に頼る人々との支援付きデジタルのセッションを実行し、慈善団体との提携を通じて、スクリーンリーダーとスイッチアクセス(5.3章)を使う障害のある参加者を募集しました。テストにより、セクション見出しの臨床的な専門用語が、高齢で自信の低いユーザーを、本物の障壁に達する前に離脱させていたことがわかりました。患者の平易な言葉の目標を軸にコンテンツを再構築し、それから規模での司会なしのスタディと、ライブの分析の比較(7.4章)で利得を確認したことで、セルフサービスの予約の成功が増え、コールセンターの負荷が減り、サービス提供のコストとアクセスの公平性の両方が改善しました。

ビジネスケース: 動機、ROI、TCO

リサーチの見返りは三つのてこから来ます。第一に、避けられた無駄。一四半期のエンジニアリングの後ではなく、一週間のディスカバリーの間に間違った方向を捉えることは、最大で最も過小評価される節約です。無駄になるはずのビルドが決して起こらず、したがって報告書に決して現れないからです。第二に、より高い成功。より多くのユーザーが価値あるタスクを完了し、それは消費者向けプロダクトではコンバージョンとして、ユーザーが逃げられない企業の設定では生産性と少ないエラーとして現れます。第三に、より低いサービス提供のコスト。使いやすいサービスは、サポートへの連絡、訓練、訂正すべき下流の間違いを減らします。

総所有コストは、リサーチを行うコストと、飛ばすコストを量らなければなりません。行うコストは見えやすく控えめです。研究者、募集とインセンティブ、ツール、リポジトリ、スケジュールの時間。飛ばすコストはより大きいが、他の予算に散らばっています。放棄された取引、サポートチケット、訓練の日数、高価な後期の再設計、失敗したローンチ、そして公共部門では、市民の排除と、それに続く法的で評判上の露出。これらのコストは、プロダクトのラインではなくサポート、訓練、運用に隠れているので、リーダーシップは日常的に過小評価し、だからこそ、リサーチはローンチが失敗するまで任意に見えるのです。

論拠を示すには、リサーチを経営陣がすでに見ている数字に結びつけます。完了率とコンバージョン率、取引あたりのコスト、サポートの量、訓練時間、エラーと手戻りの率。本物のフローで、小さく計装された前後の比較を一つ実行し、その動きを示し、ポートフォリオ全体に外挿します。リサーチを、元に戻せない決定のリスク低減として枠づけてください。ユーザビリティの報告書を読むことは決してないかもしれないが、間違いうる賭けは理解する、財務とガバナンスの利害関係者に響く言葉です。

アンチパターンと落とし穴

リサーチの劇場: すでに下された決定を正当化するために行われるスタディで、都合の悪い発見は静かに無視される。
証人の誘導: 望む答えを漏らすタスクと質問で、何も意味しない好ましいデータを生む。
確証バイアスのある統合: 計画に合う観察だけを聞き、残りを捨てること。
5人のユーザーの誤り: 「約5人のユーザー」を普遍的な法則として扱い、それが一つのセグメントを前提とし、成功率ではなく深刻な問題だけを見つけることを無視すること。
都合のよい募集: 到達しやすい人をテストし、障害のある、到達しにくいユーザーが標本から消えること。
表明された好みへの信頼: 人々が実際に何をするかを見る代わりに、「はい、それを使います」を信じること。
洞察の墓場: 発見が一つのチームのスライドに埋もれ、同じ問いが何度もリサーチされること。
ガードレールのない民主化: テンプレートやレビューなしに誰もがスタディを実行でき、偏ったプロトコルと不確かな結論がスケールすること。
定性対定量の部族主義: 三角測量する代わりに、お気に入りのデータ源を選び、他方を退けること。

成熟度モデル

レベル1、開始: リサーチはその場しのぎか不在で、決定は意見と年功に基づきます。ユーザビリティテストは、あるとしても、手近な誰かでの、ローンチ前の反応的な一回限りで、発見が何かを変えることはまれです。
レベル2、発展: ユーザビリティテストやときどきのインタビューを実行するチームもありますが、募集は都合に合わせ、プロトコルは非公式で、洞察は散らばったスライドにあります。実践はスクワッドごとに大きく異なり、リサーチはスケジュールの圧力のもとで削られるフェーズです。
レベル3、標準化: 生成的と評価的リサーチが文書化され、チームにわたって継続的に実行され、共有のプロセスを通じて優先順位づけに供給されます。募集は障害のある、到達しにくいユーザーを含む本物のセグメントを対象とし、検索可能な洞察のリポジトリがあり、統合は順位づけされた決定を生み、リサーチ運用が周期、テンプレート、参加者を組織全体で管理します。
レベル4、管理: リサーチのプログラムが、ベースラインに対して測定されます。チームは、ユーザーセグメントのカバレッジ、タスクの成功と完了率、洞察から出荷された変更までの時間、サポートの量、訓練時間、エラーと手戻りの率への下流の効果を追跡し、指標が下がったときに行動を引き起こす閾値を設定します。リポジトリの再利用とスタディの質が監視されるので、リーダーは、想定するのではなく、リサーチが生む見返りを見られます。
レベル5、オーケストレーション: リサーチは、分析と実験を伴う継続的で三角測量されたループで、洞察から出荷された変更、測定された効果までを閉じ、組織全体でプロダクト戦略とリスクの計画に統合されています。民主化されたリサーチはガードレールの中で安全に実行され、発見はプロダクトとユーザーが変わるにつれて複合し適応し、リサーチは、画面だけでなく、戦略を形づくることを実証します。

議論のためのアイデア

ビルドにコミットする前に、どれだけのディスカバリーが「十分」で、十分に学んだと言う権限を持つのは誰ですか。
分析とインタビューが同じ機能について反対の物語を語るとき、チームはどちらに基づいて行動するかをどう決めるべきですか。
責任をもってリサーチを民主化することと、訓練を受けていない熱意が規模で偏ったスタディを生むのを許すことの間の線はどこにありますか。
価値が、したがって決して起こらず指させない間違いであるスタディの見返りを、どう測りますか。
危機や脆弱な状況にある人々の負担を増やさずにリサーチする、倫理的な方法は何ですか。
政府のサービス標準のような義務的なユーザーリサーチは、ローンチをブロックできるゲートであるべきで、誰がそれを徹底しますか。

要点

リサーチは、間違ったものを築くリスクを減らすために存在し、築く前が最も安い。
生成的リサーチ(正しい問題を見つける)と評価的リサーチ(解決策を確認する)を分け、問いから方法を選びます。
「約5人のユーザー」は、ラウンドごとに一つのセグメントの深刻な問題の大半を見つけますが、成功を測らず、異なるグループをカバーしません。
タスクを現実的な目標として書き、過去の行動について尋ね、誘導的な質問と確証バイアスに対して設計します。
障害のある、到達しにくい人々を含め、ユーザーを本当に代表する参加者を募集します。さもなければ、発見は静かに偽りです。
スライドではなく、順位づけされた決定に統合します。テストは、決定が実際に変わったかです。
定性的リサーチを分析と実験で三角測量し、学びが複合するよう、発見を共有のリポジトリに捉えます。

参考文献とさらなる読み物

Erika Hall, Just Enough Research
Steve Krug, Rocket Surgery Made Easy
Jakob Nielsen, Usability Engineering
Mike Kuniavsky, Observing the User Experience
Steve Portigal, Interviewing Users
Tomer Sharon, Validating Product Ideas: Through Lean User Research
Hugh Beyer and Karen Holtzblatt, Contextual Design
Donna Spencer, Card Sorting: Designing Usable Categories
Kathy Baxter, Catherine Courage, and Kelly Caine, Understanding Your Users
Kate Towsey, Research That Scales: The Research Operations Handbook
Nielsen Norman Group, articles on usability testing, sample size, and research methods
UK Government Digital Service, Service Manual: user research guidance