5.8 Исследования в дизайне и тестирование удобства использования

Обзор и мотивация

Исследования пользователей это дисциплина изучения людей, для которых вы строите: их целей, контекстов, задач и препятствий, на которых они спотыкаются. Её основная ценность снижение риска. Самая дорогая ошибка в программах не дефект и не пропущенный срок; это хорошо построенная не та вещь, обнаруженная после запуска, когда оказывается, что она никому не была нужна или никто не мог ею пользоваться. Исследования дёшево скупают этот риск, до того как вы влили инженерию в направление, оказавшееся неверным. Глава 5.1 излагает основы UX; эта глава углубляется в два двигателя, держащих эти основы честными: генеративное исследование, говорящее, что строить, и оценочное исследование, говорящее, действительно ли построенное работает.

Для больших команд ставки умножаются. Когда многие отряды поставляют в один продукт, каждый каждый спринт делает ставки о пользователях, а без общей привычки к исследованиям эти ставки лишь мнения в костюме уверенности. Небольшой устойчивый поток свидетельств даёт всем одну и ту же реальность, от которой спорить, так что споры заканчиваются «давайте пойдём посмотрим на нескольких пользователей», а не тем, у кого больше старшинства или громче голос. Исследование также путешествует: одно хорошо проведённое изучение может исправить допущения дюжины команд сразу, если вы хорошо его зафиксируете и поделитесь им.

Корпоративная и государственная среда снова поднимают планку. У корпоративного программного обеспечения нередко «пленные» пользователи, не могущие уйти, поэтому непригодные инструменты оплачиваются ошибками, обучением и потерянными часами, а не оттоком, видимым на панели. Государственные услуги охватывают всё общество, включая людей в кризисе, на старых телефонах, с низкой цифровой уверенностью или без другого выбора. Многие национальные стандарты цифровых услуг теперь делают исследования пользователей обязательными именно по этой причине, потому что форма, которую никто не может закончить, лишает людей положенных им пособий. Здесь исследования не любезность. Это то, как вы держите публичное обещание.

Ключевые принципы

Исследования снижают риск построить не то; они дешевле всего до построения, а не после.
Генеративное исследование находит правильную проблему; оценочное проверяет решение. Нужны оба.
Наблюдайте, что люди делают, а не только что говорят; заявленное предпочтение и реальное поведение расходятся.
Качественные методы объясняют почему; количественные измеряют сколько. Сочетайте их.
Малое и непрерывное побеждает редкое и тяжёлое. Несколько пользователей каждую неделю обучают лучше одного большого изучения в год.
Ваши находки репрезентативны настолько, насколько репрезентативны участники, поэтому набирайте намеренно, включая пользователей с ограниченными возможностями и труднодостижимых.
Озарение, живущее в слайдах одной команды, потеряно. Фиксируйте исследования так, чтобы вся организация могла использовать их повторно.
Предвзятость подкрадывается через наводящие вопросы и желаемый синтез; проектируйте против неё намеренно.

Рекомендации

Разделяйте генеративное и оценочное исследование

Будьте явны, какой вопрос вы задаёте, потому что методы различаются. Генеративное (или исследование для обнаружения) исследование открытое и изучает пространство проблемы до появления решения: чего люди на самом деле пытаются достичь? Где нынешний опыт причиняет боль? Что они обходят? Оценочное исследование проверяет конкретный дизайн на задаче: могут ли люди её выполнить и где они спотыкаются? Путаница между ними расходует оба. Проведение строго сценарного сеанса тестирования удобства использования, когда вы всё ещё не понимаете проблему, даёт вам отполированные ответы на не тот вопрос, а неструктурированная беседа, когда нужно проверить поток оформления заказа, оставляет вас гадать. Сначала назовите вопрос исследования, затем выберите метод и подавайте генеративные находки в обнаружение продукта (глава 10.14), где реально формируется дорожная карта.

Подбирайте метод под вопрос

Универсального метода нет, есть только соответствия. Интервью с пользователями выявляют мотивы, ментальные модели и историю и ваша рабочая лошадка для обнаружения. Контекстное исследование (contextual inquiry), когда вы наблюдаете людей, делающих реальную работу в собственной среде, раскрывает обходные пути и прерывания, о которых люди никогда не упоминают в переговорной. Опросы измеряют отношения и частоты по большой популяции, но не могут объяснить стоящие за ними причины и жестоко наказывают за небрежную постановку вопросов. Сортировка карточек и тестирование деревьев выводят и проверяют информационную архитектуру из ментальных моделей пользователей: сортировка карточек просит людей группировать и называть понятия, а тестирование деревьев проверяет, могут ли они найти вещи в предлагаемой структуре. Дневниковые исследования фиксируют поведение, разворачивающееся днями или неделями, такое как знакомство или формирование привычки, которого не видит ни один отдельный сеанс. Простая эвристика: используйте интервью и контекстное исследование, чтобы понять людей, сортировку карточек и тестирование деревьев, чтобы структурировать информацию, опросы и дневниковые исследования, чтобы видеть через время и масштаб, и тестирование удобства использования, чтобы проверить дизайн.

Проводите тесты удобства использования рано, часто и малыми порциями

Тестирование удобства использования единственный оценочный метод наибольшего рычага, и начать его можно с бумажных набросков задолго до появления кода. Известная эвристика гласит, что около пяти пользователей за раунд выявляют большинство серьёзных, очевидных проблем удобства использования, поэтому лучше провести три раунда по пять по мере развития дизайна, чем одно грандиозное изучение пятнадцати в конце. Но поймите пределы эвристики. Пяти пользователей достаточно только для одной однородной группы, находящей большие проблемы; она не измеряет доли успеха, не охватывает отдельные сегменты пользователей (каждой значимо иной группе нужна своя горсть) и не ловит редкие, но серьёзные проблемы. Выбирайте модерируемое тестирование, когда хотите исследовать рассуждения, адаптироваться на лету и обрабатывать сложные или чувствительные задачи, и немодерируемое, когда нужны скорость, объём, географический охват и меньшая цена для простых потоков. Большинство зрелых команд ведут оба: модерируемое, чтобы понять, немодерируемое, чтобы подтвердить в масштабе.

Пишите задачи и вопросы, не наводящие свидетеля

Ваше изучение заслуживает доверия настолько, насколько заслуживает его ваш протокол, а быстрейший способ его испортить подсказать желаемый ответ. Давайте участникам реалистичные цели, а не инструкции: скажите «вы только что переехали и вам нужно обновить адрес», а не «нажмите кнопку Редактировать профиль и измените адрес». Спрашивайте о прошлом поведении, а не будущих намерениях, потому что «вы бы этим пользовались?» надёжно порождает вежливую ложь, а «расскажите о последнем разе, когда вы это делали» порождает факты. Избегайте вопросов, предполагающих собственный вывод, и остерегайтесь предвзятости подтверждения, человеческой склонности замечать и запоминать свидетельства, поддерживающие то, во что вы уже верите. Исследователь, написавший дизайн, не должен молча подталкивать участников к успеху, а наблюдающая команда должна записывать произошедшее, прежде чем обсуждать, что оно значит. Когда вы разделяете проектирование и сообщение задач и проектирование продукта (глава 5.4), вы получаете более чистый сигнал.

Набирайте участников, действительно представляющих ваших пользователей

Находки наследуют предвзятость вашего набора. Если вы тестируете только с уверенными, подключёнными, комфортно владеющими технологиями добровольцами, вы выпустите нечто, прекрасно работающее для людей, которые почти не нуждались в помощи, и подводящее тех, кому она нужнее всего. Определите ваши сегменты, затем набирайте под них намеренно, включая пользователей с ограниченными возможностями, полагающихся на вспомогательные технологии (глава 5.3), и труднодостижимые группы вроде людей в кризисе, людей с низкой цифровой уверенностью, пожилых пользователей и тех, кто на медленных соединениях или старых устройствах. Охват этих участников требует больше усилий и нередко партнёрства с общественными организациями, соответствующих поощрений и гибкой логистики, но пропуск не заставляет пользователей исчезнуть; он лишь переносит обнаружение в эксплуатацию, где оно гораздо дороже и гораздо вреднее. Отбирайте внимательно, чтобы получить настоящих членов сегмента, а не профессиональных тестировщиков, играющих с поощрениями.

Синтезируйте находки в решения, а не только отчёты

Сырые наблюдения не озарение. Работа синтеза превращает груду заметок сеансов в небольшое число решений, по которым команда может действовать. Аффинное картирование, кластеризация отдельных наблюдений в темы (практика за диаграммой сродства), стандартный ход, делающий шаблоны видимыми по сеансам. Для исследований с упором на интервью лёгкий тематический анализ держит вас честными в том, какие темы действительно поддержаны данными. Сворачивайте устойчивые шаблоны в общие модели из главы 5.1, персоны на основе свидетельств и карты путешествия, чтобы озарение накапливалось, а не испарялось. Проверка хорошего синтеза проста: изменилось ли решение? Изучение, производящее красивую презентацию, но не изменившее ни одного пункта дорожной карты, было театром. Заканчивайте каждое изучение коротким ранжированным списком находок и рекомендованным действием по каждой.

Триангулируйте качественное исследование с аналитикой и экспериментированием

Качественное исследование и количественные данные отвечают на разные половины одного вопроса, и каждое покрывает слепое пятно другого. Исследование объясняет, почему пользователи ведут себя так, но видит лишь горстку людей в комнате; аналитика и экспериментирование (глава 7.4) видят всю популяцию, но не могут объяснить мотивацию или поймать проблемы людей, так и не ставших пользователями. Используйте их как контур: аналитика показывает отток, исследование его объясняет, переделка его устраняет, а эксперимент измеряет, сдвинуло ли исправление число. Когда качественный и количественный сигналы расходятся, воспринимайте противоречие как подсказку, а не помеху, потому что обычно один из них измеряет то, что вы не осознавали измеряющим. Ни один источник не начальник другого; решение приходит от чтения их вместе.

Стройте операции исследований, чтобы исследование масштабировалось

Как только исследования ведут больше пары команд, узким местом перестаёт быть метод и становится логистика: набор, расписание, согласие, поощрения, хранение заметок и поиск изучения прошлого квартала, прежде чем кто-то повторит его. Операции исследований (ResearchOps) практика обеспечения надёжности этого механизма. Вкладывайтесь в репозиторий озарений с поиском, чтобы находки помечались, обнаруживались и повторно использовались между командами; систему управления участниками, уважающую согласие, приватность и частоту контактов; и регулярный ритм исследований, чтобы изучения были устойчивой привычкой, а не авралом. Демократизация исследований, позволяющая не-исследователям вести некоторые изучения, стоит того, но только с ограничителями: шаблонами, обучением и рецензией, чтобы вы масштабировали объём обучения, не масштабируя объём плохих протоколов и предвзятых выводов.

Компромиссы: плюсы и минусы

Метод	Лучше всего для	Плюсы	Минусы
Интервью с пользователями	Обнаружение, мотивы	Глубокое почему, гибко, дёшево начать	Малая выборка, склонность к предвзятости интервьюера
Контекстное исследование	Поведение в реальном мире	Раскрывает обходные пути и контекст	Трудоёмко, трудно планировать
Опросы	Отношения в масштабе	Большая выборка, количественно	Не может объяснить почему, легко написать плохо
Сортировка карточек и тестирование деревьев	Информационная архитектура	Закрепляет структуру в ментальных моделях	Узкий охват, нужен тщательный анализ
Дневниковые исследования	Поведение во времени	Фиксируют продольные шаблоны	Высокий отсев, усилия участника
Модерируемое тестирование удобства использования	Понимание дизайна	Исследовательское, адаптивное, богатое	Медленнее, дороже, много планирования
Немодерируемое тестирование удобства использования	Подтверждение в масштабе	Быстро, дёшево, географически широко	Нет уточнений, поверхностно для сложных задач

Центральное напряжение между глубиной и масштабом, а разрешение в последовательности, а не выборе. Используйте глубокие качественные методы с малой выборкой, чтобы понять и порождать гипотезы, затем используйте широкие количественные методы, чтобы измерить и подтвердить их. Второе напряжение скорость против строгости: непрерывные лёгкие исследования держат команду учащейся каждую неделю, но та же скорость, делающая их ценными, облегчает срезание углов в наборе и протоколе. Разрешайте это подбором строгости под обратимость. Тратьте настоящую методологическую заботу на решения, дорогие для отмены (основные потоки, информационная архитектура, ставки на платформы), и двигайтесь быстро и свободно на деталях, которые можно изменить в следующем спринте.

Вопросы для обсуждения с командой

Когда мы делаем ставку на продукт, какое наименьшее исследование изменило бы наше мнение и готовы ли мы провести его до обязательства? Команды любят исследования в принципе и пропускают их под давлением срока, поэтому настоящий вопрос в том, есть ли у свидетельств вообще какая-либо власть над дорожной картой. Решите заранее, что считалось бы опровергающим свидетельством, потому что изучение, которое вы проигнорируете независимо от исхода, пустая трата времени всех и форма театра. Это важнее всего для решений, дорогих для отмены, где неделя обнаружения тривиальна рядом с месяцами построения не того. Принесите текущее решение и назовите вслух находку, которая заставила бы вас сменить курс. Если никакая находка не могла бы его изменить, вы не проводите исследование, вы собираете успокоение и должны либо честно обязаться, либо открыть решение заново.
Похожи ли люди, с которыми мы тестируем, на людей, использующих продукт, особенно на тех, кому трудно больше всего? Комфортно набирать уверенных, подключённых, доступных добровольцев, и этот комфорт порождает лестную и ложную картину того, насколько удобен ваш продукт на самом деле. Пользователи, которым программа должна работать хорошо больше всего, пользователи с ограниченными возможностями, люди в кризисе, люди с низкой цифровой уверенностью, обычно труднее всего поддаются набору, поэтому они тихо выпадают из выборки, если за них не бороться. Возьмите демографию участников ваших трёх последних изучений и положите рядом с вашей реальной базой пользователей или обязательствами государственной услуги. Если она смещена к легко достижимым пользователям, ваша уверенность неуместна, и вам следует исправить конвейер набора, наладить партнёрство с общественными организациями и скорректировать поощрения, прежде чем доверять следующему раунду находок.
Где живут наши находки исследований и мог бы другая команда найти и использовать их повторно через полгода? В большой организации один и тот же вопрос исследуется снова и снова, потому что никто не мог найти ответ, за который уже заплатила первая команда, а это чистая трата, наряженная в усердие. Решите, кто владеет репозиторием озарений, как изучения помечаются и резюмируются и каков минимальный жизнеспособный отчёт, чтобы фиксация находки была достаточно быстрой, чтобы люди действительно это делали. Подумайте, что происходит с согласием и приватностью участников, когда находки повторно используются и распространяются, потому что повторное использование без заботы проблема соответствия и доверия. Принесите одно недавнее решение и попробуйте проследить свидетельства за ним. Если вы не можете найти изучение за несколько минут, ваши исследования испаряются быстрее, чем вы их производите.
Когда мы ссылаемся на правило «около пяти пользователей», сколько отдельных сегментов этот продукт на самом деле обслуживает и тестируем ли мы настоящую выборку каждого? Эвристика пяти пользователей становится ловушкой, когда у продукта несколько значимо различных групп пользователей, потому что пять участников из одной группы ничего не говорят о других, однако число цитируется так, будто один раунд решил дело для всех. Для большой команды, поставляющей в общий продукт, сегменты быстро умножаются: разные роли, регионы, устройства, потребности доступности и уровни экспертизы, и каждой значимо иной группе нужна своя горсть. Конкурирующее давление цена и расписание, поскольку тестирование каждого сегмента в каждом раунде дорого, поэтому решите, какие сегменты несут наибольший риск, покрывайте их каждый раунд, а остальные чередуйте. Принесите вашу реальную карту сегментов и числа участников на сегмент в недавних раундах и честно скажите, за какими группами вы никогда не наблюдали. В корпоративной и государственной среде, где «пленные» пользователи и обязательства государственной услуги означают, что пренебрегаемый сегмент не может просто уйти, нетестированный сегмент население, которое вы молча подводите, и этот пробел принадлежит плану как явное покрытие, а не усреднённая статистика.
Кому здесь разрешено вести изучения и что мешает необученному энтузиасту производить уверенную чепуху в масштабе? Демократизация исследований позволяет большему числу команд учиться быстрее, но без шаблонов, обучения и рецензии она также масштабирует предвзятые протоколы, наводящие вопросы и желаемый синтез, так что объём обучения и объём плохих выводов растут вместе. Напряжение между пропускной способностью и доверием: пропускайте всё через нескольких исследователей, и они становятся узким местом, откройте ворота без ограничителей, и вы затопите организацию находками, по которым никому не следует действовать. Решите, какие типы изучений безопасно делегировать, например быстрый немодерируемый тест задачи, а какие требуют обученной руки, например чувствительные темы, уязвимые участники или ставки на информационную архитектуру, и принесите шаблоны, шаг рецензии и честный аудит недавних изучений самообслуживания, чтобы увидеть, сколько из них пережили бы проверку. Для большой корпорации или государственного органа добавьте угол закупок и приватности: общие инструменты исследований нередко покупаются, а платформа самообслуживания, позволяющая любому связываться с участниками без отслеживания согласия, инцидент соответствия, ждущий своего часа, так что ограничители касаются законной обработки данных не меньше, чем качества метода.
Когда наша аналитика и наши интервью рассказывают противоположные истории об одной функции, как эта команда решает, чему верить? Качественные и количественные сигналы отвечают на разные половины одного вопроса, а воспринимание противоречия между ними как помехи, разрешаемой старшинством, выбрасывает самую полезную подсказку, какая у вас есть, потому что обычно один источник измеряет то, что вы не осознавали измеряющим. Для большой организации риск трайбализм: команда данных, доверяющая только панелям, и команда исследований, доверяющая только сеансам, каждая отвергает другую вместо чтения вместе. Принесите настоящее недавнее расхождение, отток из аналитики рядом с причинами из исследования, и пройдите по контуру, где аналитика показывает где, исследование объясняет почему, а эксперимент измеряет, сдвинуло ли исправление число. В корпоративной и государственной среде, где одна метрика может управлять финансированием или публичным обязательством, назовите заранее, кто арбитр, когда двое расходятся, и какие свидетельства закрывают спор, чтобы решение опиралось на триангулированное чтение, а не на то, у какой функции в комнате самый громкий защитник.

Взгляд по секторам

Стартап. С горсткой людей и без запаса времени воспринимайте исследования как самую дешёвую страховку, какую можно купить, а не фазу. Пусть основатель проведёт пять модерируемых сеансов на бумажных прототипах до написания большого количества кода, формулируя задачи как цели, а не инструкции, и позвольте тому, что вы наблюдаете, убить или перенаправить идею, пока она ещё наброски. Пропустите репозиторий и панель; вся суть в том, чтобы учиться достаточно быстро, чтобы избежать построения не того.

Малый бизнес. У вас, вероятно, нет выделенного исследователя и ограниченный бюджет, поэтому опирайтесь на недорогие инструменты немодерируемого тестирования и лёгкие интервью, а не на укомплектованную функцию исследований. Покупая программы тестирования удобства использования, отдавайте предпочтение тем, что берут на себя набор и согласие, поскольку построение этого механизма самостоятельно редко стоит того на вашем масштабе. Тестируйте немногие потоки, которые приносят или теряют вам клиента, и дисциплинированно пишите задачи, не наводящие свидетеля, потому что плохой протокол расходует то малое, что у вас есть из бюджета.

Крупная организация. Когда многие отряды поставляют в общие продукты, ограничение в управлении: репозиторий озарений с поиском, управляемая панель участников с отслеживанием согласия и ритм исследований, чтобы изучения были привычкой, а не авралом. Демократизируйте исследования внутри ограничителей из шаблонов, обучения и рецензии, чтобы объём масштабировался без масштабирования плохих протоколов, и обеспечьте, чтобы находки были помечены и проверяемы и два отряда никогда не платили дважды за ответ на один вопрос. Воспринимайте данные участников как регулируемые: хранение, согласие и частота контактов требуют политики.

Государственный сектор. Многие национальные стандарты цифровых услуг делают исследования пользователей обязательными и подлежащими оценке, поэтому воспринимайте их как барьер, который услуга должна пройти со свидетельствами. Правила закупок формируют ваши инструменты и поставщиков набора, прозрачность означает документирование, с кем вы тестировали и что нашли, а публичная подотчётность означает набор труднодостижимых пользователей, включая пользователей с цифровой помощью и с ограниченными возможностями, потому что услуга, исключающая их, лишает людей прав. Ведите ясные записи согласия и метода, чтобы оценщик, аудитор или общество могли увидеть, что исследование было настоящим.

Примеры

Стартап. Стартап из шести человек, строящий программу учёта расходов для фрилансеров, был убеждён, что убийственная функция автоматическое сканирование чеков, и построил её черновую версию. Прежде чем вкладываться дальше, два основателя провели пять модерируемых сеансов тестирования удобства использования с настоящими фрилансерами на бумажных прототипах, формулируя задачи как цели («внесите кофе, расход на который вы только что оформили»), а не инструкции. Четверо из пяти полностью игнорировали сканирование и вводили суммы вручную, потому что их настоящая тревога была не в скорости ввода данных, а в том, переживёт ли расход налоговую проверку. Команда перестроила продукт вокруг категоризации, готовой к проверке, и ясного следа документов, провела ещё два малых раунда по мере итераций и превратила буксующую бесплатную пробную версию в платящих подписчиков, всё ценой недели набросков и бесед.

Крупная организация. Глобальная логистическая компания стандартизировала складское программное обеспечение по площадкам и учредила постоянную функцию операций исследований, чтобы держать десятки продуктовых отрядов честными. Они построили репозиторий озарений с метками, управляемую панель складского персонала, согласившегося на периодические сеансы, и двухнедельный ритм исследований. Когда два отряда независимо предложили переработать один и тот же рабочий процесс сканирования, поиск по репозиторию выявил контекстное исследование предыдущего квартала, показавшее, что большинство ошибок сканирования вызывали перчатки и условия холодильных складов, а не компоновка экрана. Эта одна повторно использованная находка перенаправила оба отряда на большие цели касания и взаимодействия, удобные в перчатках, избежала дублированного обнаружения и измеримо сократила ошибочные сканирования после выпуска.

Государственный сектор. Национальная служба здравоохранения, перерабатывающая услугу записи на приём, воспринимала исследования пользователей как обязательные по своему стандарту цифровых услуг, а не необязательные. Рядом с модерируемым тестированием удобства использования с демографически широкой выборкой команда провела сеансы с цифровой помощью с людьми, обычно полагающимися на родственника или помощника библиотеки, и набрала участников с ограниченными возможностями, использующих программы чтения с экрана и переключательный доступ (глава 5.3), через партнёрство с благотворительными организациями. Тестирование показало, что клинический жаргон в заголовках разделов заставлял пожилых пользователей и пользователей с низкой уверенностью бросать до встречи с настоящим барьером. Перестройка контента вокруг целей пациентов простым языком, затем подтверждение выигрыша немодерируемым изучением в масштабе и сравнением живой аналитики (глава 7.4) повысили успешные записи самообслуживания и снизили нагрузку на колл-центр, улучшив и стоимость обслуживания, и равенство доступа.

Бизнес-обоснование: мотивы, ROI и TCO

Отдача от исследований приходит из трёх рычагов. Первый избегнутая трата: поймать неверное направление за неделю обнаружения вместо квартала инженерии самая большая и наиболее недооцениваемая экономия именно потому, что потраченное построение никогда не происходит и потому никогда не появляется в отчёте. Второй более высокий успех: больше пользователей завершают ценные задачи, что проявляется как конверсия в потребительских продуктах и как производительность и меньше ошибок в корпоративной среде, где пользователи «пленные». Третий ниже стоимость обслуживания: удобные услуги порождают меньше обращений в поддержку, меньше обучения и меньше нижестоящих ошибок для исправления.

Совокупная стоимость владения должна взвешивать цену проведения исследований против цены их пропуска. Цены проведения видимы и скромны: исследователи, набор и поощрения, инструменты, репозиторий и время в расписании. Цены пропуска больше, но рассеяны по другим бюджетам: брошенные транзакции, заявки в поддержку, дни обучения, дорогие поздние переделки, проваленные запуски и в государственном секторе исключение граждан и следующая за ним юридическая и репутационная экспозиция. Поскольку эти затраты прячутся в поддержке, обучении и операциях, а не линии продукта, руководство регулярно их недооценивает, именно поэтому исследования выглядят необязательными, пока запуск не провалится.

Чтобы обосновать это, привяжите исследования к числам, которые руководители уже наблюдают: доли завершения и конверсии, стоимость транзакции, объём поддержки, время обучения и доли ошибок и переделок. Проведите одно небольшое инструментированное «до и после» на настоящем потоке, покажите движение и экстраполируйте на портфель. Формулируйте исследования как снижение риска для необратимых решений, язык, находящий отклик у финансовых и управляющих заинтересованных сторон, которые могут никогда не читать отчёт о тестировании удобства использования, но понимают ставку, которая может не сыграть.

Антипаттерны и ловушки

Театр исследований: изучения, проводимые для оправдания уже принятого решения, с находками, тихо игнорируемыми, когда неудобны.
Наведение свидетеля: задачи и вопросы, подсказывающие желаемый ответ, производящие лестные данные, ничего не значащие.
Синтез с предвзятостью подтверждения: слышать только наблюдения, подходящие плану, и отбрасывать остальные.
Заблуждение пяти пользователей: воспринимание «около пяти пользователей» как универсального закона при игнорировании того, что оно предполагает один сегмент и находит только серьёзные проблемы, а не доли успеха.
Набор по удобству: тестирование тех, до кого легко дотянуться, так что пользователи с ограниченными возможностями и труднодостижимые исчезают из выборки.
Доверие заявленному предпочтению: вера в «да, я бы этим пользовался» вместо наблюдения за тем, что люди на самом деле делают.
Кладбища озарений: находки, погребённые в слайдах одной команды, так что один и тот же вопрос исследуется снова и снова.
Демократизация без ограничителей: позволение любому вести изучения без шаблонов или рецензии, масштабирующее предвзятые протоколы и шаткие выводы.
Трайбализм качественного против количественного: выбор любимого источника данных и отвержение другого вместо триангуляции.

Модель зрелости

Уровень 1, Начальный: Исследования стихийны или отсутствуют, а решения опираются на мнение и старшинство. Тестирование удобства использования, если происходит, реактивное разовое перед запуском с теми, кто под рукой, и находки редко что-либо меняют.
Уровень 2, Развитие: Некоторые команды проводят тесты удобства использования и случайные интервью, но набор по удобству, протоколы неформальны, а озарения живут в разбросанных презентациях. Практика сильно различается от отряда к отряду, а исследования это фаза, срезаемая под давлением расписания.
Уровень 3, Стандартизация: Генеративные и оценочные исследования документированы и ведутся непрерывно по командам, питая приоритизацию через общий процесс. Набор нацелен на реальные сегменты, включая пользователей с ограниченными возможностями и труднодостижимых, существует репозиторий озарений с поиском, синтез производит ранжированные решения, а операции исследований управляют ритмом, шаблонами и участниками по организации.
Уровень 4, Управление: Программа исследований измеряется относительно базовых значений. Команды отслеживают покрытие сегментов пользователей, доли успеха и завершения задач, время от озарения до выпущенного изменения и нижестоящий эффект на объём поддержки, время обучения и доли ошибок и переделок и задают пороги, запускающие действие при падении метрики. Повторное использование репозитория и качество изучений мониторятся, так что руководители видят отдачу, которую производят исследования, а не предполагают её.
Уровень 5, Оркестрация: Исследования это непрерывный триангулированный контур с аналитикой и экспериментированием, замыкающийся от озарения через выпущенное изменение к измеренному эффекту и интегрированный со стратегией продукта и планированием рисков по организации. Демократизированные исследования безопасно ведутся внутри ограничителей, находки накапливаются и адаптируются по мере сдвигов продукта и его пользователей, а исследования демонстративно формируют стратегию, а не только экраны.

Идеи для обсуждения

Сколько обнаружения «достаточно» перед обязательством к построению и у кого полномочия сказать, что вы узнали достаточно?
Когда аналитика и интервью рассказывают противоположные истории об одной функции, как команде решать, на что опираться?
Где линия между ответственной демократизацией исследований и позволением необученному энтузиазму производить предвзятые изучения в масштабе?
Как измерить отдачу от изучения, чья ценность в ошибке, которой вы поэтому никогда не совершили и на которую никогда не сможете указать?
Каков этичный способ исследовать с людьми в кризисе или в уязвимых обстоятельствах, не добавляя им бремени?
Должны ли обязательные исследования пользователей, как в государственных стандартах услуг, быть барьером, способным заблокировать запуск, и кто его принуждает?

Главные выводы

Исследования существуют, чтобы снизить риск построить не то, и они дешевле всего до построения.
Разделяйте генеративное исследование (найти правильную проблему) и оценочное (проверить решение); выбирайте метод по вопросу.
«Около пяти пользователей» находят большинство серьёзных проблем в одном сегменте за раунд, но не измеряют успех и не охватывают отдельные группы.
Пишите задачи как реалистичные цели, спрашивайте о прошлом поведении и проектируйте против наводящих вопросов и предвзятости подтверждения.
Набирайте участников, действительно представляющих ваших пользователей, включая людей с ограниченными возможностями и труднодостижимых, иначе ваши находки тихо ложны.
Синтезируйте в ранжированные решения, а не презентации; проверка в том, изменилось ли решение на самом деле.
Триангулируйте качественное исследование с аналитикой и экспериментированием и фиксируйте находки в общем репозитории, чтобы обучение накапливалось.

Источники и дополнительное чтение

Erika Hall, Just Enough Research
Steve Krug, Rocket Surgery Made Easy
Jakob Nielsen, Usability Engineering
Mike Kuniavsky, Observing the User Experience
Steve Portigal, Interviewing Users
Tomer Sharon, Validating Product Ideas: Through Lean User Research
Hugh Beyer and Karen Holtzblatt, Contextual Design
Donna Spencer, Card Sorting: Designing Usable Categories
Kathy Baxter, Catherine Courage, and Kelly Caine, Understanding Your Users
Kate Towsey, Research That Scales: The Research Operations Handbook
Nielsen Norman Group, articles on usability testing, sample size, and research methods
UK Government Digital Service, Service Manual: user research guidance