Ugman

Модератор
Какой метод выбрать для исследования аудитории сайта

Перевод обзора специалиста по пользовательскому опыту Nielsen Norman Group Кейт Мейер.

143223_0.png

Многие UX-специалисты чаще используют качественные методы исследований, потому что они, согласно распространенному мнению, считаются более лёгкими и дешёвыми, чем количественный анализ. Количественный анализ часто ассоциируется с огромными объёмами выборки данных и статистики, поэтому специалисты стараются избегать пугающую их перспективу.

Если это похоже на вас, то вы многое упускаете. Количественные методы являются важной частью инструментария любого опытного UX-специалиста. Они позволяют:
  • Получить точные данные по удобству использования вашего продукта. Иногда они более убедительны, чем результаты качественных методов исследования и видеоролики по ним (особенно когда вы пытаетесь повлиять на решение других людей, например руководства).
  • Сравнить различные дизайны (например, новую версию продукта со старой версией или ваш продукт с продуктом конкурентов) и определить, являются ли видимые различия статистически значимыми, не обусловлены ли они случайностью.
  • Улучшить качество компромиссных решений в UX. Например, если предложенные изменения в дизайне сложно внедрить, стоит ли это делать? Если у вас есть приблизительная оценка того, как определённые изменения повлияют на юзабилити, то количественные исследования помогут понять, стоит ли проводить редизайн.
  • Привязать улучшения UX к организационным целям и ключевым показателям эффективности (демонстрируя таким образом доходностьна вложенные средства и оправдывая существование вашей UX-команды).
Эта статья может помочь вам начать. Первый шаг — определить, какой именно количественный метод исследования вам подойдёт. Несколько наиболее популярных из них:
  • Количественное юзабилити-тестирование (бенчмаркинг);
  • Веб-аналитика (или аналитика приложений);
  • A/B-тестирование или многомерное тестирование;
  • Сортировка карт;
  • Тестирование «дерева» сайта;
  • Опросы или анкетирование;
  • Кластеризация комментариев, полученных в качественном исследовании;
  • Оценка целесообразности продукта;
  • Айтрекинговое тестирование.
Каждый из этих методов генерирует ценные количественные данные, но сами техники очень разнообразны как по типу получаемых данных, так и по количеству требуемых усилий.

В статье перечислены наиболее распространённые сценарии использования этих методов и оценены затраты и сложность каждого из них. Как и любой исследовательский метод, они могут быть адаптированы под самые разные потребности. В зависимости от ваших конкретных обстоятельств, затраты и сложность могут сильно различаться. Нужно помнить, что у каждого метода свои минимальные размеры выборки для определения статистической значимости.

Количественное юзабилити-тестирование (бенчмаркинг)
  • Применение: отслеживание изменения удобства использования продукта во времени, сравнение с конкурентами.
  • Затраты: средние.
  • Сложность сбора: средняя.
  • Сложность анализа: средняя.
  • Тип метода: поведенческий (что люди делают).
  • Контекст использования: задачно-ориентированный.
Хотя его и не так часто используют, количественное юзабилити-тестирование (которое иногда называют бенчмаркингом) очень похоже на качественное: пользователей просят выполнить реалистичные задания с помощью продукта.

Основное различие между этими двумя методами в том, что в качественном юзабилити-тестировании главное — наблюдения, например, определение проблем с удобством использования продукта. Суть количественного юзабилити-тестирования же, наоборот, заключается в сборе таких метрик, как время выполнения задания или успешность его выполнения.

Когда вы соберёте метрики из относительно большой выборки (около 35 участников или более), можно использовать их для отслеживания прогресса в удобстве использования вашего продукта с течением времени или для сравнения удобства использования вашего продукта и продукта вашего конкурента.
143223_1.png
Если отслеживать какую-нибудь метрику в течение некоторого времени и с учётом множества отладок продукта, то можно создавать такие графики. Эта информация поможет мониторить UX вашего продукта и отслеживать улучшения.
В зависимости от того, какой тип юзабилити-тестирования вы выберете (личная встреча, удалённое модерируемое или удалённое немодерируемое), будут отличаться стоимость и сложность его выполнения. Так как у количественного и качественного тестирований разные цели, структура и задания тоже должны будут отличаться.

Веб-аналитика (или аналитика приложений)
  • Применение: определение или приоритизация проблем, контроль выполнения.
  • Затраты: низкие.
  • Сложность сбора: низкая.
  • Сложность анализа: высокая.
  • Тип метода: поведенческий (что люди делают).
  • Контекст использования: в реальном времени.
Аналитические данные описывают, что люди делают с вашим продуктом в реальном времени — куда ходят, на что кликают, какую функциональность используют, откуда приходят на сайт, на каких страницах прерывают работу с сайтом или приложением.

Такая информация может поддерживать огромное разнообразие UX-процессов. В частности, так вы можете отслеживать результативность разнообразного контента, пользовательских интерфейсов или различных функциональностей вашего продукта и определять, что не работает.

A/B-тестирование или многомерное тестирование
  • Применение: сравнение двух вариантов дизайна.
  • Затраты: низкие.
  • Сложность сбора: низкая.
  • Сложность анализа: низкая.
  • Тип метода: поведенческий (что люди делают).
  • Контекст использования: в реальном времени.
Можно использовать аналитические метрики, чтобы отслеживать рабочие характеристики продукта (как это было описано выше). А ещё проводить эксперименты, которые покажут, как различный дизайн пользовательских интерфейсов меняет эти метрики. Для этого подходит A/B-тестирование или многофакторное тестирование.

Во время A/B-тестирования команды создают две разные действующие версии одного и того же пользовательского интерфейса, а затем показывают их разным пользователям, чтобы посмотреть, какая версия работает лучше. Например, можно создать две версии одной кнопки призыва к действию: «Узнать стоимость» или «Узнать больше».

Затем можно отследить количество кликов по той и другой кнопкам. Многофакторное тестирование похоже на этот метод, но здесь тестируются сразу несколько элементов дизайна (например, в тестировании могут участвовать несколько надписей на кнопках, различная типографика и расположение на странице).

Оба основанные на аналитике типы тестирования отлично подходят, чтобы выбрать один вариант дизайна из нескольких — с их помощью можно прекратить споры в команде о том, какая версия лучше.

143223_2.png
A/B-тестирование разделяет входящий трафик (пользователей) и направляет одну часть пользователей на первую версию UI, а другую часть — на вторую версию.
Главный недостаток этого метода заключается в том, что он часто неправильно эксплуатируется. Некоторые команды проводят тестирование меньше, чем следовало бы, поэтому принимают рискованные решения на основании небольшой выборки.

Сортировка карт
  • Применение: определение информационно-архитектурных меток и структур.
  • Затраты: низкие.
  • Сложность сбора: низкая.
  • Сложность анализа: средняя.
  • Тип метода: оценочный (что люди говорят).
  • Контекст использования: продукт не используется.
При использовании метода сортировки карт участникам выдаются элементы контента (иногда даже на обычных индексных карточках). Их просят сгруппировать и пометить эти карточки так, как им это кажется разумным. Этот тест можно проводить с личным присутствием и физическими картами или удалённо, через платформу сортировки карт, как например OptimalSort.

143223_3.png
Если сортировка карт проводится при личном присутствии, пользователь сортирует и категоризирует физические карты. На каждой карте есть описание контента, который она представляет.
Такой метод позволяет представить когнитивную карту информационного пространства пользователя. Какой терминологией они пользуются? Какой логикой руководствуются при группировании этих концептов?

Количественный анализ процентного соотношения участников опроса, которые группировали концепты схожим образом, может помочь установить, какой подход к категоризации будет понятен большей части пользователей.

Тестирование «дерева» сайта
  • Применение: оценка информационно-архитектурной иерархии.
  • Затраты: низкие.
  • Сложность сбора: низкая.
  • Сложность анализа: средняя.
  • Тип метода: поведенческий (что люди делают).
  • Контекст использования: задачно-ориентированный, продукт не используется.
При тестировании «дерева» сайта участники пытаются завершить задание используя только структуру вашего сайта. В целом это способ оценить информационную архитектуру, изолировав её от других аспектов вашего UI.


Например, представьте, что ваш продукт — сайт товаров для животных, а ниже представлена ваша иерархия первого уровня.

143223_4.png
Визуализация вашей иерархии могла бы выглядеть примерно так. Участников тестирования «дерева» сайта можно попросить найти какой-то конкретный продукт в вашей иерархии (например, ошейники). Сначала они будут видеть только категории первого уровня (например, собаки, кошки, птицы и так далее). Как только пользователь сделает выбор (собаки), он увидит дочернюю категорию.
Вы можете попросить своих участников найти ошейники для собак. Количественный анализ результатов тестирования «дерева» сайта покажет, могут ли люди найти правильный путь к этому товару в информационной иерархии. Сколько участников выберет неверную категорию?

Этот метод полезен, если нужно определить, соответствуют ли информационно-архитектурная структура, метки и местонахождение товара ожиданиям людей.

Опросы или анкетирование
  • Применение: сбор информации о пользователях, их отношении и поведении.
  • Затраты: низкие.
  • Сложность сбора: низкая.
  • Сложность анализа: низкая.
  • Тип метода: оценочный (что люди говорят).
  • Контекст использования: любой.
Опросы — это гибкий инструмент исследования пользователей. Их можно проводить в разнообразных контекстах: простой открытый опрос на сайте, через рассылку или после тестирования удобства использования сайта.

Опросы могут принести как количественные, так и качественные данные — рейтинги, процентное соотношение выбора одного из вариантов ответов на вопрос с несколькими вариантами ответа, а кроме того, ответы на открытые вопросы. Вы даже можете конвертировать качественные ответы из опроса в цифровые данные.

143223_5.png
В такой семантической дифференциальной шкале оценок, как эта, каждая кнопка с зависимой фиксацией означает свою числовую величину. Респонденты могут выбрать «легко использовать» (1), «сложно использовать» (5) или значение между ними. Среднее значение ответов на этот вопрос покажет воспринимаемую сложность вашего приложения.
Можно создать собственные индивидуальные опросы или использовать одну из множества уже созданных анкет (например, System Usability Scale или Net Promoter Score). Преимущество этих опросников заключается в том, что вы можете сравнить свои результаты со средним значением по своей индустрии или с результатами конкурентов, и понять, как идут ваши дела.

Даже если вы создадите опрос индивидуально под себя, вы всё равно сможете отслеживать свою среднюю оценку за период времени, чтобы наблюдать улучшение продукта.

Кластеризация комментариев, полученных в качественном исследовании
  • Применение: определение важных тем в качественных данных.
  • Затраты: низкие.
  • Сложность сбора: средняя.
  • Сложность анализа: средняя.
  • Тип метода: оценочное (что люди говорят).
  • Контекст использования: любой.
Эта техника в меньшей степени является методологией сбора данных и в большей — методом анализа качественных данных. Она представляет собой группирование результатов, полученных из качественного исследования (например, исследование методом дневника, опрос, фокус группа или интервью) по общим темам. Если вы собрали много данных, то можете посчитать количество раз, когда упоминается какая-то конкретная тема.

Например, представьте, что вы проводите исследование методом дневника, и просите участников каждый день сообщать об их опыте использования вашего продукта в течение недели. Ваша цель — понять, в каком контексте они пользуются вашим продуктом. Вы можете посчитать количество раз, когда люди пользовались продуктом на работе, дома или в пути.

С помощью этого метода можно определить преобладание или частоту употребления какой-то конкретной темы или ситуации — например, как часто пользователь жалуется или как часто возникают проблемы UI.

Этот подход хорош, чтобы добывать числовые данные из большого количества качественной информации, но может требовать серьёзных временных затрат.

Оценка целесообразности
  • Применение: определение качеств, которые ассоциируются с вашим продуктом или брендом.
  • Затраты: низкие.
  • Сложность сбора: низкая.
  • Сложность анализа: низкая.
  • Тип метода: оценочный (что люди говорят).
  • Контекст использования: задачно-ориентированный.
Количественная оценка целесообразности продукта — это попытка измерить и представить в количественной форме некоторые качества продукта, такие как эстетическая привлекательность, потенциал бренда, стиль изложения материала.

Эти исследования могут быть индивидуально настроены в зависимости от предметов исследования, но сначала вы должны показать свой продукт участникам исследования (можно показать статичные изображения или попросить использовать ваш продукт или его прототип).

Затем вы должны попросить описать дизайн, выбрав варианты из списка ключевых слов. При довольно большой выборке можно заметить возникновение трендов. Например, вы можете заметить, что 84% респондентов описывают ваш дизайн как «свежий».

Айтрекинговое тестирование
  • Применение: определение информативных, отвлекающих внимание, легко обнаруживаемых и прочих элементов UI.
  • Затраты: высокие.
  • Сложность сбора: высокая.
  • Сложность анализа: высокая.
  • Тип метода: поведенческий (что люди делают).
  • Контекст использования: задачно-ориентированная.
Для айтрекинговых исследований требуется специальное оборудование, которое отслеживает движение глаз пользователей по интерфейсу. Когда большое количество участников (30 или более) выполняет одно и то же задание на одном интерфейсе, вы можете заметить значимые тренды и определить с некоторой степенью надёжности, какие элементы на странице привлекут внимание пользователей.

Отслеживание взгляда поможет определить, на каких элементах контента и интерфейса нужно акцентировать внимание, а от каких — наоборот, его отвлечь, чтобы пользователи смогли достичь своих целей.

143223_6.png
С помощью айтрекингового ПО можно создать необходимые визуализации, используя совокупные данные (зелёные точки показывают, на какую часть интерфейса смотрели пользователи).
Самый большой минус в проведении айтрекинговых исследований — необходимость высокоспециализированного, непозволительно дорогого и в некоторой степени нестабильного оборудования, для использования которого требуется серьёзная тренировка.

Выбор метода
В этой таблице представлены сводные данные по тому, что обсуждалось выше.

143223_7.png
Начните с предмета исследования
Чтобы понять, какой количественный метод исследования использовать, определите предмет исследования. Что вам нужно знать? Некоторые из этих методик лучше подходят для очень общих предметов исследования.
  • Как удобство использования нашего продукта изменилось с течением времени?
  • Как мы смотримся на фоне наших конкурентов?
  • Какие из наших проблем оказывают на продукт самое неблагоприятное воздействие? Как понять, чему уделить внимание в первую очередь?
Чтобы найти ответы на такие вопросы, вероятно, лучше использовать количественное юзабилити-тестирование, веб-аналитику или опросы.

Другие методики работают лучше, если у вас более конкретный вопрос.
  • Как нам улучшить категории глобальной навигации?
  • Что думает о нашем визуальном дизайне большинство наших пользователей?
  • Какой из двух дизайнов следует использовать для информационной панели?
Если вы ставите перед собой такие вопросы, то, возможно, лучше использовать A/B-тестирование, сортировку карт, тестирование «дерева» сайта, кластеризацию комментариев из количественных исследований, оценку целесообразности продукта или айтрекинговые исследования.

Однако не все наши рекомендации однозначны. Например, A/B-тестирование может не подходить вашей компании по соображениям безопасности или техническим причинам. Если это ваш случай, и вы не можете провести такой тип исследования, то проведите количественное юзабилити-тестирование с личным присутствием, так можно сравнить два прототипа. Однако это не типичный вариант применения количественного юзабилити-тестирования, поэтому мы не обсуждали здесь этот вариант.

Учтите затраты
После предмета исследования второй наиболее значимый фактор для выбора методологии — затраты. Все вышеперечисленные методологии будут сильно отличаться по затратам в зависимости от того, как вы будете их применять.

То, какие инструменты вы будете использовать, количество привлеченных участников, время, потраченное теми, кто будет проводить исследование, всё это повлияет на окончательные затраты. Ещё больше ситуацию усложняет то, что у команд могут быть совершенно разные бюджеты. Опять же, оценка затрат здесь очень относительна.

Команды с небольшим бюджетом могут полагаться на цифровые методы — удалённое юзабилити-тестирование, онлайн-платформы для сортировки карт, такие как OptimalSort, A/B-тестирование, веб-аналитика или аналитика приложений. Опыт показывает, что методы, предполагающие личное присутствие (такие как юзабилити-тестирование с личным присутствием, сортировка карт с личным присутствием), оказываются более затратными, потому что тот, кто проводит их, тратит гораздо больше времени.

Ещё для их проведения, возможно, потребуются затраты на проезд и аренду оборудования. Самая дорогостоящая методология в списке — айтрекинг. Поэтому её следует применять только тем командам, у которых большой бюджет и предмет исследования которых оправдывает использование этой методики.

143223_8.png
Эта таблица показывает, где обсуждаемые в этой статье количественные методы находятся с точки зрения их пригодности для предметов исследования с различными уровнями детализации (от общего к специальному).
Следующие шаги
Выбрав метод, изучите его. Сделайте домашнюю работу, чтобы спланировать и провести исследование так, как вам нужно, чтобы получить действительно полезные результаты. В разделе «Что почитать» в конце статьи можно найти ссылки на некоторые полезные сайты.

Учтите: нельзя просто собрать метрики и начать принимать решения, не проведя статистический анализ. Недостаточно просто собрать оценки пяти пользователей, взять среднее значение и пойти дальше.

У каждого метода, который мы тут обсудили, есть различные рекомендованные размеры выборки — количество данных, которые вам лучше собрать, чтобы получить достоверные результаты и определить статистическую значимость. Так что вам нужно достичь минимального размера выборки. А если вы не сможете это сделать, то не сможете и быть уверенными, что полученные результаты не являются случайностью.

Постарайтесь учесть и время, которое вам потребуется, чтобы исследовать актуальный статистический концепт, какой бы метод вы ни выбрали, а также стоимость получения корректной минимальной выборки. Я обещаю, что всё не так сложно, как кажется, и ради этих количественных данных стоит и потрудиться.

Что почитать
Количественное юзабилити-тестирование
Аналитика
A/B-тестирование или многофакторное тестирование
Сортировка карт
Тестирование «дерева» сайта
Опросы и анкетирование
Кластеризация комментариев, полученных в качественном исследовании
Оценка целесообразности
Айтрекинговые исследования
 
Сверху