Памятка «Ошибки в UX-тестах и как их избежать»

Разбираем ошибки на разных стадиях UX-теста – от подготовки – до завершения.
(на картинке - превью четвертого слайда)

📝Интерактивная памятка в Figma
🧾Скачать версию для печати в PDF
📎Памятка в виде карточек

Памятка создана Константином Ефимовым и Анастасией Жичкиной.

Спасибо Юлии Кингсеп, Мише Хананашвили и Кириллу Улитину за комментарии и дополнения.
Над дизайном работали Анастасия Андреева и Наталья Селезнева.

@postpostresearch

Опять видел в чужой презентации «не задавайте вопросы про будущее».

Да что ж такое-то.

Как сказал поэт, «я устал быть послом рок-н-ролла в неритмичной стране».

Так вот, я не устал.
И поэтому я напишу ещё раз.

В глубинных интервью вопросы про будущее задавать - НУЖНО. Вопросы про будущее помогают строить прогноз. Но нужно задавать их к месту и правильно интерпретировать. Нет, не надо верить респонденту на слово. Есть рабочие способы отличать декларативное от реального. Какие? Мы писали в этой памятке и подробно рассказывали на митапе.

А вот в UX тестах, стоя с респондентом у работающего прототипа, спрашивать, как вы будете его использовать - НЕ НУЖНО. Но очень многие это делают. Видимо, потому, что Фитцпатрик про UX тесты не писал.

В UX-тесте нужно просто попросить показать.
В глубинном интервью допустимо спросить «Как вы собираетесь действовать?».

Главное, не перепутать одно с другим.

Все посты на тему вопросов про будущее

Что еще можно почитать на тему вопросов про будущее:

● Как вопросы про будущее могут помочь при проектировании интерфейса
● Можно ли задавать вопросы про будущее?
● Что делать, если вам врут на интервью?
● Вранье респондентов в маркетинговых исследованиях
● Нужно ли продавать на интервью?
● Памятка: Как удалить яд из ответов про будущее?
● Митап «Вопросы про будущее»
● Гипотетические вопросы: история, которая может завершиться покупкой
● Жонглирование факелами

Не самый простой кейс для рубрики #facepalmresearch.

Горячо поддержанная статья с историей успеха. Четко и ясно описаны практические приемы оценки - которые показали, что в данном случае дизайн действительно удался. Тысяча лайков на медиуме. Множество репостов.

Да, это - статья Лены Бородиной «Дизайн годный или нет: как проверить только внешний вид продукта, а не клиентский опыт в целом».

Кажется, что все прекрасно от и до. Что могло пойти не так?

Предлагаем разобраться в оценке дизайна вместе.
Особенно ценно будет, если вы не только укажете на ошибку, но и напишете, как действовали бы лично вы.

Какие ошибки и грабли вы нашли в статье? Какие практики сработали бы лучше?
Пишите в комментариях.

Почему мы вообще пишем о статье Лены Бородиной? Мало ли других примеров не очень удачных исследований?

Потому что статья Лены об оценке дизайна предлагается как история успеха, удачный кейс, на который нужно ориентироваться. Но успех выглядит не так. И мы категорически против того, чтобы образец бредовой работы выдавался за годный отраслевой стандарт.

⛔️Это не история успеха. Это история подгонки результата под ожидания заказчика.

И когда читаешь, спотыкаешься просто на каждом тезисе.

"Когда команда дизайнеров предлагала новые концепции ключевым заказчикам, они отзывались по-разному" - а почему концепции предлагались стейкхолдерам, а не пользователям? Почему исследователи не начали с тестирования концепций дизайна? Это более болезненно для дизайнеров, но позволяет отсеять неподходящие варианты, не затрачиваясь на их воплощение.

Почему методов оценки дизайна всего три: юзабилити-тест, айтрекинг и методика «5 секунд» от Microsoft? Почему не интервью, не фокус-группа и не количественное исследование? В рюкзаке моем сало и спички, и Тургенева десять томов.

Каким образом айтрекинг помогает объективно измерить отношение к дизайну? Как написали в комментариях: если человек долго смотрит на элементы дизайна, это он хорошо или плохо относится? Тот же вопрос относительно юзабилити-теста – а выполнение сценариев как поможет оценить дизайн?

Почему была выбрана методическая химера под названием «пятисекундный тест от Microsoft»? Цитируем: «человеку показывают скриншот экрана всего 5–10 секунд, а потом просят оценить и описать только внешний вид продукта. За такое короткое время никто не успевает вникнуть в функциональность и даже прочитать названия всех разделов — это как раз помогает нам собрать первое впечатление от увиденного, а не прочитанного или понятого».

В экспериментальной психологии есть понятие «экологическая валидность» - возможность обобщить данные эксперимента на реальную ситуацию. Нет никакого смысла изучать то, что в природе не встречается. В какой реальной жизненной ситуации ваш пользователь будет смотреть на сайт в течение 5-10 секунд? Ни в какой. Как правило, он смотрит на сайт дольше 5 секунд. А если он смотрит 5 секунд – то это «отказ», человек попал на сайт случайно и закрыл его.

Насколько идея оценивать дизайн отдельно от функциональности соответствует реальности? Клиенты Газпромбанка предпочитают любоваться на дизайн, ничего не делая на сайте? Тем более, что, судя по результатам, оценить дизайн отдельно от удобства не получилось. Самым частотным словом, которое называли пользователи, описывая дизайн, было слово «УДОБНЫЙ» (!).

Количество респондентов. Идея «сначала взять небольшую выборку и проверить распределение, а если данные не подойдут, просто добрать людей» - категорически не ок. Даже в симуляторе GoPractice написано, что так делать нельзя. Вы не можете добирать выборку до тех пор, пока результаты станут статистически значимыми. Потому что это тупо подгонка под желаемый результат.

Выборка и ее соответствие ЦА. Как-то вышли на 70 человек. Но почему среди них были жители Стокгольма и «разумеется, и специалисты UX-отрасли», если тестировался дизайн приложения российского банка? Что помешало отсеять тех, кто не является целевой аудиторией, и тех, кто смотрит на сайт с профессиональной точки зрения?

Почему оценивались именно тройки характеристик, а не отдельные характеристики? В результате, например, «тройка» из двух слов (буквально так) «красивый» и «много всего» получила положительно-отрицательную оценку.

Но стейкхолдеры эти результаты приняли. Ведь 75% характеристик, которые называли пользователи – были положительными.

Это, видимо, и была основная задача исследования – принятие стейкхолдерами. По крайней мере, о других задачах, которые ГПБ хотел решить с помощью редизайна, ничего не было сказано.

Как лучше было бы действовать и почему именно так – об этом следующий пост.

Вы наверняка видели серию материалов про интерфейсные решения и лучшие практики UX/UI в e-Сommerce.

Это, пожалуй, лучший справочный материал про то, как «делать хорошо» и какие ошибки не стоит совершать. На русском языке аналогов нет: в 24 статьях собрано более 2500 гайдлайнов с примерами.

Не все знают, что автор этой базы знаний, Станислав Хрусталёв ведёт канал @hardclient

На канале Станислав написал уже более 60 статей про управление клиентским опытом, CJM, обратную связь, лучшие практики в различных областях.

Наш интерес к его материалам начался со статьи про 30(!) ошибок в разработке CJM. Это было еще до того, как Станислав завел канал, но уровень экспертизы был виден сразу. Или вот, реальная карта, весьма детальная.

Рекомендуем 👉 подписаться

Продолжаем.
А зачем вообще оценивать дизайн? Есть же A/B тесты, они регулярно применяются, когда мы хотим сделать дизайн лучше?
A/B тесты, увы, совсем не про отношение к дизайну. Они про эффективность для бизнеса. В A/B тесте мы меняем один признак и смотрим, изменились ли метрики. Например, меняем величину слезы у совенка Duolingo, и смотрим, стали ли пользователи чаще возвращаться в приложение. Это - не тестирование дизайна. Может быть, плачущий совенок раздражает пользователей, или вызывает у них сочувствие, или чувство вины, мы ничего об этом не знаем. Все, что мы видим - это изменение метрик.

А для чего в таком случае нужен новый дизайн? В каких случаях мы выходим за рамки тестирования эффективности?

Мы задали этот же вопрос Рустаму Салимзянову, креативному директору РА «Практика».

Редизайн, как правило, инициируется по следующим причинам:
1️⃣ Моральное устаревание существующей айдентики
2️⃣ Изменение архитектуры бренда – продукты перестают “влезать” в существующую
3️⃣ Смена собственника/акционеров или радикальная перестройка команды
4️⃣ Новая стратегия/бренд-платформа
5️⃣ Желание сменить аудиторию (как правило, омолодить)

И сейчас часто попадаются кейсы, когда ушедшие международные компании продают их российскому топ-менеджменту. Тот затевает ребрендинг)

И тогда с помощью исследования мы сможем понять:
1️⃣ как воспринимается существующая айдентика/упаковка
2️⃣ как потребители/пользователи видят конкурентов, которые появились или изменились за то время, пока компания не проводила исследования
3️⃣ в какую сторону лучше развивать бренд
4️⃣ какой из новых вариантов айдентики/упаковки лучше зайдет и как его нужно доработать

Что объединяет эти случаи? То, что во всех них идет речь не о продукте и эффективности, а о восприятии дизайна. А оно – эмоциональное и субъективное. Более того, есть кейсы, когда более приятный дизайн менее удобен и хуже выполняет бизнес задачи.

И вот теперь, когда мы понимаем, ЗАЧЕМ такое исследование нужно, можно уже решить - как его проводить. И в ближайшие дни мы об этом напишем.

Принято считать, что «dark patterns», они же темные паттерны – сравнительно новая история.

А вот и нет – их использовали еще в доцифровом мире, чтобы продавать больше. Например, в супермаркетах.

То, что вы видите на картинке – это типичный темный паттерн. Хотя возможно «так совпало». Человек, который ходит в супермаркет Lidl, привыкает, что перечеркнутый ценник – акционный, и может не смотреть на саму цену. А она на самом деле – выше, чем была.

Пару лет назад обнаружили канал Игоря Кузнецова о темных паттернах. Пожалуй, это самая большая их энциклопедия. С тех пор читаем.

А что особенно приятно – то что там можно посмотреть реакцию людей на свежие попытки отечественных компаний. Например, додстер от Додо Пиццы

@brainshare

А теперь о том, как на практике лучше тестировать дизайн сайта банка.

Ваши вводные: мало времени, нужно оценить, как люди воспринимают дизайн.

Восприятие дизайна - довольно простой опыт. Это не CJM, который у всех разный. Проводить в этой ситуации 70 пользовательских интервью – это жечь рабочее время исследовательской команды неизвестно зачем.

Если вы изучаете простой опыт – эффективнее уйти от индивидуальных интервью. Куда уйти – зависит от того, сколько у вас денег. Есть два основных способа быстро собрать мнения многих людей – это анкетирование на панели и фокус-группы.

Если денег нет, а внутренний заказчик хочет циферки, используйте анкетирование на панели. Самый дешевый количественник на панели из 100 человек у Фастуны стоит 13 200 рублей и проводится за 24 часа.

Но если вы работаете в очень хороших условиях: заказчику важен результат как таковой, не обязательно в цифрах, а у вас есть и квалификация, и деньги на рекрут и вознаграждение респондентов – проводите фокус-группы.

Если лично вы не можете вести фокус-группы, пригласите модератора, который это может. 4 групп хватит, займет это 3-5 дней на рекрут, 2 дня - на проведение групп и 2-3 - на краткий отчет. Стоить будет от 60 тысяч (без отчета, с рекрутом и вознаграждением на вашей стороне у фрилансера) до 450 тысяч (с отчетом, рекрутом и вознаграждением у агентства) - в зависимости от достижимости респондентов и ценника агентства /фрилансера.

Почему для тестирования концепции, дизайна и упаковки хорошо подходит фокус-группа?

Огромное преимущество фокус-группы - она дает больше информации относительно восприятия эмоциональных вещей. И эту информацию можно получить намного, намного быстрее, чем опрашивать то же количество людей индивидуально.

Почему для проведения фокус-групп нужна квалификация?

Потому что запороть фокус-группу проще, чем интервью. Если вы не проводили фокус-группы никогда, есть риск, что люди будут влиять друг на друга. Но если вы будете использовать техники снижения влияния, - например, при оценке концепций просить респондентов сначала записать свое мнение, а затем его высказывать, - то это уменьшит проблему.

Почему именно 4 фокус-группы, а не одна и не две? Количество фокус-групп – это страховка на случай, если людям в результате групповой динамики попала вожжа под хвост, и они дружно выражают крайне нетипичную позицию - например, расхвалить тот вариант дизайна, который никто и никогда больше не хвалит, или, наоборот, разругать то, что остальным нравится. Этот риск реален, и это частая претензия к фокус-группам – поэтому их нужно несколько. Нет, такого, что вожжа под хвост попадает сразу нескольким группам на одном проекте, не бывает.

На фокус-группе вы сможете:

1️⃣ Узнать, как вообще люди воспринимают вашу категорию и соответствует ли ваш дизайн ожидания от категории в целом. Это дает возможность, например, понять, стоит ли выходить с веселеньким дизайном в цветочек в категории «банки» или «страхование».

2️⃣ Узнать, какие требования у людей к дизайну сайтов банков – на примере конкурентов. Вы можете сказать: ну и что, у нас новаторские продукты, мы хотим отличаться от всех. Но если от категории в целом ждут надежности, пользователи не поймут, если вы будете отличаться в веселенькую сторону. Не этим надо отличаться. Отличаться надо в рамках ожиданий пользователей, например, тем, что вы – единственная компания с человеческим лицом.

3️⃣ Получить примеры удачного и неудачного дизайна банков - чтобы не повторять чужих ошибок.

4️⃣ Провести ассоциативный тест: «возьмите ручки и листы бумаги и опишите дизайн сайта, который вы видите с помощью прилагательных» - после чего обсудить с респондентами, что стоит за словами «яркий», «нестандартный», и какую оценку эти прилагательные несут.

5️⃣ Попросить оценить дизайн в естественных условиях, дав им возможность посмотреть на сайт дольше, чем 5 секунд. Столько, сколько захотят на него смотреть.

А дальше – вы вносите правки в макеты, составляете анкету и выносите это на количественник с внятной выборкой, без UX-исследователей в качестве респондентов.

⏱Быстрый результат
В digital-среде хотеть быстрый результат – принято.
Сначала - готовые фреймворки для исследований. Потом канвасы. А теперь еще и списки лучших готовых вопросов для интервью. Я знал, что рано или поздно мы перейдем и на эту дрянь.

Например, вопрос «Расскажите, что изменило вашу жизнь за последний год больше всего?». Его и до войны задавать в начале интервью, до установления хорошего контакта не стоило, а теперь он стал совсем по-дурацки сензитивным и неуместным. И звучит как мем «А что случилось?»

Или вот «Как можно описать вас одним предложением, что вы за человек?» Этот вопрос часто задают в начале разговора. Но, как и предыдущий – он там не уместен, а уместен только после установления контакта. Если вы зададите его в начале, респондент напряжется и уйдет от ответа. «Я идентифицирую себя как боевой вертолет». Нужно ли вам это?

Есть еще, для «ушедших клиентов»: «Из-за чего вы ушли, куда и почему там лучше?» По сути, вопрос, конечно, верный. Но на практике он обычно возвращает клиента в ситуацию, в которой он пытался решить свою проблему много раз и безуспешно. Звонил в службу поддержки, эскалировал проблему, писал письма, а затем, отчаявшись – и в социальные сети. А проблема не решалась. И повторять этот опыт, отвечая вам на вопрос «а почему вы ушли?», клиент не хочет.
Поэтому, перед тем как говорить с ушедшими клиентами, изучите цифровые следы, которые вам доступны. Благодаря этому во время интервью вы сможете показать, что вам не все равно.

И вопрос-чемпион: «Как вы по-другому хотели себя чувствовать от того, что вам пришло письмо от налоговой, что у вас задолженность [триггер+контекст], вы захотели увидеть сумму задолженности?»
24 слова. Я не возьмусь это комментировать.

Дело не в том, что эти вопросы плохие. Дело в том, что их предполагается задавать дословно, потому что они будто бы «хорошие» - работают во всех ситуациях. Нажми на кнопку – получишь результат. Но таких вопросов, которые работали бы во всех ситуациях со всеми людьми, просто не существует.

Именно поэтому хорошему исследователю пофиг на вопросы. Он не работает вопросами. Это не значит, что ему все равно, что говорить. Но он держит в голове не списки вопросов, а бизнес-задачу, и строит «пути», по которым пойдет беседа. И формулирует нужные вопросы «на лету».

Нужно пойти глубже в проблему – просит рассказать подробнее. Нужно снять напряжение – пошутит. Нужно раскрепостить замкнутого респондента – применит самораскрытие.

А со стороны хорошие вопросы выглядят так, будто респондент сам все рассказывает. И вы со стороны можете оценить качество интервью - в нем больше информации и она лучше связана между собой.

Вы спросите меня, а как же сценарий интервью, если респондент как будто сам все рассказывает? Он нужен. Но он содержит примерные вопросы, а не точные. Сценарий интервью — это план дискуссии, а вопросы в нем МОГУТ быть переформулированы. Хороший сценарий интервью содержит ветки разговора и уточнения: что делаем, если респондент не отвечает на какой-то из вопросов. Хороший исследователь НЕ ЗАЧИТЫВАЕТ вопросы из гайда (это звучало бы неестественно), а дополняет их в соответствии с контекстом.

Но быстрого результата все равно хочется. Поэтому люди берут «списки лучших вопросов» и зачитывают их на интервью. И в итоге - тратят больше времени, чем если бы учились системно. Потому что, поняв принципы того, как интервью работает – тебе не нужно учить отдельно «проблемное», «решенческое» или «JTBD интервью». И списки вопросов учить не надо. Ты от респондента просто получишь ту информацию, которая нужна.

В общем, качественные исследования — это ремесло, easy to start, hard to master (Герман, спасибо за определение).

P.S. Исследователи – не первые, кто пытался работать «готовыми вопросами». В 2008 году психолог Дарья Кутузова написала про то, как с помощью нарративного подхода можно работать с пострадавшими при артобстреле. И перевела опросник Дэвида Денборо. В числе прочих был вопрос про события в момент артобстрела: «Вы делали что-нибудь для того, чтобы сохранить достоинство и гордость? (Что именно?)»
Очень надеемся, что в такой форме этот вопрос не был задан никому, кто пострадал при артобстрелах.

Исследователь Дмитрий Соловьев написал интересные итоги/тренды года.
Нам особенно отзывается про новую эмпатию, гуманизм, человечность и сострадательную метапозицию (которой так не хватает в соцсетях).
Ну и нейросети - как же без них.

«Гуманизм и человечность в подполье». 10 заметок-ощущений накануне 2023 года о текущем и предстоящем.

Я не политолог и не профессиональный тренд-хантер, просто хочу зафиксировать мысли и ощущения, которые возникли к концу года и может кому-то помогут спроектировать свою траекторию или оттолкнувшись от этих размышлений построить свою картину происходящего, даже сильно отличающуюся от написанного. В связи с тем, что я живу в России, многие вещи будут касаться этой страны и ее жителей, хотя некоторые интуиции могут быть верны и для части остального мира. При всем накале в соц. сетях публикую заметку здесь.

1. Затяжное противостояние России и Украины, латиноамериканизация и стагнация России, страна вечного СССР без прогресса
2. Мир с неравномерно распределенным временем, переосмысление идеи прогресса
3. Новая эмпатия
4. Смерть социальных сетей для осмысленного контакта
5. Мир перешел в режим «Гуманизм и человечность в подполье»
6. Рассвет ИИ и удешевление творческого труда
7. Спрос на концептуальное мышление
8. Вопросы образования и синьор-кадров в корпоративном секторе
9. Крипта — новый фиат
10. Кризис веры и смыслов, и спрос на ясные картины мира

Желаю всем нам найти место в этом мире и скорейшего прекращения страданий.

https://telegra.ph/Gumanizm-i-chelovechnost-v-podpole-10-zametok-oshchushchenij-nakanune-2023-goda-o-tekushchem-i-predstoyashchem-12-31

Сегодня на курсе разбирали схему разработки и исследования из книги «Спринт: Как разработать и протестировать новый продукт всего за пять дней» (Джейк Кнапп).

Казалось бы, все на месте: истории успеха, техники «мозгового штурма», рекомендации по проведению интервью, Автор работал в Google, на книгу множество прекрасных отзывов.

Сложный кандидат для рубрики #facepalmresearch. Но мы уже писали разбор книги Фицпатрика, так что отступать – поздно.

Посмотрите на схему спринта глазами исследователя.
❓Что здесь не так?
Какие практики сработали бы лучше?
Пишите в комментариях 👇

Что не так с идеей уместить в пять дней создание продукта и его тест?

Красные флажки:

🚩 Использование психотехнологий, которые меняют состояние сознания людей через постоянный цейтнот – аналогично тому, что происходит в деструктивных культах. Пять дней, 3 минуты на презентацию идеи, 3 минуты на набросок решения проблемы (по таймеру, который должен коммуницировать экспертность фасилитатора!), один час на сбор прототипа (расскажите об этом UX-дизайнеру). Постоянное напряжение приводит к тому, что довольно банальная мысль кажется ИНСАЙТОМ. А когда люди успокаиваются – инсайтом быть перестает.

🚩 Метод объявляется универсальным. Так не бывает.

🚩 Обещают быстрый результат. Результат может быть быстрым, но не настолько. Исследовательский спринт требует не меньше 2 недель.

Книга написана для продажи иллюзий с крутыми инсайтами, универсальным методом и супербыстрым результатом. А купившим спринт авторы книги продают в придачу к иллюзии результата еще и аттракцион в виде вовлечения команды.

Тут можно было бы и закончить, но давайте взглянем на книгу глазами исследователя:

1️⃣ Исследования – это цикл, который повторяется несколько раз за время разработки продукта. Идею мало проверить на 5 пользователях один раз (о том, что цифра 5 спорная – ниже). Обычно после тестирования прототипа ее нужно доработать и еще раз проверить. Через 5 дней вы получите очень сырой результат.

2️⃣ Как правильно сказали в комментариях – нет фазы эмпатии. Фазе генерации идей должна предшествовать исследовательская работа. Мы должны понимать, кто все эти люди, для которых мы делаем продукт и что им нужно. Здесь же это предлагается решить «экспертно». Все бы ничего, но сами авторы приводят пример, когда CJM был составлен неверно и только вмешательство сотрудника (он один знал, как оно на самом деле происходит) спасло ситуацию. Фаза исследования клиентов и является страховкой от таких ситуаций.

3️⃣ Рекрут респондентов – отдельная сложная и часто долгая задача. Если у вас продукт для директоров по безопасности, вы вряд ли найдете их за четыре дня.

4️⃣ Рекрут респондентов, генерация идей и создание концепций идут параллельно. Но если вы заранее очертите целевую аудиторию, это СИЛЬНО ограничит вас в генерации идей и создании концепций. Например, у вас онлайн-кинотеатр и вы захотели придумать киллер-фичу. Предполагаемая целевая аудитория – домохозяйки, которые смотрят кино параллельно с домашними делами. А в итоге вы придумали фичу для путешественников, которые смотрят кино в дороге. И вы понимаете, что уже два дня вам ищут совсем не тех.

5️⃣ Пять респондентов, как у Нильсена. Постойте, при чем тут Нильсен? Он писал про UX-тесты для поиска проблем в существующем интерфейсе, а здесь у вас оценка концепции нового продукта. По-хорошему, нужно рассчитывать композицию с учетом разных характеристик ЦА и сегментов, по 6-7 на сегмент. Интервью может быть и больше 30, если предполагается много разных сегментов, и нужно учесть это разнообразие.

6️⃣ Нет фазы анализа. Авторы книги объясняют это тем, что вовлеченность команды снизится, пока исследователь напишет отчет. Да, иногда можно обойтись дебрифом. Например, если вы тестировали простую фичу на тех самых UX тестах. Но когда вы изобретаете новый бизнес, фаза анализа критически важна. Мало посмотреть на то, что респонденты сказали, надо еще это обдумать. А потом хорошо бы еще раз собраться и допилить прототип с учетом обратной связи. И снова затестить. Да, будет уже не так весело, но зато – результативно.

Пророк Канеман говорит, что есть две системы мышления: быстрая, которая принимает решения, экономя глюкозу (и может ошибаться), и медленная – затратная, но и более качественная.

Так и с исследованиями. Отчет – это не то, что вам сказали респонденты, а то, как вы это объяснили и переосмыслили. Аналитическая фаза и фаза придумывания удачных продуктовых решений – оптимизируются хуже всего.

Если качество решений важнее скорости и ощущения того, что вы круты, - стоит дать исследователю посидеть и подумать.