Как изучать выбор в ситуации с высокой ценой риска?
Часто исследователю нужно понять, как люди делают выбор в сложных ситуациях.
Например, когда покупают дом. Или ищут психолога. Или выбирают страховой продукт. Покупают машину или дорогой образовательный курс, который должен изменить жизнь.
В общем, везде, где у человека - шкура на кону (ну или он так думает).
Есть несколько подходов к тому, как понять, почему человек делает именно такой выбор и что ему важно в процессе:
1️⃣ CJM: используем нарративное интервью и реконструируем опыт. Просим подробно рассказать всю историю выбора – с чего все началось, какие альтернативы человек смотрел, и как он в итоге принял решение выбрать именно это.
✅ мы подробно реконструируем опыт и понимаем, как человек сделал именно такой выбор
❌наученный опытом, человек может в следующий раз выбирать по-другому: если я сейчас выбирал риелтора по рекомендации, то в следующий раз я буду смотреть отзывы на агентство. Но если мы изучаем историю выбора, обычно мы не спрашиваем ни про следующий раз, ни вообще про будущее.
2️⃣ Маркетинговые исследования: просим рассказать, какие критерии выбора были у человека, составляем список, и по каждому пункту подробно спрашиваем, почему это важно и что этот параметр в себя включает. Можно также подкинуть еще параметров из других интервью, и поспрашивать у человека, почему он это не назвал. А в конце попросить проранжировать и поспрашивать, почему он расположил параметры именно в этом порядке.
✅ каждый критерий выбора будет описан максимально подробно
❌ влияние ситуации скорее, всего, останется за кадром - опыт будет зашумлен точечными вопросами исследователя, и будет много рационализаций – «я такой человек, который смотрит соотношение цена-качество». И совершенно не факт, что так тщательно проговоренные критерии выбора будут влиять на выбор «в боевых условиях»: я хочу дом с окнами в пол, но там, где я живу, у меня скорее будут решетки на окнах.
3️⃣ (авто)этнография: ловим человека, который еще выбор не сделал, и просим его вести дневник в процессе.
✅ видим реальное поведение, контекст и все метания по поводу того, как совместить критерии выбора с реальной ситуацией
❌ сложно, долго, дорого, необходимо дополнять глубинными интервью, иначе многое в дневниках может быть истолковано неверно, наученный опытом человек в следующий раз выбирает по-другому.
Все, что сказано выше, касается продукта.
Но можно спуститься и на уровень конкретной точки контакта: как человек делает выбор на сайте или в приложении.
4️⃣ UX исследование: сажаем человека за прототип и просим выбрать там, комментируя вслух свои действия и мысли (Think aloud).
✅ видим практически реальное поведение («практически» - потому что «шкуры на кону» у человека здесь и сейчас, скорее всего, нет)
❌ если у нас в интерфейсе чего-то не хватает, то человек может об этом сразу и не сказать, это требует рефлексии.
Сами критерии выбора нужно обсуждать отдельно: UX-тест отразит их только частично.
Довольно сложно выбрать из этих методов что-то одно. Потому что сам исследователь находится под давлением ситуации – у него есть ограничения в виде денег, времени и компетентности.
О том, как выбирать и комбинировать методы исследования, мы рассказываем на большом курсе по качественным исследованиям, который стартует 9 января.
Осталось 1️⃣ место.
Вы можете записаться в лист ожидания курса
Часто исследователю нужно понять, как люди делают выбор в сложных ситуациях.
Например, когда покупают дом. Или ищут психолога. Или выбирают страховой продукт. Покупают машину или дорогой образовательный курс, который должен изменить жизнь.
В общем, везде, где у человека - шкура на кону (ну или он так думает).
Есть несколько подходов к тому, как понять, почему человек делает именно такой выбор и что ему важно в процессе:
1️⃣ CJM: используем нарративное интервью и реконструируем опыт. Просим подробно рассказать всю историю выбора – с чего все началось, какие альтернативы человек смотрел, и как он в итоге принял решение выбрать именно это.
✅ мы подробно реконструируем опыт и понимаем, как человек сделал именно такой выбор
❌наученный опытом, человек может в следующий раз выбирать по-другому: если я сейчас выбирал риелтора по рекомендации, то в следующий раз я буду смотреть отзывы на агентство. Но если мы изучаем историю выбора, обычно мы не спрашиваем ни про следующий раз, ни вообще про будущее.
2️⃣ Маркетинговые исследования: просим рассказать, какие критерии выбора были у человека, составляем список, и по каждому пункту подробно спрашиваем, почему это важно и что этот параметр в себя включает. Можно также подкинуть еще параметров из других интервью, и поспрашивать у человека, почему он это не назвал. А в конце попросить проранжировать и поспрашивать, почему он расположил параметры именно в этом порядке.
✅ каждый критерий выбора будет описан максимально подробно
❌ влияние ситуации скорее, всего, останется за кадром - опыт будет зашумлен точечными вопросами исследователя, и будет много рационализаций – «я такой человек, который смотрит соотношение цена-качество». И совершенно не факт, что так тщательно проговоренные критерии выбора будут влиять на выбор «в боевых условиях»: я хочу дом с окнами в пол, но там, где я живу, у меня скорее будут решетки на окнах.
3️⃣ (авто)этнография: ловим человека, который еще выбор не сделал, и просим его вести дневник в процессе.
✅ видим реальное поведение, контекст и все метания по поводу того, как совместить критерии выбора с реальной ситуацией
❌ сложно, долго, дорого, необходимо дополнять глубинными интервью, иначе многое в дневниках может быть истолковано неверно, наученный опытом человек в следующий раз выбирает по-другому.
Все, что сказано выше, касается продукта.
Но можно спуститься и на уровень конкретной точки контакта: как человек делает выбор на сайте или в приложении.
4️⃣ UX исследование: сажаем человека за прототип и просим выбрать там, комментируя вслух свои действия и мысли (Think aloud).
✅ видим практически реальное поведение («практически» - потому что «шкуры на кону» у человека здесь и сейчас, скорее всего, нет)
❌ если у нас в интерфейсе чего-то не хватает, то человек может об этом сразу и не сказать, это требует рефлексии.
Сами критерии выбора нужно обсуждать отдельно: UX-тест отразит их только частично.
Довольно сложно выбрать из этих методов что-то одно. Потому что сам исследователь находится под давлением ситуации – у него есть ограничения в виде денег, времени и компетентности.
О том, как выбирать и комбинировать методы исследования, мы рассказываем на большом курсе по качественным исследованиям, который стартует 9 января.
Вы можете записаться в лист ожидания курса
❤25👍11🔥10🤔2
Плохой персоне возраст мешает?
Коллеги репостят ссылку на статью «uxGPT: Creating personas with prompts for better questions using ChatGPT and uxGPT Personas» от очередного евангелиста LLM.
Понятно, что использовать ChatGPT для создания персон не нужно: персоны должны создаваться на основе исследования.
Но в этой статье есть частый миф о возрасте персоны:
Евангелисты говорят: возраст нам не нужен – плохая персона содержит в себе демографические характеристики. Давайте заменим их контекстом!
Также евангелисты: теория поколений – годный фреймворк для объяснения различий между сегментами целевой аудитории (нет).
Так что делаем с возрастом?
Объявляем его конструктом? Вон, в Японии 39-летний мужчина идентифицирует себя 28-летним, называясь «трансвозрастным» (и это не шутка).
Или возраст все-таки важная характеристика для понимания нашей целевой аудитории?
Спойлер:возраст – это не конструкт.
Человек проходит определенные этапы жизни (учится, начинает работать, заводит детей, выходит на пенсию). И к определенному возрасту у людей обычно есть определенный статус (закончили школу, ВУЗ) и доход: например, у молодых людей без опыта работы зарплата ниже, чем у специалиста с опытом 5+ лет, а у тех, у кого есть дети и ипотека, выше расходы. Кроме того, жизненный опыт формирует определенные паттерны поведения (примеры - ниже).
✅Правда, что в персоны, созданные не на базе исследований, пихают различные характеристики (включая возраст) без особого смысла
❌Неправда, что поведенческие паттерны людей не зависят от возраста
Например, чем старше человек – тем чаще он при покупке продуктов смотрит на срок годности и более внимательно подходит к выбору (угадайте, почему?)
Но евангелисты могут возразить: это же маркетинг, а у нас-то – продукт!
Нет, и в продукте тоже возраст – это не конструкт. Например, приложения для родителей наиболее популярны в возрастной группе 25-34 . Потому что в этом возрасте нормативно заводить детей.
А вот частота использования смартфонов с возрастом связана не так сильно, как можно предположить. Люди в возрасте 45-54 лет тратят около 1 часа 15 минут в день на использование мобильных приложений. Это всего на 27 минут меньше, чем люди в возрасте 25-34 лет .
На все это можно возразить примерно так:
«вы говорите, что с возрастом зрение ухудшается, так просто пропишите в персоне, что у человека зрение плохое, вот и все».
То, что с возрастом ухудшается зрение – это часть проблемы. Есть мета-исследования , которые показывают, что ухудшение зрения коррелирует и с нарушением когнитивных функций.
То есть возраст в руках опытного исследователя становится своего рода прокси-метрикой, которая влияет на:
• Доход
• Уровень образования (нет, конечно, «возрастные» абитуриенты есть, но их мало)
• Наличие детей и интенсивность взаимодействия с ними
• Наличие свободного времени
• Паттерны использования приложений
• Легкость освоения нового
• Физические ограничения
• Наличие хронических заболеваний
Лучше, конечно, ориентироваться на этапы жизни, что даст вам большую предсказательную ценность, поскольку такой подход лучше учитывает индивидуальные особенности.
Но маркетологи всегда вас спросят про возраст ваших сегментов/персон. Потому что это один из ключевых параметров таргетинга. «Контекст» и психографику в таргетинг не зашьешь.
💽 @PostPostResearch
Коллеги репостят ссылку на статью «uxGPT: Creating personas with prompts for better questions using ChatGPT and uxGPT Personas» от очередного евангелиста LLM.
Понятно, что использовать ChatGPT для создания персон не нужно: персоны должны создаваться на основе исследования.
Но в этой статье есть частый миф о возрасте персоны:
A good persona skips demographic details and focuses on background and attitudinal information because demographics often fail to reveal true user needs (age, really?). Instead, understanding a user’s background provides context, shedding light on their experiences and challenges.
Евангелисты говорят: возраст нам не нужен – плохая персона содержит в себе демографические характеристики. Давайте заменим их контекстом!
Также евангелисты: теория поколений – годный фреймворк для объяснения различий между сегментами целевой аудитории (нет).
Так что делаем с возрастом?
Объявляем его конструктом? Вон, в Японии 39-летний мужчина идентифицирует себя 28-летним, называясь «трансвозрастным» (и это не шутка).
Или возраст все-таки важная характеристика для понимания нашей целевой аудитории?
Спойлер:
Человек проходит определенные этапы жизни (учится, начинает работать, заводит детей, выходит на пенсию). И к определенному возрасту у людей обычно есть определенный статус (закончили школу, ВУЗ) и доход: например, у молодых людей без опыта работы зарплата ниже, чем у специалиста с опытом 5+ лет, а у тех, у кого есть дети и ипотека, выше расходы. Кроме того, жизненный опыт формирует определенные паттерны поведения (примеры - ниже).
✅Правда, что в персоны, созданные не на базе исследований, пихают различные характеристики (включая возраст) без особого смысла
❌Неправда, что поведенческие паттерны людей не зависят от возраста
Например,
Но евангелисты могут возразить: это же маркетинг, а у нас-то – продукт!
А вот частота использования смартфонов с возрастом связана не так сильно, как можно предположить.
На все это можно возразить примерно так:
«вы говорите, что с возрастом зрение ухудшается, так просто пропишите в персоне, что у человека зрение плохое, вот и все».
То есть возраст в руках опытного исследователя становится своего рода прокси-метрикой, которая влияет на:
• Доход
• Уровень образования (нет, конечно, «возрастные» абитуриенты есть, но их мало)
• Наличие детей и интенсивность взаимодействия с ними
• Наличие свободного времени
• Паттерны использования приложений
• Легкость освоения нового
• Физические ограничения
• Наличие хронических заболеваний
Лучше, конечно, ориентироваться на этапы жизни, что даст вам большую предсказательную ценность, поскольку такой подход лучше учитывает индивидуальные особенности.
Но маркетологи всегда вас спросят про возраст ваших сегментов/персон. Потому что это один из ключевых параметров таргетинга. «Контекст» и психографику в таргетинг не зашьешь.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍43❤27🔥12💯4🤔1
LLM, usability-аудит и эвристики Нильсена.
Виталий Болотаев написал статью, как можно с помощью LLM проверять UX решения на соответствие эвристикам Нильсена (и не только, там в статье еще масса принципов проектирования)
Почему стоит читать:
1️⃣ Есть готовые промпты, можно сразу поэкспериментировать со своими макетами. Особенно ценно, если вы их итеративно дорабатывали, и знаете, с какими проблемами пользователи сталкивались.
2️⃣ Это - уже опробованный подход к анализу, который был внедрен в Ростелекоме. А не методологически спорные вещи типа «синтетических респондентов».
Читать статью на хабре
Виталий Болотаев написал статью, как можно с помощью LLM проверять UX решения на соответствие эвристикам Нильсена (и не только, там в статье еще масса принципов проектирования)
Почему стоит читать:
1️⃣ Есть готовые промпты, можно сразу поэкспериментировать со своими макетами. Особенно ценно, если вы их итеративно дорабатывали, и знаете, с какими проблемами пользователи сталкивались.
2️⃣ Это - уже опробованный подход к анализу, который был внедрен в Ростелекоме. А не методологически спорные вещи типа «синтетических респондентов».
Читать статью на хабре
Хабр
Как увеличить производительность и экономическую эффективность UX-исследователя? Эвристики, демонология и нейросети
Правила и концепции улучшения UX и юзабилити. Понятие эвристики и чек-листа Часто мы в Ростелекоме сталкиваемся со сложными и непростыми решениями, вопросами и практиками, каждая из которых требует...
👍17🔥17❤6🤔1
В последний раз про «персоны»
Коллеги обсуждают статью «Хватит создавать продукты для воображаемых пользователей: почему метод персон не работает».
Спойлер:вообще-то работает, если вы умеете его готовить.
В жизни каждого эксперта рано или поздно наступает момент, когда он перестает обсуждать определенные темы, потому что проще дать ссылки на свои статьи.
Так было с «вопросами про будущее» (да, их можно задавать)
А что с персонами?
1️⃣ «Персоны» - это фреймворк. Это значит, что мы с его помощью осмысляем результаты исследования через определенную оптику. Нет, как и все готовые фреймворки – это не панацея, и возможен абьюз фреймворка. И можно допустить много ошибок, работая над персонами, вот список.
2️⃣ Персоны ВСЕГДА базируются на исследовании. Если они не базируются на исследовании, то тут и обсуждать нечего.
3️⃣ Смысл использования персон – в создании типологии пользователей, она же сегментация. Типология вам нужна для:
🅰️ работы над продуктом или коммуникацией. Вы не можете делать продукт или коммуникацию для всех, вам нужно выделять из всего многообразия людей именно вашу целевую аудиторию. А разделение ЦА на типы нужно, поскольку у разных людей – разные потребности, представления и практики использования продукта.
🅱️ синхронизации команды: если вы говорите на одном языке, то проще работать над продуктом или коммуникацией.
4️⃣ Сегментации пользователей бывают разными. И сегменты, и персоны – это варианты сегментаций. Нет, их не нужно противопоставлять, как делает Купер, говоря о том, что персоны определяются качественно, а сегменты - количественно. Хорошая сегментация отвечает на вопросы «кто все эти люди?», «чего они хотят?», и «сколько их?».
5️⃣ В хорошей сегментации сегменты выделяются по одним и тем же основаниям, например: потребности, восприятие продукта, способы использования продукта. Плохая сегментация напоминает классификацию животных Борхеса.
6️⃣ Количество сегментов/персон, 3 или 15 - это не критерий того, что ваша типология хороша.
7️⃣ Нужно ли работать строго по Job Story (JTBD) или по User Story(персоны)? Нет, подходы с типологиями пользователей (сегменты, персоны) и их потребностями (JTBD) дополняют друг друга, а не противоречат.
8️⃣ Нужен ли персоне возраст? Скорее да, чем нет.
Лонгриды про персоны, сегментацию и JTBD:
🧾Что определяет потребительское поведение на самом деле
Ситуация, в которой оказывается человек, сильнее влияет на его желания и потребности, чем пол-возраст-доход или психографические характеристики: «стремление к власти», «контролю» или любые другие
Связь сегментации, персон и JTBD: типология пользователей, которая будет обоснована и полезна
💽 @PostPostResearch
Коллеги обсуждают статью «Хватит создавать продукты для воображаемых пользователей: почему метод персон не работает».
Спойлер:
В жизни каждого эксперта рано или поздно наступает момент, когда он перестает обсуждать определенные темы, потому что проще дать ссылки на свои статьи.
Так было с «вопросами про будущее» (да, их можно задавать)
А что с персонами?
1️⃣ «Персоны» - это фреймворк. Это значит, что мы с его помощью осмысляем результаты исследования через определенную оптику. Нет, как и все готовые фреймворки – это не панацея, и возможен абьюз фреймворка. И можно допустить много ошибок, работая над персонами, вот список.
2️⃣ Персоны ВСЕГДА базируются на исследовании. Если они не базируются на исследовании, то тут и обсуждать нечего.
3️⃣ Смысл использования персон – в создании типологии пользователей, она же сегментация. Типология вам нужна для:
🅰️ работы над продуктом или коммуникацией. Вы не можете делать продукт или коммуникацию для всех, вам нужно выделять из всего многообразия людей именно вашу целевую аудиторию. А разделение ЦА на типы нужно, поскольку у разных людей – разные потребности, представления и практики использования продукта.
🅱️ синхронизации команды: если вы говорите на одном языке, то проще работать над продуктом или коммуникацией.
4️⃣ Сегментации пользователей бывают разными. И сегменты, и персоны – это варианты сегментаций. Нет, их не нужно противопоставлять, как делает Купер, говоря о том, что персоны определяются качественно, а сегменты - количественно. Хорошая сегментация отвечает на вопросы «кто все эти люди?», «чего они хотят?», и «сколько их?».
5️⃣ В хорошей сегментации сегменты выделяются по одним и тем же основаниям, например: потребности, восприятие продукта, способы использования продукта. Плохая сегментация напоминает классификацию животных Борхеса.
6️⃣ Количество сегментов/персон, 3 или 15 - это не критерий того, что ваша типология хороша.
7️⃣ Нужно ли работать строго по Job Story (JTBD) или по User Story(персоны)? Нет, подходы с типологиями пользователей (сегменты, персоны) и их потребностями (JTBD) дополняют друг друга, а не противоречат.
8️⃣ Нужен ли персоне возраст? Скорее да, чем нет.
Лонгриды про персоны, сегментацию и JTBD:
🧾Что определяет потребительское поведение на самом деле
Ситуация, в которой оказывается человек, сильнее влияет на его желания и потребности, чем пол-возраст-доход или психографические характеристики: «стремление к власти», «контролю» или любые другие
🧾Персоны, JTBD и сегментация здорового человекаСвязь сегментации, персон и JTBD: типология пользователей, которая будет обоснована и полезна
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥52❤21👍8👏2
Тестируем синтетических респондентов
Все пишут про синтетических респондентов.
Исследователи, как правило – скептически. Не заменит живых людей, или заменит, но только на простых кейсах.
Евангелисты – восторженно. Вот он, золотой век, когда не надо ждать, пока исследователи разродятся. Хоть по гипотезе в минуту тестируй.
Обе позиции - теоретические.
Мы решили проверить на практике концепцию синтетических респондентов, используя реальные примеры – кейсы, в которых мы знали судьбу идеи, продукта или гипотезы. Мы убрали результат проверки под спойлер, чтобы вы могли проверить себя.
Кейс 1.
Ситуация: из-за смены алгоритма в сервисе у пользователя меняется цифра кредитного рейтинга. Нам нужно понять восприятие этой ситуации нашими пользователями.
Респондент: Сорокалетний мужчина из России, работающий на государственной службе. Есть семья, один ребенок. Доход - средний. Некоторое время назад брал кредиты, платежи по этим кредитам были просрочены. Как следствие, кредитный рейтинг не очень высок. В данный момент все кредиты погашены, задолженностей нет.
Результат: огромное разочарование ситуацией:
На самом деле:✅ на исследовании всё так и было. Но во многом это самоочевидный кейс: поставьте себя на место пользователя, и вы придете к тем же выводам быстрее, чем сформулируете промпт.
Кейс 2.
Концепт: стартап в Сан-Франциско, проверяющий договоры аренды недвижимости с помощью AI.
Респондент: айтишник из Сан-Франциско, недавно снявший квартиру.
Результат: Восторженный интерес со стороны синтетического респондента.
На самом деле:❌ договоры аренды - типовые, по одному шаблону, соответствующему закону штата. Кроме того, в Калифорнии законы штата защищают арендатора лучше, чем арендодателя. Мы провели ровно одно исследовательское интервью в 2018 году, чтобы понять, что идея не взлетит. Любопытно, что в начале интервью наш синтетический респондент воспроизвел те факты о рынке аренды в Сан-Франциско, о которых мы уже знали (договора - типовые), однако это не помешало выдать ему интерес к продукту. Хороший исследователь засомневался бы, увидев противоречия между ситуацией и интересом к продукту.
Кейс 3.
Концепт: новое средство для удаления запахов. Это инновационная технология, которая буквально связывает запахи, а не заглушает их другим ароматом. Например, этим спреем можно опрыскать пиджак курильщика, и запах табака уйдет совсем. Спрей подходит не только для одежды, но и для пола, мебели и ковров.
Респондентка: американская домохозяйка, одиночка, 45 лет, у нее в доме 9 кошек разного возраста, которых она очень любит.
Результат: Восторженный интерес со стороны синтетического респондента, с вопросами о безопасности для кошек.
На самом деле:❌ это известный кейс Febreze . Исследование причин провала первого запуска выявило, что и курильщики, и кошатницы привыкли к запахам, и то, как пахнет у них дома – проблема не для них, а для тех, кто к ним пришел.
Два последних эксперимента воспроизводят те же ошибки, что были у людей, придумавших эти продукты: до исследования у команд были предположения о ценности продукта и целевой аудитории, которые совпали с тем, что демонстрировала LLM в нашем мини-эксперименте.
Итог тестирования: пока что «синтетические респонденты» оценивают продукты и идеи примерно так же, как и сама продуктовая команда: с азартом верят в них, игнорируя окружающие факты.
(продолжение)
💽 @PostPostResearch
Все пишут про синтетических респондентов.
Исследователи, как правило – скептически. Не заменит живых людей, или заменит, но только на простых кейсах.
Евангелисты – восторженно. Вот он, золотой век, когда не надо ждать, пока исследователи разродятся. Хоть по гипотезе в минуту тестируй.
Обе позиции - теоретические.
Мы решили проверить на практике концепцию синтетических респондентов, используя реальные примеры – кейсы, в которых мы знали судьбу идеи, продукта или гипотезы. Мы убрали результат проверки под спойлер, чтобы вы могли проверить себя.
Кейс 1.
Ситуация: из-за смены алгоритма в сервисе у пользователя меняется цифра кредитного рейтинга. Нам нужно понять восприятие этой ситуации нашими пользователями.
Респондент: Сорокалетний мужчина из России, работающий на государственной службе. Есть семья, один ребенок. Доход - средний. Некоторое время назад брал кредиты, платежи по этим кредитам были просрочены. Как следствие, кредитный рейтинг не очень высок. В данный момент все кредиты погашены, задолженностей нет.
Результат: огромное разочарование ситуацией:
«Честно говоря, сначала был в шоке. Я же, наоборот рассчитывал, что рейтинг должен расти, а он вдруг упал. Первая мысль — какая-то ошибка или сбой в системе. Потом пришло раздражение: вроде бы закрыл все долги, больше никаких просрочек не было, а рейтинг почему-то снизился.
Начал прокручивать в голове, что могло повлиять. Может, банки пересмотрели какие-то свои критерии или обновилась база данных? Или, например, недавний запрос на проверку кредитного рейтинга как-то повлиял?
Но самое неприятное — это ощущение несправедливости. Получается, сколько ни старайся, система все равно тебя не прощает сразу. И это напрягает, ведь я же собирался брать кредит на машину, а теперь боюсь, что условия будут хуже»
На самом деле:
Кейс 2.
Концепт: стартап в Сан-Франциско, проверяющий договоры аренды недвижимости с помощью AI.
Респондент: айтишник из Сан-Франциско, недавно снявший квартиру.
Результат: Восторженный интерес со стороны синтетического респондента.
На самом деле:
Кейс 3.
Концепт: новое средство для удаления запахов. Это инновационная технология, которая буквально связывает запахи, а не заглушает их другим ароматом. Например, этим спреем можно опрыскать пиджак курильщика, и запах табака уйдет совсем. Спрей подходит не только для одежды, но и для пола, мебели и ковров.
Респондентка: американская домохозяйка, одиночка, 45 лет, у нее в доме 9 кошек разного возраста, которых она очень любит.
Результат: Восторженный интерес со стороны синтетического респондента, с вопросами о безопасности для кошек.
На самом деле:
Два последних эксперимента воспроизводят те же ошибки, что были у людей, придумавших эти продукты: до исследования у команд были предположения о ценности продукта и целевой аудитории, которые совпали с тем, что демонстрировала LLM в нашем мини-эксперименте.
Итог тестирования: пока что «синтетические респонденты» оценивают продукты и идеи примерно так же, как и сама продуктовая команда: с азартом верят в них, игнорируя окружающие факты.
(продолжение)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥107👍24👏4❤1
Новый пост про синтетических респондентов уже завтра, а пока – анонс конкурса молодых исследователей от ESOMAR.
Есть возможность сделать наш мир немного лучше, проведя исследование для НКО.
Как и раньше, можно подать заявку, даже если у вас нет команды
ESOMAR Research Got Talent.
Есть возможность сделать наш мир немного лучше, проведя исследование для НКО.
Как и раньше, можно подать заявку, даже если у вас нет команды
ESOMAR Research Got Talent.
❤15👍7🔥5
Синтетические респонденты наносят ответный удар
Отвечаем на вопросы и проясняем неясности, оставшиеся с прошлого раза.
❓Кому и зачем нужны синтетические респонденты?
Евангелисты предлагают заменить всех – и исследователей, и респондентов – на LLM. Это позволит ускорить проверку гипотез, вынеся ненадежных людей за скобки.
Очевидно, что нынешний уровень технологий пока не позволяет так сделать. И мы вынужденно переходим к более скромной задаче: отбросить заведомо неудачные идеи, гипотезы и концепции (concept-test).
Как мы писали, никакое интервью не даст вам ответа на вопрос, «взлетит или не взлетит» - но оно может помочь отсечь заведомо провальные концепции. А уже прошедшие фильтр концепции могут быть доработаны и проверены на людях. Именно поэтому мы проверяли концепции, которые провалились. Потому что если LLM из роли респондента может в принципе это сделать, то, наверное, у таких концепт-тестов есть потенциал?
И здесь мы сталкиваемся с двумя проблемами:
🅰️ Конформизм
LLM дают характерный вайб ответов. Это типичные «ходоки». Они очень хотят понравиться исследователю и подстроиться под него. Они одобряют все, что вы им предложите, и со всем согласны.
Виталий Болотаев поставил смелый эксперимент с Grok, предложив ему оценить идею пива с заведомо неприемлемым вкусом. Результат эксперимента - безусловное одобрение. Почему это так? Виталий пишет:
Возникает вопрос: можно ли решить проблему конформизма LLM с помощью промптинга в принципе? Или же нам нужно двигаться в сторону кастомных LLM и забыть условный Chat GPT как страшный сон? Спойлер:возможно, к этому и идет.
🅱️ Неполнота данных
Можем ли мы вообще полагаться на данные, заложенные в LLM? А что, если они неполны или системно искажены? Есть прекрасная статья «Персона, созданная LLM, - это обещание с подвохом» – где авторы ставят эксперименты. Общий вывод: «чем больше контента, созданного LLM, включалось в персоны, тем больше их смоделированные мнения расходились с реальными данными». Эти синтетические респонденты чаще выбирают экологичные машины, гуманитарные специальности, романтические фильмы и голосуют за демократов.
Критика нашего эксперимента:
1️⃣ «У вас неправильные промпты. Правильные должны быть не короче двух страниц»
Странно оценивать промпты по длине, а не по содержанию.
Но, как бы то ни было, повторение экспериментов с расширенным описанием персон и более детальным сеттингом интервью пока не опровергло наших результатов. Кошатница по-прежнему хочет купить Febreze, а айтишник из Сан-Франциско все также хочет попробовать AI-сервис для проверки договоров аренды.
Добавление в промпт инструкций для снижения конформизма не поменяло результат принципиальным образом.
2️⃣ «Role-prompting не подходит для синтетических респондентов в принципе»
Ксения Воейкова пишет, что ролевой промптинг не работает для reasoning LLM, и для таких задач нужно использовать цифровых двойников – отсылая к статье «Генеративные агенты: моделирование 1000 реальных людей». Авторы получили обнадеживающие результаты: точность цифровых двойников при воспроизведении опросников и экономических игр оказалась выше, чем у агентов, обученных на демографических данных или кратких описаниях.
Проблема в том, что авторы не тестировали никакие концепции - ни на людях, ни на цифровых двойниках. Следовательно, мы не знаем, применимы ли эти цифровые двойники для концепт-тестов – где мы должны не воспроизвести установки и ценности, а оценить конкретный продукт с точки зрения возможной покупки.
Если для создания цифрового двойника, который сможет тестировать концепции новых напитков, нам придется проводить U&A интервью с живыми респондентами, то не проще ли сразу опрашивать живых людей?
В третьей части сравним разные LLM между собой и проверим новые провальные концепции.
💽 @PostPostResearch
Отвечаем на вопросы и проясняем неясности, оставшиеся с прошлого раза.
❓Кому и зачем нужны синтетические респонденты?
Евангелисты предлагают заменить всех – и исследователей, и респондентов – на LLM. Это позволит ускорить проверку гипотез, вынеся ненадежных людей за скобки.
Очевидно, что нынешний уровень технологий пока не позволяет так сделать. И мы вынужденно переходим к более скромной задаче: отбросить заведомо неудачные идеи, гипотезы и концепции (concept-test).
Как мы писали, никакое интервью не даст вам ответа на вопрос, «взлетит или не взлетит» - но оно может помочь отсечь заведомо провальные концепции. А уже прошедшие фильтр концепции могут быть доработаны и проверены на людях. Именно поэтому мы проверяли концепции, которые провалились. Потому что если LLM из роли респондента может в принципе это сделать, то, наверное, у таких концепт-тестов есть потенциал?
И здесь мы сталкиваемся с двумя проблемами:
🅰️ Конформизм
LLM дают характерный вайб ответов. Это
Виталий Болотаев поставил смелый эксперимент с Grok, предложив ему оценить идею пива с заведомо неприемлемым вкусом. Результат эксперимента - безусловное одобрение. Почему это так? Виталий пишет:
«ИИ может выдавать "угодливые" или "полярные" ответы, если в запросе есть намёк на предпочтение определённой точки зрения. Это не осознанное желание "угодить", а следствие статистической оптимизации: модель стремится максимизировать вероятность положительной оценки».
Возникает вопрос: можно ли решить проблему конформизма LLM с помощью промптинга в принципе? Или же нам нужно двигаться в сторону кастомных LLM и забыть условный Chat GPT как страшный сон? Спойлер:
🅱️ Неполнота данных
Можем ли мы вообще полагаться на данные, заложенные в LLM? А что, если они неполны или системно искажены? Есть прекрасная статья «Персона, созданная LLM, - это обещание с подвохом» – где авторы ставят эксперименты. Общий вывод: «чем больше контента, созданного LLM, включалось в персоны, тем больше их смоделированные мнения расходились с реальными данными». Эти синтетические респонденты чаще выбирают экологичные машины, гуманитарные специальности, романтические фильмы и голосуют за демократов.
Критика нашего эксперимента:
1️⃣ «У вас неправильные промпты. Правильные должны быть не короче двух страниц»
Странно оценивать промпты по длине, а не по содержанию.
Но, как бы то ни было, повторение экспериментов с расширенным описанием персон и более детальным сеттингом интервью пока не опровергло наших результатов. Кошатница по-прежнему хочет купить Febreze, а айтишник из Сан-Франциско все также хочет попробовать AI-сервис для проверки договоров аренды.
Добавление в промпт инструкций для снижения конформизма не поменяло результат принципиальным образом.
2️⃣ «Role-prompting не подходит для синтетических респондентов в принципе»
Ксения Воейкова пишет, что ролевой промптинг не работает для reasoning LLM, и для таких задач нужно использовать цифровых двойников – отсылая к статье «Генеративные агенты: моделирование 1000 реальных людей». Авторы получили обнадеживающие результаты: точность цифровых двойников при воспроизведении опросников и экономических игр оказалась выше, чем у агентов, обученных на демографических данных или кратких описаниях.
Проблема в том, что авторы не тестировали никакие концепции - ни на людях, ни на цифровых двойниках. Следовательно, мы не знаем, применимы ли эти цифровые двойники для концепт-тестов – где мы должны не воспроизвести установки и ценности, а оценить конкретный продукт с точки зрения возможной покупки.
Если для создания цифрового двойника, который сможет тестировать концепции новых напитков, нам придется проводить U&A интервью с живыми респондентами, то не проще ли сразу опрашивать живых людей?
В третьей части сравним разные LLM между собой и проверим новые провальные концепции.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍46❤22🔥21
Ловушки анализа качественных данных: инсайты и иллюзии
15 апреля я (Константин Ефимов) расскажу про то, где и как ошибаются исследователи при анализе.
Стрим 15 апреля в 19:00 по МСК прямо в канале BiasConf. Все подробности — здесь.
15 апреля я (Константин Ефимов) расскажу про то, где и как ошибаются исследователи при анализе.
Стрим 15 апреля в 19:00 по МСК прямо в канале BiasConf. Все подробности — здесь.
🔥40👍16❤3
Media is too big
VIEW IN TELEGRAM
Какие ошибки совершают исследователи в анализе качественных данных — и почему это не всегда зависит от их опыта.
Выложили видео доклада про ошибки исследователей.
📹 Смотреть на Youtube
📺 Смотреть на VK Video
💽 @PostPostResearch
Выложили видео доклада про ошибки исследователей.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤52👍9
Почему не надо вносить отборочные вопросы в сценарий интервью?
В этом году несколько студентов нашего курса почему-то включили в гайд вопросы, которые нужно выносить в отборочную анкету: возраст, род деятельности и т.п. Мы дали фидбек, что так делать не нужно, и забыли об этом.
А на прошлой неделе мне снова принесли такое, уже в рамках запроса на проработку гайда. И я узнал, что так вести интервью учит Иван Замесин. Что это «квалифицирующие вопросы, из которых вы узнаете психологические особенности респондента и его прошлый опыт, чтобы уточнять описания работ».
Почему мы так не делаем? Потому что когда ко мне приходит на исследование человек, я уже знаю его соц-дем из отборочной анкеты. А «что это за человек?» в начале интервью и вне контекста использования продукта выяснять смысла нет (позже напишем, почему нет).
Есть два подхода к проведению исследований:
1️⃣ «Энергоэффективный»
Подходит, если вы готовы планировать исследование и вам нужен результат в четкие сроки
Вы заранее обсуждаете ЦА с командой и планируете выборку: сколько и каких людей вам надо пригласить. Вы заранее описываете их пол, возраст, использование продукта и другие характеристики, которые могут повлиять на использование продукта в критериях рекрута. Вопросы об этом попадают в отборочную анкету (скринер). Поэтому, когда человек к вам приходит, вы обычно уже знаете, сколько ему лет, каковы его семейное положение и род деятельности.
Потому что если вы узнаете все эти важные вещи только на интервью – есть ненулевые шансы, что вам попадется «не тот» респондент. Например, продуктовый дизайнер на тесте прототипа. Или человек без детей на тесте сервиса «срочная няня». И вы попросту сожжете свое время и время респондента.
Lifehack: в ту же отборочную анкету можно внести те вопросы, на которые в личной беседе человек постесняется отвечать, а на самом интервью уже вернуться к ним. Это снизит напряжение.
2️⃣ «Ленивый пирог»
Подходит, если вы не готовы заморачиваться с выборкой и не торопитесь: например, вы академический исследователь или основатель стартапа
Вы ничего не знаете о вашей аудитории и не можете строить выборку, отталкиваясь от гипотез о факторах, влияющих на потребительское/пользовательское поведение. Поэтому вы говорите со всеми, кто согласился поговорить (выборка «по удобству»). После первых интервью вы дополняете свою картину мира, а затем ищете еще респондентов и говорите с ними, меняя гайд с учетом того, что вы узнали у предыдущих.
(Гайд можно и нужно дорабатывать с учетом полученной информации и в первом варианте исследования. Просто в случае «ленивого пирога» ваш результат не привязан к жесткому таймингу, а респондентам и рекрутерам вы не платите вознаграждение, так что потеряете только время, если вам попадутся не те респонденты).
❌ Проблем тут четыре:
1. в спринт такое исследование встает очень плохо
2. не имея изначальной разбивки выборки на группы (сплиттинг), вам сложнее анализировать ваши данные
3. выборка «по удобству» может привести к системному смещению, которое повлияет на собранные данные.
4. Без вознаграждений вы ограничены людьми, которые любят ваш продукт и готовы его обсуждать – но тех, кто ушел к конкуренту, вам будет сложнее опросить.
Поэтому тем, кто ценит свое время, мы рекомендуем первый способ. Случай, когда мы и правда ничего не знаем, и как в этом случае строить исследование – достоин отдельного поста.
Хорошо, спросите вы. Но зачем же тогда на интервью вообще просить человека рассказать о себе? Мы же в первом случае все про него узнали заранее!
Очень просто – фаза знакомства нужна совсем для другого. Когда вы рассказываете о себе и просите вашего респондента тоже о себе рассказать – это помогает установить контакт. Да, если человек расскажет о себе что-то, связанное с темой исследования – будет супер. Но спрашивать его специально про возраст и род деятельности – сродни заполнению личного дела в полиции.
Так делать не надо.
Вынесите все эти вопросы в отборочную анкету, и будет вам счастье.
💽 @PostPostResearch
В этом году несколько студентов нашего курса почему-то включили в гайд вопросы, которые нужно выносить в отборочную анкету: возраст, род деятельности и т.п. Мы дали фидбек, что так делать не нужно, и забыли об этом.
А на прошлой неделе мне снова принесли такое, уже в рамках запроса на проработку гайда. И я узнал, что так вести интервью учит Иван Замесин. Что это «квалифицирующие вопросы, из которых вы узнаете психологические особенности респондента и его прошлый опыт, чтобы уточнять описания работ».
Почему мы так не делаем? Потому что когда ко мне приходит на исследование человек, я уже знаю его соц-дем из отборочной анкеты. А «что это за человек?» в начале интервью и вне контекста использования продукта выяснять смысла нет (позже напишем, почему нет).
Есть два подхода к проведению исследований:
1️⃣ «Энергоэффективный»
Подходит, если вы готовы планировать исследование и вам нужен результат в четкие сроки
Вы заранее обсуждаете ЦА с командой и планируете выборку: сколько и каких людей вам надо пригласить. Вы заранее описываете их пол, возраст, использование продукта и другие характеристики, которые могут повлиять на использование продукта в критериях рекрута. Вопросы об этом попадают в отборочную анкету (скринер). Поэтому, когда человек к вам приходит, вы обычно уже знаете, сколько ему лет, каковы его семейное положение и род деятельности.
Потому что если вы узнаете все эти важные вещи только на интервью – есть ненулевые шансы, что вам попадется «не тот» респондент. Например, продуктовый дизайнер на тесте прототипа. Или человек без детей на тесте сервиса «срочная няня». И вы попросту сожжете свое время и время респондента.
Lifehack: в ту же отборочную анкету можно внести те вопросы, на которые в личной беседе человек постесняется отвечать, а на самом интервью уже вернуться к ним. Это снизит напряжение.
2️⃣ «Ленивый пирог»
Подходит, если вы не готовы заморачиваться с выборкой и не торопитесь: например, вы академический исследователь или основатель стартапа
Вы ничего не знаете о вашей аудитории и не можете строить выборку, отталкиваясь от гипотез о факторах, влияющих на потребительское/пользовательское поведение. Поэтому вы говорите со всеми, кто согласился поговорить (выборка «по удобству»). После первых интервью вы дополняете свою картину мира, а затем ищете еще респондентов и говорите с ними, меняя гайд с учетом того, что вы узнали у предыдущих.
(Гайд можно и нужно дорабатывать с учетом полученной информации и в первом варианте исследования. Просто в случае «ленивого пирога» ваш результат не привязан к жесткому таймингу, а респондентам и рекрутерам вы не платите вознаграждение, так что потеряете только время, если вам попадутся не те респонденты).
❌ Проблем тут четыре:
1. в спринт такое исследование встает очень плохо
2. не имея изначальной разбивки выборки на группы (сплиттинг), вам сложнее анализировать ваши данные
3. выборка «по удобству» может привести к системному смещению, которое повлияет на собранные данные.
4. Без вознаграждений вы ограничены людьми, которые любят ваш продукт и готовы его обсуждать – но тех, кто ушел к конкуренту, вам будет сложнее опросить.
Поэтому тем, кто ценит свое время, мы рекомендуем первый способ. Случай, когда мы и правда ничего не знаем, и как в этом случае строить исследование – достоин отдельного поста.
Хорошо, спросите вы. Но зачем же тогда на интервью вообще просить человека рассказать о себе? Мы же в первом случае все про него узнали заранее!
Очень просто – фаза знакомства нужна совсем для другого. Когда вы рассказываете о себе и просите вашего респондента тоже о себе рассказать – это помогает установить контакт. Да, если человек расскажет о себе что-то, связанное с темой исследования – будет супер. Но спрашивать его специально про возраст и род деятельности – сродни заполнению личного дела в полиции.
Так делать не надо.
Вынесите все эти вопросы в отборочную анкету, и будет вам счастье.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥37👍20❤18
Как применить продуктовый подход в изучении языков?
На первых майских я прочел книгу Елены Кочевой «Лингво-хакинг».
И я увидел в ней очень органично использованный продуктовый подход.
В ней описаны три героя – три персоны – у каждой из которых своя мотивация к изучению языка.
Первый учит язык (английский), чтобы работать в международной компании.
Вторая учит язык – тоже английский – по принципу "вдруг что случится, например, путешествие – а я так и не знаю английский".
Третья учит язык страны, в которую она переехала - чтобы не чувствовать себя нелепо в разных жизненных ситуациях.
(Я, конечно же, узнал себя в последней персоне. С 2021 года я учу словацкий. Я учу его до сих пор. Могу сносно объясниться в школе, у врача, в кафе и в магазине. А прогресса, несмотря на занятия и погруженность в языковую среду, уже долгое время нет.
Думал, отчего так происходит, но ничего, кроме стресса и лени, в качестве причин в голову не приходило. Ругал себя за лень, потом думал - ну, говорить же могу, и ладно, как-нибудь потом решу проблему).
Эти персоны основаны на том, как человек предполагает использовать язык. И эффективный подход к изучению языка для каждой из них - тоже разный.
И даже техника «пять почему?», которую мы критиковали за навязчивость, здесь совершенно на своем месте. Потому что автор предлагает задать этот вопрос себе – в этом формате она становится методикой «предельных смыслов» А.Н. Леонтьева. Леонтьев, правда, задает вопрос «зачем?» - но суть та же. Зачем я учу язык? Чтобы что?
Вам важно понимать свою внутреннюю мотивацию к изучению языка.
Как человек, который учит словацкий язык уже пятый год, я многое понял. И если бы я прочел эту книгу в 2021 году, то я бы существенно сократил свой путь.
Искренне советую.
Автор книги, Елена Кочева - полиглот (6 языков), автор Forbes, консультант по эффективному изучению языков для топов Яндекса и Х5, ведущая канала "Изучение языка как стратегия".
💽 @PostPostResearch
На первых майских я прочел книгу Елены Кочевой «Лингво-хакинг».
И я увидел в ней очень органично использованный продуктовый подход.
В ней описаны три героя – три персоны – у каждой из которых своя мотивация к изучению языка.
Первый учит язык (английский), чтобы работать в международной компании.
Вторая учит язык – тоже английский – по принципу "вдруг что случится, например, путешествие – а я так и не знаю английский".
Третья учит язык страны, в которую она переехала - чтобы не чувствовать себя нелепо в разных жизненных ситуациях.
(Я, конечно же, узнал себя в последней персоне. С 2021 года я учу словацкий. Я учу его до сих пор. Могу сносно объясниться в школе, у врача, в кафе и в магазине. А прогресса, несмотря на занятия и погруженность в языковую среду, уже долгое время нет.
Думал, отчего так происходит, но ничего, кроме стресса и лени, в качестве причин в голову не приходило. Ругал себя за лень, потом думал - ну, говорить же могу, и ладно, как-нибудь потом решу проблему).
Эти персоны основаны на том, как человек предполагает использовать язык. И эффективный подход к изучению языка для каждой из них - тоже разный.
И даже техника «пять почему?», которую мы критиковали за навязчивость, здесь совершенно на своем месте. Потому что автор предлагает задать этот вопрос себе – в этом формате она становится методикой «предельных смыслов» А.Н. Леонтьева. Леонтьев, правда, задает вопрос «зачем?» - но суть та же. Зачем я учу язык? Чтобы что?
Вам важно понимать свою внутреннюю мотивацию к изучению языка.
Как человек, который учит словацкий язык уже пятый год, я многое понял. И если бы я прочел эту книгу в 2021 году, то я бы существенно сократил свой путь.
Искренне советую.
Автор книги, Елена Кочева - полиглот (6 языков), автор Forbes, консультант по эффективному изучению языков для топов Яндекса и Х5, ведущая канала "Изучение языка как стратегия".
Please open Telegram to view this post
VIEW IN TELEGRAM
👍40❤13🔥4🤔2
Чем заменить JTBD
15 мая выступал на митапе в Kolesa Group, рассказывал про ограничения JTBD.
И мне там задали идеальный вопрос: «А чем заменить JTBD?»
Идеальный он потому, что за простым на вид вопросом стоит большая проблема - КАК НАЙТИ ФРЕЙМВОРК, В КОТОРОМ ЕСТЬ:
1️⃣ общий язык, на котором можно говорить с командой (как договориться с коллегами?)
2️⃣ идеи вопросов, которые нужно задавать в интервью (что спрашивать у людей?)
3️⃣ идеи структурирования информации (что писать в отчете?)
То есть, нужен универсальный инструмент - который направил бы исследования на помощь продуктовой разработке.
В JTBD это есть, но очень путано.
И чем же мы можем заменить JTBD?
Для работы с командой, общего языка для обсуждений подходит сторителлинг.
Исследователь расспрашивает респондентов про их истории, а команде рассказывает историю о пользователях.
В каждой истории есть встроенная защита от абьюза фреймворка: если вы расскажете ее плохо, вам просто не поверят, как, например, работе формата «когда я мужик, я хочу мяса и пива, чтобы быть сытым и довольным».
Сторителлинг не дает спрятаться от простых вопросов за табличками и терминами. Почему Вася, черт возьми, купил именно это мороженое? Из-за контекста - потому, что стояла жаркая погода? А почему он выбрал из 5 марок именно «Магнат»? В рамках JTBD нам будет сложно объяснить его выбор, а в рамках сторителлинга его выбор будет понятен из истории его покупки. И если история, которую мы расскажем про Васю, будет неправдоподобной - по ней это будет сразу очевидно, в отличие от таблицы и в отличие от шаблона работ - потому что при виде «когда я мужик, я хочу...» в любом здравомыслящем человеке проснется внутренний Станиславский.
Люди рассказывают друг другу истории тысячи лет.
В исследованиях сторителлинг применяется, конечно, не настолько давно) Но Шюце придумал нарративное интервью еще в 1975 году.
А в 2010-х годах сторителлинг активно внедряли международные исследовательские компании. Примерно тогда же был бум на фильмы по мотивам исследований, «seeing is believing» – видео обеспечивало более глубокое погружение заказчиков в проблему.
Со структурированием информации в отчетах сложнее. Потому что единого понятийного аппарата нет даже в социальных науках (а мы его ждем от JTBD!). Поэтому вам поможет читать психологическую и социологическую литературу. Начать можно с «теории деятельности» А.Н. Леонтьева. У нее много общего с JTBD, есть даже своего рода Expected Outcome. Слабые стороны у нее примерно те же, что и у JTBD, за исключением жуткой терминологической путаницы - в теории деятельности по крайней мере есть четкие определения потребности, мотива и цели. Социология и психология в целом хорошо прокачивают понимание разных сторон человеческой природы – нам, например для объяснения поведения людей в видеосервисах очень помогла ресурсная теория внимания.
Для понимания, какие вопросы лучше задавать в интервью - предполагая, что поведение человека связано с его опытом, или личностными чертами, или его ценностями, или с давлением ситуации, в которой он находится – вам пригодятся нарративное интервью и наш фреймворк X-Rays, в котором нет ограничения либо «человек», либо «контекст» - а есть всё многообразие человеческой натуры + учет ситуации.
Но чтобы в одном фреймворке совпали вот эти три вопроса, с которых мы начали этот пост - как договориться, что спрашивать и как структурировать отчет - чтобы в одном совпали эти три, этого не будет никогда.
Поэтому пробуйте разные концепции и подходы, и будет вам счастье.
💽 @PostPostResearch
15 мая выступал на митапе в Kolesa Group, рассказывал про ограничения JTBD.
И мне там задали идеальный вопрос: «А чем заменить JTBD?»
Идеальный он потому, что за простым на вид вопросом стоит большая проблема - КАК НАЙТИ ФРЕЙМВОРК, В КОТОРОМ ЕСТЬ:
1️⃣ общий язык, на котором можно говорить с командой (как договориться с коллегами?)
2️⃣ идеи вопросов, которые нужно задавать в интервью (что спрашивать у людей?)
3️⃣ идеи структурирования информации (что писать в отчете?)
То есть, нужен универсальный инструмент - который направил бы исследования на помощь продуктовой разработке.
В JTBD это есть, но очень путано.
И чем же мы можем заменить JTBD?
Для работы с командой, общего языка для обсуждений подходит сторителлинг.
Исследователь расспрашивает респондентов про их истории, а команде рассказывает историю о пользователях.
В каждой истории есть встроенная защита от абьюза фреймворка: если вы расскажете ее плохо, вам просто не поверят, как, например, работе формата «когда я мужик, я хочу мяса и пива, чтобы быть сытым и довольным».
Сторителлинг не дает спрятаться от простых вопросов за табличками и терминами. Почему Вася, черт возьми, купил именно это мороженое? Из-за контекста - потому, что стояла жаркая погода? А почему он выбрал из 5 марок именно «Магнат»? В рамках JTBD нам будет сложно объяснить его выбор, а в рамках сторителлинга его выбор будет понятен из истории его покупки. И если история, которую мы расскажем про Васю, будет неправдоподобной - по ней это будет сразу очевидно, в отличие от таблицы и в отличие от шаблона работ - потому что при виде «когда я мужик, я хочу...» в любом здравомыслящем человеке проснется внутренний Станиславский.
Люди рассказывают друг другу истории тысячи лет.
В исследованиях сторителлинг применяется, конечно, не настолько давно) Но Шюце придумал нарративное интервью еще в 1975 году.
А в 2010-х годах сторителлинг активно внедряли международные исследовательские компании. Примерно тогда же был бум на фильмы по мотивам исследований, «seeing is believing» – видео обеспечивало более глубокое погружение заказчиков в проблему.
Со структурированием информации в отчетах сложнее. Потому что единого понятийного аппарата нет даже в социальных науках (а мы его ждем от JTBD!). Поэтому вам поможет читать психологическую и социологическую литературу. Начать можно с «теории деятельности» А.Н. Леонтьева. У нее много общего с JTBD, есть даже своего рода Expected Outcome. Слабые стороны у нее примерно те же, что и у JTBD, за исключением жуткой терминологической путаницы - в теории деятельности по крайней мере есть четкие определения потребности, мотива и цели. Социология и психология в целом хорошо прокачивают понимание разных сторон человеческой природы – нам, например для объяснения поведения людей в видеосервисах очень помогла ресурсная теория внимания.
Для понимания, какие вопросы лучше задавать в интервью - предполагая, что поведение человека связано с его опытом, или личностными чертами, или его ценностями, или с давлением ситуации, в которой он находится – вам пригодятся нарративное интервью и наш фреймворк X-Rays, в котором нет ограничения либо «человек», либо «контекст» - а есть всё многообразие человеческой натуры + учет ситуации.
Но чтобы в одном фреймворке совпали вот эти три вопроса, с которых мы начали этот пост - как договориться, что спрашивать и как структурировать отчет - чтобы в одном совпали эти три, этого не будет никогда.
Поэтому пробуйте разные концепции и подходы, и будет вам счастье.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤42🔥26👍18
«Только открытые вопросы»
(в копилку 🚩«красных флагов» / индикаторов некомпетентности)
Ранее в сериале: «пять почему?», «не задавайте вопросы про будущее», «проблемное и решенческое интервью».
Есть прекрасная рекомендация для интервью: «задавайте только открытые вопросы».
Прекрасная она, потому что предполагает, что ответ должен звучать развернуто. И это – то здравое зерно, что там есть.
Но тут возникает проблема: если вы просто задаете открытый вопрос – это не значит, что респондент ответит вам содержательно:
Или:
То есть, наличие открытого вопроса – это не гарантия развернутого ответа.
В хорошем случае исследователь уточняет у респондента, что именно он имел в виду, и что стоит за первыми, часто декларативными ответами (рассказывали об этом в видео про то, как задавать уточняющие вопросы).
А что с закрытыми вопросами? Правда ли, что их нельзя применять на интервью?
Нет, их НУЖНО применять
Они оживляют интервью, делая его похожим на беседу. В обычной беседе вы ведь задаете закрытые вопросы? Так и здесь – они позволят сделать интервью менее скучным.
(это как раз тот случай, когда вы можете использовать вопросы из скрининговой анкеты, в целях поддержания беседы («коммуникационные вопросы» по Крюгеру)
Если пытаться представить это в виде открытого вопроса, то получится неестественная конструкция со «склейкой» двух вопросов в одном:
На фокус группах закрытые вопросы незаменимы для приоритизации высказываний респондентов:
Закрытые вопросы можно использовать как уточняющие/дополнительные, валидирующие, и структурирующие беседу.
Что правда, так это то, что закрытые вопросы не должны подменять собой основные – там, где вы хотите получить развернутые ответы.
Или как фреймящие/наводящие –«вы перестали пить коньяк по утрам?»« Вам понравился наш новый прогрессивный дизайн?»
Но когда вы видите рекомендацию «только открытые вопросы» - знайте, что это «слово копипастыря», потому что своего знания у этого человека нет.
💽 @PostPostResearch
(в копилку 🚩«красных флагов» / индикаторов некомпетентности)
Ранее в сериале: «пять почему?», «не задавайте вопросы про будущее», «проблемное и решенческое интервью».
Есть прекрасная рекомендация для интервью: «задавайте только открытые вопросы».
Прекрасная она, потому что предполагает, что ответ должен звучать развернуто. И это – то здравое зерно, что там есть.
Но тут возникает проблема: если вы просто задаете открытый вопрос – это не значит, что респондент ответит вам содержательно:
- почему вы не заказываете нашу доставку здорового питания?
- приелось
Или:
- что вы заказывали на бизнес ланч на прошлой неделе?
- не помню, было много суеты на работе
То есть, наличие открытого вопроса – это не гарантия развернутого ответа.
В хорошем случае исследователь уточняет у респондента, что именно он имел в виду, и что стоит за первыми, часто декларативными ответами (рассказывали об этом в видео про то, как задавать уточняющие вопросы).
А что с закрытыми вопросами? Правда ли, что их нельзя применять на интервью?
Нет, их НУЖНО применять
Они оживляют интервью, делая его похожим на беседу. В обычной беседе вы ведь задаете закрытые вопросы? Так и здесь – они позволят сделать интервью менее скучным.
- Вы раньше использовали МТС?
- Да.
- Расскажите про ваш опыт?
(это как раз тот случай, когда вы можете использовать вопросы из скрининговой анкеты, в целях поддержания беседы («коммуникационные вопросы» по Крюгеру)
Если пытаться представить это в виде открытого вопроса, то получится неестественная конструкция со «склейкой» двух вопросов в одном:
«Если вы использовали МТС ранее, то расскажите про ваш опыт?»
На фокус группах закрытые вопросы незаменимы для приоритизации высказываний респондентов:
- Кто-то использовал МТС? Поднимите руки.
👋 👋 👋
- Отлично, с вас мы и начнем. Николай, вам слово
Закрытые вопросы можно использовать как уточняющие/дополнительные, валидирующие, и структурирующие беседу.
Что правда, так это то, что закрытые вопросы не должны подменять собой основные – там, где вы хотите получить развернутые ответы.
Или как фреймящие/наводящие –
Но когда вы видите рекомендацию «только открытые вопросы» - знайте, что это «слово копипастыря», потому что своего знания у этого человека нет.
Please open Telegram to view this post
VIEW IN TELEGRAM
1💯53❤36👍10🔥7
Памятка «Ошибки в UX-тестах и как их избежать» - теперь в виде карточек.
Памятка очень объемная, поэтому мы разделили карточки на пять постов. Публикуем первую серию из пяти.
1/5. Ошибки в UX-тестах на этапе подготовки
Все посты памятки:
1/5. Ошибки в UX-тестах на этапе подготовки.
2/5. Структура UX-теста. Ошибки во время проведения теста: вводная часть.
3/5. Содержательная часть. Ошибки, связанные с вопросами.
4/5. Содержательная часть. Ошибки, связанные с процессом тестирования.
5/5. Ошибки на фазе завершения теста
Памятка создана Константином Ефимовым и Анастасией Жичкиной.
Спасибо Юлии Кингсеп, Михаилу Хананашвили, Кириллу Улитину и Виталию Болатаеву за комментарии и дополнения.
И Михаилу Саранскову за проверку финальных карточек.
🧾Скачать памятку полностью для печати в PDF
💽 Продолжение памятки
Памятка очень объемная, поэтому мы разделили карточки на пять постов. Публикуем первую серию из пяти.
1/5. Ошибки в UX-тестах на этапе подготовки
Все посты памятки:
1/5. Ошибки в UX-тестах на этапе подготовки.
2/5. Структура UX-теста. Ошибки во время проведения теста: вводная часть.
3/5. Содержательная часть. Ошибки, связанные с вопросами.
4/5. Содержательная часть. Ошибки, связанные с процессом тестирования.
5/5. Ошибки на фазе завершения теста
Памятка создана Константином Ефимовым и Анастасией Жичкиной.
Спасибо Юлии Кингсеп, Михаилу Хананашвили, Кириллу Улитину и Виталию Болатаеву за комментарии и дополнения.
И Михаилу Саранскову за проверку финальных карточек.
🧾Скачать памятку полностью для печати в PDF
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤59🔥28👍16