Тестируем синтетических респондентов

Все пишут про синтетических респондентов.

Исследователи, как правило – скептически. Не заменит живых людей, или заменит, но только на простых кейсах.
Евангелисты – восторженно. Вот он, золотой век, когда не надо ждать, пока исследователи разродятся. Хоть по гипотезе в минуту тестируй.

Обе позиции - теоретические.

Мы решили проверить на практике концепцию синтетических респондентов, используя реальные примеры – кейсы, в которых мы знали судьбу идеи, продукта или гипотезы. Мы убрали результат проверки под спойлер, чтобы вы могли проверить себя.

Кейс 1.
Ситуация: из-за смены алгоритма в сервисе у пользователя меняется цифра кредитного рейтинга. Нам нужно понять восприятие этой ситуации нашими пользователями.
Респондент: Сорокалетний мужчина из России, работающий на государственной службе. Есть семья, один ребенок. Доход - средний. Некоторое время назад брал кредиты, платежи по этим кредитам были просрочены. Как следствие, кредитный рейтинг не очень высок. В данный момент все кредиты погашены, задолженностей нет.
Результат: огромное разочарование ситуацией:

«Честно говоря, сначала был в шоке. Я же, наоборот рассчитывал, что рейтинг должен расти, а он вдруг упал. Первая мысль — какая-то ошибка или сбой в системе. Потом пришло раздражение: вроде бы закрыл все долги, больше никаких просрочек не было, а рейтинг почему-то снизился.
Начал прокручивать в голове, что могло повлиять. Может, банки пересмотрели какие-то свои критерии или обновилась база данных? Или, например, недавний запрос на проверку кредитного рейтинга как-то повлиял?
Но самое неприятное — это ощущение несправедливости. Получается, сколько ни старайся, система все равно тебя не прощает сразу. И это напрягает, ведь я же собирался брать кредит на машину, а теперь боюсь, что условия будут хуже»

На самом деле: ✅ на исследовании всё так и было. Но во многом это самоочевидный кейс: поставьте себя на место пользователя, и вы придете к тем же выводам быстрее, чем сформулируете промпт.

Кейс 2.
Концепт: стартап в Сан-Франциско, проверяющий договоры аренды недвижимости с помощью AI.
Респондент: айтишник из Сан-Франциско, недавно снявший квартиру.
Результат: Восторженный интерес со стороны синтетического респондента.
На самом деле: ❌ договоры аренды - типовые, по одному шаблону, соответствующему закону штата. Кроме того, в Калифорнии законы штата защищают арендатора лучше, чем арендодателя. Мы провели ровно одно исследовательское интервью в 2018 году, чтобы понять, что идея не взлетит. Любопытно, что в начале интервью наш синтетический респондент воспроизвел те факты о рынке аренды в Сан-Франциско, о которых мы уже знали (договора - типовые), однако это не помешало выдать ему интерес к продукту. Хороший исследователь засомневался бы, увидев противоречия между ситуацией и интересом к продукту.

Кейс 3.
Концепт: новое средство для удаления запахов. Это инновационная технология, которая буквально связывает запахи, а не заглушает их другим ароматом. Например, этим спреем можно опрыскать пиджак курильщика, и запах табака уйдет совсем. Спрей подходит не только для одежды, но и для пола, мебели и ковров.
Респондентка: американская домохозяйка, одиночка, 45 лет, у нее в доме 9 кошек разного возраста, которых она очень любит.
Результат: Восторженный интерес со стороны синтетического респондента, с вопросами о безопасности для кошек.
На самом деле: ❌это известный кейс Febreze. Исследование причин провала первого запуска выявило, что и курильщики, и кошатницы привыкли к запахам, и то, как пахнет у них дома – проблема не для них, а для тех, кто к ним пришел.

Два последних эксперимента воспроизводят те же ошибки, что были у людей, придумавших эти продукты: до исследования у команд были предположения о ценности продукта и целевой аудитории, которые совпали с тем, что демонстрировала LLM в нашем мини-эксперименте.

Итог тестирования: пока что «синтетические респонденты» оценивают продукты и идеи примерно так же, как и сама продуктовая команда: с азартом верят в них, игнорируя окружающие факты.

(продолжение)

💽 @PostPostResearch

Синтетические респонденты наносят ответный удар
Отвечаем на вопросы и проясняем неясности, оставшиеся с прошлого раза.

❓Кому и зачем нужны синтетические респонденты?
Евангелисты предлагают заменить всех – и исследователей, и респондентов – на LLM. Это позволит ускорить проверку гипотез, вынеся ненадежных людей за скобки.

Очевидно, что нынешний уровень технологий пока не позволяет так сделать. И мы вынужденно переходим к более скромной задаче: отбросить заведомо неудачные идеи, гипотезы и концепции (concept-test).

Как мы писали, никакое интервью не даст вам ответа на вопрос, «взлетит или не взлетит» - но оно может помочь отсечь заведомо провальные концепции. А уже прошедшие фильтр концепции могут быть доработаны и проверены на людях. Именно поэтому мы проверяли концепции, которые провалились. Потому что если LLM из роли респондента может в принципе это сделать, то, наверное, у таких концепт-тестов есть потенциал?

И здесь мы сталкиваемся с двумя проблемами:

🅰️ Конформизм
LLM дают характерный вайб ответов. Это типичные «ходоки». Они очень хотят понравиться исследователю и подстроиться под него. Они одобряют все, что вы им предложите, и со всем согласны.
Виталий Болотаев поставил смелый эксперимент с Grok, предложив ему оценить идею пива с заведомо неприемлемым вкусом. Результат эксперимента - безусловное одобрение. Почему это так? Виталий пишет:

«ИИ может выдавать "угодливые" или "полярные" ответы, если в запросе есть намёк на предпочтение определённой точки зрения. Это не осознанное желание "угодить", а следствие статистической оптимизации: модель стремится максимизировать вероятность положительной оценки».

Возникает вопрос: можно ли решить проблему конформизма LLM с помощью промптинга в принципе? Или же нам нужно двигаться в сторону кастомных LLM и забыть условный Chat GPT как страшный сон? Спойлер: возможно, к этому и идет.

🅱️ Неполнота данных
Можем ли мы вообще полагаться на данные, заложенные в LLM? А что, если они неполны или системно искажены? Есть прекрасная статья «Персона, созданная LLM, - это обещание с подвохом» – где авторы ставят эксперименты. Общий вывод: «чем больше контента, созданного LLM, включалось в персоны, тем больше их смоделированные мнения расходились с реальными данными». Эти синтетические респонденты чаще выбирают экологичные машины, гуманитарные специальности, романтические фильмы и голосуют за демократов.

Критика нашего эксперимента:

1️⃣ «У вас неправильные промпты. Правильные должны быть не короче двух страниц»
Странно оценивать промпты по длине, а не по содержанию.
Но, как бы то ни было, повторение экспериментов с расширенным описанием персон и более детальным сеттингом интервью пока не опровергло наших результатов. Кошатница по-прежнему хочет купить Febreze, а айтишник из Сан-Франциско все также хочет попробовать AI-сервис для проверки договоров аренды.
Добавление в промпт инструкций для снижения конформизма не поменяло результат принципиальным образом.

2️⃣ «Role-prompting не подходит для синтетических респондентов в принципе»
Ксения Воейкова пишет, что ролевой промптинг не работает для reasoning LLM, и для таких задач нужно использовать цифровых двойников – отсылая к статье «Генеративные агенты: моделирование 1000 реальных людей». Авторы получили обнадеживающие результаты: точность цифровых двойников при воспроизведении опросников и экономических игр оказалась выше, чем у агентов, обученных на демографических данных или кратких описаниях.

Проблема в том, что авторы не тестировали никакие концепции - ни на людях, ни на цифровых двойниках. Следовательно, мы не знаем, применимы ли эти цифровые двойники для концепт-тестов – где мы должны не воспроизвести установки и ценности, а оценить конкретный продукт с точки зрения возможной покупки.
Если для создания цифрового двойника, который сможет тестировать концепции новых напитков, нам придется проводить U&A интервью с живыми респондентами, то не проще ли сразу опрашивать живых людей?

В третьей части сравним разные LLM между собой и проверим новые провальные концепции.
💽 @PostPostResearch

Какие ошибки совершают исследователи в анализе качественных данных — и почему это не всегда зависит от их опыта.

Выложили видео доклада про ошибки исследователей.
📹 Смотреть на Youtube
📺 Смотреть на VK Video

💽 @PostPostResearch

Почему не надо вносить отборочные вопросы в сценарий интервью?

В этом году несколько студентов нашего курса почему-то включили в гайд вопросы, которые нужно выносить в отборочную анкету: возраст, род деятельности и т.п. Мы дали фидбек, что так делать не нужно, и забыли об этом.

А на прошлой неделе мне снова принесли такое, уже в рамках запроса на проработку гайда. И я узнал, что так вести интервью учит Иван Замесин. Что это «квалифицирующие вопросы, из которых вы узнаете психологические особенности респондента и его прошлый опыт, чтобы уточнять описания работ».

Почему мы так не делаем? Потому что когда ко мне приходит на исследование человек, я уже знаю его соц-дем из отборочной анкеты. А «что это за человек?» в начале интервью и вне контекста использования продукта выяснять смысла нет (позже напишем, почему нет).

Есть два подхода к проведению исследований:

1️⃣ «Энергоэффективный»
Подходит, если вы готовы планировать исследование и вам нужен результат в четкие сроки
Вы заранее обсуждаете ЦА с командой и планируете выборку: сколько и каких людей вам надо пригласить. Вы заранее описываете их пол, возраст, использование продукта и другие характеристики, которые могут повлиять на использование продукта в критериях рекрута. Вопросы об этом попадают в отборочную анкету (скринер). Поэтому, когда человек к вам приходит, вы обычно уже знаете, сколько ему лет, каковы его семейное положение и род деятельности.

Потому что если вы узнаете все эти важные вещи только на интервью – есть ненулевые шансы, что вам попадется «не тот» респондент. Например, продуктовый дизайнер на тесте прототипа. Или человек без детей на тесте сервиса «срочная няня». И вы попросту сожжете свое время и время респондента.
Lifehack: в ту же отборочную анкету можно внести те вопросы, на которые в личной беседе человек постесняется отвечать, а на самом интервью уже вернуться к ним. Это снизит напряжение.

2️⃣ «Ленивый пирог»
Подходит, если вы не готовы заморачиваться с выборкой и не торопитесь: например, вы академический исследователь или основатель стартапа
Вы ничего не знаете о вашей аудитории и не можете строить выборку, отталкиваясь от гипотез о факторах, влияющих на потребительское/пользовательское поведение. Поэтому вы говорите со всеми, кто согласился поговорить (выборка «по удобству»). После первых интервью вы дополняете свою картину мира, а затем ищете еще респондентов и говорите с ними, меняя гайд с учетом того, что вы узнали у предыдущих.

(Гайд можно и нужно дорабатывать с учетом полученной информации и в первом варианте исследования. Просто в случае «ленивого пирога» ваш результат не привязан к жесткому таймингу, а респондентам и рекрутерам вы не платите вознаграждение, так что потеряете только время, если вам попадутся не те респонденты).

❌ Проблем тут четыре:
1. в спринт такое исследование встает очень плохо
2. не имея изначальной разбивки выборки на группы (сплиттинг), вам сложнее анализировать ваши данные
3. выборка «по удобству» может привести к системному смещению, которое повлияет на собранные данные.
4. Без вознаграждений вы ограничены людьми, которые любят ваш продукт и готовы его обсуждать – но тех, кто ушел к конкуренту, вам будет сложнее опросить.

Поэтому тем, кто ценит свое время, мы рекомендуем первый способ. Случай, когда мы и правда ничего не знаем, и как в этом случае строить исследование – достоин отдельного поста.

Хорошо, спросите вы. Но зачем же тогда на интервью вообще просить человека рассказать о себе? Мы же в первом случае все про него узнали заранее!
Очень просто – фаза знакомства нужна совсем для другого. Когда вы рассказываете о себе и просите вашего респондента тоже о себе рассказать – это помогает установить контакт. Да, если человек расскажет о себе что-то, связанное с темой исследования – будет супер. Но спрашивать его специально про возраст и род деятельности – сродни заполнению личного дела в полиции.
Так делать не надо.
Вынесите все эти вопросы в отборочную анкету, и будет вам счастье.

💽 @PostPostResearch

Как применить продуктовый подход в изучении языков?

На первых майских я прочел книгу Елены Кочевой «Лингво-хакинг».

И я увидел в ней очень органично использованный продуктовый подход.

В ней описаны три героя – три персоны – у каждой из которых своя мотивация к изучению языка.

Первый учит язык (английский), чтобы работать в международной компании.

Вторая учит язык – тоже английский – по принципу "вдруг что случится, например, путешествие – а я так и не знаю английский".

Третья учит язык страны, в которую она переехала - чтобы не чувствовать себя нелепо в разных жизненных ситуациях.

(Я, конечно же, узнал себя в последней персоне. С 2021 года я учу словацкий. Я учу его до сих пор. Могу сносно объясниться в школе, у врача, в кафе и в магазине. А прогресса, несмотря на занятия и погруженность в языковую среду, уже долгое время нет.
Думал, отчего так происходит, но ничего, кроме стресса и лени, в качестве причин в голову не приходило. Ругал себя за лень, потом думал - ну, говорить же могу, и ладно, как-нибудь потом решу проблему).

Эти персоны основаны на том, как человек предполагает использовать язык. И эффективный подход к изучению языка для каждой из них - тоже разный.

И даже техника «пять почему?», которую мы критиковали за навязчивость, здесь совершенно на своем месте. Потому что автор предлагает задать этот вопрос себе – в этом формате она становится методикой «предельных смыслов» А.Н. Леонтьева. Леонтьев, правда, задает вопрос «зачем?» - но суть та же. Зачем я учу язык? Чтобы что?

Вам важно понимать свою внутреннюю мотивацию к изучению языка.

Как человек, который учит словацкий язык уже пятый год, я многое понял. И если бы я прочел эту книгу в 2021 году, то я бы существенно сократил свой путь.

Искренне советую.

Автор книги, Елена Кочева - полиглот (6 языков), автор Forbes, консультант по эффективному изучению языков для топов Яндекса и Х5, ведущая канала "Изучение языка как стратегия".

💽 @PostPostResearch

Чем заменить JTBD

15 мая выступал на митапе в Kolesa Group, рассказывал про ограничения JTBD.
И мне там задали идеальный вопрос: «А чем заменить JTBD?»
Идеальный он потому, что за простым на вид вопросом стоит большая проблема - КАК НАЙТИ ФРЕЙМВОРК, В КОТОРОМ ЕСТЬ:

1️⃣ общий язык, на котором можно говорить с командой (как договориться с коллегами?)
2️⃣ идеи вопросов, которые нужно задавать в интервью (что спрашивать у людей?)
3️⃣ идеи структурирования информации (что писать в отчете?)

То есть, нужен универсальный инструмент - который направил бы исследования на помощь продуктовой разработке.

В JTBD это есть, но очень путано.
И чем же мы можем заменить JTBD?

Для работы с командой, общего языка для обсуждений подходит сторителлинг. 
Исследователь расспрашивает респондентов про их истории, а команде рассказывает историю о пользователях.

В каждой истории есть встроенная защита от абьюза фреймворка: если вы расскажете ее плохо, вам просто не поверят, как, например, работе формата «когда я мужик, я хочу мяса и пива, чтобы быть сытым и довольным».

Сторителлинг не дает спрятаться от  простых вопросов за табличками и терминами. Почему  Вася, черт возьми, купил именно это мороженое? Из-за контекста - потому, что стояла жаркая погода?  А почему он выбрал из 5 марок именно «Магнат»? В рамках JTBD нам будет сложно объяснить его выбор, а в рамках сторителлинга его выбор будет понятен из истории его покупки. И если история, которую мы расскажем про Васю, будет неправдоподобной - по ней это будет сразу очевидно, в отличие от таблицы и в отличие от шаблона работ - потому что при виде «когда я мужик, я хочу...» в любом здравомыслящем человеке проснется внутренний Станиславский.

Люди рассказывают друг другу истории тысячи лет.
В исследованиях сторителлинг применяется, конечно, не настолько давно) Но Шюце придумал нарративное интервью еще в 1975 году.
А в 2010-х годах сторителлинг активно внедряли международные исследовательские компании. Примерно тогда же был бум на фильмы по мотивам исследований, «seeing is believing» – видео обеспечивало более глубокое погружение заказчиков в проблему.

Со структурированием информации в отчетах сложнее. Потому что единого понятийного аппарата нет даже в социальных науках (а мы его ждем от JTBD!).  Поэтому вам поможет читать психологическую и социологическую литературу. Начать можно с «теории деятельности» А.Н. Леонтьева. У нее много общего с JTBD, есть даже своего рода Expected Outcome. Слабые стороны у нее примерно те же, что и у JTBD, за исключением жуткой терминологической путаницы - в теории деятельности по крайней мере есть четкие определения потребности, мотива и цели. Социология и психология в целом хорошо прокачивают понимание разных сторон человеческой природы – нам, например для объяснения поведения людей в видеосервисах очень помогла ресурсная теория внимания.

Для понимания, какие вопросы лучше задавать в интервью - предполагая, что поведение человека связано с его опытом, или личностными чертами, или его ценностями, или с давлением ситуации, в которой он находится – вам пригодятся нарративное интервью и наш фреймворк X-Rays, в котором нет ограничения либо «человек», либо «контекст» - а есть всё многообразие человеческой натуры + учет ситуации.

Но чтобы в одном фреймворке совпали вот эти три вопроса, с которых мы начали этот пост - как договориться, что спрашивать и как структурировать отчет - чтобы в одном совпали эти три, этого не будет никогда.

Поэтому пробуйте разные концепции и подходы, и будет вам счастье.
💽 @PostPostResearch

«Только открытые вопросы»
(в копилку 🚩«красных флагов» / индикаторов некомпетентности)

Ранее в сериале: «пять почему?», «не задавайте вопросы про будущее», «проблемное и решенческое интервью».

Есть прекрасная рекомендация для интервью: «задавайте только открытые вопросы».

Прекрасная она, потому что предполагает, что ответ должен звучать развернуто. И это – то здравое зерно, что там есть.

Но тут возникает проблема: если вы просто задаете открытый вопрос – это не значит, что респондент ответит вам содержательно:

- почему вы не заказываете нашу доставку здорового питания?
- приелось

Или:

- что вы заказывали на бизнес ланч на прошлой неделе?
- не помню, было много суеты на работе

То есть, наличие открытого вопроса – это не гарантия развернутого ответа.
В хорошем случае исследователь уточняет у респондента, что именно он имел в виду, и что стоит за первыми, часто декларативными ответами (рассказывали об этом в видео про то, как задавать уточняющие вопросы).

А что с закрытыми вопросами? Правда ли, что их нельзя применять на интервью?
Нет, их НУЖНО применять

Они оживляют интервью, делая его похожим на беседу. В обычной беседе вы ведь задаете закрытые вопросы? Так и здесь – они позволят сделать интервью менее скучным.

- Вы раньше использовали МТС?
- Да.
- Расскажите про ваш опыт?

(это как раз тот случай, когда вы можете использовать вопросы из скрининговой анкеты, в целях поддержания беседы («коммуникационные вопросы» по Крюгеру)

Если пытаться представить это в виде открытого вопроса, то получится неестественная конструкция со «склейкой» двух вопросов в одном:

«Если вы использовали МТС ранее, то расскажите про ваш опыт?»

На фокус группах закрытые вопросы незаменимы для приоритизации высказываний респондентов:

- Кто-то использовал МТС? Поднимите руки.
👋 👋 👋
- Отлично, с вас мы и начнем. Николай, вам слово

Закрытые вопросы можно использовать как уточняющие/дополнительные, валидирующие, и структурирующие беседу.

Что правда, так это то, что закрытые вопросы не должны подменять собой основные – там, где вы хотите получить развернутые ответы.
Или как фреймящие/наводящие – «вы перестали пить коньяк по утрам?»« Вам понравился наш новый прогрессивный дизайн?»

Но когда вы видите рекомендацию «только открытые вопросы» - знайте, что это «слово копипастыря», потому что своего знания у этого человека нет.

💽 @PostPostResearch