Мы с Б. стоим на бетонной плите, присыпанной гравием и песком, на обочине оживлённой улицы с четырёхполосным движением. Я — на своих двоих, он — в инвалидном кресле с электроприставкой. По градостроительному замыслу то, среди чего мы очутились, вскоре снова обещает стать тротуаром. Судя по карте, это и должен быть тротуар. Ну, мы-то видим, что нет. Мы вообще за первые двадцать минут увидели больше, чем я ожидал пронаблюдать за весь предстоящий трип. Наша задача — преодолеть тестовый маршрут, чтобы понять, как упростить перемещения по городу для людей на колясках. Быстрая этнография as is.
Сгущается понимание: ‘Weshall may not pass…’ Только без эпика, очень обыденно. Мимо проносятся фуры. Собранный, бодрый, Б. размышляет вслух, но ветер и городские шумы крадут часть его слов. Хотя и тех коротких реплик, которыми мы ухитряемся обменяться, хватает, чтобы осознать: маршрут, который мы задумывали как двухчасовой, превращается в долгий, долгий джонт (привет Стивену Кингу, с санспенсом у нас с утра полный порядок). Все темпоральные перспективы тоже сжались в точку и отдаются дёрганым пульсом где-то у меня в затылке: «А вообще, доберёмся мы куда-нибудь, а? За два часа? За три?»
Нужно решать, куда дальше — вперёд, назад. Окончательный выбор за Б. Он предпринимает попытку проехать дальше по разбитому экс-тротуару, и на коварном гравии у кресла отсоединяется один из двух шарниров, крепящих передние направляющие колёса.
Отсоединение это не только механическое: оно и методологическое. Сама материальность исследования сопротивляется моим эпистемологическим претензиям. Приплыли.
Шшшух — и мы с Б. впадаем в общий фрейм «мужики в гараже перебирают движок». Сажусь на корточки, чтобы помочь восстановить крепление. С первой попытки не выходит. Не выходит и со второй. Чувствую кожей, нутром, префронталкой, как отваливается и мой заранее подготовленный — ранее успешно апробированный инструментарий — лист наблюдений с системой быстрых кодировок и другие разумные, даже элегантные, как мне виделось, приёмчики-инструментики.
Город действует не по тем правилам, которые я предвидел. Мой спутник ведёт себя иначе, чем я ожидал. Когнитивные и механические конструкции обнаруживают свою хрупкость [и гибкость] под давлением непредвиденных обстоятельств и телесности. В зазоры между картой и территорией лезет — как в другом рассказе Кинга, «Крауч-энд», — то, что я не успеваю фиксировать. И надо ли?
Почти сразу бросаю попытки делать попутно field notes или включать второй диктофон для голосовых заметок (первый-то лежит в кармане и пишет, но что он зафиксируется сквозь шум и ветер — бог весть…). Куда там, когда одновременно:
— пытаешься удержать предплечьями и пальцами тяжеленную конструкцию;
— пробуешь следовать советам владельца кресла и перебрасываешься с ним шутками;
— вдыхаешь пыль и гарь утреннего города;
— норовишь на лету перекроить методологическую сборку;
— продумываешь, как сделать дальнейший маршрут безопаснее, не пустив псу под хвост исходный дизайн.
Какая, к чёрту, кодировка, когда мы оказались вот в этом вот? Этическое и эмическое водят хоровод вокруг нас с Б., подмигивают и ждут, когда мы справимся с ремонтом. Я не впадаю в панику, но, кхм, ажитирован. У Б. какой-то несмыслимый уровень эмпатии: он считывает моё состояние и, отчасти явно чтобы подбодрить меня, рассказывает о том, насколько часто подобные эксцессы случаются, когда он передвигается по городу. Для него это — не нормативное, но привычное. Хабитуализированное. Рассказывает, как при попытке заскочить на далёкий от СНиПов заезд выпал из кресла… Вот это — важно. Кажется, с того момента мы и начинаем проходить маршрут вместе, а просто не рядом.
(Продолжение в комментариях.)
Сгущается понимание: ‘We
Нужно решать, куда дальше — вперёд, назад. Окончательный выбор за Б. Он предпринимает попытку проехать дальше по разбитому экс-тротуару, и на коварном гравии у кресла отсоединяется один из двух шарниров, крепящих передние направляющие колёса.
Отсоединение это не только механическое: оно и методологическое. Сама материальность исследования сопротивляется моим эпистемологическим претензиям. Приплыли.
Шшшух — и мы с Б. впадаем в общий фрейм «мужики в гараже перебирают движок». Сажусь на корточки, чтобы помочь восстановить крепление. С первой попытки не выходит. Не выходит и со второй. Чувствую кожей, нутром, префронталкой, как отваливается и мой заранее подготовленный — ранее успешно апробированный инструментарий — лист наблюдений с системой быстрых кодировок и другие разумные, даже элегантные, как мне виделось, приёмчики-инструментики.
Город действует не по тем правилам, которые я предвидел. Мой спутник ведёт себя иначе, чем я ожидал. Когнитивные и механические конструкции обнаруживают свою хрупкость [и гибкость] под давлением непредвиденных обстоятельств и телесности. В зазоры между картой и территорией лезет — как в другом рассказе Кинга, «Крауч-энд», — то, что я не успеваю фиксировать. И надо ли?
Почти сразу бросаю попытки делать попутно field notes или включать второй диктофон для голосовых заметок (первый-то лежит в кармане и пишет, но что он зафиксируется сквозь шум и ветер — бог весть…). Куда там, когда одновременно:
— пытаешься удержать предплечьями и пальцами тяжеленную конструкцию;
— пробуешь следовать советам владельца кресла и перебрасываешься с ним шутками;
— вдыхаешь пыль и гарь утреннего города;
— норовишь на лету перекроить методологическую сборку;
— продумываешь, как сделать дальнейший маршрут безопаснее, не пустив псу под хвост исходный дизайн.
Какая, к чёрту, кодировка, когда мы оказались вот в этом вот? Этическое и эмическое водят хоровод вокруг нас с Б., подмигивают и ждут, когда мы справимся с ремонтом. Я не впадаю в панику, но, кхм, ажитирован. У Б. какой-то несмыслимый уровень эмпатии: он считывает моё состояние и, отчасти явно чтобы подбодрить меня, рассказывает о том, насколько часто подобные эксцессы случаются, когда он передвигается по городу. Для него это — не нормативное, но привычное. Хабитуализированное. Рассказывает, как при попытке заскочить на далёкий от СНиПов заезд выпал из кресла… Вот это — важно. Кажется, с того момента мы и начинаем проходить маршрут вместе, а просто не рядом.
(Продолжение в комментариях.)
❤8⚡5🔥4❤🔥2👍1
С упоением перечитываю лекции Батыгина. Это база. Вот что я бы, пожалуй, посоветовал каждому [включая самого себя в прошлом], кто без социологического образования (тоже я!) собирается заниматься исследованиями, проштудировать, прежде чем идти на курсы UX-рисёрча и принимать всё, что там говорят, на веру. Не «вместо», а «прежде чем». Впрочем, к счастью, никогда не поздно.
Ну вот хотя бы что он пишет в части про операционализацию:
Батыгин Г. С. Лекции по методологии социологических исследований: Учеб. для высш. учеб, заведений. — М.: Аспект Пресс, 1995
Т. е. вроде бы, да, база-база. Однако ж в прикладных исследованиях — особенно в продуктовых, особенно в опросах — такие
Я не о том, что прямая дихотомическая операционализация не нужна. Она бывает кстати, очень даже. Только обычно не даёт ответов, а открывает путь к ним, как риторический и коммуникативный приём.
Ну вот хотя бы что он пишет в части про операционализацию:
«В дихотомию преобразуются все типы признаков, какое бы количество градаций они не содержали. Например, образование включает несколько градаций: неполное среднее, среднее, среднее техническое, высшее незаконченное и высшее законченное. Пятипунктовая шкала легко преобразуется в серию дихотомий: высшее / не высшее, среднее / не среднее и т. п. Такого рода серии кажутся бесполезными для полевых исследований, однако они являют собой некий эталон точности при идентификации объекта. Например, ответ на вопрос: «Демократ ли вы?» дихотомичен. Респондент может ответить «да» или «нет». Если нет, это означает, что респондент не знает, кто он по политическим убеждениям, не может или не хочет ответить, консерватор, левый террорист и т. п. Все дело в том, что отрицательные суждения не содержат в себе определенного знания».
Батыгин Г. С. Лекции по методологии социологических исследований: Учеб. для высш. учеб, заведений. — М.: Аспект Пресс, 1995
Т. е. вроде бы, да, база-база. Однако ж в прикладных исследованиях — особенно в продуктовых, особенно в опросах — такие
пустые дихотомии сплошь и рядом.Я не о том, что прямая дихотомическая операционализация не нужна. Она бывает кстати, очень даже. Только обычно не даёт ответов, а открывает путь к ним, как риторический и коммуникативный приём.
🔥10❤🔥5👏2🙏2💯2✍1❤1
Сравнительно коротко, но вдумчиво поговорили в подкасте с замечательной Полиной Колозариди, руководительницей DH-центра ИТМО, про ИИ в исследованиях. Она самым правильным образом «запромптила» мои внутричерепные нейросети — и надеюсь, что мои ответы если и не лишены галлюцинаций, то, во всяком случае, галлюцинации это тоже продуктивные 🖤
😁2🤩2🙏1🏆1
Forwarded from DH Center ITMO University
Для записи нового выпуска подкаста мы пригласили Михаила Боде, исследователя и основатель бюро beyond research, для разговора о том, как живётся исследователям с ИИ. Обсуждаем подходы к нейросетям и методы работы с ними, говорим о критериях дельных промптов и разбираемся, кого и что точно не заменит искусственный интеллект.
Исследователь — идеальный первый пользователь нейросетей? Как деконструировать модель нейросети до датасетов? И всё же, как быть «хорошим» пользователем?
литература
В. Вахштайн*, «Техника, или Обаяние прогресса»
Г. Зиммель, «Эссе о чужаке»
А. Кларк, «Ситуационный анализ»
Л. Сачмен, «Реконфигурации отношений человек — машина»
А. Страусс, Дж. Корбин, «Основы качественного исследования»
* признан иноагентом в РФ
слушать подкаст
> Яндекс.Музыка
> Apple Podcasts
> Spotify
> Телеграм-плеер
> Больше платформ — по ссылке
{ наш сайт }
< @dhcenter >
Please open Telegram to view this post
VIEW IN TELEGRAM
3 выпуск 2 сезона
ИИ как со-исследователь: о методах и ограничениях агентов — Подкаст «юзер гайст»
«юзер гайст» – подкаст о цифровизации труда, культуры, практик и опыта.Мы пригласили Михаила Боде, исследователя и основателя исследовательского бюро beyond research, для разговора о том, как живётся исследователям с AI. Разбираем по полочкам подходы
🔥11❤4🎉2😇1
В одном достойном чате на днях обсуждали, что для участников значит эмодзи 👀
Ответы были очень разноречивыми. Очень. В среднем у людей оказалось по 1–3 трактовки такого эмодзи, и чаще всего выделялась дефолтная. Консенсуса не наблюдалось: часть интерпретаций предполагала нейтральное базовое значение, часть — негативное, часть — позитивное. Количественного исследования я не проводил, но подозреваю, что оно тоже дало бы распределение без доминирования одного варианта.
Мне доводилось сталкиваться с следующими смыслами «бегающих глазок» — и не только в повседневности (я делал большой рисёрч практик использования эмодзи в переписках):
1. «Я не очень понимаю, что это значит, возможно, я не соглашусь, но мне необходимо разобраться».
2. «Я не согласен/не согласна, но ок, вы имеет право на такое мнение».
3. «Занятно, буду следить за комментами и/или развитием дискуссии [посмотрю, что скажут другие, и определюсь]».
4. «Да, странновато» // «Сомнительно, но окэ-эй».
5. Пассивно-агрессивное «Ну да, ну да...»
6. «Мне это не то чтобы нравится, но не вызывает достаточно артикулированных эмоций, чтобы ставить строго негативное эмодзи».
7. «Я здесь, я видел(а). Принято к сведению», «Увидено, осознано, прочту позже». Как вариант, с негативной коннотацией: «Уф, ну сколько можно-то... Принято».
8. «Это что хоть такое-то-о-о-о?», «Не понимаю, растерян(а)».
9. «Я не знаю, как реагировать, но должен/должна как-то отреагировать».
10. «Хочу, чтобы вы или другие участники обратили на меня внимание, но не хочу выражать своё отношение к вашему сообщению».
Сам я чаще всего встречаю такие употребления 👀, которые склонен истолковать как 1, 4, 5, 7. А вы, кстати? Возможно, я упустил какие-то значимые интерпретации?
Этот эмодзи —пустой знак знак с floating signifier, у которого означающее, выражаемое им, колеблется в широких пределах и/или конструируется в контексте. В каком-то смысле — аналог дискурсивного слова, например вводного, которое «скрепляет» коммуникацию. Точно так же вводное
Так что честь и хвала брендам, которые заказывают социокультурные/семиотические исследования, в том числе с таким узким фокусом. На дистанции оно окупается. Особенно в свете того, что бизнесу чем дальше, тем интенсивнее приходится работать со всё более разнообразными группами/трайбами аудитории и идти к ним, на их площадки, дискорд-серверыноры и пр. А социолекты и коммуникативные протоколы везде разные, и надо понимать, где какие правила действуют. Заруинить коммуникацию теми же «бегающими глазками» не к месту — как раз плюнуть.
Ответы были очень разноречивыми. Очень. В среднем у людей оказалось по 1–3 трактовки такого эмодзи, и чаще всего выделялась дефолтная. Консенсуса не наблюдалось: часть интерпретаций предполагала нейтральное базовое значение, часть — негативное, часть — позитивное. Количественного исследования я не проводил, но подозреваю, что оно тоже дало бы распределение без доминирования одного варианта.
Мне доводилось сталкиваться с следующими смыслами «бегающих глазок» — и не только в повседневности (я делал большой рисёрч практик использования эмодзи в переписках):
1. «Я не очень понимаю, что это значит, возможно, я не соглашусь, но мне необходимо разобраться».
2. «Я не согласен/не согласна, но ок, вы имеет право на такое мнение».
3. «Занятно, буду следить за комментами и/или развитием дискуссии [посмотрю, что скажут другие, и определюсь]».
4. «Да, странновато» // «Сомнительно, но окэ-эй».
5. Пассивно-агрессивное «Ну да, ну да...»
6. «Мне это не то чтобы нравится, но не вызывает достаточно артикулированных эмоций, чтобы ставить строго негативное эмодзи».
7. «Я здесь, я видел(а). Принято к сведению», «Увидено, осознано, прочту позже». Как вариант, с негативной коннотацией: «Уф, ну сколько можно-то... Принято».
8. «Это что хоть такое-то-о-о-о?», «Не понимаю, растерян(а)».
9. «Я не знаю, как реагировать, но должен/должна как-то отреагировать».
10. «Хочу, чтобы вы или другие участники обратили на меня внимание, но не хочу выражать своё отношение к вашему сообщению».
Сам я чаще всего встречаю такие употребления 👀, которые склонен истолковать как 1, 4, 5, 7. А вы, кстати? Возможно, я упустил какие-то значимые интерпретации?
Этот эмодзи —
«ну» способно выражать о-очень разные смыслы. Другое дело, что значение конкретного «ну» в потоке речи мы понимаем не в последнюю очередь за счёт интонации, невербалики, а в случае с «бегающими глазками» приходится полагаться преимущественно на контекст коммуникации с конкретным человеком и свои представления о нём. Ну или на групповую норму, если использование эмодзи продиктовано ею — как, например, у [условных] «зумеров» (здесь должна быть обязательная ремарка о сомнительности теории поколений), прежде всего в Штатах, есть свои практики использования эмодзи ☠️ и других «черепушек», напрочь непонятные большинству «бумеров».Так что честь и хвала брендам, которые заказывают социокультурные/семиотические исследования, в том числе с таким узким фокусом. На дистанции оно окупается. Особенно в свете того, что бизнесу чем дальше, тем интенсивнее приходится работать со всё более разнообразными группами/трайбами аудитории и идти к ним, на их площадки, дискорд-серверы
👀10🔥3👍2
Заинтересовался тут методом экспликативного интервью (entretien d’explicitation), оно же «разъяснительное», разработанным психологом Пьером Вермершем и подхваченным его последователями.
Суть подхода: человеку помогают восстановить то из его опыта, что он не помнит или помнит скверно, за счёт узко сфокусированного внимания на конкретных эпизодах из прошлого. В отличие от обычной «глубинки», здесь интервьюер создаёт особые условия для того, чтобы собеседник мог реконструировать ситуацию в деталях.
Метод строится на трёх принципах:
— Нужна фокусировка на единственном действии/процессе/сцене из опыта информанта, а не на его рефлексии.
— Доступ к дорефлексивному знанию достигается через сенсорные якоря — триггеры (сам Вермерш приводит в качестве примера прустовскую «мадленку») в позиции т. н. эвокации, где прошлое удобно переживать заново.
— Интервьюер действует мягко и поступательно, помогая респонденту «увидеть» действие и вербализовать произошедшее и не навязывая ему своих ожиданий. Ведущий побуждает человека сосредоточиться на «как», а не на «что» и мотивирует его дать подробное описание конкретных переживаний, воплощённого опыта.
Клэр Петименжин позднее описала методологические правила и технику экспликативного интервью более подробно. Насколько понимаю, она называет его также «микрофеноменологическим интервью». Не без понта, но, с оглядкой на дисциплинарный базис, резонно.
Адепты подхода разъясняют — извините за невольный каламбур, — к каким инсайтам такое интервью способно привести. Если не ошибаюсь, сам Вермерш описывает кейс с оператором АЭС, который в ходе такого интервью вспомнил очерёдность операций при эмуляции охлаждения реактора на тренажёре, приведшую к критической ошибке. Или как спортсмен, внезапно терявший концентрацию в острые моменты, дознался до того, какая последовательность мыслей служит триггером сбоя.
Гипотетическая польза понятна. Недостатки тоже:
➖ Интроспекция, тем более форсированная — спорный метод получения эмпирических данных. Во всяком случае, по меркам социологии. Плюс эксплицитное интервью подспудно претендует на то, что мы получаем прямой эпистемический доступ к жизненному миру человека, а это, простите, неосуществимо.
➖ Интервью грозит превратиться в терапевтическую сессию. Длится порядочно, а польза от него между тем не гарантирована. Выводы могут оказаться тривиальными («Ну да, я вспомнил, на самом деле я не сразу закрыл тупое окошко с офертой, а просканировал три абзаца и выцепил оттуда несколько слов»). Дорогой метод, с высокой ставкой. Надо точно знать, ради чего оно всё.
➖«Память — безрукая статуя конная». Мы реконструируем, а не воспроизводим раз и навсегда достоверно и намертво зафиксированный опыт. Так уж устроена наша память. Склонность психики к конфабуляции — придумыванию правдоподобных, но ложных объяснений — тоже способна сыграть злую шутку.
➖ Нет или пока неизвестно объективных когнитивных, тем более нейрофизиологических коррелятов для проверки этого анамнесиса («припоминания»).
➖ Как завещал нам Дэвид Сильверман [«и был глубоко прав»], открытых вопросов в абсолютном виде не существует. Нейтральных тоже. Так или иначе, пусть даже мы бережно пытаемся подталкивать информанта к движению по волнам его памяти, у нас не может быть абсолютной уверенности в том, что мы его не фреймируем и не помогаем ему безотчётно сочинить нечто интересное, но не отражающее того, что правда произошло.
Так-то, похоже, я много лет использовал элементы экспликативного интервью (при глубоком пробинге) — например, внутри интервью нарративных, — просто знать не знал про это. Но как опорный метод — хм. Хм!..
Пробовали? Что думаете об осмысленности и валидности метода?
Суть подхода: человеку помогают восстановить то из его опыта, что он не помнит или помнит скверно, за счёт узко сфокусированного внимания на конкретных эпизодах из прошлого. В отличие от обычной «глубинки», здесь интервьюер создаёт особые условия для того, чтобы собеседник мог реконструировать ситуацию в деталях.
Метод строится на трёх принципах:
— Нужна фокусировка на единственном действии/процессе/сцене из опыта информанта, а не на его рефлексии.
— Доступ к дорефлексивному знанию достигается через сенсорные якоря — триггеры (сам Вермерш приводит в качестве примера прустовскую «мадленку») в позиции т. н. эвокации, где прошлое удобно переживать заново.
— Интервьюер действует мягко и поступательно, помогая респонденту «увидеть» действие и вербализовать произошедшее и не навязывая ему своих ожиданий. Ведущий побуждает человека сосредоточиться на «как», а не на «что» и мотивирует его дать подробное описание конкретных переживаний, воплощённого опыта.
Клэр Петименжин позднее описала методологические правила и технику экспликативного интервью более подробно. Насколько понимаю, она называет его также «микрофеноменологическим интервью». Не без понта, но, с оглядкой на дисциплинарный базис, резонно.
Адепты подхода разъясняют — извините за невольный каламбур, — к каким инсайтам такое интервью способно привести. Если не ошибаюсь, сам Вермерш описывает кейс с оператором АЭС, который в ходе такого интервью вспомнил очерёдность операций при эмуляции охлаждения реактора на тренажёре, приведшую к критической ошибке. Или как спортсмен, внезапно терявший концентрацию в острые моменты, дознался до того, какая последовательность мыслей служит триггером сбоя.
Гипотетическая польза понятна. Недостатки тоже:
➖ Интроспекция, тем более форсированная — спорный метод получения эмпирических данных. Во всяком случае, по меркам социологии. Плюс эксплицитное интервью подспудно претендует на то, что мы получаем прямой эпистемический доступ к жизненному миру человека, а это, простите, неосуществимо.
➖ Интервью грозит превратиться в терапевтическую сессию. Длится порядочно, а польза от него между тем не гарантирована. Выводы могут оказаться тривиальными («Ну да, я вспомнил, на самом деле я не сразу закрыл тупое окошко с офертой, а просканировал три абзаца и выцепил оттуда несколько слов»). Дорогой метод, с высокой ставкой. Надо точно знать, ради чего оно всё.
➖
➖ Нет или пока неизвестно объективных когнитивных, тем более нейрофизиологических коррелятов для проверки этого анамнесиса («припоминания»).
➖ Как завещал нам Дэвид Сильверман [«и был глубоко прав»], открытых вопросов в абсолютном виде не существует. Нейтральных тоже. Так или иначе, пусть даже мы бережно пытаемся подталкивать информанта к движению по волнам его памяти, у нас не может быть абсолютной уверенности в том, что мы его не фреймируем и не помогаем ему безотчётно сочинить нечто интересное, но не отражающее того, что правда произошло.
Так-то, похоже, я много лет использовал элементы экспликативного интервью (при глубоком пробинге) — например, внутри интервью нарративных, — просто знать не знал про это. Но как опорный метод — хм. Хм!..
Пробовали? Что думаете об осмысленности и валидности метода?
❤🔥6🐳4✍3🔥1
27 мая, во вторник, выступаю на онлайн-треке конфы Aha!25, которую делает команда с давних пор уважаемого мной «Матемаркетинга». В основе своей она — о product science, машинном обучении и продуктовой аналитике. Но я ж outlaw, методологический «однопроцентник», и тему выбрал ортогональную её вектору, тем не менее, кажется, релевантную запросу изрядной части посетителей. А именно — как научиться различать буллщит в качественных методах и осмысленно сочетать их с количественными.
Сейчас аранжирую презентацию и понимаю, что тема бездонная. Решил сфокусироваться в первую очередь на том, как людям, привыкшим действовать в русле data-driven подхода и вообще с опорой на цифры/квантифицируемое, понимать, когда [и зачем] задействовать качественные методы, включая всякую хитрую и нехитрую этнографию, в каких случаях имеет смысл использовать ресурсы in-house, в каких привлекать внешних исполнителей, а когда им пытаются подсунуть под видом qualitative research чепуху, невалидное, кромешное. Затрону и попытки затащить количественную логику в качественный дизайн, и бессмысленные инструменты вроде «карт эмпатии», и другие ужасы.
Дорогие тунчжи, друзья, подписчики — прежде всего те, кто делал много качественных/гибридных исследований для бизнеса, — а поделитесь, пожалуйста, в комментахболью и вельтшмерцем:
Какие у вас red flags в прикладных, для бизнеса, качественных исследованиях? С какими ошибками вы чаще всего сталкиваетесь?
Вот вы видите
Буду вам чрезвычайно признателен 🖤 С учётом своего опыта, по результатам выступления, на основе фидбэка участников мероприятия и ваших комментов хочу написать в июне лонгрид лонгридович по теме.
Сейчас аранжирую презентацию и понимаю, что тема бездонная. Решил сфокусироваться в первую очередь на том, как людям, привыкшим действовать в русле data-driven подхода и вообще с опорой на цифры/квантифицируемое, понимать, когда [и зачем] задействовать качественные методы, включая всякую хитрую и нехитрую этнографию, в каких случаях имеет смысл использовать ресурсы in-house, в каких привлекать внешних исполнителей, а когда им пытаются подсунуть под видом qualitative research чепуху, невалидное, кромешное. Затрону и попытки затащить количественную логику в качественный дизайн, и бессмысленные инструменты вроде «карт эмпатии», и другие ужасы.
Дорогие тунчжи, друзья, подписчики — прежде всего те, кто делал много качественных/гибридных исследований для бизнеса, — а поделитесь, пожалуйста, в комментах
Какие у вас red flags в прикладных, для бизнеса, качественных исследованиях? С какими ошибками вы чаще всего сталкиваетесь?
Вот вы видите
нечто в отчёте или в ТЗ, в компреде — и все ваши эвристики и опыт вопят: «Шляпа! Сами не ведают, что предлагают».Буду вам чрезвычайно признателен 🖤 С учётом своего опыта, по результатам выступления, на основе фидбэка участников мероприятия и ваших комментов хочу написать в июне лонгрид лонгридович по теме.
❤10🦄4🫡2
Чуть-чуть поворчал о некоторых грехах качественных исследований и как в них не впасть. Спасибо команде Aha!25 🖤
Вроде прописные истины излагал, а глянешь — и у очень достойных, умных коллег что-то подобное найдёшь. Или у себя самого, что уж там. В общем, кому истины прописные, а кому и строчные.
Как обещал, позже разовью всё это в лонгрид.
Вроде прописные истины излагал, а глянешь — и у очень достойных, умных коллег что-то подобное найдёшь. Или у себя самого, что уж там. В общем, кому истины прописные, а кому и строчные.
Как обещал, позже разовью всё это в лонгрид.
👍8❤7🔥4🆒1🦄1
Маленькое, но, по-моему, полезное упражнение — я его сам только что проделал. Не буду держать интригу и спрошу в нагло фреймирующей форме:
На ваш взгляд, что не так в этих двух вопросах?
Это из опроса, который сделан с декларируемой целью изучить то, как люди читают телеграм-каналы, как находят привлекательный для себя контент, по каким причинам отписываются и т. д. Намеренно всё анонимизировал, так как цели шеймить автора у меня нет, и в таком виде его едва ли кто-то опознает (а если вдруг кто опознал, прошу, давайте не писать это публично). Нехватка опыта и скиллов не беда и не порок. Вот только результаты задизайненного в таком виде опроса будут почти бесполезны. Или даже вредны. Ну, не то чтобы вредны, скорее
Для понимания контекста закину в комментарии все вопросы из анкеты — в той очерёдности, в какой они даны.
На ваш взгляд, что не так в этих двух вопросах?
Это из опроса, который сделан с декларируемой целью изучить то, как люди читают телеграм-каналы, как находят привлекательный для себя контент, по каким причинам отписываются и т. д. Намеренно всё анонимизировал, так как цели шеймить автора у меня нет, и в таком виде его едва ли кто-то опознает (а если вдруг кто опознал, прошу, давайте не писать это публично). Нехватка опыта и скиллов не беда и не порок. Вот только результаты задизайненного в таком виде опроса будут почти бесполезны. Или даже вредны. Ну, не то чтобы вредны, скорее
misleading. А поскольку результаты опроса автор обещает сделать публичными, это печально. Мне — печально.Для понимания контекста закину в комментарии все вопросы из анкеты — в той очерёдности, в какой они даны.
❤2🔥2👍1🤔1💔1
Пока пишу пост-разбор по следам предыдущей заметки (там даже два поста выходит), мне вот что пришло в голову: а давайте познакомимся? В смысле — мне правда интересно, кто вы. Как роботу-которому-всё-интересно из миниатюры Дмитрия Горчева (только, надеюсь, у меня агентности капельку побольше). С кем-то я знаком, с кем-то дружу, о ком-то слышал и заочно респектую, с кем-то работал вместе или делал проекты играл в D&D. Со мной-то понятно — обо мне в сообщении-закрепе написано.
Расскажите, пожалуйста, кто вы, откуда, как вы узнали про меня, мой канал, ради чего читаете. Пожелания, о чём бы мне ещё написать, тоже принимаются: вокруг пожеланий у меня выкристаллизовались многие эссе/проекты/затеи.
Расскажите, пожалуйста, кто вы, откуда, как вы узнали про меня, мой канал, ради чего читаете. Пожелания, о чём бы мне ещё написать, тоже принимаются: вокруг пожеланий у меня выкристаллизовались многие эссе/проекты/затеи.
❤10👍2👀2
Обещанное: разбираю, в чём проблемы с опросом о практиках чтения телеграм-каналов. Скрины с вопросами — в комментах к этому посту (или можно посмотреть мою предыдущую запись).
➖ Первая из двух главных причин тотального фейла: сами вопросы и их закрытия исследователь, похоже, взял из головы. Без проблематизации, без рефлексии. Или плохо проблематизировал, плохо рефлексировал. Формулировки показывают, что над операционализацией исследовательских вопросов всерьёз не думали. При условии что исследовательские вопросы вообще были поставлены. Видно, что варианты ответов, с одной стороны, отражают сугубо частный опыт одного или пары человек, с другой — несут на себе отпечаток аналитизма и тяготеют к готовым интерпретациям. Например, «Чувствую, что меня используют: собирают данные, ведут воронку, пушат в бота». Он соседствует с гораздо менее психологизированным и приближающимся к нейтральности «Слишком много постов, посты слишком часто». Сами же наблюдаемые феномены (red flags) перемешаны с результатами интроспекции и выводами из них. В конечном счёте, опрос внутренне неконсистентен, и у него не прослеживается общей концептуальной рамки. И неудивительно, что в большинстве своём вопросы и варианты тут ответов — формирующие, фреймирующие.
➖ Вторая причина — неверно выбран метод/инструмент. Мне неведомо, какова прагматическая цель исследования и какими были исследовательские вопросы. Так что трудно утверждать, какой дизайн исследования здесь нужен. Но точно не один опрос. Вот лишь несколько возможных вариантов:
глубинные интервью
глубинные интервью → опрос
дневниковая этнография
дневниковая этнография → опрос
дневниковая этнография → опрос → глубинные интервью
дневниковая этнография + глубинные интервью → опрос
Одно скажу с определённостью:
➖ Если посмотреть на все вопросы анкеты (см. комменты в моему исходному посту), становится ясно, что они висят в пустоте и ни к чему не ведут. Ладно, узнали мы, что чаще всего респонденты отписываются от каналов из-за того, что контент стал выглядеть слишком рекламным и есть чувство, будто его пишет GPT. И?.. О чём это говорит? При подобающей выборке и статзначимых результатах можно было бы посмотреть, коррелируют ли red flags с теми преобладающими целями/установками, исходя из которых люди читают каналы, сообразуются ли с общим количеством каналов… А, стоп, подождите. Таких вопросов в анкете нет.
(Окончание — в комментах.)
➖ Первая из двух главных причин тотального фейла: сами вопросы и их закрытия исследователь, похоже, взял из головы. Без проблематизации, без рефлексии. Или плохо проблематизировал, плохо рефлексировал. Формулировки показывают, что над операционализацией исследовательских вопросов всерьёз не думали. При условии что исследовательские вопросы вообще были поставлены. Видно, что варианты ответов, с одной стороны, отражают сугубо частный опыт одного или пары человек, с другой — несут на себе отпечаток аналитизма и тяготеют к готовым интерпретациям. Например, «Чувствую, что меня используют: собирают данные, ведут воронку, пушат в бота». Он соседствует с гораздо менее психологизированным и приближающимся к нейтральности «Слишком много постов, посты слишком часто». Сами же наблюдаемые феномены (red flags) перемешаны с результатами интроспекции и выводами из них. В конечном счёте, опрос внутренне неконсистентен, и у него не прослеживается общей концептуальной рамки. И неудивительно, что в большинстве своём вопросы и варианты тут ответов — формирующие, фреймирующие.
➖ Вторая причина — неверно выбран метод/инструмент. Мне неведомо, какова прагматическая цель исследования и какими были исследовательские вопросы. Так что трудно утверждать, какой дизайн исследования здесь нужен. Но точно не один опрос. Вот лишь несколько возможных вариантов:
глубинные интервью
глубинные интервью → опрос
дневниковая этнография
дневниковая этнография → опрос
дневниковая этнография → опрос → глубинные интервью
дневниковая этнография + глубинные интервью → опрос
Одно скажу с определённостью:
качественная часть на подобном проекте необходима. Потому что вопросы крутятся вокруг (I) практик, в основном слабо рефлексируемых самими информантами, (II) опыта и предпочтений, которые формируются на длинной дистанции. Если есть задача понять, какие в принципе барьеры/триггеры к тому, чтобы прекратить читать канал, существуют у некоей группы людей (кстати, у кого именно — у условных «всех» юзеров ТГ? у 18–25-летних жителей российских городов 100 тыс.+? у студентов 2-го курса факультетов digital humanities?), — нужно с ними побеседовать. Понять аудиторию, квалифицирующие признаки выборки. Собрать её. Провести интервью. Проанализировать. Тогда — до проведения опроса, — возможно, автор узнает, что red flags бывают сильные («моментальная отписка») и слабые (эффект от них накапливается, могут действовать как по одиночке, так и в комплексе); регулярные и контекстуальные; универсальные, фреквентальные и спорадические. Что бывают и другие побуждения к отписке, потенциально частотные.➖ Если посмотреть на все вопросы анкеты (см. комменты в моему исходному посту), становится ясно, что они висят в пустоте и ни к чему не ведут. Ладно, узнали мы, что чаще всего респонденты отписываются от каналов из-за того, что контент стал выглядеть слишком рекламным и есть чувство, будто его пишет GPT. И?.. О чём это говорит? При подобающей выборке и статзначимых результатах можно было бы посмотреть, коррелируют ли red flags с теми преобладающими целями/установками, исходя из которых люди читают каналы, сообразуются ли с общим количеством каналов… А, стоп, подождите. Таких вопросов в анкете нет.
(Окончание — в комментах.)
🔥5❤4🙏2🤡2💯2🤮1💩1
Вижу, насколько в 2025 году популярны готовые библиотеки, тулсеты, методы сегментации клиентов. Часто — гигантские. Мне есть что сказать про сегментацию, но это будет гораздо более короткий и совсем не продающий спич. Вернее, про методологию сегментации и её прикладное применение могу написать очень много — и напишу со временем, — однако базовые принципы уместятся в один пост.
• Готовые модели сегментации бывают полезны. С оговоркой: ограниченно, для своего круга задачи и процессов. Например, RFM — для решения операционных задач по части юнит-экономики. VALS или другая ценностно ориентированная сегментация (например, с концептуализацией ценностей по Рокичу) точечно может пригодиться бренду — сюрприз! — с выраженной ценностной компонентой. Вот только обычно ими пытаются объяснить больше, чем они в состоянии дать.
• Посмотреть на готовые сегментации хорошо, чтобы понять «Ах вот как бывает!», повысить свою насмотренность, наработать навыки смены ракурса на людейи игры, в которые они играют. Разобраться, как сегментирование связано с целями, ради достижения которых выполняется. Более того, готовые сегментации способны помогать c интерпретацией какого-то фрагмента реальности — в нашем случае того, кто наши клиенты и что влияет на их поведение. Но обычно — гораздо менее эффективно, чем можно было бы.
• Сегментация должна быть релевантна бизнесу и его прагматике.
• Сегментация должна опираться на данные бизнеса, как актуальные, так и исторические. Иначе — «Это всё, конечно, очень бла-ародно…»
• Сегментация должна опираться на реальное поведение клиентов. Строиться от дифференцирующих критериев, которые значимы в разрезе бизнеса. Да, готовая сегментация может оказаться релевантна бизнесу, но это кот в мешке. Парадокс: не выполнив сегментацию самостоятельно, не поймёшь, годится ли тебе чья-то ещё. Но часто прикладная польза от сегментации с чужого плеча примерно такая же, как для wannabe-айтишника от хабрапоста вида «Как я стал джуном-питонистом без опыта за полгода [*с Бауманкой за плечами, знанием другого языка программирования, финансовой подушкой, обширными знакомствами в индустрии, аномально развитой префронтальной корой, выдающимся упорством и везением]».
• Универсальной сегментации, которая объяснит ВСЁ важное про клиентов бизнеса, нет в природе и быть не может. Поэтому важно понимать, для чего и где вы хотите использовать сегментацию.
• Сегментацию стоит брать не из головы и делать не по готовым шаблонам, а сочетанием количественных и качественных методов, включая кластерный и латентно-классовый анализ опросных данных, глубинные интервью и т. д. Методология здесь проработана дальше некуда, но требует скилла, щепетильности и комбинации аналитических процедур — за один вечерок не провернёшь. По контрасту с перспективой такого аналитического путешествия усиливается соблазн взять готовую сегментацию и, как в тантамареску, впихнуть туда своих клиентов.
• Полученную сегментацию с течением времени целесообразно перепроверять и пересматривать. Корректировать, дополнять. А не лелеять и сдувать с неё пылинки.
• Ни одна сегментация не является окончательной и полностью отражающей разнообразие аудитории. И не будет. И не должна.
• Опасно считать, будто сегменты — это реально существующие группы людей (гипостазирование, чтоб его!). Это конструкты, абстракции, которые описывают кусочек мира. Но если сделать это описание надёжными методами и щепетильно, оно будет очень полезно.
Я сам к таким выводам пришёл — нет, не скажу, что поздно. Но хотел бы раньше.
• Готовые модели сегментации бывают полезны. С оговоркой: ограниченно, для своего круга задачи и процессов. Например, RFM — для решения операционных задач по части юнит-экономики. VALS или другая ценностно ориентированная сегментация (например, с концептуализацией ценностей по Рокичу) точечно может пригодиться бренду — сюрприз! — с выраженной ценностной компонентой. Вот только обычно ими пытаются объяснить больше, чем они в состоянии дать.
• Посмотреть на готовые сегментации хорошо, чтобы понять «Ах вот как бывает!», повысить свою насмотренность, наработать навыки смены ракурса на людей
• Сегментация должна быть релевантна бизнесу и его прагматике.
• Сегментация должна опираться на данные бизнеса, как актуальные, так и исторические. Иначе — «Это всё, конечно, очень бла-ародно…»
• Сегментация должна опираться на реальное поведение клиентов. Строиться от дифференцирующих критериев, которые значимы в разрезе бизнеса. Да, готовая сегментация может оказаться релевантна бизнесу, но это кот в мешке. Парадокс: не выполнив сегментацию самостоятельно, не поймёшь, годится ли тебе чья-то ещё. Но часто прикладная польза от сегментации с чужого плеча примерно такая же, как для wannabe-айтишника от хабрапоста вида «Как я стал джуном-питонистом без опыта за полгода [*с Бауманкой за плечами, знанием другого языка программирования, финансовой подушкой, обширными знакомствами в индустрии, аномально развитой префронтальной корой, выдающимся упорством и везением]».
• Универсальной сегментации, которая объяснит ВСЁ важное про клиентов бизнеса, нет в природе и быть не может. Поэтому важно понимать, для чего и где вы хотите использовать сегментацию.
• Сегментацию стоит брать не из головы и делать не по готовым шаблонам, а сочетанием количественных и качественных методов, включая кластерный и латентно-классовый анализ опросных данных, глубинные интервью и т. д. Методология здесь проработана дальше некуда, но требует скилла, щепетильности и комбинации аналитических процедур — за один вечерок не провернёшь. По контрасту с перспективой такого аналитического путешествия усиливается соблазн взять готовую сегментацию и, как в тантамареску, впихнуть туда своих клиентов.
• Полученную сегментацию с течением времени целесообразно перепроверять и пересматривать. Корректировать, дополнять. А не лелеять и сдувать с неё пылинки.
• Ни одна сегментация не является окончательной и полностью отражающей разнообразие аудитории. И не будет. И не должна.
• Опасно считать, будто сегменты — это реально существующие группы людей (гипостазирование, чтоб его!). Это конструкты, абстракции, которые описывают кусочек мира. Но если сделать это описание надёжными методами и щепетильно, оно будет очень полезно.
Я сам к таким выводам пришёл — нет, не скажу, что поздно. Но хотел бы раньше.
❤10✍4👍3
Как я готовлюсь к онлайн-интервью — часть I
В профессиональном сообществе как-то не принято открыто обсуждать, кто как готовит себя к работе с людьми. К интервью, фокус-группам. О своём волнении и сомнениях. О том, как сфокусироваться, когда тебене до грибов не до беседы. Коллективные представления и интроецированные установки предписывают подавать себя как bullet-proof guy/girl. Кто спокойно без перерыва берёт по семь интервью в день — я опасаюсь таких людей! — и ему всё нипочём.
Такие люди есть. Но у большинства, включая опытнейших исследователей, иначе. Обычно всё замечательно: встал и пошёл в поле. А бывает, точат сомнения. Трудно сосредоточиться. Тупо не хочется ни с кем говорить ни за какие деньги.
За 8+ лет в исследованиях [а до того много лет в медиа] я взял сотни и сотни интервью. Я люблю говорить с людьми. И кажется, научился-таки это делать сравнительно неплохо (хотя я знаю профи гораздо сильнее меня). Однако получается это у меня не только благодаря навыку и опыту, но ещё и потому, что я готовлюсь. И я сейчас не только о том, чтобы перечитать гайд.
Это не универсальные рекомендации. Просто описание того, что я делаю перед онлайн-интервью и другими ответственными созвонами. Обычно не всё сразу, но когда могу — всё. Возможно, что-то из перечисленного пригодится и вам.
☑️ Одеваюсь так, чтобы приятно себя чувствовать. Чтобы соответствовать своему габитусу и потрафить своему настроению. Когда-то шутки про рабочую встречу в Зуме, на которой у всех нарядный верх, а что не в кадре, то затрапезное, были и про меня. Но однажды я понял, что одеться, принарядиться должным образом нужно мне самому. Безотносительно того, какую часть моего тела видно через камеру. Придурь не придурь, но я теперь перед ответственными онлайн-интервью даже любимым парфюмом частенько пользуюсь. Просто потому, чтобы это меня умиротворяет.
☑️ Проветриваю комнату. Включаю загодя кондиционер, вентилятор или обогреватель — в зависимости от сезона и погоды. Чтобы к моменту старта в комнате был комфортный микроклимат. Задумываюсь, сыт ли я. У меня с контролем чувства голода обычно всё ок, но случается, что увлекаюсь и могу часа на четыре провалиться в аналитические бездны.
☑️ Проверяю технику: батарею диктофона (Tascam DR-40 форева!), свободное место в облаках и в памяти девайсов. Всё ли функционирует. Смогу ли в случае чего переключиться на второй, «страховочный» ноутбук. Аудио пишу всегда минимум на два устройства, и это помимо record-функции сервиса. Чаще — на три. Запускаю заранее Зум или аналог — чтобы не столкнуться с тем, что софтина захочет некстати обновиться. Вырубаю на устройстве, с которого буду выходить на связь, все мессенджеры и уведомления. Готовлю гуглдок для ведения memos. И/или кладу справа от себя блокнот и ручку — по настроению. Ибо, как гласит пословица, «Коли без пригляда параферналия, то ворота отворяй для аномалии».
☑️ Делаю чай или кофе, наливаю в термокружку. Достаю из холодильника минералку и ставлю на расстоянии вытянутой руки — наловчился наливать так, что собеседнику совершенно незаметно.
☑️ Бегло просматриваю гайд, даже если открывал его сегодня многократно. Освежаю в памяти, что известно о респонденте, например из анкеты-скринера. Прикидываю, в каком направлении может пойти беседа. За что ухватиться. Где могут проклюнуться любопытные сюжеты-повороты. Выделяю в гайде вопросы, который вот ему/ей точно хочу задать. В конце — напоминаю себе: «Свою „домашнюю работу“ ты, братец, выполнил, хвалю, но помни, что всё может пойти каким угодно путём».
(Продолжение в следующем посте.)
В профессиональном сообществе как-то не принято открыто обсуждать, кто как готовит себя к работе с людьми. К интервью, фокус-группам. О своём волнении и сомнениях. О том, как сфокусироваться, когда тебе
Такие люди есть. Но у большинства, включая опытнейших исследователей, иначе. Обычно всё замечательно: встал и пошёл в поле. А бывает, точат сомнения. Трудно сосредоточиться. Тупо не хочется ни с кем говорить ни за какие деньги.
За 8+ лет в исследованиях [а до того много лет в медиа] я взял сотни и сотни интервью. Я люблю говорить с людьми. И кажется, научился-таки это делать сравнительно неплохо (хотя я знаю профи гораздо сильнее меня). Однако получается это у меня не только благодаря навыку и опыту, но ещё и потому, что я готовлюсь. И я сейчас не только о том, чтобы перечитать гайд.
Это не универсальные рекомендации. Просто описание того, что я делаю перед онлайн-интервью и другими ответственными созвонами. Обычно не всё сразу, но когда могу — всё. Возможно, что-то из перечисленного пригодится и вам.
☑️ Одеваюсь так, чтобы приятно себя чувствовать. Чтобы соответствовать своему габитусу и потрафить своему настроению. Когда-то шутки про рабочую встречу в Зуме, на которой у всех нарядный верх, а что не в кадре, то затрапезное, были и про меня. Но однажды я понял, что одеться, принарядиться должным образом нужно мне самому. Безотносительно того, какую часть моего тела видно через камеру. Придурь не придурь, но я теперь перед ответственными онлайн-интервью даже любимым парфюмом частенько пользуюсь. Просто потому, чтобы это меня умиротворяет.
☑️ Проветриваю комнату. Включаю загодя кондиционер, вентилятор или обогреватель — в зависимости от сезона и погоды. Чтобы к моменту старта в комнате был комфортный микроклимат. Задумываюсь, сыт ли я. У меня с контролем чувства голода обычно всё ок, но случается, что увлекаюсь и могу часа на четыре провалиться в аналитические бездны.
☑️ Проверяю технику: батарею диктофона (Tascam DR-40 форева!), свободное место в облаках и в памяти девайсов. Всё ли функционирует. Смогу ли в случае чего переключиться на второй, «страховочный» ноутбук. Аудио пишу всегда минимум на два устройства, и это помимо record-функции сервиса. Чаще — на три. Запускаю заранее Зум или аналог — чтобы не столкнуться с тем, что софтина захочет некстати обновиться. Вырубаю на устройстве, с которого буду выходить на связь, все мессенджеры и уведомления. Готовлю гуглдок для ведения memos. И/или кладу справа от себя блокнот и ручку — по настроению. Ибо, как гласит пословица, «Коли без пригляда параферналия, то ворота отворяй для аномалии».
☑️ Делаю чай или кофе, наливаю в термокружку. Достаю из холодильника минералку и ставлю на расстоянии вытянутой руки — наловчился наливать так, что собеседнику совершенно незаметно.
☑️ Бегло просматриваю гайд, даже если открывал его сегодня многократно. Освежаю в памяти, что известно о респонденте, например из анкеты-скринера. Прикидываю, в каком направлении может пойти беседа. За что ухватиться. Где могут проклюнуться любопытные сюжеты-повороты. Выделяю в гайде вопросы, который вот ему/ей точно хочу задать. В конце — напоминаю себе: «Свою „домашнюю работу“ ты, братец, выполнил, хвалю, но помни, что всё может пойти каким угодно путём».
(Продолжение в следующем посте.)
❤17❤🔥9👍4🫡2
Как я готовлюсь к онлайн-интервью — часть II
☑️ Встаю. Делаю 35–40 отжиманий подряд. Или 50 приседаний. В средне-медленном темпе. Чтобы мобилизоваться, разогнать кровоток и почувствовать, как тело работает.
☑️ Восстанавливаю дыхание, если сбилось. Прогуливаясь по комнате, дышу глубоко и равномерно, диафрагмальным дыханием — с полминуты или чуть дольше. Просто чтобы успокоиться.
☑️ Делаю дыхание 4-7-8: вдох на четыре длинных счёта, задержка на семь, выход на восемь. Раза три-четыре.
☑️ Использую — по обстоятельствам — какую-нибудь практику из арсенала когнитивно-поведенческой терапии или медитативных техник (никакой эзотерики; я скучный тип). Например, кладу правую руку на мышь и полностью фокусируюсь на своих ощущениях в кисти. Или буквально «обращаюсь в слух» и начинаю методично и без эмоционального вовлечения фиксировать, что я слышу: шум вентилятора, своё дыхание, воробья за окном, гул холодильника, поскрипывание кресла...
☑️ Проверяю свет, фон, то, как я выгляжу в кадре. Не шумно ли. Регулирую кресло, сажусь наиудобнейшим образом.
☑️ Делаю короткое вокальное упражнение: пропеваю с опорой на диафрагму какую-нибудь гамму или мелодию, не открывая рот, по сути тихо мыча, но с полным включением голосового аппарата. Связки принимают рабочее положение, звук становится глубже и богаче. Шутки шутками, а это лучше, чем начать беседу с покашливания или с зажатого «Здр-ст-йте…».
☑️ Закрываю глаза. Расслабляю тело, прежде всего плечевой пояс и шею. «Отпускаю» мимику. Размеренно дышу. Начинаю созвон.
Замороченно? Наверное. Зато так мне потом вольготнее в процессе. Чем лучше я готовлюсь, тем непосредственнее, вовлечённее я веду себя в интервью. Вдобавок всё перечисленное занимает от силы минут пятнадцать, и полный набор «процедур» я обычно провожу перед первым созвоном с утра. Перед следующими хватает по 5–7 минут.
Я могу провести интервью без единой из перечисленных манипуляций. Я в состоянии это делать после бессонной ночи. С разбитого телефона на лесной дороге. Когда голова раскалывается от боли или ноет челюсть после тренировки. Когда мне только что сообщили скверную новость о близком человеке. На среднеазиатской жаре без кондиционера. Работая с 10-страничным гайдом по памяти. Всё это было.
Но когда есть возможность, следую своему скромному протоколу подготовки. Варьируя детали. Что-то пропуская, что-то добавляя. И тогда, когда начинается интервью, я полностью — в нём. Эмоционально, когнитивно, душевно. С человеком, а не со своими головняками и заботами, шумом и яростью своего жизненного мира.
☑️ Встаю. Делаю 35–40 отжиманий подряд. Или 50 приседаний. В средне-медленном темпе. Чтобы мобилизоваться, разогнать кровоток и почувствовать, как тело работает.
☑️ Восстанавливаю дыхание, если сбилось. Прогуливаясь по комнате, дышу глубоко и равномерно, диафрагмальным дыханием — с полминуты или чуть дольше. Просто чтобы успокоиться.
☑️ Делаю дыхание 4-7-8: вдох на четыре длинных счёта, задержка на семь, выход на восемь. Раза три-четыре.
☑️ Использую — по обстоятельствам — какую-нибудь практику из арсенала когнитивно-поведенческой терапии или медитативных техник (никакой эзотерики; я скучный тип). Например, кладу правую руку на мышь и полностью фокусируюсь на своих ощущениях в кисти. Или буквально «обращаюсь в слух» и начинаю методично и без эмоционального вовлечения фиксировать, что я слышу: шум вентилятора, своё дыхание, воробья за окном, гул холодильника, поскрипывание кресла...
☑️ Проверяю свет, фон, то, как я выгляжу в кадре. Не шумно ли. Регулирую кресло, сажусь наиудобнейшим образом.
☑️ Делаю короткое вокальное упражнение: пропеваю с опорой на диафрагму какую-нибудь гамму или мелодию, не открывая рот, по сути тихо мыча, но с полным включением голосового аппарата. Связки принимают рабочее положение, звук становится глубже и богаче. Шутки шутками, а это лучше, чем начать беседу с покашливания или с зажатого «Здр-ст-йте…».
☑️ Закрываю глаза. Расслабляю тело, прежде всего плечевой пояс и шею. «Отпускаю» мимику. Размеренно дышу. Начинаю созвон.
Замороченно? Наверное. Зато так мне потом вольготнее в процессе. Чем лучше я готовлюсь, тем непосредственнее, вовлечённее я веду себя в интервью. Вдобавок всё перечисленное занимает от силы минут пятнадцать, и полный набор «процедур» я обычно провожу перед первым созвоном с утра. Перед следующими хватает по 5–7 минут.
Я могу провести интервью без единой из перечисленных манипуляций. Я в состоянии это делать после бессонной ночи. С разбитого телефона на лесной дороге. Когда голова раскалывается от боли или ноет челюсть после тренировки. Когда мне только что сообщили скверную новость о близком человеке. На среднеазиатской жаре без кондиционера. Работая с 10-страничным гайдом по памяти. Всё это было.
Но когда есть возможность, следую своему скромному протоколу подготовки. Варьируя детали. Что-то пропуская, что-то добавляя. И тогда, когда начинается интервью, я полностью — в нём. Эмоционально, когнитивно, душевно. С человеком, а не со своими головняками и заботами, шумом и яростью своего жизненного мира.
🔥31❤10👍6🦄2
Как в качественном исследовании понять, достигнут ли порог теоретического насыщения
В qualitative research есть золотое правило — действовать в поле до достижения так называемого
Всё так. Только мало говорят о том, а как понять-то, что ничего значимого из нового материала не добыть. Всё равно каждое интервью или наблюдение чем-то по-своему да ново. А за внешне сходными кейсами, жизненными историями может таиться типологически разное. Неохота бросить поле в полушаге от уникальных находок. Так как же сообразить, что пора сказать: «Горшочек, не вари»?
✓ Мне важнее другой опорный критерий — увидеть, что связи между категориями становятся устойчивыми и предсказуемыми. Новые связи при анализе перестают формироваться по мере поступления следующих порций полевых данных. Схема связей между категориями словно костенеет, фиксируется. Это легко заметить, если выполнять по науке все требуемые виды кодирования: открытое → осевое → селективное. И когда порог насыщения близко, цикл сам собой повторяется быстрее, его этапы словно бы «мелеют», всё реже побуждают к проблематизации. Я в себе ловлю это по чувству раздражения/скуки: «Да чтоб тебя! Хорошее же было интервью — почему ничего нового-то не удалось увидеть? Может, я облажался? Дай-ка я посмотрю пристальнее…» — и иногда удаётся увидеть это новое, но бывает, что и нет — порог действительно достигнут.
✓ Ещё один критерий — оценить, ставит ли что-то из нового полевого материала под сомнение текущую объяснительную модель. Заставляет ли хотя бы усомниться в ней. Если вам кажется, что порог сатурации достигнут, попробуйте подумать, способно ли что-то гипотетически поставить под сомнение или существенно скорректировать построенную вами аналитическую конструкцию. Затем операционализируйте это «что-то» в гайде и проверьте на ближайших интервью.
✓ Из предыдущего пункта логично вытекает контроль насыщения через мониторинг вашего же вопросного инструментария. Наблюдайте за эволюцией гайда интервью и тем, как он реализуется в конкретных беседах. Если в последних интервью вы не добавляли новых вопросов и не адаптировали существующие, это знак того, что исследовательский фокус стабилизировался и насыщение не за горами.
✓ Неосторожным было бы определять, достигнут ли порог насыщения, по одному интервью/наблюдению, которое не принесло ничего нового. Во-первых, следить за сатурацией надо для каждого сегмента/группы аудитории отдельно. Во-вторых, насыщение требуется наблюдать на дистанции. Бывает, что два интервью подряд дают сходные сюжеты, а следующее за ними — абсолютно иные. Чаще всего я принимаю решение остановиться, когда фиксирую зримый спад динамики на протяжении 3–5 интервью.
✓ После каждых 5–6 интервью я провожу ретроспективный анализ: возвращаюсь к ранним интервью и проверяю, удаётся ли их полно интерпретировать через призму новых концептов. Если последние 3–4 интервью радикально не меняют интерпретацию ранних данных, это тоже признак приближающегося насыщения.
✓ Легко перепутать порог сатурации с соблюдением критерия операционной полноты. Все приходится думать, что важнее. Например, для ответа на исследовательские вопросы у нас больше чем достаточно достоверного эмпирического материала и объяснительная конструкция сильная, но не факт, что тематическое насыщение достигнуто.
✓ Хороший косвенный индикатор насыщения — воспроизводимость экстремальных кейсов и аберраций в беседах. Если три-четыре corner cases подряд укладываются в уже выявленные паттерны, это не универсальный, но мощный дополнительный индикатор насыщения. И наоборот, если новый кейс «ломает» модель, стоит задуматься, а правда ли он «экстремальный».
(И ещё одна прикладная штука — в комментах.)
В qualitative research есть золотое правило — действовать в поле до достижения так называемого
порога сатурации, он же порог теоретического, или тематического, насыщения. Иначе — когда каждое следующее интервью не приносит новых сюжетов/тем или даёт непропорционально мало объёму работы. Всё как завещали Глейзер и Стросс: дополнительные эмпирические данные не добавляют ничего значимого к уже сформированным категориям/кодам. У категорий не возникает новых свойств и, соответственно, подкатегорий.Всё так. Только мало говорят о том, а как понять-то, что ничего значимого из нового материала не добыть. Всё равно каждое интервью или наблюдение чем-то по-своему да ново. А за внешне сходными кейсами, жизненными историями может таиться типологически разное. Неохота бросить поле в полушаге от уникальных находок. Так как же сообразить, что пора сказать: «Горшочек, не вари»?
✓ Мне важнее другой опорный критерий — увидеть, что связи между категориями становятся устойчивыми и предсказуемыми. Новые связи при анализе перестают формироваться по мере поступления следующих порций полевых данных. Схема связей между категориями словно костенеет, фиксируется. Это легко заметить, если выполнять по науке все требуемые виды кодирования: открытое → осевое → селективное. И когда порог насыщения близко, цикл сам собой повторяется быстрее, его этапы словно бы «мелеют», всё реже побуждают к проблематизации. Я в себе ловлю это по чувству раздражения/скуки: «Да чтоб тебя! Хорошее же было интервью — почему ничего нового-то не удалось увидеть? Может, я облажался? Дай-ка я посмотрю пристальнее…» — и иногда удаётся увидеть это новое, но бывает, что и нет — порог действительно достигнут.
✓ Ещё один критерий — оценить, ставит ли что-то из нового полевого материала под сомнение текущую объяснительную модель. Заставляет ли хотя бы усомниться в ней. Если вам кажется, что порог сатурации достигнут, попробуйте подумать, способно ли что-то гипотетически поставить под сомнение или существенно скорректировать построенную вами аналитическую конструкцию. Затем операционализируйте это «что-то» в гайде и проверьте на ближайших интервью.
✓ Из предыдущего пункта логично вытекает контроль насыщения через мониторинг вашего же вопросного инструментария. Наблюдайте за эволюцией гайда интервью и тем, как он реализуется в конкретных беседах. Если в последних интервью вы не добавляли новых вопросов и не адаптировали существующие, это знак того, что исследовательский фокус стабилизировался и насыщение не за горами.
✓ Неосторожным было бы определять, достигнут ли порог насыщения, по одному интервью/наблюдению, которое не принесло ничего нового. Во-первых, следить за сатурацией надо для каждого сегмента/группы аудитории отдельно. Во-вторых, насыщение требуется наблюдать на дистанции. Бывает, что два интервью подряд дают сходные сюжеты, а следующее за ними — абсолютно иные. Чаще всего я принимаю решение остановиться, когда фиксирую зримый спад динамики на протяжении 3–5 интервью.
✓ После каждых 5–6 интервью я провожу ретроспективный анализ: возвращаюсь к ранним интервью и проверяю, удаётся ли их полно интерпретировать через призму новых концептов. Если последние 3–4 интервью радикально не меняют интерпретацию ранних данных, это тоже признак приближающегося насыщения.
✓ Легко перепутать порог сатурации с соблюдением критерия операционной полноты. Все приходится думать, что важнее. Например, для ответа на исследовательские вопросы у нас больше чем достаточно достоверного эмпирического материала и объяснительная конструкция сильная, но не факт, что тематическое насыщение достигнуто.
✓ Хороший косвенный индикатор насыщения — воспроизводимость экстремальных кейсов и аберраций в беседах. Если три-четыре corner cases подряд укладываются в уже выявленные паттерны, это не универсальный, но мощный дополнительный индикатор насыщения. И наоборот, если новый кейс «ломает» модель, стоит задуматься, а правда ли он «экстремальный».
(И ещё одна прикладная штука — в комментах.)
🔥11❤9👍6👎1😐1👻1
Коллега-исследователь поделился своим опытом — как столкнулся с тем, что респондент на интервью заплакал, — и спросил, кто как с подобным справляется.
Я много работал и работаю с сентизитивными темами, с людьми в уязвимом положении, и в беседах с ними, в этнографических вылазках такое периодически происходит. Правда, не скажу, что
Кто-то плакал. Кто-то замыкался — долго не мог вымолвить ни слова. У одной женщины от волнения возникло что-то сродни проявлениям синдрома Туретта — трудноконтролируемые повторящиеся речевые паттерны. Случалось, меня в чём-то упрекали. Или ругали. Однажды информант на несколько секунд задремал — вымотался. В другой раз парень честно признался, что ему надо выпустить пар, попросил подождать и, судя по звукам, отошёл полупить боксёрскую грушу (кстати, великолепное интервью получилось).
Но если меня чему опыт и научил, так это тому, что подготовиться к подобному на все сто заранее нельзя. И незачем. Важно знать этические кодексы. Полезно изучить лайфхаки коллег, продумать сценарии поведения в наиболее вероятных ситуациях. Только при неожиданном развитии событий реакции ваши будут спонтанными. Какие-то паттерны реагирования развить у себя можно. Однако в такой момент проявит себя то, кем вы являетесь сейчас. Насколько открыты. Насколько готовы к состоянию растерянности и непонимания.
Раньше я больше думал о том, какие приёмы работают точнее, как правильно повернуть русло беседы. Теперь — о том, чтобы оставаться с человеком в трудную для него минуту. Как не уходить вруминации размышления о том, что что-то «сломалось». Часто важно просто побыть вместе и дать человеку пережить происходящее с ним так, как ему сейчас необходимо. Если он плачет, то первые 10–15 секунд я могу вообще ничего не говорить, дальше — по обстоятельствам. Но в целом — не пытаюсь выдавить из себя неестественную для себя реакцию. И удерживаю себя от того, чтобы переключаться в терапевтическую, «сверху вниз», модальность. Иногда первая реакция — это междометие («У...», «Ох...»). Но в нём может быть искренности и участия больше, чем в любой «правильной» формулировке, и оно окажется поддерживающим, сохраняющим контакт и доверие. Иногда бывает уместно сделать ремарку вроде: «Оу... Если что, мы можем сделать паузу, остановиться», но не со всеми респондентами работает — есть те, кому предложение приостановить диалог кажется отвержением со стороны исследователя, пусть даже они сами сейчас не в состоянии продолжать.
Один раз я произнёс: «N., я вообще не знаю, что чувствовал бы на вашем месте. Но давайте, может быть, я пока просто побуду с вами, если только вы не против». Вне контекста это звучит фигнёй в духе поп-психологии, но в тот момент было абсолютно искренне — и это было нужно нам обоим.
Впрочем, ничто не гарантирует, что получится помочь человеку пройти через то, что он переживает. Или даже что получится не усугубить. Важно — постараться сделать наилучшим образом, но не скатываться в тотальность внутреннего локуса контроля.
…Был ещё респондент, который дважды переносил интервью, а когда наконец мы созвонились, он сразу прямым текстом сообщил, что сегодня ему оформили развод. На моё предложение остановиться, если ему не ок, решительно отказался — и рьяно включился в беседу. Замечательно проговорили с ним минут двадцать, прежде чем я понял, что он не просто ажитированный, расторможенный, но ещё и в подпитии. По всем этическим кодексам стоило завершить беседу, но я взвесил все «за» и «против», ещё раз предложил прерваться, мягко указав на его, ммм, состояние, он снова отказался — и я довёл интервью до конца (пусть меня за это проклянут безукоризненно этичные коллеги).
А какой опыт был у вас?
Я много работал и работаю с сентизитивными темами, с людьми в уязвимом положении, и в беседах с ними, в этнографических вылазках такое периодически происходит. Правда, не скажу, что
кратно чаще, чем с условными «обычными респондентами»; помним, что «обычных респондентов», как и lay people, не существует. Сколько раз видел, как «пробивало» непробиваемых с виду людей, которые до того добрый час спокойно рассуждали на очень чувствительные вопросы...Кто-то плакал. Кто-то замыкался — долго не мог вымолвить ни слова. У одной женщины от волнения возникло что-то сродни проявлениям синдрома Туретта — трудноконтролируемые повторящиеся речевые паттерны. Случалось, меня в чём-то упрекали. Или ругали. Однажды информант на несколько секунд задремал — вымотался. В другой раз парень честно признался, что ему надо выпустить пар, попросил подождать и, судя по звукам, отошёл полупить боксёрскую грушу (кстати, великолепное интервью получилось).
Но если меня чему опыт и научил, так это тому, что подготовиться к подобному на все сто заранее нельзя. И незачем. Важно знать этические кодексы. Полезно изучить лайфхаки коллег, продумать сценарии поведения в наиболее вероятных ситуациях. Только при неожиданном развитии событий реакции ваши будут спонтанными. Какие-то паттерны реагирования развить у себя можно. Однако в такой момент проявит себя то, кем вы являетесь сейчас. Насколько открыты. Насколько готовы к состоянию растерянности и непонимания.
Раньше я больше думал о том, какие приёмы работают точнее, как правильно повернуть русло беседы. Теперь — о том, чтобы оставаться с человеком в трудную для него минуту. Как не уходить в
Один раз я произнёс: «N., я вообще не знаю, что чувствовал бы на вашем месте. Но давайте, может быть, я пока просто побуду с вами, если только вы не против». Вне контекста это звучит фигнёй в духе поп-психологии, но в тот момент было абсолютно искренне — и это было нужно нам обоим.
Впрочем, ничто не гарантирует, что получится помочь человеку пройти через то, что он переживает. Или даже что получится не усугубить. Важно — постараться сделать наилучшим образом, но не скатываться в тотальность внутреннего локуса контроля.
…Был ещё респондент, который дважды переносил интервью, а когда наконец мы созвонились, он сразу прямым текстом сообщил, что сегодня ему оформили развод. На моё предложение остановиться, если ему не ок, решительно отказался — и рьяно включился в беседу. Замечательно проговорили с ним минут двадцать, прежде чем я понял, что он не просто ажитированный, расторможенный, но ещё и в подпитии. По всем этическим кодексам стоило завершить беседу, но я взвесил все «за» и «против», ещё раз предложил прерваться, мягко указав на его, ммм, состояние, он снова отказался — и я довёл интервью до конца (пусть меня за это проклянут безукоризненно этичные коллеги).
А какой опыт был у вас?
❤16💔7👍3🕊3🔥2
Как писал Томас Стернз Элиот [в переводе А. Сергеева], «Уводят улицы, как скучный спор, // И подведут в упор // К убийственному для тебя вопросу...» Меня сегодня блуждания по переулкам Нови-Сада привели как раз к такому, «скрытно убийственному», который я хочу адресовать тем из вас, кто каким-то боком вовлечён в исследования:
— Как вы объясняете, чем занимаетесь, тем, кто не погружён в специфику вашей работы или вообще слабо разбирается в том, какие виды исследования бывают?
Разумеется, я держу в рукаве отточенные временем ответы — свои для разных собеседников и контекстов. Кому-то проще описать, что я провожу интервью, этнографические наблюдения, изучаю циферки и анализирую всё это добро, чем разглагольствовать о том, зачем оно нужно. Кому-то уместно сказать о product-market fit или actionable insights для принятия продуктовых решений. Кому-то о понимании того, кто они — клиенты бизнеса, как устроены их практики, каков их опыт, какие у них ценности, в силу чего они принимают решения и в каких отношениях всё это находится между собой. Кому-то — о понимании социального действия,четырёх постулатах научного этоса, построении объяснительных моделей для какого-то куска реальности и формировании/верификации теоретических гипотез через эмпирику. Смотря о каких исследованиях речь и каков бэкграунд собеседника.
Но чаще я, если у меня нет нужды просто отболтаться, пытаюсь собрать, сконструировать своё представление о собственной исследовательской практике в моменте, и это
— Как вы объясняете, чем занимаетесь, тем, кто не погружён в специфику вашей работы или вообще слабо разбирается в том, какие виды исследования бывают?
Разумеется, я держу в рукаве отточенные временем ответы — свои для разных собеседников и контекстов. Кому-то проще описать, что я провожу интервью, этнографические наблюдения, изучаю циферки и анализирую всё это добро, чем разглагольствовать о том, зачем оно нужно. Кому-то уместно сказать о product-market fit или actionable insights для принятия продуктовых решений. Кому-то о понимании того, кто они — клиенты бизнеса, как устроены их практики, каков их опыт, какие у них ценности, в силу чего они принимают решения и в каких отношениях всё это находится между собой. Кому-то — о понимании социального действия,
Но чаще я, если у меня нет нужды просто отболтаться, пытаюсь собрать, сконструировать своё представление о собственной исследовательской практике в моменте, и это
сложно, сложно, непонятно. Я не то чтобы против: это неопределённость порождающего типа, продуктивная. Но в непринуждённой беседе мой вход в режим гибернации после вопроса «А чё у тебя за исследования-то?», наверное, выглядит забавно 😉😭❤4🔥2🌚1🏆1
Есть хорошее
Допустим: «Вы занимаетесь спортом и правильно питаетесь?» Это два разных вопроса, точно так же как «занятия спортом» и «правильное питание» — разные детерминанты здорового образа жизни (отмечу, что и концепт «правильное питание» проблематичен, субъективен, не нейтрален и его разумнее «расшивать» в интервью); даже сама их постановка в структурно равные позиции и через запятую чревата байасами и фреймированием для респондента, пусть даже в закрытиях вроде бы охвачено всё пространство вариаций, в том числе «Занимаюсь спортом, но не питаюсь правильно» и пр.
Однако бывают ситуации, когда слепое следование правилу хуже, чем его нарушение. В нашем случае — когда в один вопрос разумно инкорпорировать два. Недавно у меня была именно такая история.
Для своего постоянного клиента (NDA implied) я проводил опрос в одной центральноазиатской стране. Сам опрос имел диагостическое назначение — нужно было первично оценить в разных измерениях наличие «бутылочных горлышек» и актуальных/вероятных проблем с использованием одного сервиса. Между тем по совокупности причин часть представителей целевой группы были склонны давать социально одобряемые ответы (контекст работы с сервисом к тому располагал), на что накладывалась социокультурная специфика, с решительным нежеланием быть воспринятым как «тот, кто жалуется».
Канонично было бы спросить: «Сталкивались ли вы с затруднениями при использовании сервиса X?» — соответственно, с бинарным выбором «да — нет» и дальнейшим ветвлением логики, т. е. с появлением уточняющего multiple-choice вопроса а-ля «А какие это были затруднения?» при выборе варианта «да». Но, как и подтвердило пилотирование анкеты на тестовой выборке, респонденты, столкнувшись с такой постановкой вопроса, предпочитали отвечать «нет». А значит, не видели перечня возможных проблем далее и не могли ткнуть в них, хотя, что показали последующие интервью с ними, кое-какие затруднения у них были. Просто сама формулировка в их глазах существенно поднимала «вес» ответа, и те не фатального характера сложности, с которыми им пришлось справляться, им было эмоционально проще истолковать как «Нет, не сталкивались с затруднениями».
Зато, когда вопрос давался в double-barreled виде: «Сталкивались ли вы — хотя бы иногда — с затруднениями при использовании сервиса X? Если да, то с какими?», где среди вариантов multiple-choice ближе к концу было «Не сталкивался с затруднениями», люди охотно отмечали опции, соответствовавшие их опыту.
Это не единственный возможный способ решить задачу, которая у меня возникла, но на этом проекте он сработал как надо.
А у вас подобное бывало? Как справлялись?
правило когнитивной гигиены при составлении опросов — избегать так называемых double-barreled questions, то есть тех, которые содержат в себе, явно или подспудно, более одного сущностного вопроса. Очень часто эта ошибка операционализации способна убить, сделать невидимыми, непригодными для анализа значимые для опроса различения. Плюс, даже если пренебрежимо малое число респондентов окажутся сбиты с толку такой контаминацией, нагрузка на отвечающего при интерпретации подобного вопроса выше, чем при интерпретации single-barreled question. А в сравнительно длинном опросе это бывает критично.Допустим: «Вы занимаетесь спортом и правильно питаетесь?» Это два разных вопроса, точно так же как «занятия спортом» и «правильное питание» — разные детерминанты здорового образа жизни (отмечу, что и концепт «правильное питание» проблематичен, субъективен, не нейтрален и его разумнее «расшивать» в интервью); даже сама их постановка в структурно равные позиции и через запятую чревата байасами и фреймированием для респондента, пусть даже в закрытиях вроде бы охвачено всё пространство вариаций, в том числе «Занимаюсь спортом, но не питаюсь правильно» и пр.
Однако бывают ситуации, когда слепое следование правилу хуже, чем его нарушение. В нашем случае — когда в один вопрос разумно инкорпорировать два. Недавно у меня была именно такая история.
Для своего постоянного клиента (NDA implied) я проводил опрос в одной центральноазиатской стране. Сам опрос имел диагостическое назначение — нужно было первично оценить в разных измерениях наличие «бутылочных горлышек» и актуальных/вероятных проблем с использованием одного сервиса. Между тем по совокупности причин часть представителей целевой группы были склонны давать социально одобряемые ответы (контекст работы с сервисом к тому располагал), на что накладывалась социокультурная специфика, с решительным нежеланием быть воспринятым как «тот, кто жалуется».
Канонично было бы спросить: «Сталкивались ли вы с затруднениями при использовании сервиса X?» — соответственно, с бинарным выбором «да — нет» и дальнейшим ветвлением логики, т. е. с появлением уточняющего multiple-choice вопроса а-ля «А какие это были затруднения?» при выборе варианта «да». Но, как и подтвердило пилотирование анкеты на тестовой выборке, респонденты, столкнувшись с такой постановкой вопроса, предпочитали отвечать «нет». А значит, не видели перечня возможных проблем далее и не могли ткнуть в них, хотя, что показали последующие интервью с ними, кое-какие затруднения у них были. Просто сама формулировка в их глазах существенно поднимала «вес» ответа, и те не фатального характера сложности, с которыми им пришлось справляться, им было эмоционально проще истолковать как «Нет, не сталкивались с затруднениями».
Зато, когда вопрос давался в double-barreled виде: «Сталкивались ли вы — хотя бы иногда — с затруднениями при использовании сервиса X? Если да, то с какими?», где среди вариантов multiple-choice ближе к концу было «Не сталкивался с затруднениями», люди охотно отмечали опции, соответствовавшие их опыту.
Это не единственный возможный способ решить задачу, которая у меня возникла, но на этом проекте он сработал как надо.
А у вас подобное бывало? Как справлялись?
🔥11❤4✍3
Кто занимался исследованиями, при рекруте сталкивался с требованиям вида: «Не участвовал в фокус-группах минимум полгода». Или вы сами задавали такие требования. Я задавал. И задаю. Когда это осмысленно. Потому что часто подобные условия — следствие перестраховки и превратно понятных отраслевых конвенций.
Всё пошло с 70–80-х, когда маркетинговые исследования сделались подлинно массовыми ирасплодились умножились в числе «профессиональные респонденты». И те, кто не злоупотреблял доверием рисёрчеров, но всё равно слишком часто участвовал, скажем, в фокус-группах, вели себя как-то не так и тоже порождали смещения в результатах. Долго ли, коротко ли, соответствующие требования к временному зазору между участием в исследованиях начали закрепляться в стандартах профессиональных ассоциаций — ESOMAR и других. Есть веские доводы в пользу таких ограничений. В том числе следующие.
➖Эффект обучения. Сложилось представление, что при частом участии в исследованиях люди становятся более «сознательными» и/или «рациональными» как потребители: начинают иначе относиться к брендам, к выбору товаров.
➖Та самая «профессионализация». Кто-то пытался зарабатывать как участник опросов/ФГ, кто-то регулярно ходил на них по иным причинам — ну, как герой «Бойцовского клуба» на группы поддержки.
➖Социальная желательность. Пообтесавшись, респонденты не то чтобы лучше понимают, каких ответов от них ждут (хотя в случае с неопытными исследователями и плохо составленными анкетами и это тоже) — скорее пытаются подстроиться под то, чего, как им кажется, от них ждут.
➖ Survey fatigue. Усталость от исследований. Участие в них оказывается настолько рутинным, что респонденты теряют понимание того, а чего ради стараться-то, да и форматы/формулировки начинают раздражать и приедаются.
Для части исследований эти факторы уместны. Но не для всех. А кроме того, не все перечисленные факторы универсальны и бесспорны. Тот же «эффект обучения» в каком-то виде определённо существует, но достоверных экспериментов, которые доказывали бы его
Там, где рисёрч проводится в целях тестирования продуктов и концепций, анализа брендинга и рекламы, U&A, — такие ограничения чаще уместны, чем нет. Там, где важно, чтобы участник не имел догадок о механике исследовательского инструментария, тоже.
Да, на ФГ про стиральные порошки не стоит звать человека, который пару месяцев назад проходил BHT-опрос или был на ФГ по чистящим средствам. А вот приглашать ли на UX-тестирование маркетплейса того, кто два месяц назад участвовал в аналогичном тесте аппа компании-страховщика, а полгода назад давал интервью о том, как проводит досуг с детьми? Может, и нет. Но стоит понимать, по каким причинам мы его не зовём. Чего конкретно мы хотим избежать и насколько велики эти риски.
Мы почему-то не боимся, что, кроме нашего расчудесного приложения таск-трекера люди, используют на том же телефоне (!) другие (!!) таск-трекеры, мессенджеры, а кто-то и CRM (!!!). Но опасаемся, что в последнее время кто-то, кроме нас, говорил с человеком о его цифровом опыте.
Особенно это удивительно, учитывая, что, как констатировали Аткинсон и Сильверман, мы живём в «обществе интервью», где все интервьюируют всех, а с разными исследовательскими методами наши современники сталкиваются куда чаще, чем их родители 30–40 лет назад. И тем не менее — постоянно: «Нужны люди на CX-исследование каршеринга. Не участвовавшие в других исследованиях минимум год».
В безоглядном стремлении найти себе, простите, девственного респондента, не затронутого тлетворным влиянием коллег, мне видится даже не романтическое, а скорее принадлежащее эпохе Просвещения желание дотронуться до некоего «чистого» опыта «благородного дикаря». Жажда аутентичности и неподдельности. Только давайте всё же помнить, что «аутентичность» и «неподдельность» тоже конструкты. Что в тяготении к ним мы подвержены тем же байасам и действию доксы, что и другие. И что, если мы задаём какие-то требования, нам нужно быть готовыми честно ответить себе, чем они обусловлены. И чего мы боимся.
Всё пошло с 70–80-х, когда маркетинговые исследования сделались подлинно массовыми и
➖Эффект обучения. Сложилось представление, что при частом участии в исследованиях люди становятся более «сознательными» и/или «рациональными» как потребители: начинают иначе относиться к брендам, к выбору товаров.
➖Та самая «профессионализация». Кто-то пытался зарабатывать как участник опросов/ФГ, кто-то регулярно ходил на них по иным причинам — ну, как герой «Бойцовского клуба» на группы поддержки.
➖Социальная желательность. Пообтесавшись, респонденты не то чтобы лучше понимают, каких ответов от них ждут (хотя в случае с неопытными исследователями и плохо составленными анкетами и это тоже) — скорее пытаются подстроиться под то, чего, как им кажется, от них ждут.
➖ Survey fatigue. Усталость от исследований. Участие в них оказывается настолько рутинным, что респонденты теряют понимание того, а чего ради стараться-то, да и форматы/формулировки начинают раздражать и приедаются.
Для части исследований эти факторы уместны. Но не для всех. А кроме того, не все перечисленные факторы универсальны и бесспорны. Тот же «эффект обучения» в каком-то виде определённо существует, но достоверных экспериментов, которые доказывали бы его
безусловный вред для достоверности результатов исследований, я не припомню.Там, где рисёрч проводится в целях тестирования продуктов и концепций, анализа брендинга и рекламы, U&A, — такие ограничения чаще уместны, чем нет. Там, где важно, чтобы участник не имел догадок о механике исследовательского инструментария, тоже.
Да, на ФГ про стиральные порошки не стоит звать человека, который пару месяцев назад проходил BHT-опрос или был на ФГ по чистящим средствам. А вот приглашать ли на UX-тестирование маркетплейса того, кто два месяц назад участвовал в аналогичном тесте аппа компании-страховщика, а полгода назад давал интервью о том, как проводит досуг с детьми? Может, и нет. Но стоит понимать, по каким причинам мы его не зовём. Чего конкретно мы хотим избежать и насколько велики эти риски.
Мы почему-то не боимся, что, кроме нашего расчудесного приложения таск-трекера люди, используют на том же телефоне (!) другие (!!) таск-трекеры, мессенджеры, а кто-то и CRM (!!!). Но опасаемся, что в последнее время кто-то, кроме нас, говорил с человеком о его цифровом опыте.
Особенно это удивительно, учитывая, что, как констатировали Аткинсон и Сильверман, мы живём в «обществе интервью», где все интервьюируют всех, а с разными исследовательскими методами наши современники сталкиваются куда чаще, чем их родители 30–40 лет назад. И тем не менее — постоянно: «Нужны люди на CX-исследование каршеринга. Не участвовавшие в других исследованиях минимум год».
В безоглядном стремлении найти себе, простите, девственного респондента, не затронутого тлетворным влиянием коллег, мне видится даже не романтическое, а скорее принадлежащее эпохе Просвещения желание дотронуться до некоего «чистого» опыта «благородного дикаря». Жажда аутентичности и неподдельности. Только давайте всё же помнить, что «аутентичность» и «неподдельность» тоже конструкты. Что в тяготении к ним мы подвержены тем же байасам и действию доксы, что и другие. И что, если мы задаём какие-то требования, нам нужно быть готовыми честно ответить себе, чем они обусловлены. И чего мы боимся.
❤14✍4🔥1👌1💯1
Во вторник выступил на внутреннем ивенте одного классного исследовательского комьюнити — рассказывал про быструю этнографию в бизнес-исследованиях. (С какого-то момента я стал ею заниматься чрезвычайно плотно и интенсивно, особенно в последний год.) Кажется, неплохо получилось. Вот прикидываю, не провести ли онлайн-интенсив или стрим по этой теме на пару часов. Например, с прицелом на методологию и полевую прагматику. Что скажете?
P. S. На слайде из моей презы обозначена, конечно, лишь часть рисков.
P. S. На слайде из моей презы обозначена, конечно, лишь часть рисков.
Их больше.👍19🔥8❤🔥5❤2