Факапы в немодерируемых тестах и как их предотвратить
Конспект доклада Кирилла Улитина со вчерашнего Product Sense.
Немодерируемые тесты:
+ быстро
+ дёшево
+ масштабируемо
- нельзя исправить на ходу (а так-то чем раньше исправим проблему, тем дешевле она обойдётся)
- кажется простым, но нет
Сильно важна подготовка: если на входе будет мусор, то и на выходе будет мусор.
Правила
* Формулировать задания без подсказок и без однокоренных слов
* Не тестировать только предпочтения («Выберите тот вариант, который больше нравится»), всегда дополнять другими метриками
* Менять варианты местами случайно или по группам (чтобы не привыкали)
* Атомарность: один вариант — одно различие (форма, цвет, расположение)
* Просить прокомментировать выбор в открытом вопросе
* Убирать сильно отвлекающие элементы, тк могут забыть про задание — упростить прототип, если элементы мешают
* Обмануть кликеров — тех, кто бездумно прокликивают всё подряд, что кликается:
добавить больше интерактивных элементов (они могут вести на этот же экран)
добавить промежуточный экран с повтором задания
изменить курсор, чтобы он не менялся при наведении на кликабельное и не помогал найти такие места
Конспект доклада Кирилла Улитина со вчерашнего Product Sense.
Немодерируемые тесты:
+ быстро
+ дёшево
+ масштабируемо
- нельзя исправить на ходу (а так-то чем раньше исправим проблему, тем дешевле она обойдётся)
- кажется простым, но нет
Сильно важна подготовка: если на входе будет мусор, то и на выходе будет мусор.
Правила
* Формулировать задания без подсказок и без однокоренных слов
* Не тестировать только предпочтения («Выберите тот вариант, который больше нравится»), всегда дополнять другими метриками
* Менять варианты местами случайно или по группам (чтобы не привыкали)
* Атомарность: один вариант — одно различие (форма, цвет, расположение)
* Просить прокомментировать выбор в открытом вопросе
* Убирать сильно отвлекающие элементы, тк могут забыть про задание — упростить прототип, если элементы мешают
* Обмануть кликеров — тех, кто бездумно прокликивают всё подряд, что кликается:
добавить больше интерактивных элементов (они могут вести на этот же экран)
добавить промежуточный экран с повтором задания
изменить курсор, чтобы он не менялся при наведении на кликабельное и не помогал найти такие места
❤12
Нейроисследования или как при созвоне через вебку узнать настоящие эмоции пользователей
Конспект самого понравившегося мне доклада на ProductSense — Саши Микеловой, лида исследователей из Циана.
Меня зажгло, очень хочется как-нибудь попробовать!
Мне понравилось ≠ Я справился с заданием
Мне понравилось ≠ Я не сказал ничего плохого
Нейроисследования (в контексте софта Sense Machine) — исследования, помогающие узнать реальные эмоции пользователей количественно — от 150 человек. Причём это происходит через веб-камеру без специальных страшных устройств на голове респондента.
Подготовка:
1. Загружаем в личный кабинет то, что хотим протестировать
2. Можем добавить опросы с дополнительными вопросами об интерфейсе, его восприятии и тд
3. Собираем сценарий, в каком порядке респондент будет проходить тест
4. Получаем ссылку и отправляем респонденту
Что делает респондент:
1. Подписывает пользовательское соглашение (его видео никому не покажут, исследователи потом увидят только обработанные результаты)
2. Калибрует эмоции (мало ли, как он выглядит при разных)
3. Взаимодействует с материалами теста
4. Как-то меняет мимику и направление взгляда — система всё это фиксирует
А дальше нейросети обрабатывают запись.
На выходе получаем:
- тепловую карту
- 7 эмоций
- данные по кликам и времени прохождения
Примеры использования
Циан делал рекламный ролик про жизнь, где девушка стрижёт парня. Вроде бы отзывы были хорошие, а нейротест показал, что в определённом кадре у многих зрителей появляется негатив.
Посмотрели тепловую карту, куда смотрели люди. Оказалось, что очень многих раздражала грязная посуда на столе.
Конспект самого понравившегося мне доклада на ProductSense — Саши Микеловой, лида исследователей из Циана.
Меня зажгло, очень хочется как-нибудь попробовать!
Мне понравилось ≠ Я справился с заданием
Мне понравилось ≠ Я не сказал ничего плохого
Нейроисследования (в контексте софта Sense Machine) — исследования, помогающие узнать реальные эмоции пользователей количественно — от 150 человек. Причём это происходит через веб-камеру без специальных страшных устройств на голове респондента.
Подготовка:
1. Загружаем в личный кабинет то, что хотим протестировать
2. Можем добавить опросы с дополнительными вопросами об интерфейсе, его восприятии и тд
3. Собираем сценарий, в каком порядке респондент будет проходить тест
4. Получаем ссылку и отправляем респонденту
Что делает респондент:
1. Подписывает пользовательское соглашение (его видео никому не покажут, исследователи потом увидят только обработанные результаты)
2. Калибрует эмоции (мало ли, как он выглядит при разных)
3. Взаимодействует с материалами теста
4. Как-то меняет мимику и направление взгляда — система всё это фиксирует
А дальше нейросети обрабатывают запись.
На выходе получаем:
- тепловую карту
- 7 эмоций
- данные по кликам и времени прохождения
Примеры использования
Циан делал рекламный ролик про жизнь, где девушка стрижёт парня. Вроде бы отзывы были хорошие, а нейротест показал, что в определённом кадре у многих зрителей появляется негатив.
Посмотрели тепловую карту, куда смотрели люди. Оказалось, что очень многих раздражала грязная посуда на столе.
❤11😁4
[продолжение]
Тестировали 3 варианта дизайна одного и того же места в интерфейсе. Время, затраченное на выполнение задачи, и оценки респондентами разных дизайнов отличались незначительно, поэтому не получалось выбрать какой-то один.
На нейроисследовании выяснили, что один из вариантов привлекает людей гораздо сильнее остальных. Его и выбрали.
Тестировали 3 варианта дизайна одного и того же места в интерфейсе. Время, затраченное на выполнение задачи, и оценки респондентами разных дизайнов отличались незначительно, поэтому не получалось выбрать какой-то один.
На нейроисследовании выяснили, что один из вариантов привлекает людей гораздо сильнее остальных. Его и выбрали.
🔥5
Мне нравится, что UX-писательское сообщество — как большая виртуальная деревня.
Пошла я как-то читать большую статью про ошибки и пустые состояния. Оказалось, что её написала Кира, выступление которой я когда-то видела на онлайн-конференции. Статья получилось широкой, обзорной, поэтому я добавила ссылку на неё в задачник для тренировки UX-текстов.
Через некоторое время Кира сама меня нашла и предложила созвониться-познакомиться лично. Оказалось, что она при менторинге UX-писателей опирается на грейды и навыки из моей таблички. При этом она не знала, что табличку создала я, а узнала о ней от кого-то третьего.
Подписались теперь на каналы друг друга, смотрим, что ещё полезного появится:)
Из прошлого полезного у Киры
- Чем отличаются маркетинговые и продуктовые тексты
- ИИ, которые помогут в работе с текстами
- Почему UX-писателю частенько нужныстальные яйца способность всё порешать
Почитайте, советую:)
Пошла я как-то читать большую статью про ошибки и пустые состояния. Оказалось, что её написала Кира, выступление которой я когда-то видела на онлайн-конференции. Статья получилось широкой, обзорной, поэтому я добавила ссылку на неё в задачник для тренировки UX-текстов.
Через некоторое время Кира сама меня нашла и предложила созвониться-познакомиться лично. Оказалось, что она при менторинге UX-писателей опирается на грейды и навыки из моей таблички. При этом она не знала, что табличку создала я, а узнала о ней от кого-то третьего.
Подписались теперь на каналы друг друга, смотрим, что ещё полезного появится:)
Из прошлого полезного у Киры
- Чем отличаются маркетинговые и продуктовые тексты
- ИИ, которые помогут в работе с текстами
- Почему UX-писателю частенько нужны
Почитайте, советую:)
Хабр
Дорогая, что-то пошло не так. Гид по пустым состояниям и ошибкам + шаблоны на все случаи
Всем привет! Меня зовут Кира Калимулина, я руководитель группы UX-редактуры в Ozon. Я занимаюсь всеми интерфейсными текстами в приложении и на сайте. UX-тексты сильно отличаются от маркетинговых...
❤19👍8🔥4
Пилот
Это не про водителя самолёта, а про вид исследования — конспект доклада с Product Sense 2023
Включает лучшие характеристики других тестов:
- опросов
- интервью
- наблюдений
- дневников
- фокус-групп
Пилот — обкатка на ограниченной группе пользователей чего-либо с возможностью получать обратную связь от них в режиме реального времени.
- качественный метод
- 7–20 участников
- от 2 недель
Пример: собираем пользователей в чате в телеграме, выдаём им задания, и они пишут в этот чат, как справлялись, каким вопросы, мысли и чувства возникали по ходу и тд.
1. Подготовка
- рекрут участников
- определить место общения
- готовить задания для сбора ОС по ходу пилота
- прописать правила для участников
для кого и чего чат
что и когда писать участникам
кто и когда отвечает участникам (наше рабочее время и часовой пояс)
формат и тон общения
2. Проведение
- даём задания и мотивационную подпитку
- отвечаем на вопросы с пристрастием (докапываемся)
- запускаем опросы по итогам недели
- заносим в сводные данные
3. Обработка
- добиваем сводную таблицу
- обрабатываем, интерпретируем, строим CJM
- берём результаты в работу: задачи в продвижение, техподдержку и разработку — например, видос про пользователей (чтобы они узнали в персонажах себя), статьи для них
Плюсы
- жизнь с пользователями в реальном времени
- большой объём инфы с максимальной прокопкой
- общение — база для онбординга и продвижения
- проверка слов данными
- из участников пилота получается группа быстрого реагирования в будущем
Минусы
- время на подготовку
- нужно уметь задавать вопросы и вести переговоры
- может не полететь из-за особенностей целевой аудитории
Это не про водителя самолёта, а про вид исследования — конспект доклада с Product Sense 2023
Включает лучшие характеристики других тестов:
- опросов
- интервью
- наблюдений
- дневников
- фокус-групп
Пилот — обкатка на ограниченной группе пользователей чего-либо с возможностью получать обратную связь от них в режиме реального времени.
- качественный метод
- 7–20 участников
- от 2 недель
Пример: собираем пользователей в чате в телеграме, выдаём им задания, и они пишут в этот чат, как справлялись, каким вопросы, мысли и чувства возникали по ходу и тд.
1. Подготовка
- рекрут участников
- определить место общения
- готовить задания для сбора ОС по ходу пилота
- прописать правила для участников
для кого и чего чат
что и когда писать участникам
кто и когда отвечает участникам (наше рабочее время и часовой пояс)
формат и тон общения
2. Проведение
- даём задания и мотивационную подпитку
- отвечаем на вопросы с пристрастием (докапываемся)
- запускаем опросы по итогам недели
- заносим в сводные данные
3. Обработка
- добиваем сводную таблицу
- обрабатываем, интерпретируем, строим CJM
- берём результаты в работу: задачи в продвижение, техподдержку и разработку — например, видос про пользователей (чтобы они узнали в персонажах себя), статьи для них
Плюсы
- жизнь с пользователями в реальном времени
- большой объём инфы с максимальной прокопкой
- общение — база для онбординга и продвижения
- проверка слов данными
- из участников пилота получается группа быстрого реагирования в будущем
Минусы
- время на подготовку
- нужно уметь задавать вопросы и вести переговоры
- может не полететь из-за особенностей целевой аудитории
❤13
Как раз поэтому UX-писатель, дизайнер, продакт всё время придумывают несколько вариантов, делают разные концепты, тестируют и смотрят метрики: что понятнее, что лучше зашло, что заработало больше денег.
И поэтому у меня в задачнике для UX-писателей я проверяю ход мыслей и аргументацию, а не говорю, как надо было сделать:)
И поэтому у меня в задачнике для UX-писателей я проверяю ход мыслей и аргументацию, а не говорю, как надо было сделать:)
boosty.to
Весь задачник - Таня Фокина
Задачник целиком.
Чтобы я проверяла решения, можно купить отдельную задачку или подписаться на один из уровней с проверкой.
Чтобы я проверяла решения, можно купить отдельную задачку или подписаться на один из уровней с проверкой.
🥱1
Forwarded from CEO оптимизированный, Glazkov Vadim (Vadim Glazkov)
Мариванна, есть задачи приоритетнее домашки
Нас поломали школьными и университетскими задачами.
Всю учебную жизнь нас учили их решать:
• Они уже решены кем-то
• Преподаватель знает решение задачи и даёт её посильной
• Существует ограниченное количество способов решения, зачастую один
• Задача должна быть выполнена в определенный срок в полном объёме, и никак иначе: не засчитаются промежуточный результат или понимание, что задачу делать не нужно.
• Количество задач ограничено вместимостью ученика и студента. Вместимость ограничены трудоёмкостью дисциплин учебного плана. И проверена опытом преподавателей, которые годами дают те же задания тем же студентам.
На работе условия игры меняются:
• Задачи имеют много решений
• А могут быть нерешаемы
• Бинарного «правильного/неправильного» решения может не быть — появляются многомерные градиенты: более эффективное, дешевле, менее рискованое.
• На вас всегда будет сыпаться больше задач, чем ваша вместимость
Что делать: приоритезировать, отсекать лишнее, говорить «нет», изучать свою вместимость и вместимость команды.
Я изучаю вместимость методом порванного пакета (меня). Экологичнее способа я не знаю.
А Ваня Шишкин вон описал свою вместимость в разных сферах: количество подчинённых, сессий в день, встреч с друзьями и других.
Нас поломали школьными и университетскими задачами.
Всю учебную жизнь нас учили их решать:
• Они уже решены кем-то
• Преподаватель знает решение задачи и даёт её посильной
• Существует ограниченное количество способов решения, зачастую один
• Задача должна быть выполнена в определенный срок в полном объёме, и никак иначе: не засчитаются промежуточный результат или понимание, что задачу делать не нужно.
• Количество задач ограничено вместимостью ученика и студента. Вместимость ограничены трудоёмкостью дисциплин учебного плана. И проверена опытом преподавателей, которые годами дают те же задания тем же студентам.
На работе условия игры меняются:
• Задачи имеют много решений
• А могут быть нерешаемы
• Бинарного «правильного/неправильного» решения может не быть — появляются многомерные градиенты: более эффективное, дешевле, менее рискованое.
• На вас всегда будет сыпаться больше задач, чем ваша вместимость
Что делать: приоритезировать, отсекать лишнее, говорить «нет», изучать свою вместимость и вместимость команды.
Я изучаю вместимость методом порванного пакета (меня). Экологичнее способа я не знаю.
А Ваня Шишкин вон описал свою вместимость в разных сферах: количество подчинённых, сессий в день, встреч с друзьями и других.
❤10🔥5
Хочу сделать совместный UX-техписательский эфир с одним известным и очень крутым человеком из сферы технической документации.
Есть ли у вас какие-нибудь вопросы по пересечению этих сфер? Закидывайте в комментарии к этому посту:)
Есть ли у вас какие-нибудь вопросы по пересечению этих сфер? Закидывайте в комментарии к этому посту:)
👍19❤🔥14
Торжественно клянусь, что замышляю никогда не постить сторис от имени этого канала💫
😁59🤝19🔥13❤7👍5
Минутка практики: что бы вы переделали на этом экране?
Контекст: захожу в приложение ввести показания счетчиков, не могу провалиться в описание квартиры, пока не подгрузятся данные услуг для оплаты (вода, электричество, вывоз мусора и тд).
Upd: а давайте потренируемся, как сделать антипример, чтобы совсем ничего не понятно?:)
Контекст: захожу в приложение ввести показания счетчиков, не могу провалиться в описание квартиры, пока не подгрузятся данные услуг для оплаты (вода, электричество, вывоз мусора и тд).
Upd: а давайте потренируемся, как сделать антипример, чтобы совсем ничего не понятно?:)
🙈4🤡1
Подкаст про технических писателей (и немного про совмещение с UX)
Встретились с Семёном Факторовичем и записали классный подробный подкаст про профессию технического писателя, как им стать, какие навыки для этого нужны и куда расти, если ты уже технический писатель.
Смотреть или слушать на Youtube
Упоминались в подкасте
Компания Семёна
Онлайн-курсы Семёна
Книга "The Product is Docs" про современный комплексный взгляд на документацию
Портал справки к продуктам Яндекса
Подкаст, благодаря которому родители Семёна поняли, чем он занимается
- Документация Stripe
- Сказ о том, как Семён техписателей нанимал
Книжная полка начинающего техписателя
- Максим Ильяхов «Пиши, сокращай»
- Кагарлицкий, «Разработка документации программного продукта»
- Technical Writing 101
Таймкоды
Введение
00:32 — представление Семёна
05:47 — как мы познакомились с Семёном, что нас объединяет
07:38 — кому будет интересен подкаст: техническим писателям, UX-писателям, тем, кто хочет ими стать, смежным профессиям, где нужна документация
09:20 — кто такие технические писатели, чем отличаются, чем похожи. Что такое техническая документация
14:20 — специализации технических писателей
19:41 — про UX-писателей: кто они, чем занимаются
Поподробнее про технических писателей: грейды, деньги, лучшие практики
32:40 — грейды технических писателей
42:51 — навыки, которые нужны, чтобы стать техническим писателем
1:06:02 — лидерство
1:10:17 — сколько зарабатывают технические писатели, и когда в командах их начинают нанимать
1:23:06 — как объяснить маме, кем ты работаешь (не просто буковки пишешь)
1:32:45 — лучшие практики в технической документации
Совмещение UX и технического писателя в одном человеке
1:45:50 — насколько эффективно совмещать эти роли? Где проходит тонкая грань между UX и техническим писательством?
1:55:30 — сложное ПО, тексты пишут разработчики. Всегда ли нужен UX-писатель?
1:57:45 — Я сейчас совмещаю, как разделять подходы, потому что они очень разнятся для этих сфер?
2:03:00 — Где взять вакансии, чтобы совмещать UX и техписательство?
Встретились с Семёном Факторовичем и записали классный подробный подкаст про профессию технического писателя, как им стать, какие навыки для этого нужны и куда расти, если ты уже технический писатель.
Смотреть или слушать на Youtube
Упоминались в подкасте
Компания Семёна
Онлайн-курсы Семёна
Книга "The Product is Docs" про современный комплексный взгляд на документацию
Портал справки к продуктам Яндекса
Подкаст, благодаря которому родители Семёна поняли, чем он занимается
- Документация Stripe
- Сказ о том, как Семён техписателей нанимал
Книжная полка начинающего техписателя
- Максим Ильяхов «Пиши, сокращай»
- Кагарлицкий, «Разработка документации программного продукта»
- Technical Writing 101
Таймкоды
Введение
00:32 — представление Семёна
05:47 — как мы познакомились с Семёном, что нас объединяет
07:38 — кому будет интересен подкаст: техническим писателям, UX-писателям, тем, кто хочет ими стать, смежным профессиям, где нужна документация
09:20 — кто такие технические писатели, чем отличаются, чем похожи. Что такое техническая документация
14:20 — специализации технических писателей
19:41 — про UX-писателей: кто они, чем занимаются
Поподробнее про технических писателей: грейды, деньги, лучшие практики
32:40 — грейды технических писателей
42:51 — навыки, которые нужны, чтобы стать техническим писателем
1:06:02 — лидерство
1:10:17 — сколько зарабатывают технические писатели, и когда в командах их начинают нанимать
1:23:06 — как объяснить маме, кем ты работаешь (не просто буковки пишешь)
1:32:45 — лучшие практики в технической документации
Совмещение UX и технического писателя в одном человеке
1:45:50 — насколько эффективно совмещать эти роли? Где проходит тонкая грань между UX и техническим писательством?
1:55:30 — сложное ПО, тексты пишут разработчики. Всегда ли нужен UX-писатель?
1:57:45 — Я сейчас совмещаю, как разделять подходы, потому что они очень разнятся для этих сфер?
2:03:00 — Где взять вакансии, чтобы совмещать UX и техписательство?
YouTube
О технических писателях с Семёном Факторовичем
Упоминались в подкасте
Компания Семёна: documentat.io/?utm_source=ux_channel
Онлайн-курсы Семёна: documentat.io/courses/?utm_source=ux_channel
Книга "The Product is Docs" про современный комплексный взгляд на документацию: https://www.amazon.com/Product…
Компания Семёна: documentat.io/?utm_source=ux_channel
Онлайн-курсы Семёна: documentat.io/courses/?utm_source=ux_channel
Книга "The Product is Docs" про современный комплексный взгляд на документацию: https://www.amazon.com/Product…
❤22🔥12👍5
Forwarded from Про удобство (Михаил Греков) (Mikhail Grekov)
80% знаний получаются за 20% времени и стоят недорого — это джун уровень.
Самые ценные знания, а их немного — 20% от всех — получаются за 80% времени и стоят в разы больше.
Самые ценные знания, а их немного — 20% от всех — получаются за 80% времени и стоят в разы больше.
❤38👍7🤔2
Ну или хотя бы картинки/анимашки разные делать, как Почта Mail.ru. Вот их письма я каждый год проверяю, радуют:)
🥰18
Погнали 16 декабря на @uxmarafon про UX writing?
Я там расскажу про рост и развитие UX-писателя, навыки и переходы между профессиями или ролями.
У других спикеров тоже крутые темы: про правила классного текста, шаблоны, работу почти в поддержке, процессы, tov, встраивание в команду, тесты и их отсутствие и работу с нейросетками. Насыщенно, да?
- 16 декабря, суббота
- Начало в 10 Мск
- Онлайн, записи будут на платформе UX-марафона
Посмотреть программу целиком
Я там расскажу про рост и развитие UX-писателя, навыки и переходы между профессиями или ролями.
У других спикеров тоже крутые темы: про правила классного текста, шаблоны, работу почти в поддержке, процессы, tov, встраивание в команду, тесты и их отсутствие и работу с нейросетками. Насыщенно, да?
- 16 декабря, суббота
- Начало в 10 Мск
- Онлайн, записи будут на платформе UX-марафона
Посмотреть программу целиком
🔥31❤5