Хотел написать пост про важность софт скилов, но youtube как по запросу вынес видос на тему. И он настолько базовый и в точку, что я даже не вижу смысла как-то ещё его дополнять, в общем, посмотрите лучше его, он прекрасен 🍿

https://youtu.be/OffQFYSI2qQ?si=r1g9pz7ghPM-wqnc

Ля чё нашёл 😃 Я это написал в апреле и забыл запостить сюда. Мои мысли на бесконечную тему универсализации метрик для оценки различных продуктовых фичей. Предлагаю свой вариант решения, с объяснением почему я сделал так и зачем вообще это всё.

Не истина в последней инстанции, но как один из вариантов 🍿

https://habr.com/ru/articles/807585/

📌 UX-артефакты в продуктовой аналитике

В дизайне, продакт-менеджменте и маркетинге есть такие популярные инструменты для проектирования пользовательского опыта, как например CJM (Customer Journey Map) и JTBD (Jobs To Be Done).

В общем смысле это методологии для построения хорошего UX твоего продукта.

🔵CJM — это такая визуализация пути юзера с сопутствующими каждому этапу проблемами, эмоциями, решениями и т.д. Её цель в том, чтобы понимать направленность пользовательского опыта (негативный, позитивный или нейтральный) на каждом этапе воронки, выявить сложности и проблемы, и через эту призму улучшать каждый шаг взаимодействия.

🔵JTBD — это не столько про опыт в плане эмоций, сколько про фокус на задачах и целях, ради которых клиент “нанял” твой продукт. Цель этой методологии — понять что именно мотивирует клиентов приобретать и использовать продукт и какие "работы" они пытаются выполнить с его помощью.

Раньше построением этих артефактов нередко занимались и продуктовые аналитики. В свой первый продукт на ПА я прошёл по тестовому, где нужно было как раз заревьюить CJM ребят и дать рекомендации к улучшению 🙂

Потом дизайнеры стали больше про проектирование и меньше про картинки, и благополучно забрали эту работу себе. А мы с удовольствием и отдали. И очень зря.

В теории сейчас артефакты по изучению UX не являются зоной ответственности ПА, но я настоятельно рекомендую в них разобраться, если ещё не. Если ты уже можешь составить хорошую CJM для своего продукта, то поздравляю — ты, вероятно, хорошо его чувствуешь и у тебя есть то самое погружение в контекст. А это, в свою очередь, уже является требованием к ПА. Ну или хотя бы ожидается от тебя.

☝️ Кроме того, это хорошее упражнение на развитие продуктового мышления.

Недавно натыкался на хабре на пост, где ребята начали работать с гипотезами через CJM и ни о чем не жалеют. Как старый проектировщик, такое я одобряю 🙂

Гонять по 10-му кругу очередной курс сукеля и питона — это конечно хорошо, но оставим это дата аналитикам. Мы тут чтобы деньги зарабатывать бизнесу, а не скрипты туда-сюда перекладывать.

📌 Оконки LEAD и LAG

Любое уважающее себя (но это не точно) техническое интервью обязательно содержит вопрос или задачку про эти функции. Понятия не имею откуда это пошло — не то чтобы это были какие-то сверхпопулярные оконки, скорее даже редкие, но имеем что имеем.

Если ты, по каким-то загадочным причинам, слышишь об этом в первый раз, то гоу разбираться.

Смысл этих функций в притягивании соседа ДО или соседа ПОСЛЕ.

В общем виде выглядит как и любая другая оконка:

lag(some_col) over(partition by some_id order by some_dt)

Т.е. “внутри каждого потока some_id отсортируй строки по some_dt и достань мне предыдущее значение столбца some_col”.

Как и любую другую оконку можно засунуть эту конструкцию прямиком в select, в условие case или where, а при особом желании даже в join можно затянуть.

А что по примерам использования, когда полезно?

🟡При анализе пользовательских путей, если нужно достать название страницы / экрана, который предшествовал заданному. Например для поиска ключевых точек типа откуда юзеры чаще всего попадают на страницу товара;

🟡При осмотре каких-то метрик на текущий момент, чтобы быстро сравнить с предыдущим периодом и показать разницу, растёт или падает. Такое чаще практикуется в репортах, когда нужна одна конкретная цифра “на сейчас” и стрелка вверх-вниз;

🟡При анализе оттока, чтобы быстро посчитать разницу в количестве дней от текущей даты и последней датой активности юзера. Хотя тут и есть более ходовой вариант через max(date), тем не менее юзабельно;

🟡При построении всяких недельных саммари, когда нужно учитывать, например, только рабочие дни.

#собесы

Спёр в рабочем слаке) Ох, если бы оно всё было так просто 😄

Здраво, я тут чёт выпал на недельку, ну да ладно. Завтра будет кулстори как я учил SQL, работал, как потом понял что вообще нифига не умею на нём писать и как в итоге научился.

А пока гоу накидаем своих рабочих плейлистов 🙂

Начну, вот эти два основных, отлично работают, когда нужно сосредоточиться и подумать:

🎧 ностальгический (if u know u know) эмбиент на музыку Кая Розенкранца: https://www.youtube.com/watch?v=dJEngIaeEso&ab_channel=CraftofAmbience

🎧 просто 10 часов дождя с грозой 🙂 https://www.youtube.com/watch?v=l6fyiqeytaA&ab_channel=RainSoundNatural

Если думать не надо, то тут по настроению, разброс большой — от меланхоличных In Extremo и Corvus Corax (тут нужен мем про весьма специфичные вкусы), до драйвовых Talco или Goldfinger ✌️

📌 Про мой самый странный опыт АБ-тестов

Астрологи объявили неделю кулсторей 🍿

Как-то я работал в одной маленькой, но гордой (и прибыльной) компании, которая создавала инструмент для упрощение жизни маркетологов. Штат был человек 20 всего, включая офис-менеджера и ребят из поддержки.

Проводили мы там, значит, один забавный АБ-тест.

🤌 Суть такова мы проанализировали страницу с выбором тарифа. На этой странице располагалось четыре карточки тарифов, слева-направо от самого дешёвого к самому элитному. Изучили распределение покупок и увидели, что с огромным отрывом юзеры выбирают второй слева тариф. Естественно, стало интересно, что же там такое есть, что покрывает все запросы пользователей.

Начали изучать список плюшек, доступных на разных тарифах, но как не пытались найти эту киллфичу на втором тарифе — логически ничего не вырисовывалось. Все предлагаемые штуки были ну… обычными. Цена между 1-2-3 тоже не была какая-то разрывная. Почему второй, а не третий? Загадка дыры 🧐

И вот тогда, от череды неудачных попыток выявить закономерности, у нас возникла гипотеза “на дурака”, о том что им просто не хочется брать крайние тарифы, а второй на волшебном месте стоит. Ни цена, ни набор плюшек тут вообще ни при чем.

Окей, принято, заворачиваем в эксперимент. В тестовом варианте мы просто поменяли порядок отсчёта — теперь слева был самый дорогой, постепенно ухудшаясь до самого простого тарифа.

И что бы вы думали? В поведении юзеров ничего не изменилось. Они как брали вторую карточку слева, так и продолжили её брать. Только теперь это был третий по цене тариф 🙂

Магическое место сработало, мы заработали на тестовом варианте раза в 2 больше денег, p-value улетел в ноль, никакие прочие метрики не пострадали. Тест был супер успешным.

На радостях мы с продактом пришли к СЕО (в нашей маленькой компании он был финальным лицом, принимающим такие решения) чтобы получить добро на раскатку тестового варианта, иии… нас развернули по причине: “да блин… похоже на какое-то НЛП… как-то стрёмно так людей обманывать”.

Дополнительное x2 дохода не были решающим фактором для нашего СЕО. Он хотел делать просто хороший продукт без вот этих вот приколов. Как по мне, это очень уважаемое решение. Хоть и редко такое встретишь в бизнесе.

Возможно, такая культура работы с данными — это и была причина, по которой я в последствии ушёл, но всё равно, кейс показательный. Не все продукты хотят высосать из вас деньги, кто-то и правда пытается “делать мир лучше”.

А в тусовом чатике этой команды я состою до сих пор, всегда в сердечке 🙂

#кулстори

📌 Перестановочный тест

Здраво, давненько я тут не появлялся, надо исправляться 🙂

И на волне повсеместного обсуждения экспериментов, давай поговорим про такую штуку как перестановочный тест. Ещё его называют рандомизационным, точным или пермутационным.

Смысл этого теста в следующем — сначала мы объединяем результаты исследуемых групп, происходит такое логическое воплощение нулевой гипотезы об отсутствии различий в вариантах. А дальше многократно извлекаем группы изначального размера и смотрим насколько они отличаются друг от друга.

Порядок действий такой:

🔵Сливаем все данные в одну кучу;

🔵Случайным образом достаём выборку того же размера что и группа A (без возвращения);

🔵 Из оставшихся данных случайным образом достаём выборку размера группы B;

🔵Тоже самое для групп C, D и т.д., если они есть;

🔵В зависимости от выбранной статистики или оценки, которую считали на исходных данных, пересчитываем её же для новых групп. Это первая итерация перестановки;

🔵Повторяем эту процедуру множество раз для получения перестановочного распределения статистики;

🔵Дальше определяем долю перестановочных статистик, которые превышают наблюдаемую статистику. Это и будет p-value теста.

Если наблюдаемая статистика находится далеко от центра распределения перестановок, это указывает на то, что наблюдаемое различие маловероятно при условии нулевой гипотезы.

В чём соль? Этот тест является непараметрическим, не требует предположения о распределении и работает на маленьких выборках.

Например, его используют чтобы сравнивать продажи дорогостоящих товаров или продажи с долгим циклом, т.е. события, которые происходят не часто и где классический АБ будет крутиться слишком долго.

А ещё его периодически берут для сравнения несуществующих одновременно групп (как в классическом АБ), например, им иногда сравнивают периоды до и после какого-то события.

p.s. Как дела-то вообще? 🙂

Вообще не про аналитику, но фан-факт про вероятности.

Вчера я чёт рассуждал про вероятности и вспомнил что когда-то где-то видел что-то забавное про вероятность повторить порядок перемешивания карт в колоде из 52 карт. Загуглил и наткнулся на одного пикабушника, который заморочился и рассчитал.

Вкратце, когда вы перемешали колоду карт, почти наверняка выпала комбинация, которая за всё время никому никогда не выпадала. Причём, чем чаще все люди в мире перемешивают колоды, тем больше вариантов появляется и, по логике, тем выше вероятность повторить какую либо из уже появившихся комбинаций.

Там в целом интересно, но самый сок в конце, когда он объяснял это на примере:

➡️ Представьте, вы решили пойти пешком в кругосветку по экватору.

➡️ Но идти вы будете не обычным шагом, а очень мелким, каждый шаг будет в 4.2 микрона (расстояние, равное толщине листа бумаги для принтера вы пройдёте за 23 шага).

➡️ На каждом шагу вы будете останавливаться и перемешивать колоду 1000 раз в секунду на протяжении срока существования Земли (4,5 млрд лет).

➡️ Потом ещё один микро-шаг, снова остановка и так далее, пока не пройдёте весь путь.

По окончании этой кругосветки вы будете иметь 0.1% вероятности того, что пока вы шли случилось хоть одно совпадение.

#funfact для пятницы 🙂