📌 Перестановочный тест

Здраво, давненько я тут не появлялся, надо исправляться 🙂

И на волне повсеместного обсуждения экспериментов, давай поговорим про такую штуку как перестановочный тест. Ещё его называют рандомизационным, точным или пермутационным.

Смысл этого теста в следующем — сначала мы объединяем результаты исследуемых групп, происходит такое логическое воплощение нулевой гипотезы об отсутствии различий в вариантах. А дальше многократно извлекаем группы изначального размера и смотрим насколько они отличаются друг от друга.

Порядок действий такой:

🔵Сливаем все данные в одну кучу;

🔵Случайным образом достаём выборку того же размера что и группа A (без возвращения);

🔵 Из оставшихся данных случайным образом достаём выборку размера группы B;

🔵Тоже самое для групп C, D и т.д., если они есть;

🔵В зависимости от выбранной статистики или оценки, которую считали на исходных данных, пересчитываем её же для новых групп. Это первая итерация перестановки;

🔵Повторяем эту процедуру множество раз для получения перестановочного распределения статистики;

🔵Дальше определяем долю перестановочных статистик, которые превышают наблюдаемую статистику. Это и будет p-value теста.

Если наблюдаемая статистика находится далеко от центра распределения перестановок, это указывает на то, что наблюдаемое различие маловероятно при условии нулевой гипотезы.

В чём соль? Этот тест является непараметрическим, не требует предположения о распределении и работает на маленьких выборках.

Например, его используют чтобы сравнивать продажи дорогостоящих товаров или продажи с долгим циклом, т.е. события, которые происходят не часто и где классический АБ будет крутиться слишком долго.

А ещё его периодически берут для сравнения несуществующих одновременно групп (как в классическом АБ), например, им иногда сравнивают периоды до и после какого-то события.

p.s. Как дела-то вообще? 🙂

Вообще не про аналитику, но фан-факт про вероятности.

Вчера я чёт рассуждал про вероятности и вспомнил что когда-то где-то видел что-то забавное про вероятность повторить порядок перемешивания карт в колоде из 52 карт. Загуглил и наткнулся на одного пикабушника, который заморочился и рассчитал.

Вкратце, когда вы перемешали колоду карт, почти наверняка выпала комбинация, которая за всё время никому никогда не выпадала. Причём, чем чаще все люди в мире перемешивают колоды, тем больше вариантов появляется и, по логике, тем выше вероятность повторить какую либо из уже появившихся комбинаций.

Там в целом интересно, но самый сок в конце, когда он объяснял это на примере:

➡️ Представьте, вы решили пойти пешком в кругосветку по экватору.

➡️ Но идти вы будете не обычным шагом, а очень мелким, каждый шаг будет в 4.2 микрона (расстояние, равное толщине листа бумаги для принтера вы пройдёте за 23 шага).

➡️ На каждом шагу вы будете останавливаться и перемешивать колоду 1000 раз в секунду на протяжении срока существования Земли (4,5 млрд лет).

➡️ Потом ещё один микро-шаг, снова остановка и так далее, пока не пройдёте весь путь.

По окончании этой кругосветки вы будете иметь 0.1% вероятности того, что пока вы шли случилось хоть одно совпадение.

#funfact для пятницы 🙂

📌 Как решать аналитические задачи

Если вдруг ты выходишь на работу, а вместо 3 лет опыта, нарисованных в резюме, у тебя на самом деле 3 недели просмотров ютуба, то чтобы голова не взорвалась и ты не впадал(-а) в панику, закину тебе алгоритм, который подходит если не ко всем, то очень ко многим задачам. Я как-то так и подхожу к своим, но что-то мне подсказывает, что интуитивно так все и делают 🙃

В который раз убедимся, что главное слово в IT — это декомпозиция.

Итак, представим что тебе прилетает задачка разобраться с чем-то там, провести какое-нибудь исследование или оценить что-то. Обычно задачи аналитикам ставят, как это не удивительно, на анализ чего-нибудь.

Я стараюсь декомпозировать задачу с конца и двигаюсь к началу.

1️⃣ Всё начинается с этапа вопросов заказчику — зачем это исследование нужно, как его результаты будут использоваться, а что если ожидания не оправдаются и т.д. Твоя задача попытаться понять суть исследования, как так получилось что именно текущая постановка задачи отвечает на изначальный вопрос. Если логика не ломается и постановка норм, то переходим к следующему шагу.

2️⃣ Подумай, какой метод анализа лучше всего ответит на вопрос, какой график лучше опишет происходящее (не игнорируй графики, это всё ещё лучший способ представления данных). Отвечает ли твой анализ на вопрос задачи? Можно ли сделать выводы?

3️⃣ Когда с методом анализа определились, попробуй представить какая таблица тебе нужна будет на вход. Если это, например, модель, то какие параметры она требует, в каком формате и т.д. Это ключевой пункт, удели внимание и порисуй в блокнотике.

4️⃣ Когда ты понимаешь что хочешь получить, откатывайся ещё на шаг назад, к сырым данным. Теперь тебе нужно подумать как из потока хаоса собрать то, что тебе нужно. Вполне возможно, каких-то данных будет не хватать. Оцени, критично ли это, сработает ли модель без них или нужно блокировать задачу и дособирать данные.

5️⃣ Если логика запроса пока не укладывается в голове, используй промежуточные таблицы (Боже, храни Королеву CTE). Отдельно собери юзеров, отдельно сессии, отдельно транзакции. Упрощай составные таблицы, тащи только самое необходимое. С опытом ты будешь видеть запрос хоть за 10 шагов, и если тут пока сложности, это нормально. Специфика сукеля — easy to learn, hard to master.

6️⃣ В общем-то это и всё, теперь пошагово пройдись в обратную сторону и собери итоговый артефакт, проанализируй, сделай выводы, оформи красиво и неси заказчику 👌

📌 Аналитический департамент. Кто?

О том, что делает продуктовый аналитик мы уже говорили. Давай сделаем шаг назад и посмотрим где эта фантастическая тварь вообще обитает. Как устроен, откуда вырос и как развивается аналитический департамент.

Сразу поясню, что IT — штука довольно гибкая, и у тебя может возникнуть острая боль в нижней части спины, потому что вот конкретно у тебя в компании не так. Это нормально. Но всё же есть относительно общая универсальная схема.

🌸 Ноги это дела всегда растут из маркетинга. В какой-то момент MVP стартапа запускается и появляется потребность обкатать его на реальных юзерах. Маркетологи создают рекламные кампании и зарождают первый аналитический артефакт — разметку. Их цель глобально в повышении стоимости потраченных денег, а локально в оценке эффективности кампаний и источников траффика, поэтому глубокую продуктовую разметку они не делают. Эта история скорее про UTM-метки и ключевые конверсии.

Тут подрубаются коробочные решения типа GA, AppsFlyer, AppAnnie и т.д., всё что умеет считать инсталлы и базовые ивенты.

🌸 Если MVP с треском не провалился, можно озадачиться повышением качества точек входа в продукт — рекламных лендосов и всего околомаркетингового. Это самая простая точка роста на стартовом этапе развития. Но т.к. маркетологам на это тупо не хватает времени, то в команде может появиться первый веб- (или маркетинговый) аналитик, который начинает крутить лендосы, чтобы повысить конверсии в регу.

Он притянет GTM, GA, Firebase, AppMetrica — кароч всякое для веб-аналитики.

🌸 Бизнес потихоньку растёт, бэклог активно наполняется продуктовыми задачами из головы ведущих лиц бизнеса и в целом всё хорошо. Вот тут уже появляется потребность в оценке эффективности самого продукта. Но прежде чем начинать его анализировать, нужно подготовить, так сказать, рабочее место. Идеальный момент чтобы нанять дата-инженера и инвестировать в будущее. Это важный ключевой момент в развитии аналитики. Задача инженера собрать все источники данных, которые уже нагенерили предыдущие ребята, и построить единую платформу для работы с данными.

Сквозная аналитика, warehouse, dataLake — вот это набор слов отсюда. Тут инфра сильно увеличивается на сервера, оркестраторы и всякую инженерную магию.

🌸 Когда инфраструктура более-менее подготовлена, можно расширяться на аналитиков — дата- для отладки качества данных, подхвата адхоков и построения всякой базы типа начальных BI + продуктового, для подготовки почвы под дальнейшую работу по улучшению продукта. Тут мы обычно начинаем с разметки событийки и отладки того, как это всё работает.

Подключаются user-based трекеры типа Segment (или пишутся свои), настраиваются ETL-процессы, ставится какая-то простая SQL-based BI-система вроде Redash или Superset.

🌸 В целом, базовый набор готов, параллельно с этими этапами (где-то ближе к началу) прикручиваем CDO, чтобы питчить идеи в C-level, выбивать бюджеты и содержать весь этот зоопарк.

🌸 С ростом объёмов обрабатываемых данных, бизнес начинает смотреть в сторону более узких специалистов, тут появляется BI-аналитик, который забирает на себя витрины и дашборды, параллельно плюясь, матерясь и переделывая то что уже наворотили.

Redash на этом этапе эволюционирует в какой-нибудь более сложный инструмент вроде QlickSense, Power BI или Tableau.

🌸 Когда бизнес уже основательно разросся, неизбежно появляются задачи предсказаний и персонализации. Так в отделе появляется элита в лице датасайентистов.

Как-то так это устроено. Конечно, это всё схематично, на самом деле каждый чел из списка это скорее мини-команда со своим тимлидом и процессами, но логика мсштабирования примерно такая.

Привет, рассказываю про планы на бложик 🙂

Вы, наверное, могли заметить, что я почти месяц где-то пропадал. Это, во многом было связано с лёгкой усталостью от ведения канала. Я отдохнул, подумал что с этим делать и решил что-то поменять, так сказать, сделать следующий шаг и поставить таки эту телегу на рельсы монетизации. К тому же, каналу уже скоро год, пора бы.

Но все предложения рекламы, которые мне летят, это в основном какой-то скам типа “курс с нуля до про за 2 часа”, “войти в айти на 300к без опыта и навыков” и тому подобное. А я вас достаточно люблю чтобы не спамить такое 😘

Поэтому главный апдейт, который уже был заспойлерен — планирую раскатить Boosty со всякими платными подписочками, если вы вдруг хотите меня поддержать.

Нет, этот канал туда не переезжает, это другое.

Что пока планируется там:

✨ Большие посты. Каждый второй пост для телеги получается слишком объёмным и не влезает по лимитам, поэтому приходится сокращать половину. На бусти такой проблемы нет, т.к. формат больше статейный. Ну и картинки в середину текста можно ставить. Там уже дозревает гайд по SQL для самых маленьких и кулстори про систему приоритезации задач (с кодом и демкой).

✨ Эксклюзивы. Часть постов в телегу дублировать я не буду, а то вы не подпишетесь.

✨ Вопросник. Док, куда все желающие смогут закинуть свой вопрос (или апнуть чужой), а как что-то накапает, поразбираем в какой-нибудь тематической рубрике. Такое условно-бесплатное групповое менторство 💅

✨ Разборы резюмешек. Это скорее приватная история, мы с HR поразгоняем твоё CV с разных точек зрения.

✨ Разборы твоих тестовых задачек. Я не пропагандирую волчистость, поэтому решать за тебя не буду, но помогу разобраться что от тебя хотят на выходе, подскажу план действий с запросом и методом анализа.

✨ Разбор реальных задачек. Без настоящей инфы, конечно, но максимально приближенно к типовым в разных доменных областях. Посмотреть чем занимается аналитик в жизни, а не на курсах 🙂

Ну и ещё несколько идей для всяких рубрик. Когда ты чувствуешь отдачу на карточке, это мотивирует делать что-то регулярнее и качественнее.

Что останется тут:

✨ В общем виде всё останется как и было — большинство постов с бусти из первого тарифа в урезанной версии (точнее в обычной для этого канала, это там расширено) пойдут и сюда.

✨ Больше коротких постов, как в телеге и задумано дизайном. Что-то ближе к твиттеру.

Что будет (наверное) ещё:

✨ Аккуратно поглядываем в сторону видео-формата, может и до ютуба и (прости господи) вк-видео докатимся. Смотря как бусти пойдёт 💅

✨ Поэкспериментируем с дизайном. Пора бы уже и визуал какой-то более целостный накатывать.

Как вы могли понять, мой продюсер тоже отдохнул 😀 Кароч планов много, будем потихонечку развивать это всё.

Приветики, а помните в прошлом году в мире многие страны тестировали 4-х дневную рабочую неделю? Они теперь периодически постят результаты, и там прям прекрасное 🤩

Вот из недавнего по Великобритании:

🔵Большинство участвующих компаний в Великобритании сделали эту политику постоянной. Из 61 компании 54 (89%) продолжают придерживаться этого графика, а 31 компания (51%) официально перешли на четырехдневную неделю.

🔵82% компаний отметили улучшение благополучия сотрудников, а 50% — снижение текучести кадров. Позитивное влияние на организацию отметили все опрошенные руководители, причем более половины описали его как «очень положительное».

🔵Основные улучшения наблюдались в work-life балансе и физическом / психическом здоровье.

🔵Там даже зафиксировали улучшение качества воздуха. Видимо, потому что все душнилы остались по домам.

Ждём когда эта практика докатится и до нас? 🍿

Я доделал Boosty 💅

Залетайте, подписывайтесь и наливайте кофейку, потому что там лонгриды. Пока там больше для новичков, но уже есть:

✅ про инструментарий ПА,
✅ про юнит-экономику,
✅ про взаимодействие с менеджерами,
✅ и ещё про SQL, куда ж без него.

Там 3 тарифа, со своими плюшками, лучше сначала скипнуть кривую систему попапов бусти про подписку и глянуть что есть.

Ой, да чё я рассказываю, иди да посмотри 😀