Интересно сравнить подходы к приоритизации гипотез разными фреймворками: RICE, PIE, ICE(1,2), PXL.
Вначале казалось, что явное преимущество у PXL, из-за того, что он минимизирует оценочность, основывается на простой фактуре. Но, вот, гипотезы, которые не связаны с UX, трудно им оценить. Они всегда будут проигрывать тем, что основаны на UX.
Да, и гипотеза - это не всегда про AB тест
Про PXL здесь: https://cxl.com/blog/better-way-prioritize-ab-tests/
Вначале казалось, что явное преимущество у PXL, из-за того, что он минимизирует оценочность, основывается на простой фактуре. Но, вот, гипотезы, которые не связаны с UX, трудно им оценить. Они всегда будут проигрывать тем, что основаны на UX.
Да, и гипотеза - это не всегда про AB тест
Про PXL здесь: https://cxl.com/blog/better-way-prioritize-ab-tests/
CXL
PXL: A Better Way to Prioritize Your A/B Tests
If you're doing it right, you probably have a large list of A/B testing ideas in your pipeline. Some good ones (data-backed or result of a careful
Forwarded from Lena Seregina 📈🧘♀️♥️ (Lena Seregina)
Рада поделиться с вами моей первой англоязычной статьёй. Она является значительной доработкой статьи 2019 года на русском, которая по сути обеспечила мне карьеру консультанта по метрикам и продуктовой аналитике. За эти годы практики я многое переосознала. Поэтому статья, которую я сегодня предлагаю вам к прочтению больше, чем просто перевод и даже более — это скорее не перевод, а совершенно новое прочтение уже знакомой вам истории и подхода.
https://productcoalition.com/metrics-hierarchy-and-metrics-pyramid-aligning-product-and-business-goals-7335dae66c94
https://productcoalition.com/metrics-hierarchy-and-metrics-pyramid-aligning-product-and-business-goals-7335dae66c94
Forwarded from Product Analytics
Forwarded from Этюды для программистов на Python (Дима Федоров)
Запускаю несколько долгосрочных открытых проектов 🐍
1️⃣ Воспроизводимая наука о данных
Свободный учебник (в разработке) на основе моего курса по анализу данных для экономистов по ссылке.
2️⃣ Python для программистов
Свободный учебник (в разработке) на основе моего курса по языкам программирования по ссылке.
3️⃣ Сообщество преподавателей Python
Я преподаю Python в школах, вузах и на различных курсах более пяти лет.
И я искренне верю, что только объединив усилия, мы сделаем преподавание ИТ в России лучше.
Именно поэтому я хочу создать сообщество преподавателей Python для поддержки, обмена идеями и полезными материалами.
Подробности по ссылке.
1️⃣ Воспроизводимая наука о данных
Свободный учебник (в разработке) на основе моего курса по анализу данных для экономистов по ссылке.
2️⃣ Python для программистов
Свободный учебник (в разработке) на основе моего курса по языкам программирования по ссылке.
3️⃣ Сообщество преподавателей Python
Я преподаю Python в школах, вузах и на различных курсах более пяти лет.
И я искренне верю, что только объединив усилия, мы сделаем преподавание ИТ в России лучше.
Именно поэтому я хочу создать сообщество преподавателей Python для поддержки, обмена идеями и полезными материалами.
Подробности по ссылке.
Услышал недавно от продакта такое: "Зачем нам это тестировать? У этого, этого и этого конкурента это уже есть, они же не дураки. И мы такое же себе сделаем, не прогадаем".
Очень смешно. Вот так и появляются одинаково убогие решения на многих сайтах одной тематики. Возразить на это он не смог. Так и живем, приоритизируем гипотезы.
Очень смешно. Вот так и появляются одинаково убогие решения на многих сайтах одной тематики. Возразить на это он не смог. Так и живем, приоритизируем гипотезы.
Forwarded from WebAnalytics (Осиюк Дмитрий)
Ребята из OWOX сделали бесплатный тег для GTM Server-Side, который позволяет организовать стриминг GA4 данных в GBQ без использования нативного экспорта данных: https://www.owox.com/c/gtmss-ga4-tag
Пригодится, если нужно:
1. Отправлять данные в EU Storage минуя сервера GA (привет, GDPR)
2. Обойти ограничение в выгрузке в 1 млн. событий в бесплатной версии
3. Получать real-time данные
via @WebAnalyst
Пригодится, если нужно:
1. Отправлять данные в EU Storage минуя сервера GA (привет, GDPR)
2. Обойти ограничение в выгрузке в 1 млн. событий в бесплатной версии
3. Получать real-time данные
via @WebAnalyst
Forwarded from xGLab - платформа футбольной аналитики
Большое обновление xglab.pro - мы добавили поддержку древовидных (вложенных) метрик. Теперь вы можете начать анализировать, например, EPV игрока и увидеть, что он много набирает за счет стандартов. Чтобы разобраться подробнее, можно отключить все, кроме стандартов, а на стандарты посмотреть в деталях - сколько набрано после угловых, сколько после штрафных и так далее.
Можно посмотреть как на общий вклад игрока в EPV, где его отрицательные действия будут складываться с положительными, а можно посмотреть их раздельно, чтобы понимать, насколько активно игрок участвовал в эпизодах.
Мы переработали таблицу рейтингов и все графики, чтобы они поддерживали такую фильтрацию и группировку.
Пересобрали метрику EPV и использовали все возможности вложенной структуры - теперь мы подсчитываем не только точные пасы и кэрри, но и неточные пасы с разбиением на различные игровые ситуации.
Можно посмотреть как на общий вклад игрока в EPV, где его отрицательные действия будут складываться с положительными, а можно посмотреть их раздельно, чтобы понимать, насколько активно игрок участвовал в эпизодах.
Мы переработали таблицу рейтингов и все графики, чтобы они поддерживали такую фильтрацию и группировку.
Пересобрали метрику EPV и использовали все возможности вложенной структуры - теперь мы подсчитываем не только точные пасы и кэрри, но и неточные пасы с разбиением на различные игровые ситуации.
Forwarded from xGLab - платформа футбольной аналитики
Наши метрики стали более детализированными, поэтому наша команда подготовила детальную документацию о том, что такое метрика EPV и как мы считаем ее для каждого из видов событий. С формулами, стрелочками и примерами из матчей. Это не одноразовая статья - мы будем совершенствовать и актуализировать документацию, если найдем примеры получше или изменим алгоритмы на платформе.
https://xglab.notion.site/EPV-a4e1b756f67f49e5a4d06a668340c99e
Если у вас есть предложения по улучшению документации или какие-то вопросы - пишите в комментарии.
Полный список тех, кто нам помогал с обновлением не уложится в лимит на размер поста, поэтому благодарности размещу в комментариях, там же и вы сможете послать лучи добра этим прекрасным людям!
https://xglab.notion.site/EPV-a4e1b756f67f49e5a4d06a668340c99e
Если у вас есть предложения по улучшению документации или какие-то вопросы - пишите в комментарии.
Полный список тех, кто нам помогал с обновлением не уложится в лимит на размер поста, поэтому благодарности размещу в комментариях, там же и вы сможете послать лучи добра этим прекрасным людям!
Сейчас обсуждаем приоритезацию гипотез. Как базовый фреймворк используется RICE. А PXL все же отвергли.
Посмотрел на предыдущие оценки RICE. И в них показатель уверенности (Confidence) всегда 75-100%. Впечатлила такая уверенность продакт-менеджеров в себе.
Самое интересное, что ретроспективно не анализировали, что получилось в результате. Допускаю, что результат был достигнут не более, чем в 30-40%. Так и живем...
Посмотрел на предыдущие оценки RICE. И в них показатель уверенности (Confidence) всегда 75-100%. Впечатлила такая уверенность продакт-менеджеров в себе.
Самое интересное, что ретроспективно не анализировали, что получилось в результате. Допускаю, что результат был достигнут не более, чем в 30-40%. Так и живем...
Forwarded from Trisigma — про эксперименты (Iskαnder)
Winner’s Curse: Bias Estimation for Total Effects of Features in
Online Controlled Experiments
Еще раз про bias, но не про novelty effects, heavy users и т.п..
В один момент могут проводиться десятки-сотни экспериментов, и в прод идут только с успешным вердиктом. Совокупный эффект этих экспериментов может быть завышен, если смотреть на их комбинацию «влоб». В пейпере приводится метод, позволяющий избавиться от bias’а и узнать total true effect
https://www.kdd.org/kdd2018/accepted-papers/view/winners-curse-bias-estimation-for-total-effects-of-features-in-online-contr
https://dl.acm.org/doi/pdf/10.1145/3219819.3219905
Online Controlled Experiments
Еще раз про bias, но не про novelty effects, heavy users и т.п..
В один момент могут проводиться десятки-сотни экспериментов, и в прод идут только с успешным вердиктом. Совокупный эффект этих экспериментов может быть завышен, если смотреть на их комбинацию «влоб». В пейпере приводится метод, позволяющий избавиться от bias’а и узнать total true effect
https://www.kdd.org/kdd2018/accepted-papers/view/winners-curse-bias-estimation-for-total-effects-of-features-in-online-contr
https://dl.acm.org/doi/pdf/10.1145/3219819.3219905
SIGKDD - KDD 2018
Winner’s Curse: Bias Estimation for Total Effects of Features in Online Controlled Experiments
Тинькофф приглашает продуктовых аналитиков на офлайн-митап 📊
Встреча пройдет вместе с экспертами Delivery Club и Кошелька. Спикеры:
— расскажут про то, как строили систему рекомендаций в кэшбэк-системе Тинькофф;
— разберут кейс Delivery Club, где аналитика помогла в несколько раз увеличить ретеншн компании;
— объяснят, как в Кошельке меняли главную страницу приложения с 13 миллионами MAU.
Митап проведем 24 июня в БЦ «Водный». Начало в 18:30.
Не забудьте пройти регистрацию: https://l.tinkoff.ru/meetup-product-analytics
Встреча пройдет вместе с экспертами Delivery Club и Кошелька. Спикеры:
— расскажут про то, как строили систему рекомендаций в кэшбэк-системе Тинькофф;
— разберут кейс Delivery Club, где аналитика помогла в несколько раз увеличить ретеншн компании;
— объяснят, как в Кошельке меняли главную страницу приложения с 13 миллионами MAU.
Митап проведем 24 июня в БЦ «Водный». Начало в 18:30.
Не забудьте пройти регистрацию: https://l.tinkoff.ru/meetup-product-analytics
Коллеги из Delivery Club написали о внедрении switchback в A/B тестировании, https://habr.com/ru/company/deliveryclub/blog/670762/
Хабр
Как мы научились А/B-тестировать алгоритмы с помощью switchback-тестов
Привет! На связи Евгений Бокарев и Надежда Грачёва, в этой статье мы расскажем про внедрение switchback A/B-тестов в логистике Delivery Club. Обсудим, как оценивать результат эксперимента, если...
Отличная подборка материалов по Google Tag Manager. Тут есть и общая информация по GTM, и с чего лучше начать работу, и как установить пиксели аналитических систем, настроить сложные переменные и триггеры и многое другое.
https://vc.ru/marketing/106557-bolshaya-podborka-materialov-dlya-izucheniya-google-tag-manager
https://vc.ru/marketing/106557-bolshaya-podborka-materialov-dlya-izucheniya-google-tag-manager
vc.ru
Большая подборка материалов для изучения Google Tag Manager — Маркетинг на vc.ru
Привет, читатель! Меня зовут Артём Сайгин, я веду проект Growth Lab, в котором рассказываю о digital-маркетинге и веб-аналитике и делаю так, чтобы всё это стало понятным.