Forwarded from Product Analytics
Forwarded from Этюды для программистов на Python (Дима Федоров)
Запускаю несколько долгосрочных открытых проектов 🐍
1️⃣ Воспроизводимая наука о данных
Свободный учебник (в разработке) на основе моего курса по анализу данных для экономистов по ссылке.
2️⃣ Python для программистов
Свободный учебник (в разработке) на основе моего курса по языкам программирования по ссылке.
3️⃣ Сообщество преподавателей Python
Я преподаю Python в школах, вузах и на различных курсах более пяти лет.
И я искренне верю, что только объединив усилия, мы сделаем преподавание ИТ в России лучше.
Именно поэтому я хочу создать сообщество преподавателей Python для поддержки, обмена идеями и полезными материалами.
Подробности по ссылке.
1️⃣ Воспроизводимая наука о данных
Свободный учебник (в разработке) на основе моего курса по анализу данных для экономистов по ссылке.
2️⃣ Python для программистов
Свободный учебник (в разработке) на основе моего курса по языкам программирования по ссылке.
3️⃣ Сообщество преподавателей Python
Я преподаю Python в школах, вузах и на различных курсах более пяти лет.
И я искренне верю, что только объединив усилия, мы сделаем преподавание ИТ в России лучше.
Именно поэтому я хочу создать сообщество преподавателей Python для поддержки, обмена идеями и полезными материалами.
Подробности по ссылке.
Услышал недавно от продакта такое: "Зачем нам это тестировать? У этого, этого и этого конкурента это уже есть, они же не дураки. И мы такое же себе сделаем, не прогадаем".
Очень смешно. Вот так и появляются одинаково убогие решения на многих сайтах одной тематики. Возразить на это он не смог. Так и живем, приоритизируем гипотезы.
Очень смешно. Вот так и появляются одинаково убогие решения на многих сайтах одной тематики. Возразить на это он не смог. Так и живем, приоритизируем гипотезы.
Forwarded from WebAnalytics (Осиюк Дмитрий)
Ребята из OWOX сделали бесплатный тег для GTM Server-Side, который позволяет организовать стриминг GA4 данных в GBQ без использования нативного экспорта данных: https://www.owox.com/c/gtmss-ga4-tag
Пригодится, если нужно:
1. Отправлять данные в EU Storage минуя сервера GA (привет, GDPR)
2. Обойти ограничение в выгрузке в 1 млн. событий в бесплатной версии
3. Получать real-time данные
via @WebAnalyst
Пригодится, если нужно:
1. Отправлять данные в EU Storage минуя сервера GA (привет, GDPR)
2. Обойти ограничение в выгрузке в 1 млн. событий в бесплатной версии
3. Получать real-time данные
via @WebAnalyst
Forwarded from xGLab - платформа футбольной аналитики
Большое обновление xglab.pro - мы добавили поддержку древовидных (вложенных) метрик. Теперь вы можете начать анализировать, например, EPV игрока и увидеть, что он много набирает за счет стандартов. Чтобы разобраться подробнее, можно отключить все, кроме стандартов, а на стандарты посмотреть в деталях - сколько набрано после угловых, сколько после штрафных и так далее.
Можно посмотреть как на общий вклад игрока в EPV, где его отрицательные действия будут складываться с положительными, а можно посмотреть их раздельно, чтобы понимать, насколько активно игрок участвовал в эпизодах.
Мы переработали таблицу рейтингов и все графики, чтобы они поддерживали такую фильтрацию и группировку.
Пересобрали метрику EPV и использовали все возможности вложенной структуры - теперь мы подсчитываем не только точные пасы и кэрри, но и неточные пасы с разбиением на различные игровые ситуации.
Можно посмотреть как на общий вклад игрока в EPV, где его отрицательные действия будут складываться с положительными, а можно посмотреть их раздельно, чтобы понимать, насколько активно игрок участвовал в эпизодах.
Мы переработали таблицу рейтингов и все графики, чтобы они поддерживали такую фильтрацию и группировку.
Пересобрали метрику EPV и использовали все возможности вложенной структуры - теперь мы подсчитываем не только точные пасы и кэрри, но и неточные пасы с разбиением на различные игровые ситуации.
Forwarded from xGLab - платформа футбольной аналитики
Наши метрики стали более детализированными, поэтому наша команда подготовила детальную документацию о том, что такое метрика EPV и как мы считаем ее для каждого из видов событий. С формулами, стрелочками и примерами из матчей. Это не одноразовая статья - мы будем совершенствовать и актуализировать документацию, если найдем примеры получше или изменим алгоритмы на платформе.
https://xglab.notion.site/EPV-a4e1b756f67f49e5a4d06a668340c99e
Если у вас есть предложения по улучшению документации или какие-то вопросы - пишите в комментарии.
Полный список тех, кто нам помогал с обновлением не уложится в лимит на размер поста, поэтому благодарности размещу в комментариях, там же и вы сможете послать лучи добра этим прекрасным людям!
https://xglab.notion.site/EPV-a4e1b756f67f49e5a4d06a668340c99e
Если у вас есть предложения по улучшению документации или какие-то вопросы - пишите в комментарии.
Полный список тех, кто нам помогал с обновлением не уложится в лимит на размер поста, поэтому благодарности размещу в комментариях, там же и вы сможете послать лучи добра этим прекрасным людям!
Сейчас обсуждаем приоритезацию гипотез. Как базовый фреймворк используется RICE. А PXL все же отвергли.
Посмотрел на предыдущие оценки RICE. И в них показатель уверенности (Confidence) всегда 75-100%. Впечатлила такая уверенность продакт-менеджеров в себе.
Самое интересное, что ретроспективно не анализировали, что получилось в результате. Допускаю, что результат был достигнут не более, чем в 30-40%. Так и живем...
Посмотрел на предыдущие оценки RICE. И в них показатель уверенности (Confidence) всегда 75-100%. Впечатлила такая уверенность продакт-менеджеров в себе.
Самое интересное, что ретроспективно не анализировали, что получилось в результате. Допускаю, что результат был достигнут не более, чем в 30-40%. Так и живем...
Forwarded from Trisigma — про эксперименты (Iskαnder)
Winner’s Curse: Bias Estimation for Total Effects of Features in
Online Controlled Experiments
Еще раз про bias, но не про novelty effects, heavy users и т.п..
В один момент могут проводиться десятки-сотни экспериментов, и в прод идут только с успешным вердиктом. Совокупный эффект этих экспериментов может быть завышен, если смотреть на их комбинацию «влоб». В пейпере приводится метод, позволяющий избавиться от bias’а и узнать total true effect
https://www.kdd.org/kdd2018/accepted-papers/view/winners-curse-bias-estimation-for-total-effects-of-features-in-online-contr
https://dl.acm.org/doi/pdf/10.1145/3219819.3219905
Online Controlled Experiments
Еще раз про bias, но не про novelty effects, heavy users и т.п..
В один момент могут проводиться десятки-сотни экспериментов, и в прод идут только с успешным вердиктом. Совокупный эффект этих экспериментов может быть завышен, если смотреть на их комбинацию «влоб». В пейпере приводится метод, позволяющий избавиться от bias’а и узнать total true effect
https://www.kdd.org/kdd2018/accepted-papers/view/winners-curse-bias-estimation-for-total-effects-of-features-in-online-contr
https://dl.acm.org/doi/pdf/10.1145/3219819.3219905
SIGKDD - KDD 2018
Winner’s Curse: Bias Estimation for Total Effects of Features in Online Controlled Experiments
Тинькофф приглашает продуктовых аналитиков на офлайн-митап 📊
Встреча пройдет вместе с экспертами Delivery Club и Кошелька. Спикеры:
— расскажут про то, как строили систему рекомендаций в кэшбэк-системе Тинькофф;
— разберут кейс Delivery Club, где аналитика помогла в несколько раз увеличить ретеншн компании;
— объяснят, как в Кошельке меняли главную страницу приложения с 13 миллионами MAU.
Митап проведем 24 июня в БЦ «Водный». Начало в 18:30.
Не забудьте пройти регистрацию: https://l.tinkoff.ru/meetup-product-analytics
Встреча пройдет вместе с экспертами Delivery Club и Кошелька. Спикеры:
— расскажут про то, как строили систему рекомендаций в кэшбэк-системе Тинькофф;
— разберут кейс Delivery Club, где аналитика помогла в несколько раз увеличить ретеншн компании;
— объяснят, как в Кошельке меняли главную страницу приложения с 13 миллионами MAU.
Митап проведем 24 июня в БЦ «Водный». Начало в 18:30.
Не забудьте пройти регистрацию: https://l.tinkoff.ru/meetup-product-analytics
Коллеги из Delivery Club написали о внедрении switchback в A/B тестировании, https://habr.com/ru/company/deliveryclub/blog/670762/
Хабр
Как мы научились А/B-тестировать алгоритмы с помощью switchback-тестов
Привет! На связи Евгений Бокарев и Надежда Грачёва, в этой статье мы расскажем про внедрение switchback A/B-тестов в логистике Delivery Club. Обсудим, как оценивать результат эксперимента, если...
Отличная подборка материалов по Google Tag Manager. Тут есть и общая информация по GTM, и с чего лучше начать работу, и как установить пиксели аналитических систем, настроить сложные переменные и триггеры и многое другое.
https://vc.ru/marketing/106557-bolshaya-podborka-materialov-dlya-izucheniya-google-tag-manager
https://vc.ru/marketing/106557-bolshaya-podborka-materialov-dlya-izucheniya-google-tag-manager
vc.ru
Большая подборка материалов для изучения Google Tag Manager — Маркетинг на vc.ru
Привет, читатель! Меня зовут Артём Сайгин, я веду проект Growth Lab, в котором рассказываю о digital-маркетинге и веб-аналитике и делаю так, чтобы всё это стало понятным.
Forwarded from Kantor.AI (Victor Kantor)
У ШАДа есть отличный коллективно написанный учебник по машинному обучению. Как раз недавно появился. В нем сочетается и довольно серьезное изложение того, как все работает (считаем, что читатель не боится математики), и рассказ про некоторые особенности применения этого всего на практике.
При этом сохраняется определенный уровень простоты изложения: для большинства людей оно и правда будет выглядеть слишком математично, но на уровне физтеха/мехмата/вмк это конечно не математический курс, а легкая прогулка солнечным днем в городском парке с непринужденным обсуждением таблицы умножения. Что однако не умаляет полезности учебника, т.к. количество интегралов и наличие сигма-алгебр в тексте не заставляет алгоритмы работать лучше :)
Для меня было большим удовольствием написать для учебника ШАД главу про кластеризацию. Задача была непростой: написать очень кратко, рассказать про самые популярные методы, но при этом ответить на вопрос, где это все используется так, что применение кластеризации оправдано. Последнее особенно любопытный вопрос. Сделать кластеризацию просто так, «потому что могу» - дело не хитрое. А вот оправданных применений гораздо меньше, чем у классификации, регрессии или ранжирования.
Мне очень нравится то, что вышло в итоге. Для меня эта глава не просто конспект лекции, а настоящее искусство. Можно сказать, что я писал ее не только сейчас, но и десять лет до этого. Совершенно точно нужно сказать, что я писал свою главу с заботой и любовью к читателю - так, как я мог ее выразить. Кроме того, я писал такой текст, который я бы хотел прочитать 12 лет назад и сэкономить годы на понимание каких-то несложных, но важных вещей и сопоставление разных источников. Мой путь в машинном обучении тоже начался с unsupervised learning, и мне было важно рассказать про кластеризацию так, чтобы каждый смог насладиться красотой и сложностью этой задачи, получить конкретные знания и не испугаться их применять, но в то же время не попасть в обманчивое впечатление, что «все тут легко решается». Я надеюсь, что у меня получилось)
Вот ссылка на главу, с той же страницы можно перейти на список всех глав: https://ml-handbook.ru/chapters/clustering/intro
Большое спасибо Стасу Федотову, что позвал поучаствовать не только на этапе обсуждения содержания учебника и составления итогового списка глав, но и в написании конкретной главы. Также спасибо Насте Павловской за обсуждения плана моей главы и добросовестное допинывание меня до осуществления задумки. Стас, Настя, вы супер :)
При этом сохраняется определенный уровень простоты изложения: для большинства людей оно и правда будет выглядеть слишком математично, но на уровне физтеха/мехмата/вмк это конечно не математический курс, а легкая прогулка солнечным днем в городском парке с непринужденным обсуждением таблицы умножения. Что однако не умаляет полезности учебника, т.к. количество интегралов и наличие сигма-алгебр в тексте не заставляет алгоритмы работать лучше :)
Для меня было большим удовольствием написать для учебника ШАД главу про кластеризацию. Задача была непростой: написать очень кратко, рассказать про самые популярные методы, но при этом ответить на вопрос, где это все используется так, что применение кластеризации оправдано. Последнее особенно любопытный вопрос. Сделать кластеризацию просто так, «потому что могу» - дело не хитрое. А вот оправданных применений гораздо меньше, чем у классификации, регрессии или ранжирования.
Мне очень нравится то, что вышло в итоге. Для меня эта глава не просто конспект лекции, а настоящее искусство. Можно сказать, что я писал ее не только сейчас, но и десять лет до этого. Совершенно точно нужно сказать, что я писал свою главу с заботой и любовью к читателю - так, как я мог ее выразить. Кроме того, я писал такой текст, который я бы хотел прочитать 12 лет назад и сэкономить годы на понимание каких-то несложных, но важных вещей и сопоставление разных источников. Мой путь в машинном обучении тоже начался с unsupervised learning, и мне было важно рассказать про кластеризацию так, чтобы каждый смог насладиться красотой и сложностью этой задачи, получить конкретные знания и не испугаться их применять, но в то же время не попасть в обманчивое впечатление, что «все тут легко решается». Я надеюсь, что у меня получилось)
Вот ссылка на главу, с той же страницы можно перейти на список всех глав: https://ml-handbook.ru/chapters/clustering/intro
Большое спасибо Стасу Федотову, что позвал поучаствовать не только на этапе обсуждения содержания учебника и составления итогового списка глав, но и в написании конкретной главы. Также спасибо Насте Павловской за обсуждения плана моей главы и добросовестное допинывание меня до осуществления задумки. Стас, Настя, вы супер :)
Forwarded from BigQuery Insights
Примеры SQL-запросов помогут воспроизвести привычные метрики Universal Google Analytics в новой структуре данных Google Analytics 4 в Google BigQuery.
@BigQuery
@BigQuery