​​Google представил базовый вводный онлайн-курс по #GA4. Он короткий, бесплатный, на русском языке и в виде интерактивной инфографики. Подойдет для всех, кто хочет начать изучение возможностей системы и отличий от предыдущих версий.

https://bit.ly/37uVUc6

via @WebAnalyst

Бытует мнение, что аналитик в наше время может обойтись без уверенной математической базы (об этом гласят многие программы подготовки аналитиков). С моей же точки зрения тяжело рассуждать о вероятности оттока, не понимая теории вероятностей, сложно говорить о медиане и нормальности распределения, не зная математическую статистику, и точно не рассчитать градиент функции, не понимая математического анализа: список можно продолжать долго.

Но есть спасение — море бесплатных курсов от ведущих американских вузов! Собрал подборку по всему курсу математики и приложил дополнительный курс по R для анализа данных. Внутри курсы от Harvard, MIT и Georgia Tech. Даже если вы, как и я, уже изучили всё это 15 лет назад — повторение пройденного материала крайне полезно.

https://leftjoin.ru/all/free-education-for-analysts/

Эмели Драль и Лена Самуйлова опубликовали на Github легковесную библиотеку для генерации интерактивных отчетов по анализу датасетов для ML моделей. Это полноценный MVP, который сегодня умеет оценивать только Data Drift, а совсем скоро научится делать ещё массу всего полезного, например, ассеcсмент ML модели, а дальше полноценный мониторинг

https://evidentlyai.com/blog/evidently-001-open-source-tool-to-analyze-data-drift

Ссылка на github

Новая статья на GoPractice!

“Проверка гипотез спроса и ценности для новых продуктов без разработки”

Многие считают, что для их продукта или функциональности проверить востребованность или ценность до разработки – невозможно. Скорее всего, это не так.

Несколько недель назад я попросил поделиться примерами, как люди проверяли ценность новых продуктов или фичей без разработки. В комментариях оставили много интересных кейсов, которые Денис Мартынцев в сотрудничестве с GoPractice категоризовал и подробно описал в этой статье. Используйте их как источник идей для проверки ключевых гипотез в ваших продуктах.

https://gopractice.ru/testing_hypotheses_without_development/ 

Обсудить прочитанное можно в чате Ask Kevin! https://news.1rj.ru/str/askkevin
Канал Дениса – https://news.1rj.ru/str/growhorse

Продолжаем традицию еженедельных переводов и сегодня две статьи про особенности использования groupby в (🐼)

1) Объяснение функций Grouper и Agg в Pandas

2) Понимание функции transform в Pandas

Кейсы по анализу данных и переводы доступны по ссылке 🐍

Интересный аналог Яндекс Вебвизора от Microsoft: https://clarity.microsoft.com/. Записи сессий, тепловые карты, куча сегментов и фильтров, хранение записей до 12 месяцев. Сейчас на тесте, более подробно позже.

Считается, что при проведении AB тестов лучше всего придерживаться распределения трафика поровну, например, 50/50, так как чем больше распределение неравномерно, тем больше вероятность влияния на результат разного рода случайностей: выбросов, рекламных акций, иных девиаций. Если у нас много трафика, это частично нивелирует проблему, но решить полностью ее не сможет. И растет риск ошибки при анализе теста.
В реальности нам часто приходится сталкиваться с невозможностью распределить трафик поровну, и нередко приходится работать с распределением и 90% / 10%, из них 90% на тестовый вариант.
Ребята из ExperimentFest сделали разбор таких случаев в своей статье http://bit.ly/3aQLRkY.
И вот из недавнего.

Трафик был распределен в соотношении, близком к 90% в тестовом варианте и 10% в контрольном варианте. Uplift по CR из пользователя в покупателя составил 22% с pvalue 0.000, но шампанское осталось неоткрытым - уж больно хорош отказался результат, чтобы его принять. Искал ошибки у себя, искал девиации в распределении трафика по полу/возрасту, тех. параметрам, гео, и проч.
И, когда разложил на графике количество пользователей, заказов, уровень стат. значимости по дням, все сошлось.
На графике трафика можно увидеть убывание, так как продаваемые товары подвержены сезонности. И в контрольную группу в какой-то момент попадали 100-120 пользователей.
В определенный период началась акция с большими скидками на сайте, в этот период количество заказов выросло в 1.5 - 2 раза по сравнению с предыдущими периодами.
И на графике заказов в тестовой группе эта акция сказалась - заметен значительный прирост. В контрольной группе этого роста нет. Ведь в тестовой группе в день было 1200 - 1500, а в контрольной группе 90 - 100. И откуда же взяться всплеску заказов в этой несчастной группке.
И реальное соотношение трафика было не 90/10, а от 16/1 к 9/1.
На графиках также можно увидеть, что стат. значимость перевалила за 0.95 именно в тот момент, когда этот всплеск начался. Выходит, что результат теста был определен именно за счет этой акции. А если мы остановили бы тест за день до этой акции, результаты не были стат. значимы.
Так что результаты теста с приростом на 22% в топку, запускаем в следующем году, когда начнется сезон, с распределением трафика 50/50.
Такие вот интересные приключения могут нас ожидать, когда мы делим трафик сильно неравномерно.

Трампа забанило ещё большее количество платформ: Reddit, Twitch, Shopify, Snapchat, Youtube, Pinterest, Discord и даже Campaign Monitor (сервис для email рыссылки типа MailChimp). На этом фоне усилился приток пользователей в социальную сеть Parler, которая известна своей непредвзятостью и популярностью среди республиканцев. И как вы думаете, что происходит дальше? — Apple и Google заблокировали приложение Parler. А сегодня Amazon, на серверах которого работает сервис, пообещал приостановить предоставление услуг для Parler и дал команде 24 часа на перенос всех данных.

Как вам такое? Похоже на блокировку соцсети по партийному признаку. Осталось только, чтобы во имя демократии телеком операторы определяли какой трафик правильный, а какой нет. А ещё лучше, чтобы этим занимались энергетические компании и отказывали в поставке электричества датацентрам, хранящим контент сомнительного содержания. И при всём при этом я уже не раз встречал мнение о том, что принцип свободы слова не узурпируется, ибо конституция гарантирует, что именно государство не будет её ограничивать, а частные компании вольны поступать так, как считают нужным.

Вон оно как! Контент действующего президента просто неожиданно начал нарушать пользовательское соглашение всех сервисов. Кстати, платформы называют свои действия не цензурой, а политической сознательностью. И пускай сии корпоративные решения принимались самостоятельно, а не по указу сверху. Меня, признаюсь, нисколько не волнует принцип этого управления и предмет разногласий в чужой стране. Меня беспокоит, что кучка калифорнийских компаний определяет как цензурировать контент во всём мире. Антиутопичные фантазии Джорджа Оруэлла стали явью. #мысливслух