Сегодня два больших гугловых обновления App+Web:

1. Event-scoped Custom Metrics and Dimensions - https://support.google.com/analytics/answer/10075209
2. Data Studio Connector - https://www.kristaseiden.com/new-appweb-data-studio-connector/

​​Как мобильная аналитика улучшает экономику приложения:

https://www.cossa.ru/special/mobile/274100/

via @ProductAnalytics

​​Хорошая #шпаргалка по способам загрузки данных в BigQuery.

@BigQuery

Прямо сейчас Анатолий Карпов ведет вебинар по статистическим методам: https://www.youtube.com/watch?v=-zps6hm0nX8&feature=youtu.be

Продвигает бутстрап в массы

Как проанализировать эффект от нововведения?

Иногда в работе бывает такое: "Мы внедрили новую фичу в продукте, про A/B тест забыли, да и времени на него нет. Теперь вот не понимаем каков эффект. Проанализируй и скажи что-как."
Что делать в такой ситуации? Есть несколько способов:

- Иногда помогает сравнение метрик до и после. Если нововведение оказало мощный эффект, это будет видно. Встречается редко. Сезонность, тренды и прочие факторы могут привести в ложным выводам.

- Можно провести ухудшающий A/B тест. "Откатываем" часть пользователей к старому варианту и сравниваем с текущим. Самый надежный способ в плане достоверности.

- Использовать библиотеку casual impact. Умные ребята из google придумали хитрый способ измерить эффект от нововведения без A/B тестов. Если грубо, то строится прогноз метрики на данных до нововведения и подбираются надежные ковариаты. Отклонения текущих значений от предсказанных можно трактовать как эффект от нововведения. Подробнее тут и тут.

​​Наконец-то закончил статью на одну из самых сложных для понимания тем - оконные функции в SQL.
На ее написание ушло почти пять месяцев с перерывом на отпуск :)

В статье на простых примерах с картинками разбирается принцип работы данных функций, а в конце вас ждут кейсы с расчетом моделей атрибуции «Первый клик» и «С учетом давности взаимодействий».

#из_личного
После того, как я закончила курсы, я искала работу примерно пять месяцев. Это было непростое время, потому что с каждым новым отказом вера в то, что поиск закончится успехом, уменьшалась. Первые три собеседования были просто провальными. Но они дали представление о том, какими примерно будут следующие. Я выработала систему подготовки к собеседованиям в зависимости от того, кто будет на другом конце - HR, Product manager или тех.специалист. Ко всем у меня был свой подход. Для HR важнее была история - что делала, что умею, ключевые слова по скилам. Продакту уже больше важны кейсы, причём продуктовые - AB тесты(какие метрики смотреть), воронки, событийная аналитика. Тех.спецы, понятно, больше про hard skills - те же AB тесты, но уклон в методы проверки, Python и способы хранения данных в нем (помимо наших любимых датафреймов, есть ещё списки, словари, сэты, кортежи и проч, что не дают, например, в курсе Яндекс.Практикум), конечно, SQL. И перед каждым собеседованием - подготовка: повторение старого, изучение нового. И нужно прокачивать умение рассказывать занимательные истории. Если при рассказе о том, как вы считали ROMI и что вам пришлось преодолеть при этом, у вас горят глаза - вы у цели!
Помимо самих курсов у меня был небольшой опыт копания в данных «по знакомству». Так или иначе, данные сейчас есть у многих бизнесов, но они не всегда знают, что с ними делать. Мне удалось попасть в частную медицинскую клинику и на практике применить мои знания - посчитать LTV, спрогнозировать загрузку врачей, поотвечать на вопросы маркетинга. В общем, в моем резюме появилась важная графа - релевантный опыт работы и несколько историй для собеседования.
Для себя я сделала вывод, что поиск работы в айти - это отдельный навык. Ему я училась немногим меньше, чем самой аналитике на курсах.
Кстати, это не мой случай, но вам может помочь - если у вас есть опыт хотя бы опосредованно связанный с аналитикой (опыт в маркетинге, опыт построения отчётов в 1С, автоматизация в эксель, работа с кодом, может что-то ещё, о чем я даже не знаю), это надо выставить на первое место в резюме и упомянуть на собеседовании.
Ну и напоследок - к пятому месяцу я была порядочно всем этим вымотана. С трудом верила в успех, но стискивала зубы перед каждым собесом. Некоторое случайное стечение обстоятельств (ну и, конечно, мои мольбы о том, чтобы меня взяли уже наконец и я покажу класс), и я получила отличный оффер. И у вас получится 🦾, если вы в поисках. Ко всем вашим знаниям и умениям, приложится подходящий случай.

📊 Минипост: Очарованные циферками

В последнее время я всё чаще наблюдаю феномен «пабмеда» — когда на любую точку зрения в интернете находятся «данные», её подтверждающие. Мы никому больше не верим на слово, но как только видим график — аргумент как будто бы становится в десять раз авторитетнее. Машина ведь врать не будет!

Особенно резко проблема стоит в модных data-driven компаниях с плоской структурой, где человек с паверпоинтом побеждает здравый смысл примерно всегда.

Вопрос — что делать? Как выживать в таком мире? Можно ли победить глупость или лучше её возглавить, пока остальные не одумались?

https://vas3k.ru/notes/datadriven/

Вышел существенный апдейт Retentioneering
https://github.com/retentioneering/retentioneering-tools
Попробуйте и ставьте пожалуйста репу звезды.

Попробовать можно слету в Google Colab без установки, все стало очень просто.

Мы с Анатолием Зайцевым переписали вообще все и добавили инструмент простого AB тестирования, ускорили в более чем десять раз скорость кластеризации, переработали и сделали суперудобным функционал степматриц.

P.S. Очень важное дополнение - различные варианты нормировки и развесовки ребер графа - вы можете четко видеть сколько пользователей сделало переход, либо сколько сессий с таким переходом было, либо сколько событий переходов во всем датасете. Можно явно выбирать как вы хотите это нормировать - на общее число пользователей или переходов, или на количество переходов из конкретного узла - получаются разные инсайты на графе и в матрицах переходов.

Друзья, УрФУ запустил чудесный бесплатный открытый курс "Программирование глубоких нейронных сетей на Python" на платформе OpenEDU 🥳

Для прохождения курса предварительно надо знать линейную алгебру и Python🐍

По ссылке сам курс: https://openedu.ru/course/urfu/PYDNN

Под стать предыдущей записи хочу поделиться великолепным интервью Медузы с генеральным конструктором российского гиперзвукового оружия Гербертом Ефремовым. Больше всего меня удивили горизонты планирования R&D и то, что истоки «Авангарда» берут своё начало в 1985 году. Но интересного там много, про оборонку, про космос, про Маска. Ссылку заметил у @Victor_Osyka.

https://meduza.io/feature/2020/10/07/meduza-vzyala-intervyu-u-gerberta-efremova-razrabotchika-rossiyskogo-giperzvukovogo-oruzhiya-ego-imya-derzhali-v-sekrete-do-sentyabrya-2020-goda

​​Google Research Football with Manchester City

Никак не мог пройти мимо соревонания связанного с футболом. Manchester City и Google Research организовали крутое и забавное соревнование. Целью ставится обучить агентов/ ботов ИИ играть в футбол. Каждый агент/ бот в игре 11 на 11 управляет одним активным игроком и предпринимает атакующие или оборонительные действия.

У вас есть два варианта сделать агента/ бота. Первый, сложный использовать обучение с подкреплением (Reinforcement learning) — один из способов машинного обучения, в ходе которого испытуемая система обучается, взаимодействуя с некоторой средой. Модель нужно будет обучить на GPU и достаточно долго. Поэтому второй вариант выглядит простым и интересным. Агент/ бот на основе правил. Организаторами предоставлен jupyter notebook, который показывает, насколько простой может быть базовая стратегия - https://www.kaggle.com/piotrstanczyk/gfootball-template-bot

Можно легко и просто дополнить этот код набором из 19 действий - https://github.com/google-research/football/blob/master/gfootball/doc/observation.md

А дальше самое веселоё. Написали агента/ бота откинулись на спинку кресла и смотреть как ваша команда играет с другими командами.

Аналитики зачастую не понимают бизнес-смысл используемых метрик, а бизнес не всегда понимает что лежит в математической основе тех или иных показателей.

Делимся с вами записью доклада Дмитрия Кудренко с Матемаркетинга-2019, который был признан одним из лучших докладов. Он про связь тактических и стратегических метрик и о том, какие ошибки мы совершаем при оценке маркетинговых специалистов.

В 2020 году Дима снова выступит на Матемаркетинге-2020, а кроме него, про работу с direct-маркетингом будут рассказывать топы Out Of Cloud, Retail Rocket, MindBox

Полная программа доступна по ссылке: https://bit.ly/3iMiT6Z
Билеты и подробности: https://matemarketing.ru

@matemarketing_official

Видео с AIC. Analytics Day 2017:

Искандер Мирмахмадов, AIC. А/Б-тестирование “быстрых”, но сложных в реализации гипотез: https://vimeo.com/211087235.
Владислав Исмагилов, Яндекс. А/Б-тестирование в Яндекс.Маркет: https://vimeo.com/211085679.
Виталий Черемисинов, AIC. Принципы А/Б-тестирования: https://vimeo.com/211083513.
Виктория Гончарова, Avito. Когда не нужно проводить А/B-тесты: https://vimeo.com/211080787.
Александр Сергеев, Едадил. Почему полезно проводить разборы сессий: https://vimeo.com/211079157.
Айгуль Юльякшина, Lamoda. Почему статистическая значимость теста — это еще не победа: https://vimeo.com/211075624.

http://thisisdata.ru/blog/uchimsya-primenyat-okonnyye-funktsii/
очень подробный гайд по оконным функциям в sql.
Оконки - это то, что точно пригодится. Более того, использовать их можно к датафреймам в питоне. Для этого нужно установить библиотеку
$ pip install -U pandasql
from pandasql import sqldf
а потом к вашему датафрейму писать запросы
query = '''
SELECT * FROM df'''
sqldf(query, locals())
еще есть вариант
sqldf(query, locals())
в чем разница, можно почитать тут
когда может пригодиться:
изучив, в чем прелесть оконок, и попробовав это на практике, вы точно заходите, чтобы также просто было делать что-то подобное в питоне, но выходят только танцы с бубнами, а не шикарные стройные partition by;
еще пригодится, когда вас будут грузить тестовыми по sql, а вам негде проверить запрос - накидываете датафрейм прямо в джупитере, и к нему пишите запрос.