​​Параметры в Google Data Studio — очень крутая штука. Вот пример, как с их помощью реализовать динамический выбор Secondary Dimension, как в Google Analytics: https://bit.ly/329isNQ

via @WebAnalyst

Интересная новость об изменениях в работе Беру и Яндекс Маркета. Я это так понимаю, что планы по доходам жестко не выполняются, и необходимо срочно что-то менять. Очень "радуют" попытки в чистом поле создать "русский Амазон", просто взяв две большие конторы и кучу денег. Практика показывает, что это не так работает, и нужно много времени и много труда...
Еще показательно, что все это неким образом объединится, а в комментариях шутят, что все это объединится с Go и превратится в Go Покупки.

Интересная тенденция с модными сейчас супераппами. Не уверен, что это правильно - строить этакого Франкенштейна, в котором будет сразу все. Вопрос спорный, время рассудит, хорошо это или плохо.
https://vc.ru/trade/156754-beru-stanet-chastyu-yandeks-marketa-marketpleys-smenit-nazvanie-a-servis-budet-edinoy-ploshchadkoy-dlya-onlayn-pokupok

Неплохой разбор подзапросов в SQL

И пара лично выстраданных лайфхаков по изучению.

1. Сайты с упражнениями бессмысленны, если базовый синтаксис вы уже знаете.

Найдите/сделайте свой датасет. Абсолютно неважно, что у него будет внутри, лишь бы лично вам в нём интересно было копаться.

Задавайте к своим данным вопросы, ищите ответы.
Если кажется, что вопрос какой-то тупой и вытащить инфу из датасета невозможно, то это даже плюс, смекалочка сама себя не разовьет.

2. Изучайте схемы данных, рисуйте свои на бумажках, расписывайте/проговаривайте вслух, что именно хотите получить.

Важно не механически перебирать колонки в запросе, а понимать, что происходит.

Отличный разговор про проведение AB тестов Анатолия Карпова и Никиты Маршалкина из VK: https://www.youtube.com/watch?v=gljfGAkgX_o

В штатах узурпируется data-driven подход, а математика становится аморальной. Думаю, многие из вас уже слышали про обвинения алгоритмов в дискриминации. Например, ещё в 2007 году систему распознавание речи критиковали за сексизм, ибо мужской голос определялся лучше, чем женский. Подобные случаи множатся и уже нисколько не удивляют моё отечественное сознание. Однако это что-то новенькое: суд запретил университету Калифорнии использовать SAT и ACT тесты (местный ЕГЭ) для приёма, потому что дети из бедных семей их хуже сдают.

Знаю, что критиков ЕГЭ много, но обратите внимание на причину. Вы понимаете степень абсурда? Баллы же оцениваются не по уровню доходов в семье, а по количеству знаний. Ученики с плохим результатом сдают тест хуже не из-за того, что они из бедных семей, а потому что они менее образованы. Вообще ирония заключается в том, что стандартизированные тесты появились в том числе, чтобы избавиться от дискриминации, дабы при зачислении в университет не обращали внимание на элитарность школы, рекомендационные письма и прочее.

В США в статистике не должно быть неравенства. У негров больше ипотечная ставка? Значит это банковский расизм, а не отражение исторически сложившегося социального неравенства. У жены меньше лимит по карте? Значит это сексистский кредитный скоринг Goldman Sachs. Кстати, благосостояние коррелирует ещё со здоровьем, почему бы не отменить тогда нормативы для спортсменов и космонавтов, спасателей? Завершу мысль чужими словами: «Freedom is the freedom to say that two plus two make four. If that is granted, all else follows» — Джордж Оруэлл, 1984. #мысливслух

Статья, на которую ссылаются Карпов и Маршалкин в разговоре: https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f

Сегодня два больших гугловых обновления App+Web:

1. Event-scoped Custom Metrics and Dimensions - https://support.google.com/analytics/answer/10075209
2. Data Studio Connector - https://www.kristaseiden.com/new-appweb-data-studio-connector/

​​Как мобильная аналитика улучшает экономику приложения:

https://www.cossa.ru/special/mobile/274100/

via @ProductAnalytics

​​Хорошая #шпаргалка по способам загрузки данных в BigQuery.

@BigQuery

Прямо сейчас Анатолий Карпов ведет вебинар по статистическим методам: https://www.youtube.com/watch?v=-zps6hm0nX8&feature=youtu.be

Продвигает бутстрап в массы

Как проанализировать эффект от нововведения?

Иногда в работе бывает такое: "Мы внедрили новую фичу в продукте, про A/B тест забыли, да и времени на него нет. Теперь вот не понимаем каков эффект. Проанализируй и скажи что-как."
Что делать в такой ситуации? Есть несколько способов:

- Иногда помогает сравнение метрик до и после. Если нововведение оказало мощный эффект, это будет видно. Встречается редко. Сезонность, тренды и прочие факторы могут привести в ложным выводам.

- Можно провести ухудшающий A/B тест. "Откатываем" часть пользователей к старому варианту и сравниваем с текущим. Самый надежный способ в плане достоверности.

- Использовать библиотеку casual impact. Умные ребята из google придумали хитрый способ измерить эффект от нововведения без A/B тестов. Если грубо, то строится прогноз метрики на данных до нововведения и подбираются надежные ковариаты. Отклонения текущих значений от предсказанных можно трактовать как эффект от нововведения. Подробнее тут и тут.

​​Наконец-то закончил статью на одну из самых сложных для понимания тем - оконные функции в SQL.
На ее написание ушло почти пять месяцев с перерывом на отпуск :)

В статье на простых примерах с картинками разбирается принцип работы данных функций, а в конце вас ждут кейсы с расчетом моделей атрибуции «Первый клик» и «С учетом давности взаимодействий».

#из_личного
После того, как я закончила курсы, я искала работу примерно пять месяцев. Это было непростое время, потому что с каждым новым отказом вера в то, что поиск закончится успехом, уменьшалась. Первые три собеседования были просто провальными. Но они дали представление о том, какими примерно будут следующие. Я выработала систему подготовки к собеседованиям в зависимости от того, кто будет на другом конце - HR, Product manager или тех.специалист. Ко всем у меня был свой подход. Для HR важнее была история - что делала, что умею, ключевые слова по скилам. Продакту уже больше важны кейсы, причём продуктовые - AB тесты(какие метрики смотреть), воронки, событийная аналитика. Тех.спецы, понятно, больше про hard skills - те же AB тесты, но уклон в методы проверки, Python и способы хранения данных в нем (помимо наших любимых датафреймов, есть ещё списки, словари, сэты, кортежи и проч, что не дают, например, в курсе Яндекс.Практикум), конечно, SQL. И перед каждым собеседованием - подготовка: повторение старого, изучение нового. И нужно прокачивать умение рассказывать занимательные истории. Если при рассказе о том, как вы считали ROMI и что вам пришлось преодолеть при этом, у вас горят глаза - вы у цели!
Помимо самих курсов у меня был небольшой опыт копания в данных «по знакомству». Так или иначе, данные сейчас есть у многих бизнесов, но они не всегда знают, что с ними делать. Мне удалось попасть в частную медицинскую клинику и на практике применить мои знания - посчитать LTV, спрогнозировать загрузку врачей, поотвечать на вопросы маркетинга. В общем, в моем резюме появилась важная графа - релевантный опыт работы и несколько историй для собеседования.
Для себя я сделала вывод, что поиск работы в айти - это отдельный навык. Ему я училась немногим меньше, чем самой аналитике на курсах.
Кстати, это не мой случай, но вам может помочь - если у вас есть опыт хотя бы опосредованно связанный с аналитикой (опыт в маркетинге, опыт построения отчётов в 1С, автоматизация в эксель, работа с кодом, может что-то ещё, о чем я даже не знаю), это надо выставить на первое место в резюме и упомянуть на собеседовании.
Ну и напоследок - к пятому месяцу я была порядочно всем этим вымотана. С трудом верила в успех, но стискивала зубы перед каждым собесом. Некоторое случайное стечение обстоятельств (ну и, конечно, мои мольбы о том, чтобы меня взяли уже наконец и я покажу класс), и я получила отличный оффер. И у вас получится 🦾, если вы в поисках. Ко всем вашим знаниям и умениям, приложится подходящий случай.

📊 Минипост: Очарованные циферками

В последнее время я всё чаще наблюдаю феномен «пабмеда» — когда на любую точку зрения в интернете находятся «данные», её подтверждающие. Мы никому больше не верим на слово, но как только видим график — аргумент как будто бы становится в десять раз авторитетнее. Машина ведь врать не будет!

Особенно резко проблема стоит в модных data-driven компаниях с плоской структурой, где человек с паверпоинтом побеждает здравый смысл примерно всегда.

Вопрос — что делать? Как выживать в таком мире? Можно ли победить глупость или лучше её возглавить, пока остальные не одумались?

https://vas3k.ru/notes/datadriven/

Вышел существенный апдейт Retentioneering
https://github.com/retentioneering/retentioneering-tools
Попробуйте и ставьте пожалуйста репу звезды.

Попробовать можно слету в Google Colab без установки, все стало очень просто.

Мы с Анатолием Зайцевым переписали вообще все и добавили инструмент простого AB тестирования, ускорили в более чем десять раз скорость кластеризации, переработали и сделали суперудобным функционал степматриц.

P.S. Очень важное дополнение - различные варианты нормировки и развесовки ребер графа - вы можете четко видеть сколько пользователей сделало переход, либо сколько сессий с таким переходом было, либо сколько событий переходов во всем датасете. Можно явно выбирать как вы хотите это нормировать - на общее число пользователей или переходов, или на количество переходов из конкретного узла - получаются разные инсайты на графе и в матрицах переходов.

Друзья, УрФУ запустил чудесный бесплатный открытый курс "Программирование глубоких нейронных сетей на Python" на платформе OpenEDU 🥳

Для прохождения курса предварительно надо знать линейную алгебру и Python🐍

По ссылке сам курс: https://openedu.ru/course/urfu/PYDNN

Под стать предыдущей записи хочу поделиться великолепным интервью Медузы с генеральным конструктором российского гиперзвукового оружия Гербертом Ефремовым. Больше всего меня удивили горизонты планирования R&D и то, что истоки «Авангарда» берут своё начало в 1985 году. Но интересного там много, про оборонку, про космос, про Маска. Ссылку заметил у @Victor_Osyka.

https://meduza.io/feature/2020/10/07/meduza-vzyala-intervyu-u-gerberta-efremova-razrabotchika-rossiyskogo-giperzvukovogo-oruzhiya-ego-imya-derzhali-v-sekrete-do-sentyabrya-2020-goda

​​Google Research Football with Manchester City

Никак не мог пройти мимо соревонания связанного с футболом. Manchester City и Google Research организовали крутое и забавное соревнование. Целью ставится обучить агентов/ ботов ИИ играть в футбол. Каждый агент/ бот в игре 11 на 11 управляет одним активным игроком и предпринимает атакующие или оборонительные действия.

У вас есть два варианта сделать агента/ бота. Первый, сложный использовать обучение с подкреплением (Reinforcement learning) — один из способов машинного обучения, в ходе которого испытуемая система обучается, взаимодействуя с некоторой средой. Модель нужно будет обучить на GPU и достаточно долго. Поэтому второй вариант выглядит простым и интересным. Агент/ бот на основе правил. Организаторами предоставлен jupyter notebook, который показывает, насколько простой может быть базовая стратегия - https://www.kaggle.com/piotrstanczyk/gfootball-template-bot

Можно легко и просто дополнить этот код набором из 19 действий - https://github.com/google-research/football/blob/master/gfootball/doc/observation.md

А дальше самое веселоё. Написали агента/ бота откинулись на спинку кресла и смотреть как ваша команда играет с другими командами.

Аналитики зачастую не понимают бизнес-смысл используемых метрик, а бизнес не всегда понимает что лежит в математической основе тех или иных показателей.

Делимся с вами записью доклада Дмитрия Кудренко с Матемаркетинга-2019, который был признан одним из лучших докладов. Он про связь тактических и стратегических метрик и о том, какие ошибки мы совершаем при оценке маркетинговых специалистов.

В 2020 году Дима снова выступит на Матемаркетинге-2020, а кроме него, про работу с direct-маркетингом будут рассказывать топы Out Of Cloud, Retail Rocket, MindBox

Полная программа доступна по ссылке: https://bit.ly/3iMiT6Z
Билеты и подробности: https://matemarketing.ru

@matemarketing_official

Видео с AIC. Analytics Day 2017:

Искандер Мирмахмадов, AIC. А/Б-тестирование “быстрых”, но сложных в реализации гипотез: https://vimeo.com/211087235.
Владислав Исмагилов, Яндекс. А/Б-тестирование в Яндекс.Маркет: https://vimeo.com/211085679.
Виталий Черемисинов, AIC. Принципы А/Б-тестирования: https://vimeo.com/211083513.
Виктория Гончарова, Avito. Когда не нужно проводить А/B-тесты: https://vimeo.com/211080787.
Александр Сергеев, Едадил. Почему полезно проводить разборы сессий: https://vimeo.com/211079157.
Айгуль Юльякшина, Lamoda. Почему статистическая значимость теста — это еще не победа: https://vimeo.com/211075624.