И последнее на сегодня.

На днях я читал отзыв Алексея Ярошенко об учебе в MADE.
Алексей 7 лет был маркетологом, а сейчас data scientist в крупнейшем белорусском интернет-гипермаркете 21vek.by. Так вот, он пишет, что MADE - это "бесплатно, долго, 1.5 года, «на выживание», отчисляя тех, кто не тянет". При этом, он подробно описывает пул материалов, которые он изучил "до" и "во время" школы.

И случайно так совпало, что MADE пришли ко мне за рекламным размещением. И я подумал, что ссылка на реальный отзыв гораздо лучше, чем просто пост в канале. И теперь, когда у вас есть ссылка на отзыв ученика, коротко рассказываю о промо-части:

- В Академии можно обучаться очно или дистанционно по одной из трех специальностей: Data Scientist, Machine Learning Engineer или Data Engineer.
- Они запускают командный "бой" Python против C++ на Хабре.
Тематика Big Data, ML и AI: фреймворки; сложные технические вопросы; задачи с кодом; очки опыта и рейды в комментарии.

Это сделано для того, чтобы перейти на следующий уровень и открыть новую специализацию. Тайминг ограничен. На решение каждой задачи – 5 минут.
Чья команда сильнее – Python или C++ можно будет узнать через неделю на на Хабре.

- На курсах MADE осваивают прикладной анализ данных, разработку моделей машинного обучения для высоконагруженных сервисов, обработку больших данных, компьютерное зрение, обработку естественного языка, распознавание речи и другие актуальные темы. Чтобы стать студентом Академии, нужно пройти вступительный отбор. Лучшие выпускники получат приглашение на работу в компанию.
Заявки принимаются до 1 августа.

Ссылка: https://vk.cc/auoVCA

#реклама

Коллеги, кто еще не знает, организаторы конференции по аналитике Go Analytics! - Adventum и OWOX - открыли доступы к записям выступлений за 4 года. 105 докладов по аналитике и продуктовому маркетингу точно помогут с пользой провести время.

Если не знаете, с чего начать - вот топ популярных докладов:
1. Simo Ahava, 8-bit-sheep: "In the war between tactics and strategy, communication wins the game"
2. Андрей Зайко, Adventum: "Внедряем аналитику Самое важное на старте за 30 минут"
3. Владимир Баяндин и Надежда Меньшикова, Skyeng: "Как data driven подход в операционных процессах помогает расти в три раза каждый год"

Доступ к докладам можно получить по ссылке: https://bit.ly/2MjC1KT

Симулятор GoPractice станет частью магистерской программы Высшей Школы Экономики. Это первый и уникальный прецедент для российского высшего образования.

Два с небольшим года назад мы запустили Симулятор, где наши студенты смогли приобретать практические навыки в совершенно новом формате. Эксперимент по смене подхода к образованию с "теория потом практика" в "практика потом теория” оказался успешным (более 5000 студентов учатся в Симуляторе, улучшают свои продукты, добиваются прогресса в карьере).

Сегодня я хочу поделиться важным следующим шагом для GoPractice. Симулятор станет частью магистерской программы Высшей Школы Экономики «Коммуникации, основанные на данных» (https://datadrivencommunications.ru/). Это двухлетняя вечерняя магистратура, которая выпускает менеджеров по управлению продуктом и маркетингом на основе данных. В конце обучения студенты получают диплом государственного образца с международным приложением (European Diploma Supplement), который засчитывают зарубежные работодатели. 22 июня стартует третий набор, частью программы для которых будет обучение на Симуляторе GoPractice c поддержкой от фасилитатора от университета.

Это партнерство случилось во многом благодаря Роме Нестеру. Рома построил Сегменто (большие данные в таргетинге рекламы) и продал компанию Сбербанку. Теперь он делает в ВШЭ магистратуру, где студенты получат реальные практические навыки и будут востребованы бизнесом. По-моему, это очень круто, когда академический и бизнес миры соединяются вместе в образовании. И мы рады быть первопроходцами в этом процессе – департамент коммуникаций ВШЭ стал первым среди всех российских ВУЗов, кто внедрил онлайн-симулятор в свою обязательную программу с государственным дипломом.

4 июня в 7 часов по Москве будет вебинар с моим участием, где я буду отвечать на разные вопросы о своем опыта, о работе с продуктом, о продуктовой аналитике. Записаться можно тут: https://bit.ly/2ZKuHjf

Леша Куличевский @kulichevskiy описал процесс создания системы сквозной аналитики без подключения сторонних сервисов.

Как подключаться к AmoCRM по API (на Python) и забирать данные о сделках.

https://github.com/kulichevskiy/end-to-end/blob/master/amocrm.ipynb

Нашел просто потрясающие видео-обучалки по работе с массивами в Excel:

1. Массивы и принцип их работы в старых версиях

2. Динамические массивы в Excel Office 365 - просто бомба!

Файлы к видео доступны по ссылке
Автор - Эльбина Ризаханова (fb)

@internetanalytics

Краткое руководство по реализации A/B тестов на Python:

https://medium.com/@robbiegeoghegan/implementing-a-b-tests-in-python-514e9eb5b3a1

Github Repository: https://github.com/RobbieGeoghegan/AB_Testing

via @ABtesting

В 2016 году я был свидетелем следующей ситуации. Наш руководитель службы поддержки пришел к (тогда ещё CMO) Дане Шулейко и говорит: "Если мы продолжим расти в том же духе, то за следующие полгода мне нужно будет нанять 100 агентов поддержки – подтверди бюджет на найм". Даня подумал и ответил, что, пожалуй, подтвердит найм 5 человек: 4 инженеров и 1 проджект-менеджера, – а SLA остаются прежними. Так мы вступили на путь автоматизации рутинной работы.

В 2018 году, когда первые низковисящие фрукты оптимизации были уже сняты, мы начали использовать машинное обучение в этих задачах.

На сегодняшний день в Яндекс.Такси:
– 83% сообщений на первой линии поддержки разбирается роботом,
– 93% проверок биометрии водителей осуществляетcя алгоритмом полностью автоматически,
– 32% проверок фотографий автомобилей обрабатывается с помощью ML.

ML читает чаты между пользователем и водителем, слушает звонки, проверяет брендинг с камер, распознает усталых и отвлекшихся водителей и многое многое другое.

Если вы хотите так же, подключайтесь на бесплатную онлайн–конференцию DataStart, которая состоится 30 июня, – на ней будет делиться опытом непревзойдённая Таня Савельева, руководитель команды анализа неструктурированных данных.

https://datastart.ru/online-summer-2020/?utm_source=yataxi&utm_medium=cpc&utm_campaign=speaker

Продолжая тему A/A-тестов
Материал от команды EXPlatform про то, как ребята проверяют качество системы сплитования. В нем рассматриваются очень показательные кейсы с RATIO. Например, если неправильно посчитать метрику, это тоже может сказываться на результатах A/A-теста.

https://onedrive.live.com/view.aspx?resid=8612090E610871E4!288827&ithint=file%2cdocx&authkey=!AE3UclwDsmPl80Y

Еще раз про ratio.

Коллеги из VK делятся своим опытом работы с ratio метриками. В статье ребята сравнивают разные способы работы с ratio и оценивают чувствительность этих методов при помощи моделирования a/a тестов.
https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f

Рассматриваются следующие инструменты, про многие из них мы уже писали раньше:
1) Дельта-метод для оценки дисперсии ratio
2) CUPED для ratio – про возможности CUPED для ratio метрик говорят редко, но в исходной статье есть целый раздел для приманения. Для оценки дисперсии коллеги из MS рекомендуют использовать дельта-метод.
3) Линеаризация от Яндекс
4) Bootstrap для ratio
5) Intra-user correlation – в научной среде для таких кейсов часто используют block bootstrap, но коллеги из ebay предлагают простое и доступное решение

Написали статью для ProductSense про то, как оценивать качество систем сплитования для A/B.
https://sense23.com/post/kejs-kak-opredelyat-kachestvo-sistemy-a-b-testirovaniya?fbclid=IwAR3hBiyRVXT7VIO8gHlWFr3N2Sf74Pzz5DDdjvK3aLx-uhEoWtAfQO5XNPw


А 10го июня в 20-00 на совместном митапе Experiment Fest
x karpov.courses прочитаем лекцию про то, что такое метрики здоровья экспериментов и как их считать.
https://www.experiment-fest.ru/expf_karpov

​​Google уже почти два года как выкатила крутейшую фичу в Google Data Studio — Extract Data. Это такой тип Data Source, который позволяет вытаскивать какой-то кусок данных из ваших существующих источников, гибко настраивать диапазон дат для извлечения и автоматически обновлять эти данные по расписанию. Например, можно настроить ежедневное извлечение данных с 2020.01.01 по вчерашний день и создавать такие метрики, как на скрине (коннектор GA не позволяет делать такие формулы). Это позволяет создавать метрики, аналогичные целям в GA, только даже на исторических данных и даже на уровне пользователей (цели в GA работают на сеансах). Главное ограничение: извлеченные источники данных пока что могут содержать только до 100 МБ данных.

via @WebAnalyst

​​Шаблон дашборда в DataStudio по мониторингу затрат на Google Cloud Platform с инструкцией применения.

@BigQuery

​​Очень толковая статья с советами по настройке событий в Google Analytics App+Web, а так же про их адаптацию из формата Universal Analytics. Спойлер: просто взять и перенести события указав что-то из Category, Action или Label в качестве параметров не всегда получится, так как есть лимиты на параметры событий и их количество.

https://bit.ly/2Cf0ijf

via @WebAnalyst

"Подборка подборок" материалов для аналитиков

Ученики Яндекс.Практикума собрали библиотеку открытых материалов и полезные ссылки

Кроме этого, у Леши Макарова есть огромная подборка материалов про Pandas

+ обучающие материалы от SkyEng

+ гугл-таблица с материалами для перформанс маркетологов

+ "сокровищница аналитики" от Юры Борзило


@internetanalytics

Felipe Hoffa сделал возможность просто строить pivot в bigquery)

А вообще, классный у него блог, подпишитесь.

https://link.medium.com/9yXl0TNfA7

​​15 крутых фишек для построения дашбордов в Google Data Studio. Даже если вы продвинутый пользователь системы, вероятно, все равно найдете пару интересных хаков для себя)

https://bit.ly/3dwIrS3

via @WebAnalyst

​​15 крутых фишек для построения дашбордов в Google Data Studio. Даже если вы продвинутый пользователь системы, вероятно, все равно найдете пару интересных хаков для себя)

https://bit.ly/3dwIrS3

via @WebAnalyst

Математика A/B-тестирования с примером кода на Python:

https://towardsdatascience.com/the-math-behind-a-b-testing-with-example-code-part-1-of-2-7be752e1d06f

via @ABtesting

Забавно, что некоторые выводы из исследования по удержанию сотрудников перекликаются с выводами из статьи по формированию data-driven культуры.

Найдя эту статью на HBR, я был уверен, что в ней много сути и "мяса", но оказалось, что 10 шагов к data-driven культуре от Harvard Business Review это всего-навсего несложные советы, которые укладываются в здравый смысл. Но на всякий случай - напишем. Возможно, кому-то они помогут. Справедливости ради, отмечу, что советы 2, 5 и 10 действительно ценные.

= = =
1. Важность данных для принятия решений должна транслироваться сверху: топ-менеджерам стоит взять за правило рассматривать только те предложения от сотрудников, которые подкреплены крепкими аргументами и числами.

2. Используйте метрику 'predictive accuracy through time', то есть оценивайте постфактум, насколько точны ваши метрики. Это дисциплинирует.

3. Не изолируйте дата саентистов от топ-менеджмента. А еще лучше поставьте обязательным требованием для найма в компанию на любую должность наличие навыков программирования и количественного анализа.

4. Предоставьте аналитикам максимум данных, не ограничивайте их горсткой метрик, которые считаете важными.

5. Просите аналитиков оценивать качество предлагаемых ими моделей. Задаваясь вопросом "Насколько я действительно могу доверять своей модели?", аналитик глубже разберется в деталях, а в идеале и предложит альтернативы для экспериментов. Не бойтесь экспериментов.

6. Создавайте простые решения, которые легко быстро раскатать на прод, а затем уже усложняйте и уточняйте их.

7. Проводите обучение в компании релевантное ближайшим задачам, чтобы сотрудники могли сразу применить полученные знания, а не забыть их навсегда.

8. Не центрируйте обучение сотрудников вокруг улучшения продукта или бизнеса. Обучайте сотрудников тем навыкам, которые помогут им в работе: сэкономят время, помогут избежать переделок или позволят набрать недостающие данные.

9. Выберите единые метрики и единый язык программирования для всей компании. Это облегчит как коммуникацию в целом, так и ускорит анализ данных, агрегированных из разных отделов.

10. К любому решению должен прилагаться список отвергнутых моделей и причины, по которым они сработали хуже. Таким образом рассматривается больше вариантов действий, а решения принимаются более осознанно.

@internetanalytics