Коллеги, кто еще не знает, организаторы конференции по аналитике Go Analytics! - Adventum и OWOX - открыли доступы к записям выступлений за 4 года. 105 докладов по аналитике и продуктовому маркетингу точно помогут с пользой провести время.

Если не знаете, с чего начать - вот топ популярных докладов:
1. Simo Ahava, 8-bit-sheep: "In the war between tactics and strategy, communication wins the game"
2. Андрей Зайко, Adventum: "Внедряем аналитику Самое важное на старте за 30 минут"
3. Владимир Баяндин и Надежда Меньшикова, Skyeng: "Как data driven подход в операционных процессах помогает расти в три раза каждый год"

Доступ к докладам можно получить по ссылке: https://bit.ly/2MjC1KT

Симулятор GoPractice станет частью магистерской программы Высшей Школы Экономики. Это первый и уникальный прецедент для российского высшего образования.

Два с небольшим года назад мы запустили Симулятор, где наши студенты смогли приобретать практические навыки в совершенно новом формате. Эксперимент по смене подхода к образованию с "теория потом практика" в "практика потом теория” оказался успешным (более 5000 студентов учатся в Симуляторе, улучшают свои продукты, добиваются прогресса в карьере).

Сегодня я хочу поделиться важным следующим шагом для GoPractice. Симулятор станет частью магистерской программы Высшей Школы Экономики «Коммуникации, основанные на данных» (https://datadrivencommunications.ru/). Это двухлетняя вечерняя магистратура, которая выпускает менеджеров по управлению продуктом и маркетингом на основе данных. В конце обучения студенты получают диплом государственного образца с международным приложением (European Diploma Supplement), который засчитывают зарубежные работодатели. 22 июня стартует третий набор, частью программы для которых будет обучение на Симуляторе GoPractice c поддержкой от фасилитатора от университета.

Это партнерство случилось во многом благодаря Роме Нестеру. Рома построил Сегменто (большие данные в таргетинге рекламы) и продал компанию Сбербанку. Теперь он делает в ВШЭ магистратуру, где студенты получат реальные практические навыки и будут востребованы бизнесом. По-моему, это очень круто, когда академический и бизнес миры соединяются вместе в образовании. И мы рады быть первопроходцами в этом процессе – департамент коммуникаций ВШЭ стал первым среди всех российских ВУЗов, кто внедрил онлайн-симулятор в свою обязательную программу с государственным дипломом.

4 июня в 7 часов по Москве будет вебинар с моим участием, где я буду отвечать на разные вопросы о своем опыта, о работе с продуктом, о продуктовой аналитике. Записаться можно тут: https://bit.ly/2ZKuHjf

Леша Куличевский @kulichevskiy описал процесс создания системы сквозной аналитики без подключения сторонних сервисов.

Как подключаться к AmoCRM по API (на Python) и забирать данные о сделках.

https://github.com/kulichevskiy/end-to-end/blob/master/amocrm.ipynb

Нашел просто потрясающие видео-обучалки по работе с массивами в Excel:

1. Массивы и принцип их работы в старых версиях

2. Динамические массивы в Excel Office 365 - просто бомба!

Файлы к видео доступны по ссылке
Автор - Эльбина Ризаханова (fb)

@internetanalytics

Краткое руководство по реализации A/B тестов на Python:

https://medium.com/@robbiegeoghegan/implementing-a-b-tests-in-python-514e9eb5b3a1

Github Repository: https://github.com/RobbieGeoghegan/AB_Testing

via @ABtesting

В 2016 году я был свидетелем следующей ситуации. Наш руководитель службы поддержки пришел к (тогда ещё CMO) Дане Шулейко и говорит: "Если мы продолжим расти в том же духе, то за следующие полгода мне нужно будет нанять 100 агентов поддержки – подтверди бюджет на найм". Даня подумал и ответил, что, пожалуй, подтвердит найм 5 человек: 4 инженеров и 1 проджект-менеджера, – а SLA остаются прежними. Так мы вступили на путь автоматизации рутинной работы.

В 2018 году, когда первые низковисящие фрукты оптимизации были уже сняты, мы начали использовать машинное обучение в этих задачах.

На сегодняшний день в Яндекс.Такси:
– 83% сообщений на первой линии поддержки разбирается роботом,
– 93% проверок биометрии водителей осуществляетcя алгоритмом полностью автоматически,
– 32% проверок фотографий автомобилей обрабатывается с помощью ML.

ML читает чаты между пользователем и водителем, слушает звонки, проверяет брендинг с камер, распознает усталых и отвлекшихся водителей и многое многое другое.

Если вы хотите так же, подключайтесь на бесплатную онлайн–конференцию DataStart, которая состоится 30 июня, – на ней будет делиться опытом непревзойдённая Таня Савельева, руководитель команды анализа неструктурированных данных.

https://datastart.ru/online-summer-2020/?utm_source=yataxi&utm_medium=cpc&utm_campaign=speaker

Продолжая тему A/A-тестов
Материал от команды EXPlatform про то, как ребята проверяют качество системы сплитования. В нем рассматриваются очень показательные кейсы с RATIO. Например, если неправильно посчитать метрику, это тоже может сказываться на результатах A/A-теста.

https://onedrive.live.com/view.aspx?resid=8612090E610871E4!288827&ithint=file%2cdocx&authkey=!AE3UclwDsmPl80Y

Еще раз про ratio.

Коллеги из VK делятся своим опытом работы с ratio метриками. В статье ребята сравнивают разные способы работы с ratio и оценивают чувствительность этих методов при помощи моделирования a/a тестов.
https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f

Рассматриваются следующие инструменты, про многие из них мы уже писали раньше:
1) Дельта-метод для оценки дисперсии ratio
2) CUPED для ratio – про возможности CUPED для ratio метрик говорят редко, но в исходной статье есть целый раздел для приманения. Для оценки дисперсии коллеги из MS рекомендуют использовать дельта-метод.
3) Линеаризация от Яндекс
4) Bootstrap для ratio
5) Intra-user correlation – в научной среде для таких кейсов часто используют block bootstrap, но коллеги из ebay предлагают простое и доступное решение

Написали статью для ProductSense про то, как оценивать качество систем сплитования для A/B.
https://sense23.com/post/kejs-kak-opredelyat-kachestvo-sistemy-a-b-testirovaniya?fbclid=IwAR3hBiyRVXT7VIO8gHlWFr3N2Sf74Pzz5DDdjvK3aLx-uhEoWtAfQO5XNPw


А 10го июня в 20-00 на совместном митапе Experiment Fest
x karpov.courses прочитаем лекцию про то, что такое метрики здоровья экспериментов и как их считать.
https://www.experiment-fest.ru/expf_karpov

​​Google уже почти два года как выкатила крутейшую фичу в Google Data Studio — Extract Data. Это такой тип Data Source, который позволяет вытаскивать какой-то кусок данных из ваших существующих источников, гибко настраивать диапазон дат для извлечения и автоматически обновлять эти данные по расписанию. Например, можно настроить ежедневное извлечение данных с 2020.01.01 по вчерашний день и создавать такие метрики, как на скрине (коннектор GA не позволяет делать такие формулы). Это позволяет создавать метрики, аналогичные целям в GA, только даже на исторических данных и даже на уровне пользователей (цели в GA работают на сеансах). Главное ограничение: извлеченные источники данных пока что могут содержать только до 100 МБ данных.

via @WebAnalyst

​​Шаблон дашборда в DataStudio по мониторингу затрат на Google Cloud Platform с инструкцией применения.

@BigQuery

​​Очень толковая статья с советами по настройке событий в Google Analytics App+Web, а так же про их адаптацию из формата Universal Analytics. Спойлер: просто взять и перенести события указав что-то из Category, Action или Label в качестве параметров не всегда получится, так как есть лимиты на параметры событий и их количество.

https://bit.ly/2Cf0ijf

via @WebAnalyst

"Подборка подборок" материалов для аналитиков

Ученики Яндекс.Практикума собрали библиотеку открытых материалов и полезные ссылки

Кроме этого, у Леши Макарова есть огромная подборка материалов про Pandas

+ обучающие материалы от SkyEng

+ гугл-таблица с материалами для перформанс маркетологов

+ "сокровищница аналитики" от Юры Борзило


@internetanalytics

Felipe Hoffa сделал возможность просто строить pivot в bigquery)

А вообще, классный у него блог, подпишитесь.

https://link.medium.com/9yXl0TNfA7

​​15 крутых фишек для построения дашбордов в Google Data Studio. Даже если вы продвинутый пользователь системы, вероятно, все равно найдете пару интересных хаков для себя)

https://bit.ly/3dwIrS3

via @WebAnalyst

​​15 крутых фишек для построения дашбордов в Google Data Studio. Даже если вы продвинутый пользователь системы, вероятно, все равно найдете пару интересных хаков для себя)

https://bit.ly/3dwIrS3

via @WebAnalyst

Математика A/B-тестирования с примером кода на Python:

https://towardsdatascience.com/the-math-behind-a-b-testing-with-example-code-part-1-of-2-7be752e1d06f

via @ABtesting

Забавно, что некоторые выводы из исследования по удержанию сотрудников перекликаются с выводами из статьи по формированию data-driven культуры.

Найдя эту статью на HBR, я был уверен, что в ней много сути и "мяса", но оказалось, что 10 шагов к data-driven культуре от Harvard Business Review это всего-навсего несложные советы, которые укладываются в здравый смысл. Но на всякий случай - напишем. Возможно, кому-то они помогут. Справедливости ради, отмечу, что советы 2, 5 и 10 действительно ценные.

= = =
1. Важность данных для принятия решений должна транслироваться сверху: топ-менеджерам стоит взять за правило рассматривать только те предложения от сотрудников, которые подкреплены крепкими аргументами и числами.

2. Используйте метрику 'predictive accuracy through time', то есть оценивайте постфактум, насколько точны ваши метрики. Это дисциплинирует.

3. Не изолируйте дата саентистов от топ-менеджмента. А еще лучше поставьте обязательным требованием для найма в компанию на любую должность наличие навыков программирования и количественного анализа.

4. Предоставьте аналитикам максимум данных, не ограничивайте их горсткой метрик, которые считаете важными.

5. Просите аналитиков оценивать качество предлагаемых ими моделей. Задаваясь вопросом "Насколько я действительно могу доверять своей модели?", аналитик глубже разберется в деталях, а в идеале и предложит альтернативы для экспериментов. Не бойтесь экспериментов.

6. Создавайте простые решения, которые легко быстро раскатать на прод, а затем уже усложняйте и уточняйте их.

7. Проводите обучение в компании релевантное ближайшим задачам, чтобы сотрудники могли сразу применить полученные знания, а не забыть их навсегда.

8. Не центрируйте обучение сотрудников вокруг улучшения продукта или бизнеса. Обучайте сотрудников тем навыкам, которые помогут им в работе: сэкономят время, помогут избежать переделок или позволят набрать недостающие данные.

9. Выберите единые метрики и единый язык программирования для всей компании. Это облегчит как коммуникацию в целом, так и ускорит анализ данных, агрегированных из разных отделов.

10. К любому решению должен прилагаться список отвергнутых моделей и причины, по которым они сработали хуже. Таким образом рассматривается больше вариантов действий, а решения принимаются более осознанно.

@internetanalytics

И про продакт-менеджеров. На неделе я встретил ссылку на статью и иллюстрацию к ней в посте Паши Левчука (а Паша постит только полезные вещи, не то, что некоторые 😊)

Так вот, речь идет о превращении из роли Product Manager в роль Product Leader.
Рассуждают Fareed Mosavat (Slack, Instacart, Zynga) и Casey Winters (CPO Eventbrite, Growth Lead Pinterest, адвайзор Tinder, Hipcamp, Reddit, Canva, Pocket). В общем, довольно крутые парни.

Существует множество определений роли Product Manager, обязанности отличаются из компании в компанию, критерии размыты и слишком субъективны. "Product Manager" в Airbnb будет называться "Senior Product Manager" в компании LinkedIn или "Head of Product" в молодом стартапе. Ступеньки карьеры разных позиций в известных компаниях можно посмотреть здесь: www.levels.fyi (для продуктов тут)

Кроме того существует скрытая ловушка прямо посередине карьерной лестницы, в которую попадают многие PM'ы на своем пути. Речь идет о моменте перехода из роли Senior Product Manager к роли Product Leader (может также называться Group Product Manager, Director of Product, Product Lead).

Дело в том, что навыки, которые определяют вас как PM, это не те навыки, которые нужны PL. Например, если раньше задача монетизации представлялась как доработка страницы прайсинга или чекаута, то теперь вам придется решать, какие фичи в какой тариф включить. Проблему с активацией вы обычно решаете анализом данных, тогда как PL проверит, а правильно ли вообще собираются и интерпретируются данные, правильно ли определена ЦА маркетинговых компаний.

Самое печальное — вы не найдете списка новых нужных навыков в описании вакансии PL, и у вас не спросят о них на собеседовании. Но зато мы готовы поделиться несколькими советами по опыту PL крупных компаний.

Итак, смените фокус в следующих вещах:

1. Вместо углубления в один тип продуктовой работы растите вширь, освойте все: проработку нового функционала, захват текущего рынка, масштабирование, выход на смежный рынок со смежным продуктом. PL должен знать, как увеличить ROI одновременно по каждому из этих направлений.

2. Вместо того, чтобы хорошо справляться со своей работой, начните учить других хорошо справляться со своей работой. Часто оказывается, что в вещах, которые мы делаем интуитивно, мы меньше всего разбираемся. Наставничество поможет систематизировать собственный опыт, плюс вы научитесь чему-то у коллег. Кроме того может оказаться, что ваши знания могли бы облегчить чью-то работу и сэкономить время всей компании. Не оставляйте самую тяжелую работу только для себя.

3. Вместо того, чтобы решать задачи имеющимися ресурсами, учитесь перераспределять ресурсы и привлекать новых людей к решению задач, то есть влиять. Нужно принять тот факт, что руководство больше не оценивает ваш личный успех, оно оценивает успех вашей команды, за которую вы несете ответственность.

4. Переключитесь с поиска возможностей для собственного роста на возможности для роста компании. Вы можете сколько угодно вкладывать сил и времени в решение одной проблемы, например, улучшение чекаута или повышение конверсии Free to Paid, но хороший PL просто расширит команду и делегирует черную работу, а себе оставит только руководство. При этом PL сможет одновременно руководить решением сразу нескольких задач несколькими командами, и наверняка оптимальное решение будет лежать на пересечении. Хороший PL смотрит сверху, видит все проблемы и закрывает их чужими руками. Но не забывайте о балансе: сотрудники тоже должны решать проблемы и принимать решения, чтобы развиваться.
= = =

Нехитрые, по большому счету, советы. Боюсь, многим они, как и шаги к data-driven культуре, покажутся банальными и незначительными, но ведь правильного ответа на вопрос как быстро расти, прокачиваться и строить карьеру просто нет или же его тщательно скрывают от нас 😊.

@internetanalytics