Как автоматизировать А/В-тестирование и сократить время аналитика на полный цикл до 3-х часов? Тут ребята из Data Science Delivery Club рассказали о своем опыте: отказе от Firebase Console, экспериментах и важных метриках оценки результата.

via @ABtesting

​​Недавно в BigQuery добавили оператор для транспонирования строк в столбцы. Раньше это делали сложнее, описывал пример в канале, или через Dynamic SQL или UDF.
Пример использования новых операторов

(UN)PIVOT

и

QUALIFY

.

@BigQuery

Признаюсь честно, что у меня очень плохо с тем, что некоторые назвали бы «серьёзной математикой»: я плохо читаю сложные формулы, не могу сразу же схватить их физический смысл, путаюсь в разных «значочках и закорючках». Поэтому никогда не хотел стать data scientist'ом — казалось, что без знания математики в Data Science делать нечего. Позже я, конечно, узнал что это не так и можно шарить и приносить пользу в определенных разделах DS и без сильного углубления в линейную алгебру или теорию оптимизации (например, NLP)

Но что мне всегда помогало понять сложные концепции — это «пощупать» их в виде реальных данных или кода. Кажется, что это «практическое ощущение» математики у меня «проклёвывалось» ещё в универе: я спокойно мог закодить какой-нибудь метод половинного деления или Монте-Карло на занятиях по численным методам, когда понимал его как алгоритм, а вот решить дифференциальное уравнение для меня было подобно реверс-инжинирингу инопланетной технологии (это и сейчас так)

Уже позже в работе меня не раз выручал этот подход: не понимаешь как что-то работает в теории — напрограммируй это или найди чужой код. Не понимаю что такое центральная предельная теорема? Значит надо найти примеры кода, в которых ЦПТ применяется для анализа настоящих данных. Сложно понять что такое марковские цепи? Поищу как можно симулировать марковские цепи с помощью кода на Python. Запустил несколько раз симуляцию на разных входных данных и начинаешь понимать как эти шестеренки внутри крутятся. С таким подходом мне, конечно, никогда не светит писать white-papers в научные журналы. Зато многие штуки получалось применять в работе, а ещё появилась математическая интуиция и умение видеть красоту в математических концепциях

Это я всё к чему? Наткнулся на потрясный репозиторий на гитхабе, где математические нотации объяснены с помощью Python-кода. Очень кайфово

https://github.com/Jam3/math-as-code/blob/master/PYTHON-README.md

Наткнулся на отличную серию видео о том, как работают видеоаналитики Дортмунда U19. Показан полный цикл подготовки к конкретному матчу - что происходит до игры, во время игры и после игры. Инфраструктура и процессы выстроены ровно так, как это должно быть - до матча тренировки снимаются блоком камер, к которым можно получить доступ с айпада в реальном времени и подкорректировать упражнения и ход тренировок. Сам матч в лайве снимает оператор (на что-то вроде Panasonic AG-CX350), а аналитик связывается с ассистентом через гарнитуру и нарезает перед перерывом нужные моменты. Через 2 дня после матча проводится обычный видеоразбор игры.

Детали по ссылке, все видео идут в сумме полчаса (есть английские субтитры).
https://www.youtube.com/watch?v=9qNvzoLjQEg

В одном из каналов увидел рекламу небольшого курса питона для футбольной аналитики. Ссылки не будет, это не реклама. Заинтересовался, пообщался с представителем. Оказалось, что этот курс скорее предназначен для футбольных аналитиков, которые хотят начать использовать использовать в работе питон, так как это сейчас вполне себе тренд. Курс не очень большой, и, насколько понял, именно изучение работы с данными (прежде всего, pandas и matplotlib) занимает до 70% времени. И, хоть аудитория не очень большая, спрос есть.
Мне не хватает времени нормально смотреть футбол. А вот с питоном нормально. И хотелось бы, наоборот, понимать, какие есть механики и нюансы работы именно с футбольной статистикой. И таких, как мне сказали, совсем мало. Да и курс такой не подойдет.

​​Еще один хороший материал о преобразовании таблиц через PIVOT в BigQuery на русском языке от Алексея Селезнева.

@BigQuery

Обнаружил очень интересный нюанс в работе Google Optimize. Его нужно установить на сайт обязательно после GTM. Если сделать иначе, это приведет к сбросу dataLayer, и GTM загрузится не полностью. Это, в свою очередь, приведет к некорректной работе некоторых тегов в GTM и будет неприятным сюрпризом.
В документации по установке Optimize об этом упоминается: https://support.google.com/optimize/answer/6314801.

Digital-агентство Adventum приглашает на бесплатный вебинар «Как управлять большим бюджетом с помощью сквозной аналитики»

Когда: 29 июня в 14:00 МСК

Что расскажут на вебинаре:

✅ Как оптимизировать бюджеты от 1 млн рублей в месяц
✅ Почему бесплатные инструменты от Яндекса и Google — не решение
✅ Как создать единый центр медиапланирования

Узнать больше и зарегистрироваться можно на странице вебинара:

👉 https://talks.adventum.ru/skvoznaya-analitika-dlya-upravleniya-byudzhetom

Немного о гибридности ролей.
Гибридность против узкоспециализированных сильных компетенций. Часто так получается, что если ты многофункционален, то, скорее всего, уровень компетенций у тебя будет ниже, чем у узкопрофильного специалиста. Но, наверное, это не так плохо - ведь охват дает понимание работы большого количества смежных областей. Ну а также возможность в любой момент переключиться с одного на другое и вырастить в себе крутые компетенции.

Может, ошибаюсь, но в аналитике сейчас это не очень практикуется, имею ввиду не то, что помещается в голове, а то, чем человек занимается на работе. Например, веб-аналитик маловероятно будет еще и дата-инженером, а продуктовый будет еще и дата-сайентистом. Жаль, что такие вещи редко совмещаются на более-менее постоянной основе.

А было бы интересно проанализировать поведение пользователей на сайте по каким-то источникам трафика, выдвинуть некую гипотезу, собрать данные, построить ML модель, задеплоить ее, провести AB тест работоспособности модели и подвести результаты. Но, скорее всего, это все будет проходить через несколько отделов и в любой из точек может похериться.

Часто встречаются вакансии, в которых описаны требования по вышеперечисленным специальностям + еще много чего. Это, конечно, не запрос на гибридность, а, или не понимают, чего хотят, или осознанно хотят повесить на сотрудника все.

Есть подозрение, что в ближайшие годы гибридность расцветет буйным цветом. А пока нет, и приходится выбирать что-то одно. А можно не выбирать, а взять и вот это, и вот то, и еще это, с перламутровыми пуговицами?...

Что почитать для развития аналитического мышления?

Коль хотите книжек, их есть у меня.
Поделюсь теми книгами, которые, на мой взгляд, помогут настроиться на аналитический лад.

1) Data Science for Business. Foster Provost & Tom Fawcett.
Не столько про мышление, сколько про методы и как вообще с данными взаимодействовать, но хорошо подкручивает аналитические гайки в голове

2) Думай, как математик . Барбара Оакли
Про эффективное решение задач, применение ‘математических’ подходов к ним и немножко про уловки мозга и режим.

3)Теория игр. Искусство стратегического мышления в бизнесе и в жизни. Авинаш Дикситт и Барри Нейлбафф.
Книга о том, как теория игр ежедневно проявляется в нашей жизни, даже если мы этого не осознаём. Эдакая прикладная математика 🧮

4)Революция в аналитике. Как в эпоху BIG DATA улучшить бизнес с помощью операционной аналитики. Билл Фрэнкс.
Книга состоит из трёх частей: в первой автор рассказывает, что вообще такое эти ваши данные и как с ними работать, во второй части снабжает рекомендациями по построению системы аналитики в компании , ну а в третьей рассказывает, как построить команду мечты.

#полезности #истинаневпоследнейинстанции #книжкиотМаришки

Периодически раздаются прогнозы, что не только аналитики будут знать SQL-Python-и-вот-это-вот-все, но и продакты, прожекты, маркетологи. Неплохо будет, если они вначале освоят хотя бы Google Analytics, Яндекс Метрику чуть дальше, чем посмотреть конверсии в заказ (к слову, неправильные). Интуитивно работающий Data Studio - это предел мечтаний.
Уверен, что всего этого не будет. А будут какие-то lowcode или noсode конструкторы, позволяющие быстро получить необходимые данные.
Можно скринить, а потом через 5 лет швырнуть в меня грязью ну или чем тогда будут швырять.

Почти все калькуляторы для АБ тестов - черные ящики: в них засовываешь параметры, получаешь некий результат. И не видно, что и как рассчитывается. Многие знают про калькулятор размера выборки АБ теста от Эвана Миллера. Код, по которому работает этот калькулятор: https://gist.github.com/mottalrd/7ddfd45d14bc7433dec2

Ну естественно! Аналитики протащили Англию в финал. Никакие не судьи. https://www.sports.ru/tribuna/blogs/odukhevremeni/2942674.html

Мне очень нравится, как платных подписчиков считают сервисы Яндекса. Кинопоиск вот только отчитался об этом и стал лидером. Яндекс Музыка тоже считает своих подписчиков, Янедкс Диск и другие. Все смотрится круто, если сравнивать с конкурентами по сегменту. Пока, собственно, не выйдешь из этого сегмента. Ведь у всех подписчиков Яндекса одна подписка, в которой есть Кинопоиск, Музыка, Диск, Драйв, Такси, Маркет. И, если мы это все распилим и вычленим каждый продукт, получится не так ярко и красиво.
Например, IVI, Spotify, Apple Music - фактически монопродукты (с небольшими нюансами). А Яндекс продает целый пакет продуктов. Поэтому прямое сравнение совершенно некорректно, ведь мы сравниваем продукт с букетом продуктов. Если бы у Яндекса все это были отдельные продукты с отдельными подписками, тогда можно сравнивать. А так - конечно, нет.
Все это не реклама, а Яндекс, конечно, мы все любим. Но вот не нужно манипулировать цифрами.

Вчера на Youtube канале Карпов Курсы прошел вебинар на тему Зачем бизнесу аналитики?
https://www.youtube.com/watch?v=nDOj9HH9IZw&t.
Сделал небольшой конспект содержимого. Возможно, кому-то это сэкономит время.

Основная часть.

Зачем аналитик нужен бизнесу:
1. Аналитик приносит ценность, помогая на основе данных принимать правильные решения. Эти данные должны давать возможность принимать более качественные решения. Практика показывает, что так и есть, иначе бы аналитиков не держали в компании.
Соответственно, эти решения должны быть верными.
2. Не менее важно их правильно доносить до бизнеса, иначе ценность аналитика близка к 0 и он не нужен.
3. Аналитик нужен только тогда, когда необходимо повысить качество решений.
4. Аналитик обязательно должен понимать цели бизнеса.
5. Все вот эти питоны, sql и прочие статистики - всего лишь инструменты, помогающие воплотить логику решения задачи аналитика. Инструменты могут меняться, но приносимая ценность должна оставаться главным в его работе.
6. Зарплата аналитика отражает ценность его помощи в принятии решений. Соответственно, чем выше ценность, тем больше зарплата. Но это работает не универсально.

Как не нужно делать аналитику:
1. Просто исполнять то, что сказали сделать. Не нужно от заказчика ожидать полностью разжеванной задачи. Нужно быть подозрительным, критичным, думать.
2. Не нужно быть категоричным, например, тест проводить нельзя - пользователей мало. Если нельзя, значит, нужно искать другое решение.
3. Не нужно вываливать 100500 столбцов в отчете. Заказчику нужны не цифры, а результаты, подкрепленными цифрами. Он не должен сам выискивать ответ на вопросы в табличках.
4. Не нужно закапываться с задачу слишком глубоко в ущерб срокам. Скорость донесения ценности - тоже деньги.
5. Не нужно усложнять, объясняя все детали. Но и твердить, что "это слишком сложно, вы ничего не поймете", категорически неприемлемо.
Если аналитик делает такие вещи, он не нужен бизнесу.

И был большой блок вопросов из чата.

- Требования знания алгоритмов избыточны? Они нужны разработчику, но аналитику почти никогда.
- KPI в числах? KPI для аналитика скорее не нужно.
- Как выйти из состояние оператора ЭВМ для джуна? Не быть пассивным, смотреть вокруг.
- Как научиться делать выводы из данных. Думать, интерпретировать, искать ответы. Концентрироваться на вопросе "Что мы хотим достичь".
- Как работодатель понимает, что аналитик хороший? Совсем по-разному, часто от чисто технических навыков отталкиваются.
- Как работодатель понимает, что аналитик может принести пользу для бизнеса? Часто на собеседовании дается некая проблема, которую нужно решить.
- Как до бизнеса донести ценность аналитика? Демонстрировать ответственность, профессионализм.
- Где взять практические задачи для аналитика? Технические - тестовые задания после собеседования.
- Какие решения могут быть при невозможности провести АБ тест? Могут быть разные варианты, главное - придумывать некоторые решения.
- Как ответить на вопрос "Почему продажи падают"? Аналитик должен научить менеджеров задавать правильные вопросы.
- Верх развития аналитика - стать менеджером, принимающим решения? Нет. Может быть много путей.
- Как использовать аналитиков в оффлайн-бизнесе? У многих аналитиков достаточно опыта, чтобы применить его и в оффлайн, в том числе в АБ тестах.
- Чем аналитик отличается от DS? DS - это технический специалист, он не разрабатывает логику решения, он работает по ТЗ. DS все же ближе к разработчику. Аналитик же не технический специалист, но пользующийся техническими инструментами.
- Переход из отдела продаж в аналитики вполне себе перспективен.
- Как быть компаниям, в которых пока нет аналитиков данных? Не факт, что это плохо, может он и не нужен.
- Какова ситуация по аналитикам за границей? Также перегрето. Есть разница в инструментах (R и Питон в соотношении 40/60).
- Аналитик стартапа или VK - это разное? В стартапе часто делает примерно все, близкое к данным, в том числе дата инжиниринг. В VK, выше специализация и глубже работа.
- Можно ли просто прийти с вопросами к опытным коллегам? Это хорошо, приходите в чат.

- Что лучше - глубже изучить инструменты и трудоустроиться джуном или идти стажером? Нет однозначно правильного ответа. Всегда зависит от самого человека, удобных ему методов получения опыта.
- Где более сильные аналитики, в России, Европе, США? Трудно сказать.
- Как понять, что DS ближе? Нужно смотреть на любовь к техническим штукам. Если есть прямо тяга, нужно пробовать DS.

Про специализированные гаджеты для профессиональных футболистов я ещё не писал — а они есть.
Спорт все больше становится data driven; и любительский, и профессиональный. Ноги часто важнее рук — так что привычные браслеты не годятся, да и данные про биомеханику надо собирать и анализировать специфические. Вот и появляется гаджет, который можно одеть поверх бутсы, причём признанный в программе инноваций FIFA.
И, как нынче принято, подсобила пандемия со своими изоляциями: когда нельзя собраться на групповую тренировку, необходимо срочно поднять информационную насыщенность тренировки индивидуальной. В итоге ниша стала конкурентной и теперь можно наблюдать за ростом профессиональных трекеров для спортсменов и средствами обработки данных с них.

https://jewishnews.timesofisrael.com/meet-the-brains-behind-footwear-tech-thats-transforming-football/

Небольшая статья про быстрый и простой анализ Retention в ecommerce.
https://ecommerce-in-ukraine.blogspot.com/2018/12/cohorts-vs-activation-matrix.html.

Все по-разному говорят, как считать метрики — кому верить?

Всем салют! Всегда рад читать комментарии к прошлому посту и вопросы чате канала 🔥

Особое спасибо тем, кто открыто пишет о своих сомнениях и признается, что делает ошибки в расчетах метрик — это круто, мы все так учимся друг у друга.

В этот раз несколько раз написали комментарий на тему разной веры в аналитику: все говорят разное, как считать метрики — кто-то топит за сессии и визиты, кто-то за аналитику по пользователям, кто-то верит одной системе, кто-то другой — кому верить и как отстоять свою позицию?

Еще раз продублирую мысль. Это не вопрос чьей-то веры — это вопрос верных математических расчетов, чтобы принять верные управленческие решения:

1.

Сессионная аналитика не стыкуется с юнит-экономикой, планом продаж, потому что здесь конверсия по сессиям математически неверна и при подстановке значений в 1ю, 2ю, 3ю покупку вы получаете цифры, не стыкующиеся в реальности. В разборах я показываю, что эти ошибки — это несколько миллионов рублей прибыли или убытков.

2.

User-based аналитика — это стандарт уже 10+ лет во всей мобильной аналитике. Расчет по сессиям — это атавизм бесплатных движков  аналитики, который опытные ребята — Amplitude, Firebase (бывший fabric), Mixpanel, Kissmetrics — уже давно избегают и считают только user-based. Это стандарт комьюнити аналитиков, меня этому обучали еще 12 лет назад.


3.

Для прокаченных аналитиков то, что я рассказываю — это очевидные и давно известные вещи. Но как мы видим по рынку, по комментариям — таких прокаченных ребят лишь небольшая доля, потому что об этих ошибках мало рассказывали в публичном пространстве.

Поэтому мы до костей разбираем метрики, как они считаются, как их считают системы аналитики и где можно ошибиться в интерпретации этих метрик. Чтобы директорам по маркетингу, собственникам — тем, кто не погружался глубоко в вопросы аналитики — было понятно, как на самом деле системы аналитики считают метрики и что на самом деле можно использовать для управленческих решений.

——

В прошлом кейсе обещал, что соберем материал, как можно самим проверить ошибки в расчете конверсии расширенной электронной коммерции, и как построить воронку с честной конверсий по пользователям в Google Analytics Universal. Читайте статью с разбором:

🔗 Расширенная электронная коммерция Google Analytics скрывает ваши проблемы и точки роста. Рассказываем, как себя проверить

Сохраняйте в закладки — перепроверяйте себя, показывайте вашим аналитикам, подрядчикам и не совершайте этих ошибок 🙏

Помните, что конверсия — ваш шанс выигрывать на аукционах и привлекать больше целевых пользователей 🙌