Цели Google Analytics — когда они искоренятся? 😭

Всем салют! Это второй пост, о котором я мечтал 🔥 Как и обещал — подробно разберем каждую ошибку из гайда про самые частые ошибки в расчете метрик.

Мы начали гайд с целей Google Analytics — и сегодня, наконец, разберем цели. Ведь в каждой второй статье для интернет-маркетологов пишут, как по целям посчитать количество лидов, заказов, CPL, CPO, конверсию — а это верный способ сделать неверные выводы 😞 Мы собрали большую статью, почему так нельзя делать и как себя проверить.

Самое главное, что важно знать про цели:

1.
По целям в Google Analytics нельзя посчитать ни одну бизнес-метрику. Ни одну.

Количество лидов, количество заказов, стоимость лида CPL, стоимость заказа CPO, конверсия с большой вероятностью посчитаются с ошибкой. Иногда расхождения могут быть небольшими, но часто расчет этих метрик по числу достижения целей дает погрешность в 1,3...1,5 раза.

2.
В реальности: лидов меньше, чем число достигнутых целей. А заказов больше.

Поэтому стоимость лида CPL по целям занижена, а стоимость заказа CPO — завышена.

Из-за этого маркетолог неверно считает CPL, CPO, ROMI или ДРР — и усиливает слабые каналы и кампании, при этом ослабляет сильные.

3.
Почему так вышло?

Эти расхождения появляются из-за алгоритмов Google Analytics (да и Яндекс Метрики), по которым засчитывается только одно достижение цели в сессию:

· Когда пользователь оставляет несколько заказов — цели врут.

· Когда пользователь оставляет заявку разными способами: пишет в чат, звонит, заполняет форму — цели врут.

· Когда срабатывает дубли заказов в javanoscript коде на сайте или через GTM — а это нередко случается — цели врут.

Команды вводятся в заблуждение → неверно считают конверсию → неверно считают стоимость лида или заказа и эффективность каналов → усиливают слабые кампании, ослабляют сильные → не могут найти точки роста → меняют команду маркетинга:(

Try. Die. Repeat.

4.
Что можно сделать

Перестать использовать цели 😨 Мы сделали подробную статью-инструкцию, как проверить расхождения между целями, лидами и заказами, и что использовать вместо целей — и написали ее так, чтобы маркетологи или собственники могли самостоятельно проверить себя и команду за несколько минут:

🔗 читать статью

Сохраните статью и карточки себе в закладки, и когда увидите, что кто-то использует цели для расчета CPL, CPO, конверсии, показывайте этот пост и инструкцию — пусть меньше маркетологов совершает ошибки и больше маркетологов считает метрики правильно 🙏🙏🙏

Как всегда — присылайте комментарии и пишите вопросы ❤️

Свежая статься Искандера Мирмахмадова про работу с социальными эффектами при работе с АБ тестами, https://bit.ly/3tYNWlr

Как автоматизировать А/В-тестирование и сократить время аналитика на полный цикл до 3-х часов? Тут ребята из Data Science Delivery Club рассказали о своем опыте: отказе от Firebase Console, экспериментах и важных метриках оценки результата.

via @ABtesting

​​Недавно в BigQuery добавили оператор для транспонирования строк в столбцы. Раньше это делали сложнее, описывал пример в канале, или через Dynamic SQL или UDF.
Пример использования новых операторов

(UN)PIVOT

и

QUALIFY

.

@BigQuery

Признаюсь честно, что у меня очень плохо с тем, что некоторые назвали бы «серьёзной математикой»: я плохо читаю сложные формулы, не могу сразу же схватить их физический смысл, путаюсь в разных «значочках и закорючках». Поэтому никогда не хотел стать data scientist'ом — казалось, что без знания математики в Data Science делать нечего. Позже я, конечно, узнал что это не так и можно шарить и приносить пользу в определенных разделах DS и без сильного углубления в линейную алгебру или теорию оптимизации (например, NLP)

Но что мне всегда помогало понять сложные концепции — это «пощупать» их в виде реальных данных или кода. Кажется, что это «практическое ощущение» математики у меня «проклёвывалось» ещё в универе: я спокойно мог закодить какой-нибудь метод половинного деления или Монте-Карло на занятиях по численным методам, когда понимал его как алгоритм, а вот решить дифференциальное уравнение для меня было подобно реверс-инжинирингу инопланетной технологии (это и сейчас так)

Уже позже в работе меня не раз выручал этот подход: не понимаешь как что-то работает в теории — напрограммируй это или найди чужой код. Не понимаю что такое центральная предельная теорема? Значит надо найти примеры кода, в которых ЦПТ применяется для анализа настоящих данных. Сложно понять что такое марковские цепи? Поищу как можно симулировать марковские цепи с помощью кода на Python. Запустил несколько раз симуляцию на разных входных данных и начинаешь понимать как эти шестеренки внутри крутятся. С таким подходом мне, конечно, никогда не светит писать white-papers в научные журналы. Зато многие штуки получалось применять в работе, а ещё появилась математическая интуиция и умение видеть красоту в математических концепциях

Это я всё к чему? Наткнулся на потрясный репозиторий на гитхабе, где математические нотации объяснены с помощью Python-кода. Очень кайфово

https://github.com/Jam3/math-as-code/blob/master/PYTHON-README.md

Наткнулся на отличную серию видео о том, как работают видеоаналитики Дортмунда U19. Показан полный цикл подготовки к конкретному матчу - что происходит до игры, во время игры и после игры. Инфраструктура и процессы выстроены ровно так, как это должно быть - до матча тренировки снимаются блоком камер, к которым можно получить доступ с айпада в реальном времени и подкорректировать упражнения и ход тренировок. Сам матч в лайве снимает оператор (на что-то вроде Panasonic AG-CX350), а аналитик связывается с ассистентом через гарнитуру и нарезает перед перерывом нужные моменты. Через 2 дня после матча проводится обычный видеоразбор игры.

Детали по ссылке, все видео идут в сумме полчаса (есть английские субтитры).
https://www.youtube.com/watch?v=9qNvzoLjQEg

В одном из каналов увидел рекламу небольшого курса питона для футбольной аналитики. Ссылки не будет, это не реклама. Заинтересовался, пообщался с представителем. Оказалось, что этот курс скорее предназначен для футбольных аналитиков, которые хотят начать использовать использовать в работе питон, так как это сейчас вполне себе тренд. Курс не очень большой, и, насколько понял, именно изучение работы с данными (прежде всего, pandas и matplotlib) занимает до 70% времени. И, хоть аудитория не очень большая, спрос есть.
Мне не хватает времени нормально смотреть футбол. А вот с питоном нормально. И хотелось бы, наоборот, понимать, какие есть механики и нюансы работы именно с футбольной статистикой. И таких, как мне сказали, совсем мало. Да и курс такой не подойдет.

​​Еще один хороший материал о преобразовании таблиц через PIVOT в BigQuery на русском языке от Алексея Селезнева.

@BigQuery

Обнаружил очень интересный нюанс в работе Google Optimize. Его нужно установить на сайт обязательно после GTM. Если сделать иначе, это приведет к сбросу dataLayer, и GTM загрузится не полностью. Это, в свою очередь, приведет к некорректной работе некоторых тегов в GTM и будет неприятным сюрпризом.
В документации по установке Optimize об этом упоминается: https://support.google.com/optimize/answer/6314801.

Digital-агентство Adventum приглашает на бесплатный вебинар «Как управлять большим бюджетом с помощью сквозной аналитики»

Когда: 29 июня в 14:00 МСК

Что расскажут на вебинаре:

✅ Как оптимизировать бюджеты от 1 млн рублей в месяц
✅ Почему бесплатные инструменты от Яндекса и Google — не решение
✅ Как создать единый центр медиапланирования

Узнать больше и зарегистрироваться можно на странице вебинара:

👉 https://talks.adventum.ru/skvoznaya-analitika-dlya-upravleniya-byudzhetom

Немного о гибридности ролей.
Гибридность против узкоспециализированных сильных компетенций. Часто так получается, что если ты многофункционален, то, скорее всего, уровень компетенций у тебя будет ниже, чем у узкопрофильного специалиста. Но, наверное, это не так плохо - ведь охват дает понимание работы большого количества смежных областей. Ну а также возможность в любой момент переключиться с одного на другое и вырастить в себе крутые компетенции.

Может, ошибаюсь, но в аналитике сейчас это не очень практикуется, имею ввиду не то, что помещается в голове, а то, чем человек занимается на работе. Например, веб-аналитик маловероятно будет еще и дата-инженером, а продуктовый будет еще и дата-сайентистом. Жаль, что такие вещи редко совмещаются на более-менее постоянной основе.

А было бы интересно проанализировать поведение пользователей на сайте по каким-то источникам трафика, выдвинуть некую гипотезу, собрать данные, построить ML модель, задеплоить ее, провести AB тест работоспособности модели и подвести результаты. Но, скорее всего, это все будет проходить через несколько отделов и в любой из точек может похериться.

Часто встречаются вакансии, в которых описаны требования по вышеперечисленным специальностям + еще много чего. Это, конечно, не запрос на гибридность, а, или не понимают, чего хотят, или осознанно хотят повесить на сотрудника все.

Есть подозрение, что в ближайшие годы гибридность расцветет буйным цветом. А пока нет, и приходится выбирать что-то одно. А можно не выбирать, а взять и вот это, и вот то, и еще это, с перламутровыми пуговицами?...

Что почитать для развития аналитического мышления?

Коль хотите книжек, их есть у меня.
Поделюсь теми книгами, которые, на мой взгляд, помогут настроиться на аналитический лад.

1) Data Science for Business. Foster Provost & Tom Fawcett.
Не столько про мышление, сколько про методы и как вообще с данными взаимодействовать, но хорошо подкручивает аналитические гайки в голове

2) Думай, как математик . Барбара Оакли
Про эффективное решение задач, применение ‘математических’ подходов к ним и немножко про уловки мозга и режим.

3)Теория игр. Искусство стратегического мышления в бизнесе и в жизни. Авинаш Дикситт и Барри Нейлбафф.
Книга о том, как теория игр ежедневно проявляется в нашей жизни, даже если мы этого не осознаём. Эдакая прикладная математика 🧮

4)Революция в аналитике. Как в эпоху BIG DATA улучшить бизнес с помощью операционной аналитики. Билл Фрэнкс.
Книга состоит из трёх частей: в первой автор рассказывает, что вообще такое эти ваши данные и как с ними работать, во второй части снабжает рекомендациями по построению системы аналитики в компании , ну а в третьей рассказывает, как построить команду мечты.

#полезности #истинаневпоследнейинстанции #книжкиотМаришки

Периодически раздаются прогнозы, что не только аналитики будут знать SQL-Python-и-вот-это-вот-все, но и продакты, прожекты, маркетологи. Неплохо будет, если они вначале освоят хотя бы Google Analytics, Яндекс Метрику чуть дальше, чем посмотреть конверсии в заказ (к слову, неправильные). Интуитивно работающий Data Studio - это предел мечтаний.
Уверен, что всего этого не будет. А будут какие-то lowcode или noсode конструкторы, позволяющие быстро получить необходимые данные.
Можно скринить, а потом через 5 лет швырнуть в меня грязью ну или чем тогда будут швырять.

Почти все калькуляторы для АБ тестов - черные ящики: в них засовываешь параметры, получаешь некий результат. И не видно, что и как рассчитывается. Многие знают про калькулятор размера выборки АБ теста от Эвана Миллера. Код, по которому работает этот калькулятор: https://gist.github.com/mottalrd/7ddfd45d14bc7433dec2

Ну естественно! Аналитики протащили Англию в финал. Никакие не судьи. https://www.sports.ru/tribuna/blogs/odukhevremeni/2942674.html

Мне очень нравится, как платных подписчиков считают сервисы Яндекса. Кинопоиск вот только отчитался об этом и стал лидером. Яндекс Музыка тоже считает своих подписчиков, Янедкс Диск и другие. Все смотрится круто, если сравнивать с конкурентами по сегменту. Пока, собственно, не выйдешь из этого сегмента. Ведь у всех подписчиков Яндекса одна подписка, в которой есть Кинопоиск, Музыка, Диск, Драйв, Такси, Маркет. И, если мы это все распилим и вычленим каждый продукт, получится не так ярко и красиво.
Например, IVI, Spotify, Apple Music - фактически монопродукты (с небольшими нюансами). А Яндекс продает целый пакет продуктов. Поэтому прямое сравнение совершенно некорректно, ведь мы сравниваем продукт с букетом продуктов. Если бы у Яндекса все это были отдельные продукты с отдельными подписками, тогда можно сравнивать. А так - конечно, нет.
Все это не реклама, а Яндекс, конечно, мы все любим. Но вот не нужно манипулировать цифрами.

Вчера на Youtube канале Карпов Курсы прошел вебинар на тему Зачем бизнесу аналитики?
https://www.youtube.com/watch?v=nDOj9HH9IZw&t.
Сделал небольшой конспект содержимого. Возможно, кому-то это сэкономит время.

Основная часть.

Зачем аналитик нужен бизнесу:
1. Аналитик приносит ценность, помогая на основе данных принимать правильные решения. Эти данные должны давать возможность принимать более качественные решения. Практика показывает, что так и есть, иначе бы аналитиков не держали в компании.
Соответственно, эти решения должны быть верными.
2. Не менее важно их правильно доносить до бизнеса, иначе ценность аналитика близка к 0 и он не нужен.
3. Аналитик нужен только тогда, когда необходимо повысить качество решений.
4. Аналитик обязательно должен понимать цели бизнеса.
5. Все вот эти питоны, sql и прочие статистики - всего лишь инструменты, помогающие воплотить логику решения задачи аналитика. Инструменты могут меняться, но приносимая ценность должна оставаться главным в его работе.
6. Зарплата аналитика отражает ценность его помощи в принятии решений. Соответственно, чем выше ценность, тем больше зарплата. Но это работает не универсально.

Как не нужно делать аналитику:
1. Просто исполнять то, что сказали сделать. Не нужно от заказчика ожидать полностью разжеванной задачи. Нужно быть подозрительным, критичным, думать.
2. Не нужно быть категоричным, например, тест проводить нельзя - пользователей мало. Если нельзя, значит, нужно искать другое решение.
3. Не нужно вываливать 100500 столбцов в отчете. Заказчику нужны не цифры, а результаты, подкрепленными цифрами. Он не должен сам выискивать ответ на вопросы в табличках.
4. Не нужно закапываться с задачу слишком глубоко в ущерб срокам. Скорость донесения ценности - тоже деньги.
5. Не нужно усложнять, объясняя все детали. Но и твердить, что "это слишком сложно, вы ничего не поймете", категорически неприемлемо.
Если аналитик делает такие вещи, он не нужен бизнесу.

И был большой блок вопросов из чата.

- Требования знания алгоритмов избыточны? Они нужны разработчику, но аналитику почти никогда.
- KPI в числах? KPI для аналитика скорее не нужно.
- Как выйти из состояние оператора ЭВМ для джуна? Не быть пассивным, смотреть вокруг.
- Как научиться делать выводы из данных. Думать, интерпретировать, искать ответы. Концентрироваться на вопросе "Что мы хотим достичь".
- Как работодатель понимает, что аналитик хороший? Совсем по-разному, часто от чисто технических навыков отталкиваются.
- Как работодатель понимает, что аналитик может принести пользу для бизнеса? Часто на собеседовании дается некая проблема, которую нужно решить.
- Как до бизнеса донести ценность аналитика? Демонстрировать ответственность, профессионализм.
- Где взять практические задачи для аналитика? Технические - тестовые задания после собеседования.
- Какие решения могут быть при невозможности провести АБ тест? Могут быть разные варианты, главное - придумывать некоторые решения.
- Как ответить на вопрос "Почему продажи падают"? Аналитик должен научить менеджеров задавать правильные вопросы.
- Верх развития аналитика - стать менеджером, принимающим решения? Нет. Может быть много путей.
- Как использовать аналитиков в оффлайн-бизнесе? У многих аналитиков достаточно опыта, чтобы применить его и в оффлайн, в том числе в АБ тестах.
- Чем аналитик отличается от DS? DS - это технический специалист, он не разрабатывает логику решения, он работает по ТЗ. DS все же ближе к разработчику. Аналитик же не технический специалист, но пользующийся техническими инструментами.
- Переход из отдела продаж в аналитики вполне себе перспективен.
- Как быть компаниям, в которых пока нет аналитиков данных? Не факт, что это плохо, может он и не нужен.
- Какова ситуация по аналитикам за границей? Также перегрето. Есть разница в инструментах (R и Питон в соотношении 40/60).
- Аналитик стартапа или VK - это разное? В стартапе часто делает примерно все, близкое к данным, в том числе дата инжиниринг. В VK, выше специализация и глубже работа.
- Можно ли просто прийти с вопросами к опытным коллегам? Это хорошо, приходите в чат.

- Что лучше - глубже изучить инструменты и трудоустроиться джуном или идти стажером? Нет однозначно правильного ответа. Всегда зависит от самого человека, удобных ему методов получения опыта.
- Где более сильные аналитики, в России, Европе, США? Трудно сказать.
- Как понять, что DS ближе? Нужно смотреть на любовь к техническим штукам. Если есть прямо тяга, нужно пробовать DS.

Про специализированные гаджеты для профессиональных футболистов я ещё не писал — а они есть.
Спорт все больше становится data driven; и любительский, и профессиональный. Ноги часто важнее рук — так что привычные браслеты не годятся, да и данные про биомеханику надо собирать и анализировать специфические. Вот и появляется гаджет, который можно одеть поверх бутсы, причём признанный в программе инноваций FIFA.
И, как нынче принято, подсобила пандемия со своими изоляциями: когда нельзя собраться на групповую тренировку, необходимо срочно поднять информационную насыщенность тренировки индивидуальной. В итоге ниша стала конкурентной и теперь можно наблюдать за ростом профессиональных трекеров для спортсменов и средствами обработки данных с них.

https://jewishnews.timesofisrael.com/meet-the-brains-behind-footwear-tech-thats-transforming-football/