Интересно сейчас разные специалисты рассуждают о будущем аналитики, аналитика.
В частности Алексей Свирин написал интересный пост в fb. В мимолетный миг досуга также надумал сформировать свое мнение.
Не вижу проблемы в том, что дата-аналитика как есть сейчас сдохнет. Ну и ладно, такова жизнь.
У себя в голове не могу толком разделить продуктового и дата-аналитиков. Так как продуктовый, конечно, должен уметь работать с данными, а аналитик данных должен обладать продуктовым мышлением, иначе толка от него не будет.
К вариантам, которые предложил Алексей (системный аналитик, продуктолог, программист, дата-инженер) уверенно добавлю обычного продуктового аналитика.
Предыдущий мой руководитель прекрасно понимал, как нужно работать с аналитиком: даешь аналитику проблему и он идет ее решать. И таких проблем может быть 100500. Ведь жизнь не ограничивается АБ тестами и дашбордами - любой живой развивающийся продукт требует постоянного решения многих вопросов, типа ответов на вопросы как нам сделать?, почему?, когда?, а что, если? и тд. И, слабо понимаю, как изучение прекрасных красивых дашбордов все это сможет сделать.
Аналитик сам решит, какие инструменты применить, в каком формате презентовать и обосновать результат. Наверное, поэтому, при знании только GA, экселя и совсем плохого SQL я никогда не был джуном. И благодарен ему за это.
Менеджеры продукта сами все это не сделают - у них другие обязанности. А аналитик, как его не называй, продуктовый, данных, еще как-то, просто быть самостоятельнее, и, наверное, шире владеть хард и софт-скилами, хорошо понимать, как работает компания. И, конечно, уметь проводить полный цикл решения проблемы, от "пойду в бд" по защиты отчета и рекомендаций.
И все это отлично.
В частности Алексей Свирин написал интересный пост в fb. В мимолетный миг досуга также надумал сформировать свое мнение.
Не вижу проблемы в том, что дата-аналитика как есть сейчас сдохнет. Ну и ладно, такова жизнь.
У себя в голове не могу толком разделить продуктового и дата-аналитиков. Так как продуктовый, конечно, должен уметь работать с данными, а аналитик данных должен обладать продуктовым мышлением, иначе толка от него не будет.
К вариантам, которые предложил Алексей (системный аналитик, продуктолог, программист, дата-инженер) уверенно добавлю обычного продуктового аналитика.
Предыдущий мой руководитель прекрасно понимал, как нужно работать с аналитиком: даешь аналитику проблему и он идет ее решать. И таких проблем может быть 100500. Ведь жизнь не ограничивается АБ тестами и дашбордами - любой живой развивающийся продукт требует постоянного решения многих вопросов, типа ответов на вопросы как нам сделать?, почему?, когда?, а что, если? и тд. И, слабо понимаю, как изучение прекрасных красивых дашбордов все это сможет сделать.
Аналитик сам решит, какие инструменты применить, в каком формате презентовать и обосновать результат. Наверное, поэтому, при знании только GA, экселя и совсем плохого SQL я никогда не был джуном. И благодарен ему за это.
Менеджеры продукта сами все это не сделают - у них другие обязанности. А аналитик, как его не называй, продуктовый, данных, еще как-то, просто быть самостоятельнее, и, наверное, шире владеть хард и софт-скилами, хорошо понимать, как работает компания. И, конечно, уметь проводить полный цикл решения проблемы, от "пойду в бд" по защиты отчета и рекомендаций.
И все это отлично.
Неожиданно узнал, как переименовать в GA каналы трафика. Есть же традиционная проблема у yandex.ru/organic и yandex.ru/referral. Как оказалось, очень просто привести это все к одному источнику.
https://wilhard.ru/blog/seo/yandex-ru-referral-and-yandex-organic-google-analytics-problem/
https://wilhard.ru/blog/seo/yandex-ru-referral-and-yandex-organic-google-analytics-problem/
WILHARD.RU
Что за источник yandex.ru/referral в Гугл Аналитикс? Как исправить?
Почему в Гугл Аналитикс показываются какие-то непонятные источники трафика yandex.ru/referral, yandex.ua/referral и т.д.? Как решить проблему?
Тоже посмотрел-послушал Анатолия Карпова: https://youtu.be/2Obawm2vzDo
Получилось сильно созвучно моему восприятию роли аналитика в компании. Не доставать и джоинить данные, а помогать бизнесу принимать правильные решения.
Недавно один знакомый попросил помочь найти ему аналитика. Согласился составить вакансию, поучаствововать в собеседовании, составить тестовое задание. Мы пока только начали.
Посмотрев на найм со стороны, открыл для себя много интересного. Об этом расскажу с ближайшее время. А также о проблемах, с которыми сталкивается мой знакомый и столкнется его будущий коллега.
Получилось сильно созвучно моему восприятию роли аналитика в компании. Не доставать и джоинить данные, а помогать бизнесу принимать правильные решения.
Недавно один знакомый попросил помочь найти ему аналитика. Согласился составить вакансию, поучаствововать в собеседовании, составить тестовое задание. Мы пока только начали.
Посмотрев на найм со стороны, открыл для себя много интересного. Об этом расскажу с ближайшее время. А также о проблемах, с которыми сталкивается мой знакомый и столкнется его будущий коллега.
YouTube
Как проходить собеседования аналитику данных? | Анатолий Карпов | Голосовой чат | karpov.courses
Курс «Аналитик данных»: http://bit.ly/3FGX5qy
После проведения технического интервью на позицию junior-аналитика мы организовали голосовой чат, чтобы обсудить итоги собеседования. И знаете что? Мы выяснили, что для успешного прохождения важна не вызубренная…
После проведения технического интервью на позицию junior-аналитика мы организовали голосовой чат, чтобы обсудить итоги собеседования. И знаете что? Мы выяснили, что для успешного прохождения важна не вызубренная…
Какая ирония - когда "идешь" на собеседование соискателем, думаешь, что, вот теорию вероятностей как-то начал забывать, а что там с питоном, а что такое мощность в статистике.
А когда "идешь" на собеседование нанимающим, думаешь, как понять, что у него с головой в порядке, что он понимает, как работают деньги, чтобы был ответственным, критичным, а пандас этот за 3 месяца отлично учится, и оконки в sql не главное, и сквозная аналитика только звучит эффектно...
Прежде всего понимание, как решить задачу-проблему. А в качестве инструмента и эксель ничего так. А, может, и нет проблемы, и решать ничего не надо.
А когда "идешь" на собеседование нанимающим, думаешь, как понять, что у него с головой в порядке, что он понимает, как работают деньги, чтобы был ответственным, критичным, а пандас этот за 3 месяца отлично учится, и оконки в sql не главное, и сквозная аналитика только звучит эффектно...
Прежде всего понимание, как решить задачу-проблему. А в качестве инструмента и эксель ничего так. А, может, и нет проблемы, и решать ничего не надо.
Forwarded from Lena Seregina 📈🧘♀️♥️
Помню, как я впервые услышала на Школе Менеджеров Яндекса фразу:
Продукт — это то, что решает проблему пользователей или клиентов. Всё остальное — галлюцинации.
Я потеряла сон. Будто заблудший человек, которому великий мудрец раскрыл, в чем смысл жизни. Да только человек (я) ничего не понял.
Эта фраза напоминала мне неравенство Гейзенберга и уравнение Бернулли. Прекрасная в своей контр интуитивности и простоте.
Эта фраза будила меня по ночам все мои годы в аналитике. Я понимала, что помимо случайной череды событий, обычного Казино, коим является жизнь, есть ещё простое разделение людей. Люди делятся на 2 типа. На тех, кто понимает что-то особенное про проблему пользователей и тех, «кто копает». Но что?
Я была тем, кто копает. И таких большинство. Я редко встречала тех, кто понимал что-то особенное про проблему клиентов. За их плечами росли экспоненты аудитории и дохода. А они плавно шли к окну, чтобы утонуть в созерцании калифорнийского заката.
Когда мне показалось, что что-то такое про проблему — это научиться её измерять, я изобрела метрики ценности PV и придумала формулу их связи с качеством — PQ. Мои соцсети читают родители. Поэтому я напишу далее без обсценной лексики:
— Подавляющему большинству продуктовых людей и топам глубоко наплевать на ценность и качество. И уж тем более измерение этих далёких для них вещей.
Вы думаете, я не показывала им, как математические ценность драйвит экономику продукта? Им было наплевать.
Я думаю, что человек с амбициями сделать крутой продукт и человек с амбициями заработать достаточно, чтобы не работать, очень легко читаются по их равнодушию или неравнодушию к ценности.
Люди с амбициями сделать крутое, творцы, создатели — это те, кем я восхищаюсь. И их интересует ценность прежде всего. И им часто наплевать на аналитику. Потому что в культуре данных нет развитого мускула -- считать ценность.
В какой-то момент, я увидела, что крутые продукты всегда монетизируют ценность, которую они дают клиентам. Они всегда именно за неё берут деньги или именно в момент получения основной ценности включают рекламу. Так себе продукты берут деньги за материю (вроде какого-нибудь ненужного китайского девайса, который либо сгорит через неделю, либо будет скучать среди сотен тысяч ему подобных в разделе Авито «Продаю своё»).Либо (что еще хуже) так себе продукты продают время работы своей команды. Это диджитал, детка. Диджитал и два конца.
Обратите внимание, что Фейсбук (PV=Time Per session), Тиндер (PV = matches per session), Spotify (PV=Time Per session), Фитнес-платформы с понедельной подпиской (PV=Weekly Retention), некоторые частные клиники на самом деле продают вам в чистом виде ценность. Даже Amazon продает ценность (PV = Orders Per session), а точнее её первообразную по пользователям.
Но таких продуктов очень мало.
Мало людей с амбициями не лежать, а творить. Поэтому я уже месяц открываю LMS и закрываю снова. Надо залить туда своей курс про метрики ценности. Но кому это надо? Думаю я. И ухожу в рутину, где всем надо закрывать KPI и медитировать на графики аудитории.
А как дела в вашей компании? Знают ли там ключевую метрику ценности продукта?
Продукт — это то, что решает проблему пользователей или клиентов. Всё остальное — галлюцинации.
Я потеряла сон. Будто заблудший человек, которому великий мудрец раскрыл, в чем смысл жизни. Да только человек (я) ничего не понял.
Эта фраза напоминала мне неравенство Гейзенберга и уравнение Бернулли. Прекрасная в своей контр интуитивности и простоте.
Эта фраза будила меня по ночам все мои годы в аналитике. Я понимала, что помимо случайной череды событий, обычного Казино, коим является жизнь, есть ещё простое разделение людей. Люди делятся на 2 типа. На тех, кто понимает что-то особенное про проблему пользователей и тех, «кто копает». Но что?
Я была тем, кто копает. И таких большинство. Я редко встречала тех, кто понимал что-то особенное про проблему клиентов. За их плечами росли экспоненты аудитории и дохода. А они плавно шли к окну, чтобы утонуть в созерцании калифорнийского заката.
Когда мне показалось, что что-то такое про проблему — это научиться её измерять, я изобрела метрики ценности PV и придумала формулу их связи с качеством — PQ. Мои соцсети читают родители. Поэтому я напишу далее без обсценной лексики:
— Подавляющему большинству продуктовых людей и топам глубоко наплевать на ценность и качество. И уж тем более измерение этих далёких для них вещей.
Вы думаете, я не показывала им, как математические ценность драйвит экономику продукта? Им было наплевать.
Я думаю, что человек с амбициями сделать крутой продукт и человек с амбициями заработать достаточно, чтобы не работать, очень легко читаются по их равнодушию или неравнодушию к ценности.
Люди с амбициями сделать крутое, творцы, создатели — это те, кем я восхищаюсь. И их интересует ценность прежде всего. И им часто наплевать на аналитику. Потому что в культуре данных нет развитого мускула -- считать ценность.
В какой-то момент, я увидела, что крутые продукты всегда монетизируют ценность, которую они дают клиентам. Они всегда именно за неё берут деньги или именно в момент получения основной ценности включают рекламу. Так себе продукты берут деньги за материю (вроде какого-нибудь ненужного китайского девайса, который либо сгорит через неделю, либо будет скучать среди сотен тысяч ему подобных в разделе Авито «Продаю своё»).Либо (что еще хуже) так себе продукты продают время работы своей команды. Это диджитал, детка. Диджитал и два конца.
Обратите внимание, что Фейсбук (PV=Time Per session), Тиндер (PV = matches per session), Spotify (PV=Time Per session), Фитнес-платформы с понедельной подпиской (PV=Weekly Retention), некоторые частные клиники на самом деле продают вам в чистом виде ценность. Даже Amazon продает ценность (PV = Orders Per session), а точнее её первообразную по пользователям.
Но таких продуктов очень мало.
Мало людей с амбициями не лежать, а творить. Поэтому я уже месяц открываю LMS и закрываю снова. Надо залить туда своей курс про метрики ценности. Но кому это надо? Думаю я. И ухожу в рутину, где всем надо закрывать KPI и медитировать на графики аудитории.
А как дела в вашей компании? Знают ли там ключевую метрику ценности продукта?
Навеяло некоторые воспоминания.
Когда-то работал в небольшом прайс-агрегаторе - отвечал за разработку и трафик закупаемый и продаваемый, ну и за многие другие вопросы - компания была небольшая. Название приводить не буду - это не является важным.
Долгое время я полагал что наш продукт - прайс-агрегатор, что он дает ценность посетителю (может выбрать товар по лучшей цене) и интернет-магазину (даем целевой трафик). И на всем вот этом мы будем зарабатывать.
Впоследствии выяснилось, что все не так. Фактически было два продукта с очень разными ценностями:
- сайт (прайс-агрегатор) - интерфейс для получения чека от интернет-магазина - менеджеры по продажам звонили в интернет-магазин и предлагали разместить на нем свой прайс-лист. Часть из них соглашались.
- инструмент открутки трафика - нужно было потратить бюджет клиента трафиком фактически любого качества, главное было списать бюджет и попросить еще платеж. Пользователи, приходящие в интернет-магазин, даже и не видели наш прайс-агрегатор - они редиректились с попутным прикреплением наших utm меток.
Итого: ценность все это несло только для владельца бизнеса, 95% платежей были менее 10 000 р., и минимум повторных платежей. Этот бизнес жив и сейчас - в России полно интернет-магазинов, да и аналитика не у всех нормально настроена, чтобы увидеть проблему. Меня давно там нет, и к лучшему, но это был очень полезный опыт.
Вот такой бывает продукт, с такой вот ценностью, пусть и для ну очень узкой аудитории.
Когда-то работал в небольшом прайс-агрегаторе - отвечал за разработку и трафик закупаемый и продаваемый, ну и за многие другие вопросы - компания была небольшая. Название приводить не буду - это не является важным.
Долгое время я полагал что наш продукт - прайс-агрегатор, что он дает ценность посетителю (может выбрать товар по лучшей цене) и интернет-магазину (даем целевой трафик). И на всем вот этом мы будем зарабатывать.
Впоследствии выяснилось, что все не так. Фактически было два продукта с очень разными ценностями:
- сайт (прайс-агрегатор) - интерфейс для получения чека от интернет-магазина - менеджеры по продажам звонили в интернет-магазин и предлагали разместить на нем свой прайс-лист. Часть из них соглашались.
- инструмент открутки трафика - нужно было потратить бюджет клиента трафиком фактически любого качества, главное было списать бюджет и попросить еще платеж. Пользователи, приходящие в интернет-магазин, даже и не видели наш прайс-агрегатор - они редиректились с попутным прикреплением наших utm меток.
Итого: ценность все это несло только для владельца бизнеса, 95% платежей были менее 10 000 р., и минимум повторных платежей. Этот бизнес жив и сейчас - в России полно интернет-магазинов, да и аналитика не у всех нормально настроена, чтобы увидеть проблему. Меня давно там нет, и к лучшему, но это был очень полезный опыт.
Вот такой бывает продукт, с такой вот ценностью, пусть и для ну очень узкой аудитории.
Слушаю крайний выпуск подкаста Айтишниками не рождаются.
Прекрасно сформулирована основная задача аналитика - ответить на какой-то бизнесовый вопрос. А все остальное - всего лишь инструменты, помогающие на него ответить.
Прекрасно сформулирована основная задача аналитика - ответить на какой-то бизнесовый вопрос. А все остальное - всего лишь инструменты, помогающие на него ответить.
Рабочая доска аналитика. Решил сохранить на память. Тут есть:
- задача про вагонетку
- решение задачи про вагонетку с помощью линейной регрессии, назначив жертвам веса
- проблема выбора жертвы автономного автомобиля
- правильная схема дерева решений при принятии мужем решения шпионить за женой
- портреты двух политиков
- нахождение одной проблемы на сайте в момент поиска решения другой
- схема триангуляции Делоне
- немного питона
- схема сборки отчета в БД
- проблема принятия решения человеком во взаимодействии вычислительного центра (наша нейросеть) и входящих факторов
- проблема принятия решений у очень богатых людей
Не ожидал, насколько насыщенный у меня сегодня день
- задача про вагонетку
- решение задачи про вагонетку с помощью линейной регрессии, назначив жертвам веса
- проблема выбора жертвы автономного автомобиля
- правильная схема дерева решений при принятии мужем решения шпионить за женой
- портреты двух политиков
- нахождение одной проблемы на сайте в момент поиска решения другой
- схема триангуляции Делоне
- немного питона
- схема сборки отчета в БД
- проблема принятия решения человеком во взаимодействии вычислительного центра (наша нейросеть) и входящих факторов
- проблема принятия решений у очень богатых людей
Не ожидал, насколько насыщенный у меня сегодня день
Кстати, если кто-то интересуется спортивной аналитикой данных, в частности футбольной, можно начать отсюда:
- https://github.com/metrica-sports/sample-data
- https://github.com/Friends-of-Tracking-Data-FoTD/LaurieOnTracking
По первой ссылке можно найти трекинговые данные и события по нескольким играм. По второй уроки по анализу этих данных.
Можно также написать мне в личку, расскажу про группы и каналы по футбольной аналитике.
- https://github.com/metrica-sports/sample-data
- https://github.com/Friends-of-Tracking-Data-FoTD/LaurieOnTracking
По первой ссылке можно найти трекинговые данные и события по нескольким играм. По второй уроки по анализу этих данных.
Можно также написать мне в личку, расскажу про группы и каналы по футбольной аналитике.
GitHub
GitHub - metrica-sports/sample-data: Metrica Sports sample tracking and event data
Metrica Sports sample tracking and event data. Contribute to metrica-sports/sample-data development by creating an account on GitHub.
Forwarded from Laptop Coach
Use case, о котором мечтает, наверное, каждый футбольный Data Scientist. Остаётся Бэнему собрать такой же клуб в Про лиге, и помимо Analytics Derby в АПЛ будет Automated Decisions Derby в Бельгии.
https://www.sports.ru/tribuna/blogs/urbanhymns/2982901.html?sl=1
https://www.sports.ru/tribuna/blogs/urbanhymns/2982901.html?sl=1
Sports.ru
Владелец «Брайтона» ставит эксперимент в Бельгии: его клуб «Юнион» собрали из бесплатных игроков компьютерной программой
Денис Пузырев изучил сказочную историю из сердца Европы.
Отличная новость с Yac Education. Яндекс начал публиковать учебник по машинному обучению - https://academy.yandex.ru/dataschool/book
И снова про наше все - образование. Достаточно случайно натолкнулся на курс по продуктовой аналитике от одной онлайн-школы. Название школы приводить не буду - скажу лишь, что она от компании, созвучной с названием одной соцсети и на этот курс уже распространяется черная пятница с большой скидкой.
Ну так вот. Смотрим программу. В целом, она неплохая - закрывает и хард, и софт-скиллы. 1 блок - Продуктовая аналитика, 2 блок - SQL и получение данных, 3 блок - Tableau, и т.д. С самого начала нас учат работать с гипотезами, строить пирамиду метрик, юнит экономику. Это же прекрасно?! Нет. Отсутствует самый первый блок.
Так кто же такой аналитик продукта? Говорят, что это продакт-менеджер в миниатюре - если сильно упростить, он должен понимать, как работает бизнес, продукт, чтобы помогать продакту принимать правильные решения. И только после этого появляются питоны, базы данных, аб-тесты и проч.
Так почему же тогда с самого начала нас учат работать с гипотезами, потом работать с данными, потом общаться? А, может, стоит сначала поучить, как работает бизнес, как работают деньги, что такое маркетинг, какие проблемы и как решает бизнес, какие решения он должен принимать и в каких ограничениях, и вот это вот все. Именно с этого нужно начинать, не меньше месяца посвятить самому главному. Должны быть изучены и проработаны десятки бизнес-кейсов продуктов различного типа: интернет-магазин, подписной сервис, мобильная игра, оффлайн-бизнес и др. Чтобы студенты понимали, какие проблемы предстоит решать.
А то работодатели жалуются, что выпускники онлайн-школ могут неплохо работать с данными, но очень часто не понимают, что и зачем они делают. Так просто их этому не учат. Ну, конечно, проще записать пару лекций на питоне и дать задания по SQL (типа тех, что на одном известном сайте-тренажере). И плюс красивый лендинг с кучей пруфов, конечно. А учить бизнесу, учить решать вопросы - это зачем?
Ну так вот. Смотрим программу. В целом, она неплохая - закрывает и хард, и софт-скиллы. 1 блок - Продуктовая аналитика, 2 блок - SQL и получение данных, 3 блок - Tableau, и т.д. С самого начала нас учат работать с гипотезами, строить пирамиду метрик, юнит экономику. Это же прекрасно?! Нет. Отсутствует самый первый блок.
Так кто же такой аналитик продукта? Говорят, что это продакт-менеджер в миниатюре - если сильно упростить, он должен понимать, как работает бизнес, продукт, чтобы помогать продакту принимать правильные решения. И только после этого появляются питоны, базы данных, аб-тесты и проч.
Так почему же тогда с самого начала нас учат работать с гипотезами, потом работать с данными, потом общаться? А, может, стоит сначала поучить, как работает бизнес, как работают деньги, что такое маркетинг, какие проблемы и как решает бизнес, какие решения он должен принимать и в каких ограничениях, и вот это вот все. Именно с этого нужно начинать, не меньше месяца посвятить самому главному. Должны быть изучены и проработаны десятки бизнес-кейсов продуктов различного типа: интернет-магазин, подписной сервис, мобильная игра, оффлайн-бизнес и др. Чтобы студенты понимали, какие проблемы предстоит решать.
А то работодатели жалуются, что выпускники онлайн-школ могут неплохо работать с данными, но очень часто не понимают, что и зачем они делают. Так просто их этому не учат. Ну, конечно, проще записать пару лекций на питоне и дать задания по SQL (типа тех, что на одном известном сайте-тренажере). И плюс красивый лендинг с кучей пруфов, конечно. А учить бизнесу, учить решать вопросы - это зачем?
Forwarded from Я у мамы аналитик (Stas Valuev)
"Browser-Based Database Clients" - обзорная статья про варианты подключения к базам данных через браузер:
🔸SQL-клиенты гиперскейлеров (AWS, GCP, Azure);
🔸ноутбукоподобные клиенты (Count.co, Databricks SQL notebook, Franchise);
🔸BI-инструменты, которые могут в SQL (Redash, Metabase, Superset);
🔸Другое (SQLPad, PopSQL, JackDB).
С инструментами из последней категории сталкиваюсь впервые, кажется могут подойти для базовых сценариев, когда дашборды не нужны.
🔗Ссылка
#базы_данных #инструменты
🔸SQL-клиенты гиперскейлеров (AWS, GCP, Azure);
🔸ноутбукоподобные клиенты (Count.co, Databricks SQL notebook, Franchise);
🔸BI-инструменты, которые могут в SQL (Redash, Metabase, Superset);
🔸Другое (SQLPad, PopSQL, JackDB).
С инструментами из последней категории сталкиваюсь впервые, кажется могут подойти для базовых сценариев, когда дашборды не нужны.
🔗Ссылка
#базы_данных #инструменты
Только сегодня досмотрел митап от EXPF и СберМаркет - https://youtu.be/1blbhx9BYxk.
Для меня самым интересным был доклад Виталия Черемисина про чувствительность метрик. Виталий очень доступно все разжевал и рассказал о том, как оценивать эту самую чувствительность метрик. Ниже небольшой конспект этой части его выступления.
Для того, что оценить чувствительность той или иной метрики, нужно моделировать рост нашей метрики на некоторой выборке и оценивать, при каком условии чувствительность максимальная.
1. Нужно взять некоторую группу пользователей, разбить ее на две группы, так, чтобы в обеих группах наша метрика была равна.
2. Выбрать несколько значений uplift. Шаг может быть разным, исходя из эмпирического опыта.
3. И по каждому из значений uplift нужно произвести операции:
- В одной из выборок (пусть она будет B) увеличить значение метрики на величину uplift. Это нужно делать не коэффициентом умножить на вреднее, а некоторым пользователям добавить конверсии, каким-то убрать. В результате получится полноценная выборка с дополнительными конверсиями.
- Делать множественные подвыборки (например, 1000) из обеих групп, сравнивать их показатели, рассчитывать pvalue.
- В результате у нас получится 1000 значений pvalue. Считаем, какой в каком проценте из них pvalue был ниже 0,05. Например, их будет 65%. Вот это процент и есть чувствительность нашей метрики при увеличении на некоторую величину.
- Фиксируем данные. И то же самое теперь производим с остальными значениям uplift.
4. В результате у нас получится таблица, в которой у нас посчитана чувствительность метрики при разных значениях ее увеличения. И можно сделать вывод, при каком росте конверсии можно рассчитывать зафиксировать эффект, если он есть.
Для чего это можно использовать:
1. Чтобы сделать вывод, нужно при проводить эксперимент. Например, выяснится, что, чтобы получить чувствительность 80%, нужно увеличить конверсию на 30%, что считается невозможным при данных изменениях. Значит, на данный момент нужно отказаться от тестирования данной гипотезы.
2. Чтобы приоритизировать гипотезы для проведения экспериментов. Проверив чувствительность многих метрик и предполагая их увеличение на определенный процент, можно понимать, какие гипотезы про какие метрики являются более перспективными с точки зрения возможности увидеть положительный эффект. Становится понятно, с каких метрик и каких гипотез лучше начать тестирование изменений.
Для меня самым интересным был доклад Виталия Черемисина про чувствительность метрик. Виталий очень доступно все разжевал и рассказал о том, как оценивать эту самую чувствительность метрик. Ниже небольшой конспект этой части его выступления.
Для того, что оценить чувствительность той или иной метрики, нужно моделировать рост нашей метрики на некоторой выборке и оценивать, при каком условии чувствительность максимальная.
1. Нужно взять некоторую группу пользователей, разбить ее на две группы, так, чтобы в обеих группах наша метрика была равна.
2. Выбрать несколько значений uplift. Шаг может быть разным, исходя из эмпирического опыта.
3. И по каждому из значений uplift нужно произвести операции:
- В одной из выборок (пусть она будет B) увеличить значение метрики на величину uplift. Это нужно делать не коэффициентом умножить на вреднее, а некоторым пользователям добавить конверсии, каким-то убрать. В результате получится полноценная выборка с дополнительными конверсиями.
- Делать множественные подвыборки (например, 1000) из обеих групп, сравнивать их показатели, рассчитывать pvalue.
- В результате у нас получится 1000 значений pvalue. Считаем, какой в каком проценте из них pvalue был ниже 0,05. Например, их будет 65%. Вот это процент и есть чувствительность нашей метрики при увеличении на некоторую величину.
- Фиксируем данные. И то же самое теперь производим с остальными значениям uplift.
4. В результате у нас получится таблица, в которой у нас посчитана чувствительность метрики при разных значениях ее увеличения. И можно сделать вывод, при каком росте конверсии можно рассчитывать зафиксировать эффект, если он есть.
Для чего это можно использовать:
1. Чтобы сделать вывод, нужно при проводить эксперимент. Например, выяснится, что, чтобы получить чувствительность 80%, нужно увеличить конверсию на 30%, что считается невозможным при данных изменениях. Значит, на данный момент нужно отказаться от тестирования данной гипотезы.
2. Чтобы приоритизировать гипотезы для проведения экспериментов. Проверив чувствительность многих метрик и предполагая их увеличение на определенный процент, можно понимать, какие гипотезы про какие метрики являются более перспективными с точки зрения возможности увидеть положительный эффект. Становится понятно, с каких метрик и каких гипотез лучше начать тестирование изменений.
YouTube
online meetup EXPF x СберМаркет
online meetup EXPF x СберМаркет
18:00–18:30, Платформа А/Б тестирований: создание универсальной системы для проведения экспериментов на онлайн платформах
Станислав Романихин, head of DS sever x
18:30–19:00, Метрики для метрик
Виталий Черемисинов, co…
18:00–18:30, Платформа А/Б тестирований: создание универсальной системы для проведения экспериментов на онлайн платформах
Станислав Романихин, head of DS sever x
18:30–19:00, Метрики для метрик
Виталий Черемисинов, co…
Многие, наверное, играли в шахматы сами с собой. Мне приходилось, когда брат отказывался играть. И играешь за обе стороны. Не очень интересно, но лучше, чем ничего. К чему я это. Обещал рассказать про проблемы, с которыми сталкивается работодатель, когда нанимает аналитика. Так как мой хороший знакомый искал аналитика, и я ему немного помогал, у меня есть небольшой опыт игры за обе стороны.
Тут какие проблемы у нанимающей стороны:
1. Руководство слабо понимает, какую ценность несет в себе аналитик. Кому-то кажется, что у него есть кнопка, на которую можно нажать и деньги посыпятся сами. Как понять, что это хорошая аналитика? Прежде, чем кого-то искать, нужно ответить на вопрос - зачем. Если нет ответа, не нужна вам аналитика.
2. Впоследствии это должен быть целый отдел, значит, мы должны сейчас нанять того, кто его потом возглавит. Поэтому это должен быть человек, которому мы можем доверять, с ним можно планировать любые планы.
3. Как как аналитики как таковой не было, непонятно, как ставить задачи, какие ставить задачи, как их принимать, как контролировать работу.
4. А тут еще и удаленка. Компания не в Москве, никто не поедет в областной город n. Возвращаемся к пункту 3. И как ему (ей) вообще доверять. Почему-то никто не думает, что в офисе не хуже можно валять дурака.
5. Как оценить компетенции и навыки специалиста. Тестовое задание - необходимо, но недостаточно. Как понять, что он готов тащить?
6. А не продаст ли он наши чертовски важные данные.
7. Сколько денег заплатить? А 200 тыс. не много?
и многие другие...
К сожалению, универсального средства решить все эти проблемы и сомнения нет. А первые да пункта самые главные. Нужно, чтобы у руководства было нормальное понимание, что они хотят получать не от конкретного аналитика, а, в целом, от аналитики. И сперва нанять "правильного человека", не обязательно сильного специалиста, но он обязательно должен понимать, куда он идет и почему. И, конечно, доверие руководства к этому первому специалисту должно быть максимальным.
На остальные вопросы тогда, наверное, ответы придут сами.
К сожалению, когда-то я по неопытности ошибся и пришел в компанию, где с этими пунктами было грустно. Все закончилось быстро, получил отличный опыт, как не надо делать.
Тут какие проблемы у нанимающей стороны:
1. Руководство слабо понимает, какую ценность несет в себе аналитик. Кому-то кажется, что у него есть кнопка, на которую можно нажать и деньги посыпятся сами. Как понять, что это хорошая аналитика? Прежде, чем кого-то искать, нужно ответить на вопрос - зачем. Если нет ответа, не нужна вам аналитика.
2. Впоследствии это должен быть целый отдел, значит, мы должны сейчас нанять того, кто его потом возглавит. Поэтому это должен быть человек, которому мы можем доверять, с ним можно планировать любые планы.
3. Как как аналитики как таковой не было, непонятно, как ставить задачи, какие ставить задачи, как их принимать, как контролировать работу.
4. А тут еще и удаленка. Компания не в Москве, никто не поедет в областной город n. Возвращаемся к пункту 3. И как ему (ей) вообще доверять. Почему-то никто не думает, что в офисе не хуже можно валять дурака.
5. Как оценить компетенции и навыки специалиста. Тестовое задание - необходимо, но недостаточно. Как понять, что он готов тащить?
6. А не продаст ли он наши чертовски важные данные.
7. Сколько денег заплатить? А 200 тыс. не много?
и многие другие...
К сожалению, универсального средства решить все эти проблемы и сомнения нет. А первые да пункта самые главные. Нужно, чтобы у руководства было нормальное понимание, что они хотят получать не от конкретного аналитика, а, в целом, от аналитики. И сперва нанять "правильного человека", не обязательно сильного специалиста, но он обязательно должен понимать, куда он идет и почему. И, конечно, доверие руководства к этому первому специалисту должно быть максимальным.
На остальные вопросы тогда, наверное, ответы придут сами.
К сожалению, когда-то я по неопытности ошибся и пришел в компанию, где с этими пунктами было грустно. Все закончилось быстро, получил отличный опыт, как не надо делать.
Forwarded from Krasinsky: growth, marketing & product, analytics
Всем салют! Нас в канале уже больше 10 000 🎉
Целых 10 000 небезразличных ребят, которым важно разобраться, где прячутся точки роста бизнеса и как не допустить распространенных ошибок в маркетинге, продукте и аналитике. И это очень круто!
Собрал в одном посте подборку лучших материалов, в том числе других авторов, которых я часто рекомендую командам.
Изучайте, делитесь, сохраняйте в закладки ❤️ Пишите в комментариях, что еще хочется, чтобы разобрал ↓
🤓 Команда и управление:
· Интервью с Ваней Замесиным о том, как думать системно. Рассказываю о своих принципах мышления и как развивать мышление у команды.
· Огненный прямой эфир с Аней Булдаковой и Костей Баяндиным из Tomi.аi — про продуктовые процессы в B2B.
· Как искать кратный рост компании через команду Заботы (Customer Success или саппорт). И здесь же — классная статья Ани Булдаковой о JTBD-сценариях и наш шаблон в гугл-таблице, где мы собираем исходные вопросы от клиентов, превращаем их в JTBD-сценарии и внедряем в продукт.
· Продуктовый дизайн, 1-я сессия, игровые циклы и почему классические книги: «Об интерфейсе» Алана Купера, «Дизайн привычных вещей» — вводят дизайнеров в заблуждение.
· Интервью с Галиной Сартан — о самоходных, кросс-функциональных командах.
· Интервью с Сергеем Колосковым — про консультирование и аутсорс продакт менеджмента.
· Дискуссия на ProductCamp про продуктовый вижн с Ромой Абрамовым, Мишей Карповым и Димой Орловым. Часто «вижн» — это галлюцинация, которая вредит команде. Например, можно не толкать «виженом» команду, команда может найти решение самостоятельно.
· Подкаст для ProductSense — о продуктовых фреймворках, границах применимости и заблуждениях.
💵 Юнит-экономика:
· Интервью для Высшей Школы Финансового Директора — как юнит-экономика и когорты связаны с финансовым планированием.
· Интервью с Максимом Спиридоновым — рассказываю на пальцах о юнит-экономике, точках роста бизнеса и управлении продуктом. Читайте также пост — почему важно уделять внимание конверсии.
· Различие между ARPU (ARPPU) и AMPU (AMPPU)
📈Точки роста в аналитике:
· Гайд: топ-10 распространенных ошибок в планировании маркетингового бюджета, которые приводят к потере миллионов рублей и невыполнению плана продаж. Опыт для гайда наработан за годы 💪
· Конверсия: отрицание, гнев, торг, депрессия, принятие. Вы можете не верить в конверсию. Но те, кто верят — обгоняют вас на аукционах. Смотрите карточки и пост, почему важно считать конверсию по людям, а не по заказам, сессиям, целям.
· Цели Google Analytics давно устарели — листайте карточки с разбором.
· Кейс о недонастроенной сквозной аналитике — как можно снизить стоимость заказа CPO в 5 раз и потерять за полгода 2,3 млн рублей.
· Кейс, как с помощью когорт международная команда сократила цикл сделки и подняла выручку с новых клиентов на 6,5 млн рублей в неделю. Часть первая, вторая и третья.
· Как маркетологи используют сквозную аналитику и увеличивают продажи: кейс CMO Нетологии, кейс performance-маркетолога Капсулы от VK, и наш директор по маркетингу поделился: на что обратить внимание, когда снижается ROMI кампаний.
· Почему ассоциированные конверсии Google Analytics дают ошибку, или еще 1 способ ошибиться в оценке эффективности онлайн-рекламы.
· Матемаркетинг 2019 — как маркетологам считать эффективность кампаний с учетом юнит-экономики и когорт, где прячется кратный рост.
· Матемаркетинг 2018 — как на самом деле работает Google Analytics, и почему самописные системы сквозной аналитики — это долго и больно.
📖 Мой топ-3 книг, обязательных к прочтению:
· Элияху Голдратт, Цель
· Джозеф О’Коннор, Искусство системного мышления
· James Clear, Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones
Целых 10 000 небезразличных ребят, которым важно разобраться, где прячутся точки роста бизнеса и как не допустить распространенных ошибок в маркетинге, продукте и аналитике. И это очень круто!
Собрал в одном посте подборку лучших материалов, в том числе других авторов, которых я часто рекомендую командам.
Изучайте, делитесь, сохраняйте в закладки ❤️ Пишите в комментариях, что еще хочется, чтобы разобрал ↓
🤓 Команда и управление:
· Интервью с Ваней Замесиным о том, как думать системно. Рассказываю о своих принципах мышления и как развивать мышление у команды.
· Огненный прямой эфир с Аней Булдаковой и Костей Баяндиным из Tomi.аi — про продуктовые процессы в B2B.
· Как искать кратный рост компании через команду Заботы (Customer Success или саппорт). И здесь же — классная статья Ани Булдаковой о JTBD-сценариях и наш шаблон в гугл-таблице, где мы собираем исходные вопросы от клиентов, превращаем их в JTBD-сценарии и внедряем в продукт.
· Продуктовый дизайн, 1-я сессия, игровые циклы и почему классические книги: «Об интерфейсе» Алана Купера, «Дизайн привычных вещей» — вводят дизайнеров в заблуждение.
· Интервью с Галиной Сартан — о самоходных, кросс-функциональных командах.
· Интервью с Сергеем Колосковым — про консультирование и аутсорс продакт менеджмента.
· Дискуссия на ProductCamp про продуктовый вижн с Ромой Абрамовым, Мишей Карповым и Димой Орловым. Часто «вижн» — это галлюцинация, которая вредит команде. Например, можно не толкать «виженом» команду, команда может найти решение самостоятельно.
· Подкаст для ProductSense — о продуктовых фреймворках, границах применимости и заблуждениях.
💵 Юнит-экономика:
· Интервью для Высшей Школы Финансового Директора — как юнит-экономика и когорты связаны с финансовым планированием.
· Интервью с Максимом Спиридоновым — рассказываю на пальцах о юнит-экономике, точках роста бизнеса и управлении продуктом. Читайте также пост — почему важно уделять внимание конверсии.
· Различие между ARPU (ARPPU) и AMPU (AMPPU)
📈Точки роста в аналитике:
· Гайд: топ-10 распространенных ошибок в планировании маркетингового бюджета, которые приводят к потере миллионов рублей и невыполнению плана продаж. Опыт для гайда наработан за годы 💪
· Конверсия: отрицание, гнев, торг, депрессия, принятие. Вы можете не верить в конверсию. Но те, кто верят — обгоняют вас на аукционах. Смотрите карточки и пост, почему важно считать конверсию по людям, а не по заказам, сессиям, целям.
· Цели Google Analytics давно устарели — листайте карточки с разбором.
· Кейс о недонастроенной сквозной аналитике — как можно снизить стоимость заказа CPO в 5 раз и потерять за полгода 2,3 млн рублей.
· Кейс, как с помощью когорт международная команда сократила цикл сделки и подняла выручку с новых клиентов на 6,5 млн рублей в неделю. Часть первая, вторая и третья.
· Как маркетологи используют сквозную аналитику и увеличивают продажи: кейс CMO Нетологии, кейс performance-маркетолога Капсулы от VK, и наш директор по маркетингу поделился: на что обратить внимание, когда снижается ROMI кампаний.
· Почему ассоциированные конверсии Google Analytics дают ошибку, или еще 1 способ ошибиться в оценке эффективности онлайн-рекламы.
· Матемаркетинг 2019 — как маркетологам считать эффективность кампаний с учетом юнит-экономики и когорт, где прячется кратный рост.
· Матемаркетинг 2018 — как на самом деле работает Google Analytics, и почему самописные системы сквозной аналитики — это долго и больно.
📖 Мой топ-3 книг, обязательных к прочтению:
· Элияху Голдратт, Цель
· Джозеф О’Коннор, Искусство системного мышления
· James Clear, Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones
Прекрасная штука - обида. В чем-то она стала одним из признаков нашего времени. Кто-то кого-то просит извиниться, кто-то молча грустит, а кто-то говорит "Ты что же это, не уважаешь меня!?"
К чему это все. В очередной раз в нашем любимом ламповом (и иногда немного токсичном) чате с вакансиями кто-то обиделся на якобы заниженную зарплатную вилку. Люблю вопросы типа "вы думаете, за 120 кого-то найдете" или "150 к за такие требования - это смешно".
Кому-то обидно, что его ценность занижают. Почему-то кажется, что у этих обиженных не очень много квалификации и опыта. Ведь, если ты уверен в своей квалификации, скиллах, то не будешь из себя строить обиженку. И, если это не твой ценник, то просто проходишь мимо, это просто не твое. А место, где тебя по достоинству оценят, точно есть, и не одно, и даже не два. По моему имхо мнению, обиженки просто выдают свою неуверенность.
Да, и не будем забывать, что у аналитиков, так-то, ничего ЗП, и все это знают. Так рыночек порешал. И сейчас порешает - наниматели просто не найдут людей на низкую ЗП и поднимут ее или снизят требования.
Надеюсь, никто на эту писанину не обиделся. А если обиделся, так тому и быть - неважно это все.
К чему это все. В очередной раз в нашем любимом ламповом (и иногда немного токсичном) чате с вакансиями кто-то обиделся на якобы заниженную зарплатную вилку. Люблю вопросы типа "вы думаете, за 120 кого-то найдете" или "150 к за такие требования - это смешно".
Кому-то обидно, что его ценность занижают. Почему-то кажется, что у этих обиженных не очень много квалификации и опыта. Ведь, если ты уверен в своей квалификации, скиллах, то не будешь из себя строить обиженку. И, если это не твой ценник, то просто проходишь мимо, это просто не твое. А место, где тебя по достоинству оценят, точно есть, и не одно, и даже не два. По моему имхо мнению, обиженки просто выдают свою неуверенность.
Да, и не будем забывать, что у аналитиков, так-то, ничего ЗП, и все это знают. Так рыночек порешал. И сейчас порешает - наниматели просто не найдут людей на низкую ЗП и поднимут ее или снизят требования.
Надеюсь, никто на эту писанину не обиделся. А если обиделся, так тому и быть - неважно это все.
Telegram
Работа ищет аналитиков // Вакансии
Крупнейшая конференция для аналитиков - Матемаркетинг - 20-21 ноября 2025 года - https://matemarketing.ru
Программа: bit.ly/mm25-program
Билеты: https://bit.ly/mm25-ticket
Вопросы: @a_nikushin // info@matemarketing.ru
Программа: bit.ly/mm25-program
Билеты: https://bit.ly/mm25-ticket
Вопросы: @a_nikushin // info@matemarketing.ru
Сегодня настойчиво занимался настройкой отслеживание через GTM скролла на странице. По пути наткнулся на пару полезных статей на эту тему:
- https://www.simoahava.com/analytics/customize-scroll-depth-trigger/
- https://analytics-tips.com/scroll-depth-tracking-with-google-tag-manager/
- https://www.simoahava.com/analytics/customize-scroll-depth-trigger/
- https://analytics-tips.com/scroll-depth-tracking-with-google-tag-manager/
Simo Ahava's blog
Customize The Scroll Depth Trigger In Google Tag Manager
Some tips and tricks on how to customize the scroll depth trigger in Google Tag Manager.