Передаем привет чудо-маркетологам, которые шлют нам 100500 пушей, писем, смс, полагая, что без них мы не справимся.

Отличная статья про использование цепей Маркова в футбольной аналитике https://www.sports.ru/tribuna/blogs/footsci/2890716.html

Онлайн-курс по машинному обучению.
Ссылка:
https://berza.ru/ii-start-kurs-po-mashinnomu-obucheniyu/

Сегодня почти по-новогоднему - про пирамиду метрик. Потому что пирамида похожа на елку, так-то.
Пирамида метрик - очень интересный фреймворк. Пусть и не всегда и не всем продуктам подходит, польза несомненна. Самое ценное для меня - помогает выстроить структуру взаимозависимостей и понять, а что мы должны делать, чтобы получить то или это.

И немного ссылок по теме. Неожиданно, но не все из них на материалы Елены Серегиной (последние две ссылки):
- https://www.youtube.com/watch?v=7wTO1GonUj4 - видео Пирамида метрик в 4х словах
- https://medium.com/@elenest/%D0%B8%D0%B5%D1%80%D0%B0%D1%80%D1%85%D0%B8%D1%8F-%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA-vs-%D0%BF%D0%B8%D1%80%D0%B0%D0%BC%D0%B8%D0%B4%D0%B0-%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA-8eeda61fdefe - статья Иерархия метрик VS Пирамида метрик
- https://www.youtube.com/watch?v=d5lV2KXVPfU - видео Фреймворк Пирамида метрик: чем он может вам помочь, даже если метрики не ваш конек
- https://www.youtube.com/watch?v=qIJECUgtfks - видео Еще одна Пирамида метрик - как навести порядок в числах и бэклоге. Analytics Day
- https://medium.com/@elenest/metrics-frameworks-d7c800f91246 - статья Если Пирамида метрик too much. Делаем проще
- https://medium.com/@elenest/%D0%BF%D0%B8%D1%80%D0%B0%D0%BC%D0%B8%D0%B4%D0%B0-%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA-2e18c657b305 - статья Пирамида метрик
- https://www.youtube.com/watch?v=rhOS-K5p8F0 - видео Пирамида метрик: как построить и найти NSM вашего продукта
- https://www.youtube.com/watch?v=v3HpOGsiVPY - видео Пирамида метрик прибыльного менеджмента. Первый уровень анализа
- https://deniskatkov.ru/piramida-metrik-podhod-s-pomoshhyu-kotorogo-vybirayut-pravilnye-metriki-i-opredelyayut-zavisimosti-mezhdu-nimi/ - статья Пирамида метрик – подход, с помощью которого выбирают правильные метрики и определяют зависимости между ними

Команда отдела аналитики VK задумалась над системным решением проблемы рассеивания внимания при контроле за показателями метрик и… придумала оптимальное решение.

В своей статье на Хабре они рассказали, как автоматизировали оповещения о падении продуктовых метрик (чтобы сразу оценивать масштаб проблемы в деньгах), и что это дало продукту.

О том, как они пришли к этому подходу, что имеют сейчас, а также о настройке интерфейса, почтовых оповещений, эффективности и общих итогах читайте тут.

Идем к продуктовым метрикам. Итак, какой у вас LTV?
Очень простой вопрос, на который трудно дать простой ответ.

Знание LTV часто встречается в требованиях к менеджерам продукта, к продуктовым аналитикам. Но вот знать и уметь, все же, не одно и то же.
Если мы быстренько погуглим, то найдем следующую формулу расчета: ARPU * LT, где:
- ARPU (Average Revenue Per Users) — средняя сумма дохода на одного пользователя за определенный период (неделя, месяц, квартал).
- LT (Live Time) — время “жизни” клиента.
Можно найти и другие методы, и большинство из них крутятся вокруг этих величин.

Тут и кроется проблема. Есть клиенты, которые платят уже 5 лет, а есть те, кто только что сделал первый платеж. Но, вот, пять лет назад у нас были другие тарифы, другие скидки и спецпредложения. Ну и старые пользователи с нами 60 месяцев, а новые меньше одного. И как же нам посчитать, сколько у нас платит клиент в среднем за один период (в нашем случае месяц) и сколько месяцев он живет. Получаем, что:
- Всегда будем рассчитывать “среднюю температуру по больнице” — в одну кучу сгребем всех пользователей и усредним. Странно, ведь обычно твердим, что хорошо, когда пользователи сегментированы, гомогенны.
- Посчитанная величина будет “на сейчас”, а через месяц она может быть больше или меньше.
- На изменение LTV во времени будут влиять промокампании, реактивации, раздача триалов, скидки, черные пятницы, рост стоимости подписки и прочие факторы. Поэтому наши LTV 3000 р. сейчас будет значить немного не то, что раньше. Т.е. LTV не может быть высечен в граните.

Итого — формула ARPU * LT более-менее работает на “мертвом” продукте, у которого уже нет ни новых пользователей, ни новых денег. Тут понятен и ARPU, и LT, все легко посчитать без ошибок. А если продукт живой, развивающийся, то будут проблемы...

Как же можно считать LTV, чтобы с ним можно было нормально работать. Считать LTV по когортам первой оплаты — по неделям, месяцам, кварталам — как посчитаем нужным. По формуле — Revenue/U (всю сумму дохода пользователей когорты делим на количество пользователей когорты, тут не привязываемся к чистой или не чистой прибыли).
Таким образом нивелируем проблему “старости” наших клиентов — LTV старых клиентов будет рассчитан отдельно от новых - у каждой когорты будет свой LTV.

Что еще можно посчитать на основе LTV:
- Средний LTV накопительно (берем весь доход на данный месяц и делим его на количество всех пользователей), пересчитываем на каждый месяц, смотрим с в динамике.
- Средний скользящий LTV - делаем то же самое, но каждый раз за несколько последних периодов, например, 6 месяцев, и также смотрим в динамике.

Статьи про приоритезацию задач в работе аналитика (на несколько минут забудем про продактов и прочих заказчиков и подумаем - а как правильно-то):
Часть 1
Часть 2

А зачем нам нужен чек-лист для проведения эксперимента?

Сейчас пытаюсь посчитать результаты одного эксперимента. Все никак не сходится:
- деление трафика 95/5
- целевая метрика не была выбрана до запуска
- продолжительность не определена заранее
- критерии вердикта, соответственно, также не определены
- и др.

Кажется, собрал минус флеш-рояль. После наших дорогих праздников будем встречаться, разговаривать о том, что такое не может повториться и до запуска продакт-менеджеры обязательно должны обсуждать это все с аналитиком.

И снова вспомнил про чек-лист (про него, видимо, также поговорим), повторно сюда прикладываю - ссылка

Оконки - наше все!

Возвращаемся к проблематике образования аналитике на онлайн-курсах. По многим причинам тема образования мне близка.
Попробую пройти полный путь, чтобы оценить, где кроются проблемы и как их решать, чтобы выпускник курсов нашел себе работу.
Все это - исключительно моя точка зрения, на истину не претендую. Исхожу их собственно опыта и общения с коллегами.

Итак, начнем с самого верха - как и почему мы идем учиться. Основные причины:
- освоение новой профессии - уровень предварительной подготовки часто будет низким, в зависимости от близости предыдущей сферы (или ее отсутствия)
- структурировать имеющие знания и/или повысить свой уровень - тут мы уже что-то умеем
- компания отправила учиться - тут тоже мы уже что-то знаем и умеем, и наше руководство ожидает получать от нас больше
- у другое

Прежде всего будем говорить про тех, кто только начинает свой путь в аналитике.

Продолжим в ближайшее время...

#образование

Одна из первых проблем, с которой сталкивается тот, кто решает "войти в айти", "ворваться в аналитику", и все такое - понятный ответ на вопрос "Почему". Т.е. мотивация.
Сейчас вокруг всего этого царит нездоровый ажиотаж, который приводит на курсы тех, кому они не нужны. В результате аналитиками данных, дата-сайентистами, и т.д. хотят стать, потому что:
- этому нетрудно научиться, Павел Воля так сказал
- через 6 месяцев по часу в день стану специалистом
- на HH 100500 вакансий
- у них зп 300к/сек.
- можно путешествовать по миру
- там гарантированное трудоустройство

Большинству из тех, кто идет в аналитики (и в IT в целом) по этим причинам, не нужно было идти на курсы. И многие бросят в течение первых недель. Возврат оплаты не всегда проходит гладко, можно найти кучу историй.
Конечно, и онлайн-школы тоже добавляют хайпа, ведь они на этом зарабатывают, расширяют воронку продажи, и это тоже нормально (хотя каждый по-своему трактует "норму").

Таким образом у многих из тех, кто собирается врываться, изначально сформированы некорректные ожидания. Ну а что получается в итоге с такими ожиданиями, нам понятно.

Путь и IT должен быть осознанным, когда ты можешь развернуто ответить на вопрос "Почему", не используя ответы выше. Тебе это должно быть нужно, или хотя бы близко и интересно.

И быть готовым, что:
- учиться не очень просто (особенно тем, что давно не учился), есть тяжелые темы, и далеко не всегда это интересно (мало секусального в матанализе, хотя...)
- через 6 месяцев совершенно не факт, что будешь джуном, а скорее стажером (что, кстати, уже неплохо)
- на HH вакансий, может, и много, но для начинающих специалистов их мало, и стажировок тоже (особенно сейчас)
- чтобы получать обещанные на лендинге специальности 120 - 150 к, придется много месяцев трудиться, а на старте, возможно, придется работать за сильно небольшие суммы - и все же лучше найти работу за небольшую зп, чем не найти вовсе
- путешествия по миру возможны при соответствующей зп, а сайчас присовокупились и другие проблемы
- гарантированное трудоустройство становится не таким уж и гарантированным после прочтения "мелкого шрифта" и пунктов выше

В общем, чтобы стать аналитиком, придется много учиться (примерно постоянно) и работать, но, если все сложится, результаты вполне могут порадовать.

#образование

Немного отвлечемся на метрики. Серия статей от Retail Rocket про прокси-метрики в E-commerce:
- статья 1
- статья 2
- статья 3

Продолжаем про проблематику курсов по аналитике
Предыдущие записи: №1, №2.

Итак, мы пришли на курсы, пошла учеба.

Какие трудности бывают в усвоением информации:
- много теории и мало практики или наоборот
- не все понятно (или все не понятно)
- трудная тема
- есть подозрение, что информация дается поверхностно, нет глубины

В результате блок пройдет, а понимания нет. Поэтому необходимо не ограничиваться только тем, что преподают, это же нам нужно, а не кому-то еще.

А нужно читать, смотреть доп. информацию по теме, ее же очень много. Ведь, когда мы точно понимаем что нужно искать, это уже не так трудно. Хорошо, если мы один и тот же вопрос изучим с разных сторон, а не только слово в слово за преподавателем.
То же самое касается практики. Нужно дополнительно решать задания, что-то еще "кодить", чтобы понять, а как на самом деле все устроено.

И конечно, не забываем спрашивать, кураторов, мы же за это и платим, а не только на структуру. А также в тематических чатах в телеграме.

И чаще задавать себе один простой вопрос - А что я сделал для того, чтобы лучше изучить эту тему?

#образование

Энтузиасты выпустили браузерное расширение Merlin, благодаря которому можно запустить нейросеть ChatGPT прямо в браузере

Для активации достаточно выделить какой-то текст на странице и использовать комбинацию клавиш «Ctrl+G» — можно заставить ИИ проанализировать скопированное или задать другой, уникальный вопрос. Плагин доступен для Chrome и Firefox.

Расширение полностью бесплатно и доступно для всех желающих.

Technogram Inside

Как-то неожиданно Google закрывает Google Optimize, в том числе 360. Пока пишут, что уже с 30 сентября. Допускаю, что несколько позже. Ссылка на новость.
Не перестаем радоваться, что у Метрики будет Вариокуб, аналогичный сервис. И все же как-то грустно - Google Optimize отлично подходит для небольших A/B -тестов.

Идем дальше про курсы по аналитике.
Предыдущие записи: №1, №2, №3.

Еще немного про пет-проекты. Иногда в чатах задают вопрос: "Какой пет-проект мне сделать, чтобы написать об этом в резюме?"
Такая постановка вопроса не очень корректна, так как поменялись местами причина и следствие.

Мы занимаемся пет-проектами не затем, чтобы резюме было не пустое при отсутствии опыта. Но затем, чтобы получить этот самый опыт, совершенствовать свои знания. Тут прекрасно, что в пет-проекте никто не ограничивает в тематике, инструментах, нет жесткого тайминга.

И желание заниматься пет-проектами должно быть естественно. А, если себя приходится заставлять или долго искать тематику, шансы состояться в профессии сильно снижаются.

#образование

В VK открылся набор на оплачиваемые стажировки. Не тормозим, записываемся!
https://internship.vk.company/internship

Периодически в чатах встречаю вопрос типа "А какой Retention хороший для ...".
В статье показаны величины метрики с оценками хорошо-плохо в различных типах продуктов. Да, конечно, это все не точно и продукты у нас у всех разные, но в качестве ориентира приведенные цифры вполне походят.
https://gopractice.ru/product/lenny_rachitsky_what_is_good_retention/

И продолжаем про наши курсы по аналитике.

Предыдущие запись здесь: №1, №2, №3, №4

Где еще взять практику. Когда уже появились какие-то знания-умения, нужно максимально их обкатывать. Варианты:

- Пойти на биржи фриланса. Находить задания, которые примерно понимаете, как делать, а там будет видно. Главное - больше уверенности. Не нужно бояться чего-то не сделать, вам просто не заплатят. А получить опыт на реальных задачах - бесценно. При успехе получится, что нам платят на наше же обучение. Так получилось, что начал толком осваивать SQL и DataStudio именно на фрилансе

- Искать подработки в чатах, каналах, соцсетях. Есть много сообществ для поиска работы. Можно в них написать что-то типа я знаю то, умею это, готов выполнять вот такие задачи за опыт/еду. В целом, это можно написать на каждом заборе

Мало времени на все это? Да, конечно, но опыт важнее. Реальный опыт, даже фриланс/парт-тайм, выглядит в резюме намного лучше, чем курсы в опыте работы и 100500 одинаковых откликов на HH.

Удачи!!!

#образование

Про собеседования по алгоритмам

Когда ты устраиваешься в ML или в аналитику, много где надо пройти секцию c кодом. Чаще всего на этих секциях встречаются довольно простые алгоритмические задачки.

На таких собесах хороший интервьюер пытается понять, как именно кандидат рассуждает и пишет код. Задача — это просто повод поговорить (плохой интервьюер заставляет вертеть красно-чёрные деревья, чтобы потешить своё чсв).

При подготовке к таким секциям люди задрачивают leetcode, но забывают про разговор. В итоге это приводит к тому, что на собесах возникают ступоры и кандидат уходит в себя. Он сидит и думает молча. Так делать нельзя, надо начинать рассуждать вслух.

Я бы готовился, в первую очередь, к разговору и учился бы на литкодных задачках рассуждать.

1. Читаешь условие. Проговариваешь свой алгоритм голосом. Оцениваешь голосом его сложность по памяти и времени. Если слишком большая, думаешь где ты в алгоритме делаешь лишние действия. Обычно, на секциях для аналитиков, все должно делаться за O(n).

Тут можно сформулировать самую грубую версию, оценить её сложность, а дальше в рассуждених улучшить её.

2. Если со сложностью все ок — проговариваешь голосом какие могут быть краевые случаи и как их надо обработать. Записываешь их.

3. Пишешь код в блокноте. Без автоподсказок и интерпретатора. Не запускаешь его до последнего.

4. Смотришь на получившийся код, выписываешь пару тестов для проверки — краевые и обычные, проговариваешь голосом, как тесты проходят сквозь код. Если нашел баг, правишь.

5. Запускаешь код. Если работает норм — комитишь на литкод. Если падает, смотришь тест, ищешь ошибку, правишь и больше не допускаешь.

Если ты на собесе будешь разговаривать с интервьюером по этой схеме, он будет счастлив. Говорю как интервьюер, которому доводилось проводить секции на код.

Решать задачи с литкода — это, конечно, хорошо. Что делать если не шаришь во всех этих О(n)? Я бы в таком случае прочитал грокаем алгоритмы. Читается за выходные и открывает кучу чакр.

Ну а дальше можно пойти на литкод либо пальнуть яндексовые видосы про алгоритмы с Густокашиным. К ним прилагаются контесты, которые можно порешать. Не забывайте делать это по схеме, которую я вкинул выше. В любом собеседовании — главное разговор, а не задача.