Уже завтра, 20 декабря, пройдет вебинар Путь дата-аналитика.
Проведет его Алексе Колоколов, человек, который знает, что такое дата-аналитика, в отличие от тех, кто обещает по 300к/сек через полгода
Страничка - https://alexkolokolov.com/ru/data-analyst-webinar

Пересматриваю ММ 2019, неожиданно начал больше понимать, о чем там рассказывают спикеры. Интересное выступление про предиктивную аналитику в BigQuery - https://www.youtube.com/watch?v=HAPbkT9eRWA.
Допускаю, что не все так легко и быстро, как нам рассказали - придется пройти большой путь разметки, сборки первичных данных и т.д. Но результат может ждать очень интересный.
Жаль, что BigQuery сейчас стала менее доступна, чем ранее. Но, полагаю, все то же самое можно воспроизвести и другими, вполне доступнми инструментами.

21 декабря прошла четвертая встреча Salute AI Day. Все доклады есть в записи

- Выявление дефектов кода с помощью языковых моделей
- HaGRID - сбор самого большого датасета для распознавания жестов
- Обучить за 60 минут или как построить классификатор текста который и работает хорошо и обучается быстро
- Современные техники улучшения retrieval based моделей в NLP
- Нужно прокачать NER модель, но как
- Мультимодальные вопросно-ответные системы в задаче извлечения информации из документов - DocVQA  

И еще немного от Сбера. Анонсируют новые устройства, пока не говорят, какие. Видимо, уже в следующем году. И насколько умное, тоже посмотрим.
https://sberdevices.ru/soon/

Ресерчеры и аналитики из Мордакниги установили, что меньшее количество нотификаций в долгосрочке обеспечивает лучшую возвращаемость в продукт. Хотя поначалу продуктовые метрики и просели.

И выводят два тезиса:
* Результаты эксперимента в короткосроке и долгосроке могут сильно отличаться
* Меньше нотификаций, но более качественных полезнее в долгосрочной перспективе.

Вроде ясно и очевидно, но представляю сколько моральный и волевых усилий потребовалось для запуска такой инициативы. На масштабах Фейсбука, потеря сессий выливается в гигантские недополученные суммы от показа реклам.

Чтобы этот эксперимент провести и защитить использовали данные из опросов и фактического поведения аудитории.

Еще один хороший пример как смешивание разных типов данных и методов помогают в сложных бизнес-ситуациях.

https://medium.com/@AnalyticsAtMeta/notifications-why-less-is-more-how-facebook-has-been-increasing-both-user-satisfaction-and-app-9463f7325e7d

Передаем привет чудо-маркетологам, которые шлют нам 100500 пушей, писем, смс, полагая, что без них мы не справимся.

Отличная статья про использование цепей Маркова в футбольной аналитике https://www.sports.ru/tribuna/blogs/footsci/2890716.html

Онлайн-курс по машинному обучению.
Ссылка:
https://berza.ru/ii-start-kurs-po-mashinnomu-obucheniyu/

Сегодня почти по-новогоднему - про пирамиду метрик. Потому что пирамида похожа на елку, так-то.
Пирамида метрик - очень интересный фреймворк. Пусть и не всегда и не всем продуктам подходит, польза несомненна. Самое ценное для меня - помогает выстроить структуру взаимозависимостей и понять, а что мы должны делать, чтобы получить то или это.

И немного ссылок по теме. Неожиданно, но не все из них на материалы Елены Серегиной (последние две ссылки):
- https://www.youtube.com/watch?v=7wTO1GonUj4 - видео Пирамида метрик в 4х словах
- https://medium.com/@elenest/%D0%B8%D0%B5%D1%80%D0%B0%D1%80%D1%85%D0%B8%D1%8F-%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA-vs-%D0%BF%D0%B8%D1%80%D0%B0%D0%BC%D0%B8%D0%B4%D0%B0-%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA-8eeda61fdefe - статья Иерархия метрик VS Пирамида метрик
- https://www.youtube.com/watch?v=d5lV2KXVPfU - видео Фреймворк Пирамида метрик: чем он может вам помочь, даже если метрики не ваш конек
- https://www.youtube.com/watch?v=qIJECUgtfks - видео Еще одна Пирамида метрик - как навести порядок в числах и бэклоге. Analytics Day
- https://medium.com/@elenest/metrics-frameworks-d7c800f91246 - статья Если Пирамида метрик too much. Делаем проще
- https://medium.com/@elenest/%D0%BF%D0%B8%D1%80%D0%B0%D0%BC%D0%B8%D0%B4%D0%B0-%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA-2e18c657b305 - статья Пирамида метрик
- https://www.youtube.com/watch?v=rhOS-K5p8F0 - видео Пирамида метрик: как построить и найти NSM вашего продукта
- https://www.youtube.com/watch?v=v3HpOGsiVPY - видео Пирамида метрик прибыльного менеджмента. Первый уровень анализа
- https://deniskatkov.ru/piramida-metrik-podhod-s-pomoshhyu-kotorogo-vybirayut-pravilnye-metriki-i-opredelyayut-zavisimosti-mezhdu-nimi/ - статья Пирамида метрик – подход, с помощью которого выбирают правильные метрики и определяют зависимости между ними

Команда отдела аналитики VK задумалась над системным решением проблемы рассеивания внимания при контроле за показателями метрик и… придумала оптимальное решение.

В своей статье на Хабре они рассказали, как автоматизировали оповещения о падении продуктовых метрик (чтобы сразу оценивать масштаб проблемы в деньгах), и что это дало продукту.

О том, как они пришли к этому подходу, что имеют сейчас, а также о настройке интерфейса, почтовых оповещений, эффективности и общих итогах читайте тут.

Идем к продуктовым метрикам. Итак, какой у вас LTV?
Очень простой вопрос, на который трудно дать простой ответ.

Знание LTV часто встречается в требованиях к менеджерам продукта, к продуктовым аналитикам. Но вот знать и уметь, все же, не одно и то же.
Если мы быстренько погуглим, то найдем следующую формулу расчета: ARPU * LT, где:
- ARPU (Average Revenue Per Users) — средняя сумма дохода на одного пользователя за определенный период (неделя, месяц, квартал).
- LT (Live Time) — время “жизни” клиента.
Можно найти и другие методы, и большинство из них крутятся вокруг этих величин.

Тут и кроется проблема. Есть клиенты, которые платят уже 5 лет, а есть те, кто только что сделал первый платеж. Но, вот, пять лет назад у нас были другие тарифы, другие скидки и спецпредложения. Ну и старые пользователи с нами 60 месяцев, а новые меньше одного. И как же нам посчитать, сколько у нас платит клиент в среднем за один период (в нашем случае месяц) и сколько месяцев он живет. Получаем, что:
- Всегда будем рассчитывать “среднюю температуру по больнице” — в одну кучу сгребем всех пользователей и усредним. Странно, ведь обычно твердим, что хорошо, когда пользователи сегментированы, гомогенны.
- Посчитанная величина будет “на сейчас”, а через месяц она может быть больше или меньше.
- На изменение LTV во времени будут влиять промокампании, реактивации, раздача триалов, скидки, черные пятницы, рост стоимости подписки и прочие факторы. Поэтому наши LTV 3000 р. сейчас будет значить немного не то, что раньше. Т.е. LTV не может быть высечен в граните.

Итого — формула ARPU * LT более-менее работает на “мертвом” продукте, у которого уже нет ни новых пользователей, ни новых денег. Тут понятен и ARPU, и LT, все легко посчитать без ошибок. А если продукт живой, развивающийся, то будут проблемы...

Как же можно считать LTV, чтобы с ним можно было нормально работать. Считать LTV по когортам первой оплаты — по неделям, месяцам, кварталам — как посчитаем нужным. По формуле — Revenue/U (всю сумму дохода пользователей когорты делим на количество пользователей когорты, тут не привязываемся к чистой или не чистой прибыли).
Таким образом нивелируем проблему “старости” наших клиентов — LTV старых клиентов будет рассчитан отдельно от новых - у каждой когорты будет свой LTV.

Что еще можно посчитать на основе LTV:
- Средний LTV накопительно (берем весь доход на данный месяц и делим его на количество всех пользователей), пересчитываем на каждый месяц, смотрим с в динамике.
- Средний скользящий LTV - делаем то же самое, но каждый раз за несколько последних периодов, например, 6 месяцев, и также смотрим в динамике.

Статьи про приоритезацию задач в работе аналитика (на несколько минут забудем про продактов и прочих заказчиков и подумаем - а как правильно-то):
Часть 1
Часть 2

А зачем нам нужен чек-лист для проведения эксперимента?

Сейчас пытаюсь посчитать результаты одного эксперимента. Все никак не сходится:
- деление трафика 95/5
- целевая метрика не была выбрана до запуска
- продолжительность не определена заранее
- критерии вердикта, соответственно, также не определены
- и др.

Кажется, собрал минус флеш-рояль. После наших дорогих праздников будем встречаться, разговаривать о том, что такое не может повториться и до запуска продакт-менеджеры обязательно должны обсуждать это все с аналитиком.

И снова вспомнил про чек-лист (про него, видимо, также поговорим), повторно сюда прикладываю - ссылка

Оконки - наше все!

Возвращаемся к проблематике образования аналитике на онлайн-курсах. По многим причинам тема образования мне близка.
Попробую пройти полный путь, чтобы оценить, где кроются проблемы и как их решать, чтобы выпускник курсов нашел себе работу.
Все это - исключительно моя точка зрения, на истину не претендую. Исхожу их собственно опыта и общения с коллегами.

Итак, начнем с самого верха - как и почему мы идем учиться. Основные причины:
- освоение новой профессии - уровень предварительной подготовки часто будет низким, в зависимости от близости предыдущей сферы (или ее отсутствия)
- структурировать имеющие знания и/или повысить свой уровень - тут мы уже что-то умеем
- компания отправила учиться - тут тоже мы уже что-то знаем и умеем, и наше руководство ожидает получать от нас больше
- у другое

Прежде всего будем говорить про тех, кто только начинает свой путь в аналитике.

Продолжим в ближайшее время...

#образование

Одна из первых проблем, с которой сталкивается тот, кто решает "войти в айти", "ворваться в аналитику", и все такое - понятный ответ на вопрос "Почему". Т.е. мотивация.
Сейчас вокруг всего этого царит нездоровый ажиотаж, который приводит на курсы тех, кому они не нужны. В результате аналитиками данных, дата-сайентистами, и т.д. хотят стать, потому что:
- этому нетрудно научиться, Павел Воля так сказал
- через 6 месяцев по часу в день стану специалистом
- на HH 100500 вакансий
- у них зп 300к/сек.
- можно путешествовать по миру
- там гарантированное трудоустройство

Большинству из тех, кто идет в аналитики (и в IT в целом) по этим причинам, не нужно было идти на курсы. И многие бросят в течение первых недель. Возврат оплаты не всегда проходит гладко, можно найти кучу историй.
Конечно, и онлайн-школы тоже добавляют хайпа, ведь они на этом зарабатывают, расширяют воронку продажи, и это тоже нормально (хотя каждый по-своему трактует "норму").

Таким образом у многих из тех, кто собирается врываться, изначально сформированы некорректные ожидания. Ну а что получается в итоге с такими ожиданиями, нам понятно.

Путь и IT должен быть осознанным, когда ты можешь развернуто ответить на вопрос "Почему", не используя ответы выше. Тебе это должно быть нужно, или хотя бы близко и интересно.

И быть готовым, что:
- учиться не очень просто (особенно тем, что давно не учился), есть тяжелые темы, и далеко не всегда это интересно (мало секусального в матанализе, хотя...)
- через 6 месяцев совершенно не факт, что будешь джуном, а скорее стажером (что, кстати, уже неплохо)
- на HH вакансий, может, и много, но для начинающих специалистов их мало, и стажировок тоже (особенно сейчас)
- чтобы получать обещанные на лендинге специальности 120 - 150 к, придется много месяцев трудиться, а на старте, возможно, придется работать за сильно небольшие суммы - и все же лучше найти работу за небольшую зп, чем не найти вовсе
- путешествия по миру возможны при соответствующей зп, а сайчас присовокупились и другие проблемы
- гарантированное трудоустройство становится не таким уж и гарантированным после прочтения "мелкого шрифта" и пунктов выше

В общем, чтобы стать аналитиком, придется много учиться (примерно постоянно) и работать, но, если все сложится, результаты вполне могут порадовать.

#образование

Немного отвлечемся на метрики. Серия статей от Retail Rocket про прокси-метрики в E-commerce:
- статья 1
- статья 2
- статья 3

Продолжаем про проблематику курсов по аналитике
Предыдущие записи: №1, №2.

Итак, мы пришли на курсы, пошла учеба.

Какие трудности бывают в усвоением информации:
- много теории и мало практики или наоборот
- не все понятно (или все не понятно)
- трудная тема
- есть подозрение, что информация дается поверхностно, нет глубины

В результате блок пройдет, а понимания нет. Поэтому необходимо не ограничиваться только тем, что преподают, это же нам нужно, а не кому-то еще.

А нужно читать, смотреть доп. информацию по теме, ее же очень много. Ведь, когда мы точно понимаем что нужно искать, это уже не так трудно. Хорошо, если мы один и тот же вопрос изучим с разных сторон, а не только слово в слово за преподавателем.
То же самое касается практики. Нужно дополнительно решать задания, что-то еще "кодить", чтобы понять, а как на самом деле все устроено.

И конечно, не забываем спрашивать, кураторов, мы же за это и платим, а не только на структуру. А также в тематических чатах в телеграме.

И чаще задавать себе один простой вопрос - А что я сделал для того, чтобы лучше изучить эту тему?

#образование

Энтузиасты выпустили браузерное расширение Merlin, благодаря которому можно запустить нейросеть ChatGPT прямо в браузере

Для активации достаточно выделить какой-то текст на странице и использовать комбинацию клавиш «Ctrl+G» — можно заставить ИИ проанализировать скопированное или задать другой, уникальный вопрос. Плагин доступен для Chrome и Firefox.

Расширение полностью бесплатно и доступно для всех желающих.

Technogram Inside

Как-то неожиданно Google закрывает Google Optimize, в том числе 360. Пока пишут, что уже с 30 сентября. Допускаю, что несколько позже. Ссылка на новость.
Не перестаем радоваться, что у Метрики будет Вариокуб, аналогичный сервис. И все же как-то грустно - Google Optimize отлично подходит для небольших A/B -тестов.