Яндекс любит давать задачи на алгоритмы на технических секциях, и аналитикам тоже. Хоть и не могу похвастать большим количеством компаний, в которые трудоустраивался, больше нигде их не встречал.
С сильным сомнением отношусь к пользе этого метода - не вижу сильной связи между успешным решением таких задач и работой в дата или продуктовой аналитике. Возможно, частично это потому, что сам когда-то провалил алгоритмическую секцию - не хватило навыка.
Обнаружил хендбук по алгоритмам. Может, кому пригодится. А если кто-то планирует трудоустроиться в Яндекс, то тем более не повредит.
И помним про старый добрый литкод, на котором тоже можно неплохо попрактиковаться задачах на алгоритмы.

Существует немало фреймворков приоритизации гипотез. Поговорю про RICE, ICE. Не буду подробно разбирать механику, плюсы и минусы, а придерусь к параметру C - Confidence (уверенность), как, по моему мнению, самому слабому месту.

Как-то посмотрел на последние фичи, появившиеся в продукте, и заинтересовался, а почему именно эти, а не другие, так как показалось, что они какие-то сомнительные. Поговорил с продакт-менеджером и узнал, что используется RICE, он также показал оценки за последние несколько месяцев. Меня впечатлило, что по всем из них Confidence 75%-100%. Вопрос, почему так много, остался без внятного ответа.

При этом вижу, что фичи по этим гипотезам не то, чтобы сильно зашли пользователям. Т.е. фичи, уверенность в которых была 100%, легко могли провалиться. И, например, из 10 гипотез могло быть успешными только 3. Получается конверсия в 30%.

Собственно, к чему я это. Вполне можно в качестве Confidence использовать не наши влажные фантазии (75%-100%). А реальные результаты за последние 3 или 6 месяцев, те же 30%, которые будут своеобразной оценкой качества гипотез. Это может добавить осознанности оценки гипотезы. О она станет более объективной.

Уровень душноты аналитика просто зашкаливает. Сразу понятно, что это минимум сеньор.

После ММ прошло полторы недели, и, думаю, меня не обвинят в проплаченности.
На хорошо не скажешь плохо - одна из моих самых любимых поговорок.
По моему скромному мнению, всё прошло отлично, очень атмосферно. И куча прекрасных докладов. Всем причастным спасибо.
В ближайшие недели предстоит потихоньку препарировать материалы. О том, что более всего привлекло внимание, буду пописывать.

С алгоритмами в духе LeetCode на собеседованиях пора кончать / Хабр
https://habr.com/ru/companies/productivity_inside/articles/777566/

Не упущу возможности признаться в любви к алгоритмам

Леша Никушин в аналитическом чате прислал ссылку на исследование, посвященное ожиданиям сотрудника от компании. Можно обсуждать репрезентативность, методику, корректность ответов, но, в любом случае, это очень интересная информация в разрезе HR-бренда.
Собственно, исследование.

Кликнул на кликбейтный заголовок и прочитал полностью статью про плюсы и минусы удаленки. Хоть тема уже не нова, но, тем не менее, актуальна. Описанное универсально для большинства айтишных профессий. И в комментариях вполне себе дискуссия.
Меня умиляет коврик для мыши (понятно, что определяет покрытие стола, но все же).

Собралась небольшая подборка Аналитических митапов Авито:
- https://www.youtube.com/watch?v=xlrSaV66-HU
- https://www.youtube.com/watch?v=FX6DiU7dzw4
- https://www.youtube.com/watch?v=1FHv4tSEMHU
- https://www.youtube.com/watch?v=l4f7XpA1YnU
- https://www.youtube.com/watch?v=eBIDBthgK4c
- https://www.youtube.com/watch?v=O9XrtymFdxw
- https://www.youtube.com/watch?v=0ELcEy-yqjw
- https://www.youtube.com/watch?v=OZBuyVPk7jc
- https://www.youtube.com/watch?v=-yt_S6UWPgU
- https://www.youtube.com/watch?v=Uy1pertrnOQ

Прекрасно, когда в качестве главных показателей работы той или иной рекламной системы оценивают в CTR или, еще лучше, охвате. Да, есть рекламные кампании, которые настроены, например, на знакомство с новым брендом или продуктом.
Но, когда мы говорим про контекстную рекламу (Яндекс Директ, Google Ads и им подобные) никакой CTR не может быть мерилом успеха. Он всего лишь показывает привлекательность объявления. А качество измеряем в конверсии в заявку, заказ (выкупленный заказ), целевой звонок, сюда же всякие показатели маржинальности.
Спасибо, кеп, скажете вы.
Однако нам всем приходится (приходилось) встречаться с отделом маркетинга, который на красивых слайдах презентации результатов рекламных кампаний показывает статистику показов, кликов, CTR. А данных о конверсиях и деньгах там нет. Почему же? Может, потому что их нет. И на вопрос - А что с конверсиями нам впаривают что-то такое.

Хм

Курс про Apache Airflow бесплатно

Решил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курс
За то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит покрыть в будущем, возможно в виде отдельных роликов на Ютуб или в виде статей у себя в блоге.

В любом случае курс не потерял своей актуальности и может послужить неплохим введением для новичков и более опытных пользователей. Например, в курсе я подробно разбираю как развернуть у себя на сервере production-ready Airflow, а также настроить автодеплой дагов через GitHub Actions.

Велком!

Немного NSM-скептики.
И это не Неймар-Суарес-Месси. Я про North Star Metric.

Иногда слышу-читаю что-то типа "какая у нас north star". И всегда первая реакция - "а почему тебе нужна именно одна самая главная-главная-главная" метрика?
Оговорюсь сразу, имею ввиду, что концепция NSM предполагает одну главную метрику, ведь Северная звезда у нас одна. Если у нас 2 главных метрики, то это уже не NSM.

В чебурнете интернете есть куча статей на тему того, что такое North Star Metric, как выбрать, плюс интересные примеры.
По моему скромному мнению NSM очень редко применима. А для большинства продуктов может быть просто вредна, в силу подверженности любой метрики хаканию. Если у нас одна метрика главная, почти всегда ее можно хакнуть. И руководители продукта, думая, что развивают его, в действительности просто закапывают.

Быстрые примеры NSM из статей и слабая сторона:
- Для соцсетей - число активных пользователей в день. А если они все проводят по 1 секунде в день?
- Для месседжера - число отправленных сообщений. Если 5% пользователей отправил 95% сообщений, как нам это поможет?
- Для медиа - общее время чтения. То же самое - если 5% пользователей сделаю 95% LTV? А что с количеством статей на сессию/юзера?
- Для интернет-магазина - LTV. А сколько у нас покупателей? А выбросы?
- Онлайн-сервисы - retention. А сколько у нас пользователей в когортах?

В таких случаях нам нужны дополнительных метрики, чтобы компенсировать и сбалансировать. Тогда уже и не хакнешь особо.

При этом, повторюсь, не говорю, что NSM всегда плохо. Просто не нужно увлекаться и думать головой. Не нужно бросаться строить дерево или пирамиду метрик. Или пытаться что-то бездумно скопировать у конкурентов со словами "они же не дураки!". Точно?

В общем, когда нам нужно построить какую-то структуру метрик, садимся, думаем, подбираем то, что подходит именно нам.

Если соврал и NSM так хороша, как о ней пишут в статьях и универсально применима, предлагаю швырнуть в меня чем-нибудь. При этом не забываем, что это именно мое мнение, исходя из того, что вижу, слышу, читаю, и я его никому не навязываю 💦

На глаза попалась интересная статья, актуальная, наверное, для большинства из нас. В ней больше про разработку. Но и в нашей профессии такие же контексты и их переключение, встречи, созвоны частоколом, сломанные метрики, интриги-расследования и прочее.
В свое время посмотрел всякие умные статьи на тему тайм-менеджмента. И собрал небольшой список тезисов по тайм-менеджменту на светлой стороне. Про темную как-нибудь потом. Выглядит немного, как утопия. Но почему бы хотя бы честно не стремиться к выполнению простых принципов.

1. Планирование:
1. рабочей недели, обязательно оставлять минимум 1 день под срочные задачи.
2. рабочего дня. Сначала должны выполняться сложные - важные задачи. Оставлять резерв времени на вечер.
3. выполняемой задачи - подробный план выполнения. Если задача большая и невыполнима за 1 день, ее нужно разделить на фазы, обязательно документировать
2. Расставлять приоритеты задач. Самое важное должно выполняться первым
3. Делать одно дело за раз. Если нужно переключиться на другую, более срочную задачу, текущая должна быть доведена до некой логической паузы, с которой можно будет безболезненно продолжить.
4. Не отвлекаться. Что-то такое можно только в перерывы или что-то срочное
1. перекусы - во время перерыва или обдумывания
2. разговоры - во время перерыва
3. соцсети - во время перерыва
5. Научитесь говорить «Нет». Тут скорее про приоритеты задач и управление ожиданиями заказчика. У меня есть ограниченный ресурс по времени и я не могу разорваться.
6. Рабочим чатам - тоже свое время. Если пришло новое сообщение от коллеги, не нужно сразу кидаться писать ответ и начинать переписку. В этом есть смысл только тогда, когда где-то что-то “горит”. Остальные вопросы можно обсудить в свое время.
7. Не допускать парализации из-за нескольких важных срочных задач. Это лечится приоритизацией и управлением ожиданиями. Обозначаем сроки, когда будет готово и стараемся их соблюсти.
8. Планировать отдых. В каждом часу перерывы на 10 минут.
9. Составьте реалистичное расписание

Стать пользователем

Часто замечаю одну вещь: многие аналитики, работающие над продуктом, строящие дашборды с кучей метрик, проводящие сложные ресерчи, на самом деле ни разу не были настоящими пользователями своего продукта. Да, вы не ослышались. Они предлагают пути улучшения, но сами никогда не использовали продукт. Звучит абсурдно, не так ли?

И это касается не только аналитиков, но и всех, кто работает над развитием продукта: топ-менеджеров, продакт оунеров, маркетологов, дизайнеров… Многие из этих людей предлагают идеи, направляют бизнес, вносят изменения, но они – не пользователи.

Лучший совет, который я могу дать для развития в профессии – это регулярная работа с обратной связью. Да, именно так! Лучше потратить несколько часов в неделю на чтение фидбека и отзывов в сторе, чем на очередной бесполезный курс.

Если ты работаешь над игрой – установи ее и пройди от начала до конца. Доставка товаров? Поставь себя на место покупателя и курьера. Финтех? Попробуй оформить кредит через свой сервис и ощути всю боль навязанных страховок и маркетинговых процентных ставок. Может быть тогда, наконец, придет инсайт, почему метрика «Take rate» упала.

Только пройдя этот путь, ты сможешь действительно понять свой продукт и быть на одной волне с пользователем.

#мысли

Неожиданно узнал, что в Looker Studio (в душе все еще Data Studio) появились папки. Уже несколько месяцев не пользовался, поэтому узнал с опозданием. И пусть только в Pro, но все же.

Часто мы сталкиваемся с проблемой прогноза или проведения АБ-теста с некоторыми метриками, например, ARPU, LTV, Retention, так как они не очень чувствительны, рассчитываются на большом временном интервале.
В таких случаях нас выручают прокси-метрики - они коррелируют с целевой метрикой, при этом их проще рассчитать, они более чувствительны и с ними можно проводить АБ-тесты.
Несколько материалов по поиску прокси-метрик:
- доклад Виталия Черемисинова на ММ
- статья на towardsdatascience
- статья от Retail Rocket раз
- статья от Retail Rocket два
- статья от Retail Rocket три