Сейчас обсуждаем приоритезацию гипотез. Как базовый фреймворк используется RICE. А PXL все же отвергли.
Посмотрел на предыдущие оценки RICE. И в них показатель уверенности (Confidence) всегда 75-100%. Впечатлила такая уверенность продакт-менеджеров в себе.
Самое интересное, что ретроспективно не анализировали, что получилось в результате. Допускаю, что результат был достигнут не более, чем в 30-40%. Так и живем...

Winner’s Curse: Bias Estimation for Total Effects of Features in
Online Controlled Experiments

Еще раз про bias, но не про novelty effects, heavy users и т.п..

В один момент могут проводиться десятки-сотни экспериментов, и в прод идут только с успешным вердиктом. Совокупный эффект этих экспериментов может быть завышен, если смотреть на их комбинацию «влоб». В пейпере приводится метод, позволяющий избавиться от bias’а и узнать total true effect

https://www.kdd.org/kdd2018/accepted-papers/view/winners-curse-bias-estimation-for-total-effects-of-features-in-online-contr

https://dl.acm.org/doi/pdf/10.1145/3219819.3219905

Тинькофф приглашает продуктовых аналитиков на офлайн-митап 📊

Встреча пройдет вместе с экспертами Delivery Club и Кошелька. Спикеры:

— расскажут про то, как строили систему рекомендаций в кэшбэк-системе Тинькофф;
— разберут кейс Delivery Club, где аналитика помогла в несколько раз увеличить ретеншн компании;
— объяснят, как в Кошельке меняли главную страницу приложения с 13 миллионами MAU.

Митап проведем 24 июня в БЦ «Водный». Начало в 18:30.

Не забудьте пройти регистрацию: https://l.tinkoff.ru/meetup-product-analytics

Коллеги из Delivery Club написали о внедрении switchback в A/B тестировании, https://habr.com/ru/company/deliveryclub/blog/670762/

Отличная подборка материалов по Google Tag Manager. Тут есть и общая информация по GTM, и с чего лучше начать работу, и как установить пиксели аналитических систем, настроить сложные переменные и триггеры и многое другое.

https://vc.ru/marketing/106557-bolshaya-podborka-materialov-dlya-izucheniya-google-tag-manager

У ШАДа есть отличный коллективно написанный учебник по машинному обучению. Как раз недавно появился. В нем сочетается и довольно серьезное изложение того, как все работает (считаем, что читатель не боится математики), и рассказ про некоторые особенности применения этого всего на практике.

При этом сохраняется определенный уровень простоты изложения: для большинства людей оно и правда будет выглядеть слишком математично, но на уровне физтеха/мехмата/вмк это конечно не математический курс, а легкая прогулка солнечным днем в городском парке с непринужденным обсуждением таблицы умножения. Что однако не умаляет полезности учебника, т.к. количество интегралов и наличие сигма-алгебр в тексте не заставляет алгоритмы работать лучше :)

Для меня было большим удовольствием написать для учебника ШАД главу про кластеризацию. Задача была непростой: написать очень кратко, рассказать про самые популярные методы, но при этом ответить на вопрос, где это все используется так, что применение кластеризации оправдано. Последнее особенно любопытный вопрос. Сделать кластеризацию просто так, «потому что могу» - дело не хитрое. А вот оправданных применений гораздо меньше, чем у классификации, регрессии или ранжирования.

Мне очень нравится то, что вышло в итоге. Для меня эта глава не просто конспект лекции, а настоящее искусство. Можно сказать, что я писал ее не только сейчас, но и десять лет до этого. Совершенно точно нужно сказать, что я писал свою главу с заботой и любовью к читателю - так, как я мог ее выразить. Кроме того, я писал такой текст, который я бы хотел прочитать 12 лет назад и сэкономить годы на понимание каких-то несложных, но важных вещей и сопоставление разных источников. Мой путь в машинном обучении тоже начался с unsupervised learning, и мне было важно рассказать про кластеризацию так, чтобы каждый смог насладиться красотой и сложностью этой задачи, получить конкретные знания и не испугаться их применять, но в то же время не попасть в обманчивое впечатление, что «все тут легко решается». Я надеюсь, что у меня получилось)

Вот ссылка на главу, с той же страницы можно перейти на список всех глав: https://ml-handbook.ru/chapters/clustering/intro

Большое спасибо Стасу Федотову, что позвал поучаствовать не только на этапе обсуждения содержания учебника и составления итогового списка глав, но и в написании конкретной главы. Также спасибо Насте Павловской за обсуждения плана моей главы и добросовестное допинывание меня до осуществления задумки. Стас, Настя, вы супер :)

​​Примеры SQL-запросов помогут воспроизвести привычные метрики Universal Google Analytics в новой структуре данных Google Analytics 4 в Google BigQuery.

@BigQuery

В ФНЛ попробовали оцифровать атакующий футбол. Хотят продвигать открытую игру.

ФНЛ разработала индекс агрессивной игры. Индекс показывает наиболее/наименее атакующие команды.
Кто выше — у того более атакующий футбол. Логично, что Алания выше всех с большим отрывом.

Зачем это нужно?
Цель — стимулировать открытый интересный футбол. Давать разные плюшки командам, у которых высокий индекс (то есть их игра интереснее). Правда, в релизе говорят про нашивки на форму в качестве мотивации. Не уверен, что это хороший вариант. Надо думать что-то более существенное.

Пока данный концепт — экспертимент. Как думаете, это реально поможет сделать игру более атакующей?

Подробнее про логику расчёта и перспективы использования модели тут: https://1fnl.ru/news/12141/

@buildupschool

В пятницу прошла настолько огненная конференция Aha, что дважды срабатывала пожарная сигнализация. Плюс отличные дискуссии помимо докладов.

При просмотре некоторых докладов не оставляет впечатление, что мы раз за разом наблюдаем ошибку выжившего (ну и банальную рекламу самих себя - не буду называть, о ком я). Вот такого типа - мы сделали вот так, потом так, потом эдак, и профит...
Не менее интересно слушать истории поисков, ошибок, провалов, так как это и описывает ход мысли лучше всего.

Всем привет 👋, в чате канала в телеграме, меня спросили:
> Илья салют, куда пропал? ( Нет новых постов, нет видео на ютубе (.

Подумал, что вполне можно поделиться полезными видео, которые обновляем для 14 сезона курса ProductHeroes.

Так вот, проблемы продуктовой команды часто начинаются с 🎯 целеполагания: цели лежат отдельно, в роадмепе то, что команда может сделать, а не то, что нужно для достижения целей, гипотезы отдельно, сценарии пользователей отдельно. Лебедь, рак и щука из разных фреймворков тянут продакта.

Если вы хотите быстрее дойти до цели за меньшее число гипотез, то уши юнит-экономики👂 торчат из любой продуктовой задачи. Почему так вышло? Потому что юнит-экономика, так уж получилось, связывает цель, куда вы хотите прийти с точкой, где вы находитесь и сильно влияет на роадмеп.

🎬 https://youtu.be/3VMkLDGgFFA


Поделитесь фидбеком в комментариях, пожалуйста. А 14 сезон приключений Product Heroes стартует 8-го сентября и продлится 4 недели — до 4-го октября.

👉 За местом и программой курса приходи на сайт https://heroes.camp/
👉 На вопросы по формату и рассрочке поможет ответить ботик https://news.1rj.ru/str/RuleThem_bot

↓

Увидел вот такую рекламу. А мы все про свою аналитику талдычим, воронки, конверсии. Может, сущность - причина низких показателей?

Еще интересно, как по ретаргетингу смог попасть в такую аудиторию

Хоть я сейчас руками и не влезаю в нюансы дизайна и анализа экспериментов, это не мешает делиться крутой подборкой по теме.

https://quoradata.quora.com/The-Essential-Reading-Guide-to-industry-practice-of-Controlled-experiments-and-Causal-inferences

Немного про скиллы аналитика. Данных, продуктового, веб - не важно. Когда мы рассуждаем про скиллы, часто их делим на софт и хард. При этом часто забываем (не могу сказать, по какой причине), что есть умения решать проблемы, находить, локализовывать, эти проблемы, понимать, как работает конкретный бизнес, находить, как врач (чаще детский или ветеринар), где болит и прочие бизнесовые штуки. Эти навыки чаще всего появляются только с опытом и могут подкрепляться общим развитием, интеллектом, интуицией.
Но сейчас даже не об этом. Несколько слов про хард скиллы. Мы говорим обычно, что аналитик обладает умениями работать с бд, bi, python, ну и все такое. Он для в работе использует некий набор часто используемых функций и приемов в sql, python и не использует и не знает многие другие. Например, не было необходимости.
Можем ли мы говорить, что он плохо знает sql, python? Уверен, что нет. Так как будет задача, где это понадобится что-то новое и оно будет найдено и использовано.
Тут имею ввиду, в том числе, разницу в наборе скиллов, перечисленных в вакансии и тот, которым реально владеет кандидат. Если уж он научился одному, но, наверное, научится и всему остальному.
Гораздо важнее то, с чего я начал. Если понимаешь business value задачи, подобрать инструменты и использовать их - дело вторичное. Если конечно, что-то умеешь...