Интернет-аналитика // Алексей Никушин – Telegram
Интернет-аналитика // Алексей Никушин
24.3K subscribers
1.55K photos
39 videos
236 files
1.39K links
Крупнейшая конференция для аналитиков - Матемаркетинг - 20-21 ноября 2025 года - https://matemarketing.ru

Программа: bit.ly/mm25-program
Билеты: https://bit.ly/mm25-ticket

Вопросы: @a_nikushin // info@matemarketing.ru
Download Telegram
Measuresummit - бесплатная конференция по аналитике, пройдет онлайн с 22 по 25 сентября.

Лайнап состоит из западных спецов. Жаль только, что нет Марка Эдмондсона. Но есть Симо Ахава.

https://measuresummit.com/

Впрочем, Симо Ахава будет и на Матемаркетинге. Поэтому, если есть вопросы к нему, то присылайте их на speaker@matemarketing.ru и мы передадим ему ваши мысли по server side и прочему.
Интернет-аналитика // Алексей Никушин
На прошлой неделе случился апдейт ситуации с Яндексом и Медиаскопом. Напомню, Яндекс снёс счетчики Mediascope, о чем я подробно писал. Так вот, Mediascope выкатил пресс-релиз. Основной инфоповод - компании ведут переговоры о расширении сотрудничества. Предполагается…
Прошло чуть больше года после того, как Яндекс снес счетчики Медиаскопа.

И сегодня Жаров (бывший Роскомнадзор, а сегодня Газпром-Медиа) предложил новый единый счетчик.

Цитаты и выдержки:
"...измеритель не обязан быть именно измерителем в чистом виде, он может быть аудитором".

"Если площадка не согласна на установку счетчика, тогда она должна предоставить логи и соответствовать тем правилам, которые предлагает аудитор"

Чуть больше на vc и на adindex

@internetanalytics запасается попкорном и следит за развитием ситуации
@internetanalytics
Forwarded from karpov.courses
A/B тесты - один из основных инструментов в продуктовой аналитике. Этот метод маркетингового исследования заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, где один или несколько показателей изменены для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Например, мы можем поменять цвет кнопки для регистрации с красного на синий и сравнить, насколько это будет эффективно.

После интервью с Никитой Маршалкиным мы собрали источники, которые он одобряет и использует в работе с A/B тестами (а некоторые даже написаны им лично!):

1. Крутая книга о том, как спланировать и провести своё первое A/B тестирование:
https://experimentguide.com

2. Подборка примеров применения A/B тестов в индустрии: как топовая литература на тему, так и интервью от сотрудников крупных компаний, применяющих A/B тесты в работе:
https://exp-platform.com

3. Пошаговый, написанный с Никитой в соавторстве гайдлайн для создания A/B тестов на языке Python:
https://medium.com/.../practitioners-guide-to-statistical...

4. Статья, описывающая как определять, комбинировать и объединять метрики (и комбинации из 2-3 метрик) с высокой прогнозирующей способностью таким образом, чтобы уменьшать их число и снижать вариативность:
research.google/pubs/pub43157/

5. Работа, рассматривающая различные подходы к планированию и созданию рандомизированных экспериментов, чтобы не получить мнимые отличия на этапе дизайна:
https://arxiv.org/abs/1404.7530

6. Краткие конспекты докладов исследователей и практиков из области анализа данных с конференции KDD 2019, где можно почерпнуть новаторские решения в планировании экспериментов для бизнеса:
https://research.fb.com/.../top-challenges-from-the.../

7. Краткое руководство как правильно выстроить работу b2c: на какие метрики необходимо смотреть и как их учитывать для улучшения работы:
https://onlineuserengagement.github.io/
Реклама делает человека несчастным.

Профессор экономики и бихевиоризма Уорикского университета (Англия) проанализировал результаты ежегодных опросов о качестве жизни девятисот тысяч людей из 27 стран с 1980-го по 2011-й года, сравнил с данными о годовых тратах на общенациональную рекламу и нашел интересную корреляцию.

Увеличение бюджета рекламы давало через несколько лет снижение уровня удовлетворенности опрошенных своей жизнью. За уменьшением бюджета наоборот следовало повышение показателя удовлетворенности.

В мат.модели контролировали ВВП и уровень безработицы, учитывали скачки цен на нефть и подобные случайные события. Эффект годовых трат на рекламу оказался всего в два раза меньше эффекта семейного положения и в 4 раза меньше эффекта отсутствия работы.

https://voxeu.org/article/advertising-major-source-human-dissatisfaction

https://hbr.org/2020/01/advertising-makes-us-unhappy


@internetanalytics
Интернет-аналитика // Алексей Никушин
Сегодня два больших гугловых обновления App+Web: 1. Event-scoped Custom Metrics and Dimensions - https://support.google.com/analytics/answer/10075209 2. Data Studio Connector - https://www.kristaseiden.com/new-appweb-data-studio-connector/
Новые материалы по А/B-тестированию. Открываем доступ к докладам из секции про эксперименты на Матемаркетинге-2019. В 2019 году у нас было 7 тем, посвященных экспериментам

= = = =
Ближайшая конференция — Матемаркетинг-2020 — состоится 9-13 ноября в формате online
Программа конференции
Все подробности: https://matemarketing.ru
= = = =

Игорь Яшков из Яндекс.Поиска научил валидировать и развивать метрики
Валерий Бабушкин из Х5 Retail Group научил ускорять сотни А/Б-тестов в десятки раз
Дарья Чиркина из Яндекса привела практические кейсы построения аналитической инфраструктуры в небольших интернет-компаниях.
Искандер Мирмахмадов из EXPF научил увеличивать чувствительность метрик
Анатолий Карпов рассказал о том, как сделать так, чтобы А/В-тестирование заработало
Максим Сергеев из Яндекс.Еды рассказал о marketplace efficiency в Яндекс.Еде
Данила Леньков из Avito рассказал об инфраструктуре A/B-тестирования в Avito для централизации обработки результатов экспериментов.

= = = = =
В 2020 году у нас новые темы, посвященные экспериментам

Дмитрий Гущин, co-founder Stereo7 - Эксперименты в мобильных приложениях
- проблемы с А/В-тестами специфичные для мобильных приложений.
- как неправильно считать деньги в А/В-тестах.
- как правильно считать деньги в А/В-тестах.
- как запускать много А/В-тестов. Кейсы.

Эмели Драль, CTO Evidently AI - Генерация и проверка сильных гипотез, А-А/А-В-тесты
- как отобрать лучшие гипотезы-кандидаты для проведения теста?
- как оценить оптимальный размер группы?
- как оптимизировать длительность теста?
- как убедиться в корректности разбиения?
- как отличить краткосрочный эффект от продолжительного?
+ чек-лист по разработке дтизайна и проведению АБ тестирования.

Виталий Черемисинов, Experiment Fest - блиц-формат на тему как искать прокси метрики в продуктах.

Олег Хомюк, Head of R&D Lamoda - блиц-формат про применение методов data science в экспериментах, проверке гипотез в e-commerce и смежных темах.

Игорь Полянский, Head of Analytics Gett - Быстрая приоритезация UX-гипотез
Разбираем проблемы развитой продуктовой аналитики (низкая значимость фичей и их кумулятивное влияние). Кейс Gett: LightGBM с SHAP interpreter для множественное проверки гипотез, результаты, learnings. Делаем разбор применения метода для других метрик, “за” и “против”.
= = = = =

Полная программа конференции: https://bit.ly/3iMiT6Z

@internetanalytics
Яндекс.Музыка запустила кабинет статистики по подкастам.

Подкастерам теперь доступны общие цифры прослушиваний, статистика по каждому эпизоду, а также пол, возраст и география слушателей. Эти данные позволят авторам лучше понимать свою аудиторию и будут полезны для коммуникации с рекламодателями.

Количество слушателей подкастов на Яндекс.Музыке увеличилось в 6 раз по отношению к прошлому году (каждый 4-й подписчик).

Кроме этого, Музыка запустила «Энциклопедию подкастера» – канал в Яндекс.Дзене, в котором будет рассказывать о тонкостях подкастинга. Соавторами энциклопедии станут опытные подкастеры, а также эксперты из смежных индустрий – журналисты, контент-продюсеры, специалисты по маркетингу и рекламе.

P.S. Все-таки пора запускать свой подкаст))
Всем пользователям Метрики стали доступны новые типы целей

Что нужно сделать?
Перейти в настройки счётчика, открыть вкладку «Цели» и добавить наиболее оптимальные. “Простые цели” в связке с оплатой за конверсии способны оптимизировать эту самую конверсию с рекламы только за счёт оплаты за конкретные действия посетителей сайта. В итоге, можно покупать по фиксированной цене заполнение формы, клики по контактным данным, номеру телефона и прочее.

Пример:
1. Сделали простую цель «Отправка формы», «Клик по номеру телефона» или «Клик по email».
2. Делаем ее ориентиром для конверсионной автостратегии в Директе, и, например, платим только за те визиты, которые заканчиваются соответствующим действием пользователя. Для этого используем её в стратегии «Оплата за конверсии».

Кроме этого, доступны еще варианты поиска самых конверсионных источников трафика, возврата аудитории на сайт и др.

Подробности в блоге Метрики: https://yandex.ru/blog/metrika/light-goals

@internetanalytics
Хотели было перевести на русский (хотя бы оглавление и основные темы разделов), но что-то так много задач по Матемаркетингу в этом году, что, выкатываем так.

Пару недель назад вышла классная книжка по продуктовой аналитике от Mixpanel. Это прямо-таки маст.

В общем, полистайте, положите в закладки и обращайтесь, когда будете считать ретеншен

@internetanalytics
Слушайте, я ищу подтверждённые кейсы, когда человек, будучи нулевым в аналитике, прошёл чей-то курс (за 3-6 месяцев) и вышел на заявленные на лендосе деньги (например, 120-180 000).

Ведь если такие обещания даются, значит, такие люди существуют.

Напишите в личку @a_nikushin, плиз
Павел Левчук в своем facebook делится интересной мыслью из статьи Cassie Kozyrkov - Head of Decision Intelligence, Google.

1. Аналитик помогает формировать вам гипотезы, улучшая качество ваших вопросов, в то время как статистик помогает тестировать ваши гипотезы, улучшая качество ответов.

2/ Аналитик будет расходовать часть вашего времени в пустую, такова цена исследования. Поэтому аналитика это игра по оптимизации вдохновения-в-минуту лица принимающего решения.

3/ Не стоит буквально оценивать аналитика по метрике вдохновение-в-минуту. Лучше оценивать его навыки добывать информацию. Но и здесь нужно быть аккуратным в оценочных суждениях: навык аналитика не гарантирует прорывной идеи. Часто это зависит от данных.

@internetanalytics
"Ключевое качество аналитика - уметь видеть за потоком цифр вопросы к работе проекта. Доформулировать помогут специалисты, но первоначально увидеть правильные сигналы должен уметь хороший аналитик" - добавляет Антон Сучков мне в личные сообщения ))
Классное исследование от Яндекса о сравнении стоимостей владения автомобилем и поездок на каршеринге/такси.

https://yandex.ru/company/researches/2020/auto-cost

Есть полноценный калькулятор, в который вшито 116 моделей автомобилей

https://yandex.ru/lab/calculator-auto/

Яндекс молодцы, умеют делать так, чтобы люди долгосрочно задумывались о важных Яндексу вещах

@internetanalytics
Вопрос к вам от Adventum и Amplitude. Они готовятся к Матемаркетингу и хотят выбрать максимально релевантную тему. Проголосуйте за самое интересное

1.Секрет успеха принятия data-driven решений (почему это важно и что это меняет)

2. Как понимание поведения клиентов помогает улучшать продукт/увеличивать монетизацию + кейс Delivery Club

3. In-house vs Коробочное решение. Как выстроить аналитический стек с максимальной пользой.

4. Путь продуктовой аналитики в Delivery Club

5. Кейс по работе с Retention
Forwarded from This is Data
​​Наконец-то закончил статью на одну из самых сложных для понимания тем - оконные функции в SQL.
На ее написание ушло почти пять месяцев с перерывом на отпуск :)

В статье на простых примерах с картинками разбирается принцип работы данных функций, а в конце вас ждут кейсы с расчетом моделей атрибуции «Первый клик» и «С учетом давности взаимодействий».
David Ritter из Boston Consulting Group обращает наше внимание на вечное: как определить, стоит ли внимания обнаруженная вами корреляция.

Согласно подходу BCG результат можно использовать для продуктовых решений, если:
а) Вы уверены, что такую связь вы снова обнаружите в будущем, и не раз. То есть, вы наблюдали подобную связь в прошлом и можете ее объяснить.
б) Риск совершить ошибку, предприняв какие-либо действия в отношении продукта, опираясь на эту корреляцию, не высокий. То есть, потенциальная польза перевешивает риски или косты.

https://hbr.org/2014/03/when-to-act-on-a-correlation-and-when-not-to

@internetanalytics