Друзья, привет!

Как и обещал, делюсь подробным рассказом о том, как начиналась аналитика в Сравни и с какими проблемами пришлось столкнуться.

В статье я попытался осмыслить само понятие «аналитика» и ее роль в жизни бизнеса.

А также подробно разобрал тонкости правильной настройки трекинга — от внедрения UTM-разметки, до создания карты событий и настройки GTM.

#статья

Рассказал Rusbase о том, как заместить аналитическую инфраструктуру и не потерять в качестве данных и предоставляемых выводов.

Данная статья будет полезна как аналитикам, так и руководителям смежных подразделений.

#статья

Друзья, привет!

Моя коллега, Ксения Шипулина, подготовила отличный материал о основных лайфхаках, проблемах и ошибках, которые возникают при проведении A/B-тестов.

Если такие словосочетания, как «Fake door тест», «P-hacking» или «Cherry picking» вводят вас в замешательство, то мы знаем, как это исправить.

#статья

Дал комментарии для ppc.world к статье «23 фишки Google Analytics 4, которых нет в Universal Analytics»:

«Логика, заложенная в Universal Analytics: сеансы, «пользователи», события состоящие из четырех параметров, уже давно морально устарела и требовала обновлений. Поэтому я всячески приветствую Google Analytics 4 и уже внедрил новую версию во все проекты, с которыми работаю.

Также большим плюсом является возможность установки одного трекера на сайт и в мобильное приложение, что позволит создать единую систему событий для разных интерфейсов взаимодействия с пользователем. А это сильно облегчит работу по анализу рекламных кампаний и созданию отчетности.»

«В Википедии сквозная аналитика определяется как метод анализа эффективности маркетинговых инвестиций на основе данных, прослеживающий полный путь клиента, начиная от просмотра рекламного объявления, посещения сайта и заканчивая продажей.
Однако бизнесу неинтересны показатели просмотров объявлений, кликов по ним, количество событий на сайте и т.д... Бизнесу интересны деньги. С его точки зрения, сквозная аналитика это — способ быстро и качественно сделать вывод о результативности маркетинга и его процессов для принятия решения...»

Развиваем данную тему вместе с Александром Мориным и коллегами из ppc.world в статье «Проанализировать все: какие сервисы для сквозной аналитики используют специалисты».

#статья

Дал комментарии для ppc.world относительно появления в Яндекс Метрике инструмента «Эксперименты» на базе технологии Varioqub.

«Varioqub — новое решение от Яндекса для проведения A/B-тестов, представленное в ноябре 2022 года на Матемаркетинге и до недавнего времени находящееся на этапе бета-тестирования. Новость о том, что Яндекс сделал эту технологию доступной для всех пользователей Метрики, потрясающая, так как раньше на нашем рынке не было подобного сервиса. Да, есть Sigma от EXPF и Google Optimize. Однако, Sigma — это достаточно нишевый продукт, помогающий проводить сложные A/B-тесты и требующий серьезных знаний аналитики и математической статистики. А Google Optimize прекратит работу 30 сентября 2023 года.

Сейчас в Varioqub есть два тарифа — бесплатный базовый и платный расширенный. Базовый тариф доступен «из коробки» в Яндекс Метрике и будет полезен для самостоятельных аналитиков и маркетологов, которые хотят проводить простые эксперименты, не требующие навыков программирования.

Для таких экспериментов можно использовать визуальный редактор или сервис редиректов, распределяющий трафик между вариантами страниц.

Расширенный тариф подойдет для крупного бизнеса с многостраничными сложными сайтами и собственной командой разработки. Здесь понадобятся разработчики для настройки более продвинутых экспериментов через API или фича-флаги. В расширенном тарифе возможностей больше, чем достаточно — 100 одновременно запущенных тестов, 11 метрик для эксперимента, фильтрация по клиентским параметрам, выгрузка сырых данных через LogsAPI.

Сейчас сервис доступен только для веба, но ребята обещают скорый релиз системы сплитования для мобильных приложений. Очень рад за команду Яндекс Метрики и желаю им не останавливаться и развивать этот очень нужный нашему digital-комьюнити инструмент!»

Для многих IT-компаний A/B-тестирование стало не просто важным инструментом аналитики, а скорее стартовой площадкой для качественного развития продукта. Без применения A/B-тестов может быть сложно оценить, какие изменения необходимы продукту и как они повлияют на поведение пользователей.

Информации о статистике и о том, как проводить A/B-тесты, много, но большинство источников сосредоточены на "технической стороне", подсчете выборки, проблеме подглядывания, правильной интерпретации p-value... А вот практических советов по менеджменту A/B-тестов не так много.

Мы с коллегой обобщили свой опыт с опытом других команд и собрали вместе основные знания по управлению A/B-тестами в виде чек-листа.

#статья

Теперь по понедельникам буду публиковать подборку наиболее интересных материалов попавшихся мне на глаза.

В начале октября команда Google Analytics анонсировала (VPN) две новые фичи, которые позволяют удалять персональные данные из URL. Удаление данных выполняется на стороне клиента после того, как GA создаст событие, но до отправки на сервер. Теперь в отчете будет содержаться меньше чувствительных данных, что повышает безопасность. Более подробно почитать о новых функциях можно в справке Google Analytics.

Яков Осипенков рассказал о популярных альтернативах внедрению кода диспетчера тегов Google. Он предлагает использовать специальные расширения для инъекции контейнера Google Tag Manager, которые работают в рамках вашего браузера. Яков упомянул и о проблеме фейковых данных, подкрепляя свои слова пошаговой инструкцией по искажению чужих данных в счетчиках GA4.

Adventum сравнил GA4 и Яндекс.Метрику по 13 параметрам, включая работу с Ecommerce, функционал сегментирования и воронок, просмотры страницы и экспорт данных. По результатам сравнения авторы советуют по возможности применять обе системы, чтобы использовать функционал обеих и минимизировать политические риски.

Команда eLama собрала основные сентябрьские новости контекстной рекламы и аналитики, а затем дала прокомментировать их специалистам. Ребята поделились опытом работы с новым функционалом и дали рекомендации, как использовать его с максимальной пользой для бизнеса.

Яндекс опубликовал исходный код инструмента для визуализации данных DataLens в репозитории GitHub. DataLens был запущен в 2019 году и позволяет анализировать ключевые бизнес-метрики и наглядно отображать полученные данные. Более подробно об инструменте рассказал сотрудник Яндекса Павел Дубинин.

Канал Reveal the Data опубликовал динамику по количеству вакансий для аналитиков и средней зарплате за период с апреля по сентябрь. Из главных выводов: количество вакансий значительно увеличилось среди всех направлений и грейдов, в то время как зарплата сохраняется на прежнем уровне.

#дайджест

Пока западные коллеги вовсю запасаются сладостями в преддверии Хэллоуина, предлагаю посмотреть, чем сейчас живет аналитика за рубежом. Для доступа к статьям не забудьте включить VPN.

Дата инженер из Meta* поделился внутренней кухней компании в подробном обзоре инструментов и систем, которыми пользуются сотрудники при сборе и обработке больших данных. В обзоре вы найдете всего понемногу: что используют для отправки запросов в репозитории, как визуализируют данные и на чем пишут пайплайны.
* признана в РФ экстремистской и запрещена

В эпоху информационного шума выявить эффективность рекламной компании можно креативным тестированием. Это своего рода пред-тестирование системы со сбором данных и последующей аналитикой, которая позволяет предсказать эффективность рекламы. В блоге Appsflyer опубликована статья на эту тему с разбором теории вопроса, инструкцией по разработке тестирования и лучшими практиками.

В Америке продолжается 10-недельный антимонопольный процесс по делу Google, который называют крупнейшим со времен дела Microsoft. Министерство юстиции США обвиняет Google, который занимает 90% рынка поисковых систем, в выплате огромных сумм компаниям уровня Apple, чтобы те использовали Google как поисковую систему по умолчанию. Среди других обвинений числятся махинации с баннерными аукционами. Если Минюст одержит победу, компанию ждут серьезные последствия.

В ежедневном дайджесте от Medium мне попалась на глаза статья с рекомендацией «легкого чтива» для хардкорного дата инженера. Автор советует семь толковых книг, которые помогут углубить знания по темам и подушнить на митах с коллегами. Некоторые книги переведены на русский язык. Например, многими любимая книга «Designing Data-Intensive Applications» в России вышла под заголовком «Высоконагруженные приложения», а в кругах программистов она прослыла книгой «с кабанчиком».

#дайджест

Process Mining – это метод аналитики данных, при помощи которого можно глубоко изучить бизнес-процессы. Суть подхода в том, чтобы увидеть реальную картину функционирования процессов, а не образ, который мы сформировали в своем сознании. Этот метод основан на анализе данных и логов событий, что позволяет выявить тренды, проблемные места и потенциальные возможности для оптимизации.

Виль ван дер Аалст, голландский профессор и основоположник идеи Process Mining, уверен, что к 2025 году этот подход станет стандартным инструментом для анализа и улучшения процессов. Он предсказывает, что область применения PM расширится, и в центре внимания окажется переход от «ретроспективного» анализа процессов, когда анализируется прошлое, к «прогнозному» подходу, предсказывающему возможные ошибки и отклонения до того, как они произойдут. Еще одним направлением развития станет «предписывающая аналитика», включающая в себя автоматическую оптимизацию и прямое влияние на процесс.

По данным Gartner сейчас на рынке более 20 компаний разрабатывающих инструменты для PM, а объем рынка уже достигает 1,2-1,6 млрд. $.

Поделюсь своим рейтингом инструментов. Рекомендую только те, что пробовал сам или тестировали коллеги.

🔹Celonis – признанный лидер в области.
Стоимость: $80 000-$95 000 в год, но можно использовать free-версию с ограничением на размер данных.
Варианты развертывания: SaaS, On-Premises

🔹Apromore – еще один лидер.
Стоимость: $71 000 в год , есть free-версия с урезанным функционалом + можно получить доступ к полному функционалу для образовательных целей.
Варианты развертывания: SaaS, On-Premises

🔹ARIS – самый удобный UI из всех.
Стоимость: от €14 000 год, есть free-версия с ограничением на количество анализируемых событий.
Варианты развертывания: SaaS, On-Premises

🔹Retentioneering – python библиотека для анализа пользовательских траекторий.
Стоимость: free, несмотря на бесплатность, обладает мощным набором инструментов, таких как Transition Graph и Step matrix.
Варианты развертывания: On-Premises, обещают SaaS

#опыт

Новая неделя - новый дайджест.

1 июля 2024 года разработчики Universal Analytics полностью прекратят поддержку системы – у вас больше не будет доступа ни к ресурсам, ни к API, а все данные будут удалены. Об этом напоминают ребята из команды Google Analytics 360 и рекомендуют перенести данные по целям, аудиториям и пользователям из UA в GA4 до марта 2024 года, за три месяца до прекращения работы.
К сожалению, перенести исторические данные из UA в новый ресурс не получится, так как у GA4 совершенно другая модель сбора данных. Лучшей рекомендацией тут будет экспорт ранее собранной статистики в стороннее хранилище.

Яндекс собрал сентябрьские обновления для Яндекс Рекламы. Больше всех обогатился Директ. Среди октябрьских пополнений отмечу обновление алгоритмов для учета LTV пользователя.

Разработчик из Intercom делится (VPN) опытом внедрения фреймворка dbt. Из плюсов: понятная организация SQL-запросов и простота работы с таблицами измерений. Из минусов: высокий порог вхождения для новичков и много boilerplate-кода.

Google тестирует новые способности ИИ в 3 странах. На запрос пользователя будет выдаваться суммированный ответ с сайтов по аналогии с ChatGTP. При этом ссылка на источник указываться не будет, что ударит по посещаемости сайтов. В сентябре подобную фичу под названием YandexGTP запустил наш поисковик.

#дайджест

Поздравляю всех с прошедшими праздниками! Чтобы не напоминать о надвигающихся рабочих буднях заранее, решил опубликовать дайджест сегодня.

GA4 продолжает пополняться новым функционалом. На этот раз добавили возможность экспорта кастомных параметров товара в BigQuery и их передачу через Measurement Protocol. Фича очень полезна для ecommerce проектов, более подробно про настройки таких параметров читайте тут.

Подсмотрел у коллег классный майндмеп по внедрению BI. Автор выделяет 8 главных и 22 вытекающие причины провала отчета и предлагает решения разного калибра. Например, проблема низкой эффективности отчетов может быть в том, что конечный пользователь не доверяет данным. Возможно, он не включен в процесс создания отчета или сомневается в достоверности данных. Тогда стоит привлечь другого аналитика со стороны пользователя для тесной коллаборации с командой или указывать, кем были предоставлены и рекомендованы данные (ввести сертификацию отчетов).

Вышли две новые статьи от Analytics Mania. Первая расскажет про группы контента и покажет способы имплементации в GTM, а вторая продемонстрирует два способа отслеживания партнерских ссылок в GA4.

Статья (VPN) для тех, кто все еще недоумевает от задачек по теории вероятности на собеседованиях. Автор объясняет, почему дата аналитику важно уметь решать их и приводит примеры из рутинной практики.

#дайджест

Прошедшая неделя запомнится не только масштабной конференцией Матемаркетинг-23. Дайджест со свежими статьями как раз подоспел!

Встречайте A/B тестирование в Facebook (VPN): теперь авторы могут загрузить до 4-х обложек Reels и запустить A/B тест на ограниченном пуле подписчиков. По результатам теста система выберет лучший вариант обложки и применит его. Есть все основания ожидать обновление и другом продукте Meta* – Инстаграм.
* признана в РФ экстремистской и запрещена

Чтобы А/В тестирование дало корректный результат, эксперимент необходимо проводить на посетителях, выбранных случайным образом из общего числа. Но в ритейле подобные условия часто не реализуемы, например, когда эксперимент ограничен магазинами в конкретной локации. Тогда на помощь приходит Causal Inference. Здесь статья о выявление причинно-следственных связей и расчете их статистической значимости.

Команда real-time дата аналитики перенесла обработку и хранение данных (VPN) в Apache Doris, что значительно упростило архитектуру. Новый опен сорс инструмент еще не успел хайпануть в России, но имеет все шансы. По словам разработчиков, он быстрее ClickHouse, хорошо справляется с сжатием данных и синхронизируется с MySQL и Oracle. Стоит обратить на него внимание.

9 ноября Сергей Денисов, СРО Яндекс Метрики, в ходе доклада на Матемаркетинге-23 анонсировал Метрику Про. Это пакет, расширяющий базовые возможности Яндекс Метрики. Он позволяет создавать больше целей и сегментов, выгружать больше данных через LogsAPI, делать больше запросов в API отчетов Метрики, а также передавать данные в Yandex Cloud в реальном времени. Метрика Про нацелена на крупный бизнес с большими объемами данных.

#дайджест

Меня периодически одолевают сеошники с вопросами о фрод-трафике на сайте. Поэтому я решил написать длиннопост, в котором отвечу на самые распространенные вопросы.

#опыт

Начинаем рабочие будни с подборки свежих статей для саморазвития.

Недавно калифорнийский стартап по следам хайпа вокруг ChatGPT, запустил новый продукт DataGPT, выполняющий функции аналитика данных🤓
DataGPT использует алгоритм, который фокусируется исключительно на искомых ключевых метриках, не отвлекаясь на второстепенные. Поэтому пользователю достаточно создать сценарий использования с наиболее важными KPI и скормить его модели. Подробнее про инструмент можно прочитать тут, а потестить тут.

DataGPT – не новшество, а лишь очередное подтверждение тренда: аналитика при помощи общения с ИИ посредством прямого диалога становится повседневностью. Так, этим летом Google зарелизил свою модель с искусственным интеллектом Duet AI для работы в Looker Studio. Duet AI позволяет создать сложную визуализацию данных с помощью коротких инструкций на человеческом языке. Очень надеюсь, что смогу в ближайшее время потестить фичу и рассказать вам о своих впечатлениях🤞

Импорт расходов в GA4 из сторонних кабинетов – тема нетривиальная. При неправильном переносе мы рискуем потерять часть данных. Нам в помощь Яков Осипенков опубликовал статью на эту тему. Автор рассказал про статические значения параметра utm_id, который теперь обязателен в схеме данных при импорте, а также пояснил, почему процент импортированных данных должен быть равен 100%.

Как сделать диаграммы нагляднее? На примере графиков в Excel автор блога поделился семью приемами, которые превратят простые таблицы в диаграммы из презентаций Apple. Каждый прием подкрепляется теорией из учебника по дизайну. Пусть вас не смущает, что Excel сейчас не в тренде, рекомендации из статьи применимы к любому инструменту визуализации данных.

#дайджест

Хочу поделиться с вами своим взглядом на менеджмент продуктовых гипотез.

Часто в командах аналитики можно встретить следующие проблемы:

🔹Не систематизирован процесс поиска инсайтов и выдвижения гипотез для улучшения продукта;

🔹Гипотезы «прилетают» случайным образом и без какой-либо приоритизации, а часть идей просто теряется;

🔹Нет фиксации результатов и наработанной базы знаний, новые члены команды могут тестировать по кругу одни и те же вещи.

Хорошим решением данных проблем будет создание бэклога гипотез.
Подробно об этом рассказываю в своей новой статье.

#статья

Сегодняшний дайджест посвящен визуализации данных. Поговорим о том, как превратить данные в историю.

Хочется рассказать про Cosmograph – малоизвестный, но очень классный инструмент для визуализации больших графов и, с недавних пор, двумерных эмбеддингов. Это самое быстрое веб-приложение для анализа: оно работает в пределах браузера и использует мощности вашей видеокарты, которая и определяет скорость работы. Можно загрузить CSV-файл с данными и поделиться ссылкой на открывшуюся визуализацию. Вот пример визуализации 7 тыс статей The New York Times.
У приложения есть JavaScript/React библиотеки, поэтому можно добавить визуалы в собственные веб-приложения. Инструмент подходит и для простой отрисовки графиков для презентаций. Еще круче то, что приложение бесплатно и применимо для Process mining, о котором я писал раньше.

Таня Мисютина, создатель и руководитель Лаборатории данных, эксперт Бюро, рассказала об одном из принципов построения визуализации, который звучит так: визуализация должна проявлять закономерности. Наглядный пример принципа в действии: отобразив все случаи землетрясений на карте можно увидеть границы тектонических плит.
Если же визуал ничего нового не показал по сравнению с таблицей, то нужно искать другой способ презентации данных. В серии из двух статей Таня разбирает неудачную футбольную инфографику. В первой статье, Таня предложила алгоритм визуализации сложных данных, состоящий из пунктов: описание полной картины данных, выделение частицы данных, конструирование визуализации. Во второй статье, автор рассказала о своем варианте улучшения диаграммы.

На Medium опубликовано исследование Чэньсинь Ли, научного сотрудника из Центра прикладных генетических технологий в США. Он разобрал (VPN) слабые стороны 12 типов диаграмм для визуализации данных и подсказал решения, как облегчить их прочтение.
Например, круговая диаграмма хороша для отображения дробных данных, доли которых в сумме дают 100%. Но две круговые диаграммы плохо подходят для сравнения данных, так как сложно зрительно оценить размер кусков. В таком случае автор предлагает переходить от пирогов к столбчатым диаграммам с установленной высотой в 100% и этажами разной длины в зависимости от долей.

#дайджест

Новый топик канала – легкое чтиво для аналитиков! Сегодня поговорим про ИИ в контексте больших данных.

📚 Artificial Intelligence for Big Data. Complete guide to automating Big Data solutions using Artificial Intelligence techniques
Авторы: Anand Deshpande, Manish Kumar

Книга содержит все темы из популярных курсов по машинному обучению, только бесплатно дешевле. Приведу некоторые из них. Первые две главы сравнивают работу человеческого мозга и искусственного интеллекта, вводится понятие онтология для больших данных. После вас погружают в различия контролируемого и неконтролируемого машинного обучения и нюансы модели программирования Spark.

Далее по сюжету идут нейронные сети, основы глубокого обучения, обработка естественного языка (NLP) и нейро-нечёткие системы. На десерт приберегли системы, подсмотренные у природы: структуры генетических алгоритмов, роевой интеллект (SI) и обучение с подкреплением.

Авторы погружают в технические детали постепенно, начиная с основ. Книга не грузит, легко читается и поэтому вызывает желание разобраться в теме, а не сойти с ума. Аналитикам она позволит подтянуть и утрамбовать базовые понятия из теории машинного обучения. Остальным она объяснит, о чем все эти новомодные словечки и почему ИИ не заменит человека.

Оба автора – сотрудники компании Datametica Solutions и последние 10 лет погружены в тему дата науки и больших данных. Ананд занимает должность директора по реализации продуктов, Маниш – старший архитектор ПО.

К сожалению, книга не переведена на русский язык и издается за рубежом.

🔗Купить печатную версию можно, например, на Амазон.
Электронной версией делюсь с вами.

#книга

Python – популярный язык программирования, нежно любимый аналитиками за удобство анализа данных.
2 октября он обзавелся новой версией Python 3.12.

Из интересного:
🔹расширили поддержку многопоточности,
🔹сделали подробнее сообщения об ошибках, 🔹оптимизировали производительность,
🔹увеличили гибкость работы с f-строками.
Сегодня делюсь лайфхаками для тру питонистов.

Свежепереведенная статья на Хабре научит упрощать код с помощью оператора match и расскажет про вариации индексов при создании срезов строк и списков. Match похож на условный оператор и по работе напоминает switch в JavaScript. Доступен с Python 3.10. В сравнении с If-else он упрощает код, позволяет автоматически проверять типы объектов и обращаться к атрибутам объекта в блоках case.
Когда создаете срезы строк, помните, что в квадратных скобках можно указать не только два натуральных числа, но и пустые и отрицательные индексы или даже три индекса сразу.

В проектах, где не используются базы данных, возникает проблема, как собрать все «рукописные» таблицы в один отчет. Хабр-статья научит, как прочитать и объединить разношерстные Excel-файлы в красивый датафрейм с помощью питона. Автор анализирует файлы как XLSB, так и XLSX форматов. В работе пригодятся такие библиотеки PyPi, как recordclass, numba, pyarrow, tqdm и Polars (или Pandas).

Декораторы Python – это мощная фича, которая изменяет поведение функции или класса, не меняя их исходный код.
Выглядит это так: декоратор принимает одну функцию в качестве аргумента, оборачивает ее в другую и возвращают уже новую функцию. Это применяется для замера времени, логирования, и др. Подробнее в статье на Medium (VPN).

Пайплайн, понятие в программировании, описывающее серию операций или функций, идущих друг за другом и преобразующих входные данные. Выход одной операции становится входом следующей, и так далее, пока не будет получен конечный результат. Автор блога на Medium (VPN) затронул тему пайплайнов в питоне и показал, как они помогут писать чистый код.

#дайджест