Системный улучшайзинг

Недавно на техническом прогоне одной конференции я слышал от спикера невероятную историю о том, как в одном из проектов его команде удалось поднять конверсию 2 раза (!) по всему (!) сайту и... это был эпический фейл!

Все дело в том, что наш герой отвечал за запуск маркетплейса финансовых услуг в одной крупной компании. Долго разрабатывали, а после запуска заплакали: конверсия была 0.05%. Да, в смысле именно "пять сотых процента", т.е. практически на уровне погрешности. Проект чуть было не закрыли, но команда отстояла и разродилась той самой фичей, которая подняла конверсию аж в 2 раза — с трагических 0.05% до плачевных 0.1%.

Конечно, фактически рост был минимален. Но появилась надежда! Далее проектную команду ждали еще 1.5 года работы над сайтом. За это время реализовали более 100 фичей (= различных решений по росту конверсии) и вышли на уровень 5% конверсии. Фантастический результат! И не было ни одной, ни одной фичи, которая давала бы прорывной рост. Каждое улучшение вносило свой небольшой вклад в общий результат.

Внутри Smart Data Hub мы называем это "системный улучшайзинг" — непрерывная работа по внедрению (в том числе и небольших) улучшений в маркетинг. Наш евангелист Дмитрий Павлов недавно рассказывал о системном улучшайзинге на конфе "Карьера в маркетинге". С помощью нехитрых математических расчетов Дмитрий показывал, что системная работа по внедрению даже небольших инсайтов, каждый из которых дает всего по 0.25% прироста по целевой метрике, приводит к чудовищному росту по результатам квартала.

Концепция системного улучшайзинга мне очень близка. На встречах с инвесторами я сам зачастую становился участником такого диалога:
— [инвестор] Какая у вас динамика роста по выручке?
— [я] Порядка 10% месяц к месяцу.
— [инвестор] Почему так медленно?
— [я] Вообще-то10% месяц к месяцу — это трехкратный рост за год.

Пруф: (1 + 10/100)^12 = 1.1^12 = 3.14, т.е. более 3 иксов роста за год.

Как говорят японцы: "Быстро — это медленно, но постоянно".

С вами был Игорь Кузин, СЕО в сервисе системного улучшайзинга и взрывных инсайтов Smart Data Hub. Запись выступления Дмитрия Павлова, если что, можно запросить здесь

Пятый аналитический слой

Во времена учебы в универе у нас, как и полагается, были семинары по философии. И был у меня один приятель, одногруппник, который страсть как любил подискутировать. Этот одногруппник и занятия по философии образовывали какую-то взрывоопасную смесь: остановить этого парня было невозможно. И все бы ничего, ведь ваш покорный слуга и сам был не прочь горячо поспорить о всякой ерунде смысле бытия, но ведь приятель задавал поистине идиотские вопросы! Однажды разговор как-то зашел о старых стульях в аудитории. Так он не удержался и, возвысив голос, в патетическом порыве озадачил всех своим вопросом: «Стулья! Но что есть стулья?» В этот раз дискуссии не вышло, группа взорвалась хохотом.

Так вот, друзья, как и тот парень из моего студенческого прошлого, я решил пойти по тонкому льду и задать вам вопрос: зачем мы вообще работаем с данными? Ведь мы собираем данные (1), обеспечиваем их обработку (2), хранение (3), формируем сотни и тысячи SQL-запросов для построения дашбордов (4) – целых 4 слоя работы с данными, зачем это все?

Мы делаем это всего для двух вещей: мониторинга и оптимизации. Мониторинг — чтобы не проморгать, если вдруг что-то пошло не так. Оптимизация — чтобы увеличить эффективность диджитал-маркетинга в условиях ограниченности ресурсов. Добиться роста числа лидов, повышения их качества, снижения CPL, повышения ROMI. Именно для этого мы строим отчетность, именно для этого мы обеспечиваем работу всех этих четырех слоев работы с данными. Именно для этого маркетинг нужен бизнесу — позволять ему зарабатывать больше, драйвить его рост.

Но путь к этим целям зачастую оказывается настолько долгим, что мы уже забываем, куда шли. Мы тонем в бесконечной полировке этих четырех процессов по сбору, обработке, хранению и визуализации данных. Мы строим аналитику и не замечаем, как сам процесс построения уже оказывается нашей целью. Потому что «так правильно», «так принято», «уже выделены ответственные». И на практике я нередко встречал ситуации, когда построение аналитики условно на 100% вызывало фрустрацию бизнес-заказчика. Все эти десятки и сотни дашбордов построены, о Боже, и что же теперь дальше? Зачастую все эти тонны отчетов так и не открываются, а если и открываются, то сил и времени их анализировать, копать данные, катастрофически не хватает.

Но ирония в том, что для оптимизации и мониторинга, на самом деле, не нужны отчеты и дашборды. Нужны инсайты, которые вовремя подсветят опасную динамику в данных, и, главное, покажут ключевые зоны роста: области, где бизнес теряет деньги на неэффективном маркетинге и точки ультраэффективного масштабирования.

Мы в Smart Data Hub называем это концепцией 5го аналитического слоя. Слоя автоматического анализа данных на базе AI. Именно того слоя, который обеспечивает непосредственную финансовую отдачу от данных.

Мы строим автоматическую аналитику для десятков крупнейших компаний, лидеров российского рынка в различных отраслях, и мы поняли, что практически не делились этим опытом с вами! Да, мы обещаем исправиться и системно рассказывать о том, как строить автоматическую аналитику цифрового маркетинга. И в качестве первого шага — ловите наш кейс с брендом Lada на Adindex, где подрядчикам удалось сократить CPL на десятки процентов за счет автоматической аналитики на базе AI.

Игорь Кузин, директор департамента философии и визионерства в Smart Data Hub

Пара слов о мониторинге данных. Или мальчик, который кричал «Волки!»

На днях я писал о мониторинге данных — о том, как отслеживать данные, чтобы ничего не «проморгать». Кому доводилось «промаргивать», тот меня поймет, это по-настоящему больно. Чтобы этого не случилось хорошие маркетологи настраивают алертинг — автоматические уведомления, которые срабатывают, если что-то пошло не так.

Кажется, что может быть проще? Сравнили было/стало, и если упало, то ушел алерт. Делов-то! Вот только мы в Smart Data Hub называем это когнитивной ловушкой простоты алертинга.

Как в той самой басне Эзопа про мальчика-пастушка, который кричал «Волки! Волки!» Жители сбегались на помощь, а он смеялся над ними. Но когда на самом деле появился волк, то мальчику уже никто не поверил. Короче, Эзоп еще VI в до н.э. предупреждал нас о проблеме ложных срабатываний в алертинге! И ведь как точно сформулировал — сначала сотни ложных срабатываний, а потом, когда алерт реально придет, то его уже никто и не посмотрит.

Сегодня на митапе буду рассказывать про все способы построить алертинг: от простого к сложному. Как для наших клиентов мы строили сложнейшие системы правил, которые должен был поддерживать целый отдел. Как настраивали умные пороги, которые должны были кричать «Волки!» при отклонении. Как раскручивали ML-решения. И, главное, почему все это, зараза, не работает!

Существует ли идеальное решение? Возможно ли оно в принципе? Или мы обречены вечно балансировать между срывом KPI и профессиональным выгоранием от алертингового спама?

Приглашаю вас, дорогие друзья, на мой сегодняшний доклад "Девять кругов ада алертинга или как мы перепробовали все и пришли к AI-решению". Разложу все по полочкам по Данте: мы пройдем с вами через удивительные подземелья алертинга и поймем, что нужно делать, чтобы оно все-таки заработало.

Игорь Кузин, временно исполняющий обязанности Вергилия в Smart Data Hub

P.S. Зарегистрироваться на митап «Data Стэк'26» можно вот тут. До встречи в эфире!

Что такое "инсайт"?

Когда мы только начали привлекать инвестиции, я столкнулся с такой вещью, как "elevator pitch" — презентация продукта инвестору за время поездки в лифте (и второго шанса не будет!). Упражнение не прошло даром: если меня разбудить в 3 часа ночи, я могу не вспомнить как меня зовут, но точно опишу продукт всего в нескольких словах: "Smart Data Hub — платформа автоматической аналитики на базе AI. Она объединяет данные из 150+ источников, сама их анализирует и находит инсайты для роста эффективности цифрового маркетинга".

И первое, что меня спрашивают после этого, — "а что такое инсайт?". И вот здесь начинается легкая профессиональная шизофрения: слово на слуху, а общего понимания — нет. Все кивают, "примерно" понимают, но каждый по-своему. Как будто мы все договорились, что инсайты важны, но забыли синхронизироваться в том, что это вообще такое.

Слово "инсайт" происходит от английского "insight", что буквально означает "внутренний взгляд".
​
Этимология: слово "insight" состоит из двух частей: приставки "in-" (внутри, внутрь), уходящей корнями в праиндоевропейское *h₁én ("в"), и "sight" (зрение, взгляд), происходящего от прагерманского *sehwaną ("видеть") и праиндоевропейского *sekʷ- ("видеть"). Таким образом, слово передает идею глубокого, внутреннего постижения сути.
​
В науке термин вошел в психологию в первой четверти XX века благодаря гештальтпсихологу Вольфгангу Кёлеру, который описал "инсайт" как внезапное озарение в решении задач (например, у шимпанзе). Ранее, в 1910 году, похожую идею использовал Анри Пуанкаре для математических озарений.

В русский язык слово пришло как заимствование без значительных изменений, сохранив значение "озарения" или "глубокого понимания".

Кто-то скажет, что инсайт — это "аномалия в данных". Кто-то — "гипотеза, которую можно проверить". Кто-то ткнет в любой слайд, который раньше не обсуждали, и назовет это инсайтом. Так вот, ловите определение от человека, который жонглирует этим словом десятки раз в день:

Инсайт — это значимая закономерность в данных, подсвечивающая проблемную зону (где бизнес теряет деньги) или эффективный сегмент для масштабирования.

— Почему "закономерность": шире, чем разовый всплеск; как правило, речь не о вдруг случившейся аномалии, а об устойчивом потребительском паттерне или тренде в данных.
— Почему "значимая": закономерность статистически достоверна, ощутимо влияет на целевые метрики, а ее экономический потенциал может быть оценен в деньгах.
— Почему "проблемная зона или эффективный сегмент": закономерность либо драйвит рост метрики, либо обуславливает ее падение, что дает возможность влиять на эту метрику.

А теперь давайте на примере.

"Цена лида выросла в последние две недели" — это не инсайт, это симптом.

Инсайт: "Цена лида выросла в сегменте пользователей, которые впервые взаимодействуют с брендом через мобильный Safari, потому что изменился тип креативов, и один конкретный формат начал приводить людей с более низким намерением. В среднем по аккаунту этого почти не видно, потому что паттерн "размазан" по всей структуре аккаунта, но именно он дал основной вклад в рост CPL".

Это инсайт не потому что «вау», а потому что это фактор, который реально двигает метрику. Именно такие вещи чаще всего и прячутся в данных — негромкие, неочевидные, но дорогие.

При этом инсайт не обязан сразу превращаться в кнопку «сделать хорошо» — иногда решение очевидно, иногда нет, иногда оно вне зоны вашего контроля, а иногда запускает мощные системные улучшения, меняя взгляд на весь цифровой маркетинг компании.

С вами был Игорь Кузин. Надеюсь, вы поймали "инсайт" об инсайтах :)

Почему инсайты почти невозможно искать вручную — и мы годами делали вид, что это нормально

Есть один негласный консенсус, который сложился в маркетинге и аналитике за последние годы. Мы все будто бы договорились, что поиск инсайтов — это сложный, творческий процесс. Что это нормально, когда инсайты находятся редко. Что это нормально, когда они появляются раз в месяц, а то и раз в квартал. Что это нормально, когда из десятков наблюдений до реализации доходят единицы.

И самое интересное — никто особо с этим не спорит.

Мы говорим: «ну данные сложные», «ну структура такая», «ну рынок шумный», «ну нужна экспертиза», «ну аналитика — это не фабрика». И вроде бы все звучит логично. Я сам много лет говорил примерно то же самое.

Но в какой-то момент меня начало смущать другое. Если инсайты — это действительно ключ к росту эффективности, если именно они объясняют, почему метрика ведет себя так, а не иначе, то почему мы относимся к их поиску как к редкому событию, а не как к системному процессу?

Представьте себе маркетинг, в котором лиды появляются «когда получится». Или продажи, в которых сделки закрываются «по вдохновению». Звучит странно, правда? Но с инсайтами мы почему-то живем именно так.

Причина на самом деле довольно приземленная. Искать инсайты вручную — очень дорого. Не в деньгах даже, а в человеческом внимании. В фокусе. В когнитивной нагрузке.

Чтобы найти действительно значимую закономерность, нужно одновременно учитывать десятки, а то и сотни факторов: каналы, креативы, аудитории, устройства, время, поведенческие паттерны, структурные сдвиги и т.д. Нужно помнить, что средние значения почти всегда врут. Нужно понимать, где сегмент маленький, но важный, а где большой, но шумный. И при этом еще не забывать, зачем вы вообще все это смотрите — какая метрика для вас ключевая.

Человек так не работает. Не потому что он плохой аналитик, а потому что у него ограниченное внимание. Он идет по данным последовательно, шаг за шагом, выбирая направления обхода интуитивно. Где-то считает, что «дальше копать не имеет смысла». Где-то просто устает. Где-то не замечает важный сегмент, потому что тот спрятан глубоко и не бросается в глаза.

И это нормально. Ненормально — делать вид, что так и должно быть.

В итоге мы получаем парадоксальную ситуацию. Данных становится больше, команды аналитики сильнее, дашборды красивее, а инсайтов больше не становится. Иногда даже наоборот.

И вот здесь возникает неудобный вопрос: А что, если проблема не в данных, не в людях и не в культуре? Что, если сам подход к поиску инсайтов изначально ограничен тем, что считается нормальным делать это вручную?

Мы привыкли думать, что автоматизация в аналитике — это отчеты, алертинг и мониторинг. Про «посмотреть быстрее» и «увидеть раньше». Но поиск инсайтов — это другой класс задач. Это не про скорость, а про системность и глубину. Про перебор гипотез, который человек физически не может делать стабильно, не теряя фокус, не оставляя слепых зон и погружаясь достаточно глубоко.

В какой-то момент нам в Smart Data Hub стало очевидно, что если инсайты действительно важны, то относиться к их поиску как к редкому творческому событию — странно. Значит, проблема не в том, что инсайты «редки по природе», а в том, что мы ищем их неподходящими инструментами.

Так для нас поиск инсайтов перестал быть задачей аналитика и стал задачей системы. Машины, которая не устает, не забывает контекст, не выбирает путь анализа «на глаз» и не пропускает важные сегменты просто потому, что они спрятаны глубоко.

Именно этим мы сейчас и занимаемся. Не потому что «так модно» или «потому что AI», а потому что иначе эта задача просто не масштабируется. Потому что делать по-настоящему глубокий анализ способна только машина.

С вами был Кузин из Smart Data Hub. Мы делаем автоматическую аналитику ровно потому, что считаем: инсайты не должны быть редкой удачей

Недавно увидел совет в духе: «найдите, когда ваша ЦА чаще всего сидит в интернете, и показывайте рекламу в это время — будет дешевле и эффективнее».

И в этом есть логика. Но ровно на том уровне, где маркетинг еще выглядит как набор простых правил.

Проблема в том, что сидеть в интернете и быть готовым купить — это вообще не одно и то же. Человек может скроллить ленту утром, днем и вечером. Но намерение купить у него возникает в куда более узких, специфических окнах. И именно эти окна, а не “пиковый онлайн”, дают максимальную конверсию.

Далее. Периоды с высоким намерением часто совпадают с периодами высокой конкуренции — а значит, с более дорогими кликами. Поэтому оптимизировать нужно не «по времени», а по балансу: где намерение достаточно высокое, а стоимость привлечения все еще адекватная. И это уже не интуитивная задача.

Далее. Очень сильно влияет то, на что именно вы в этот момент ведете трафик: какой продукт, какой оффер, какой креатив. Можно легко оптимизироваться под дешевые лиды — и получить отличный CPL на продукт с низким LTV. Формально метрики будут «красивые», а реальная отдача бизнеса — средняя или даже отрицательная.

Если у вас повторные продажи или длинный цикл сделки, то все еще немного сложнее. ROMI в моменте может выглядеть слабым, а настоящая ценность проявится через месяцы. Это вообще не видно без когортного анализа, анализа путей клиентов и связи маркетинга с фактической выручкой.

Поэтому советы вида «выберите правильное время показа» не то чтобы неправильные. Они просто описывают очень поверхностный слой реальности.

Маркетинг сегодня — это не про выбор часов в кабинете. Это про поиск точных, контекстных инсайтов в данных: где, когда, кому и что именно имеет смысл показывать, если цель — не просто клики, а долгосрочная ценность для бизнеса.

С вами был Кузин из Smart Data Hub. Проверить «правильное время» просто, а вот найти правильные инсайты — уже работа для автоматической аналитики :)

Когнитивные ловушки маркетолога: почему опыт — не лучший союзник в анализе данных

Маркетинг теряет деньги не потому, что у него мало данных. И даже не потому, что у него пока еще нет Smart Data Hub слабая аналитика. Чаще всего — потому что они системно ошибаются в интерпретации того, что видят. Не из злого умысла, а из-за особенностей человеческого мышления.

Когнитивные искажения — коварная штука! Они не выглядят как ошибки. Обычно они выглядят как «опыт», «интуиция», «логика» и «здравый смысл». И чем больше у человека опыта, тем опаснее ситуация. Потому что опыт — это не истина, а набор паттернов, которые когда-то сработали. Проблема в том, что рынок живет своей жизнью и иногда вежливо игнорирует наши любимые паттерны.

Вот перечень частых, но лишь некоторых искажений в анализе данных (в скобках представлен термин, наиболее часто употребляемый в англоязычной литературе):

1) Подтверждающее искажение (confirmation bias). Один из самых частых сценариев, который я вижу: аналитик или маркетолог с сильным бэкграундом смотрит на данные и думает: «А, я это уже видел». И дальше начинает искать подтверждение этой гипотезе. Неосознанно. Аккуратно. Профессионально. Данные при этом никуда не деваются — просто часть из них внезапно становится «шумом». Это и есть подтверждающее искажение.

2) Ловушка невозвратных затрат (sunk cost fallacy). Когда в канал, гипотезу или инструмент уже вложено много денег, времени и усилий, признать ошибку становится психологически дорого. Аналитика в этот момент начинает работать не на поиск истины, а на защиту прошлого решения. Канал продолжают «оптимизировать», тестировать и «давать ему шанс», потому что остановка воспринимается как поражение, а не как рациональное решение.

3) Подмена причины корреляцией (correlation vs causation fallacy). Еще одна любимая ловушка — видеть причину там, где есть только совпадение. Метрика выросла вместе с каналом, креативом или форматом — значит, «вот он, драйвер». То, что в этот же период мог измениться сезон, спрос, продукт или поведение аудитории, мозг аккуратно отодвигает в сторону. Корреляция выглядит убедительно, потому что она красивая и укладывается в историю. А причинность скучна: ее нужно проверять, сегментировать и иногда признавать, что любимый канал тут вообще ни при чем.

4) Эвристика доступности (availability heuristic / availability bias). Самыми значимыми кажутся те данные и ситуации, которые произошли с нами недавно. Вчера был всплеск — мы бросаем все и идем раскручивать его. Недавно обсуждали канал с руководством — значит фокусируемся на его оптимизации. Мозг переоценивает то, что было «на днях» или «только вот-вот», и недооценивает большие системные компоненты, происходящие в долгосрочных трендах.

5) Смещение к действию (action bias). Давление показать результат толкает к постоянным изменениям: что-то оптимизировать, переключать, резать, масштабировать. Иногда правильное решение — ничего не менять и дать системе стабилизироваться. Но бездействие плохо выглядит в отчетах, и аналитика начинает обслуживать активность, а не эффективность.

Парадокс в том, что новичок в этой ситуации иногда в лучшей позиции. У него нет сильной внутренней модели мира, которую нужно защищать. Он еще не знает, «как правильно», и поэтому чаще задает глупые, но полезные вопросы. Опытный специалист, наоборот, слишком хорошо знает ответы — иногда даже до того, как посмотрел на данные.

Что с этим делать

Если когнитивные ловушки — это не баг конкретного маркетолога или аналитика, а свойство человеческого мышления, значит, решать проблему нужно не через «будь внимательнее», а через систему.

Именно об этом я буду говорить завтра в своем докладе на конференции Data Drive. Подробно расскажу про самые болезненные когнитивные искажения в анализе данных диджитал-маркетинга, о том, как они приводят к консервации неэффективных решений, и как конкретно их избежать.

С вами был Кузин из Smart Data Hub. И да — если вы сейчас подумали: «Ну это не про меня, я-то объективный», то у меня для вас плохие новости. Но вы, скорее всего, найдете им отличное рациональное объяснение! :)

Инсайт — это скрытая ценная закономерность в данных?

А вот и нет! В принципе, на этом все. Можно расходиться. Ноооо, если вам все-таки интересно, почему это не так, то давайте разбираться!

По мере того, как я погружался в вопросы извлечения прямой ценности из собираемых компаниями данных, мое понимание сути «инсайта» менялось. В какой-то момент я пришел к логичному выводу, что это скрытая и ценная закономерность в данных. Но со временем пришло осознание: слова «скрытая» и «ценная» в этом определении глубоко субъективны и, следовательно, не отражают объективную суть феномена.

Почему не обязательно «скрытая»?

— Асимметрия информации. Скрытая = неочевидная. Но очевидность — понятие крайне субъективное. Даже в одной и той же команде разные люди видят данные по-разному: то, что для одного сразу бросается в глаза, для другого может быть совершенно новым, а третий и вовсе тыщу лет как об этом знает. Это обычная асимметрия информации, и она существует даже внутри одной комнаты.

— Эффект заднего ума. Есть такая штука как «hindsight bias» — когнитивное искажение, при котором после получения новой информации события или факты начинают казаться логичными и вполне очевидными, хотя раньше воспринимались иначе. Психологи связывают это с работой памяти: мы невольно подгоняем прошлое под текущее понимание. Пока инсайта не было, он мог казаться нетривиальной находкой, а как нашли превращает его в «ну это же и так понятно», хотя еще минуту назад его просто не существовало в картине мира.

— Эффект «замыленности глаза». Если закономерность действительно значима, то возникает логичный вопрос: почему до сих пор с этим ничего не сделано? Почему закономерность, которая здорово драйвит метрику, годами не была реализована? Все дело в том, что сложно посмотреть на себя со стороны, когда ты находишься внутри пузыря. «Ненормальность» становится новой нормой, перестает восприниматься как проблема. Инсайт может лежать буквально под носом, но без свежего взгляда его не видят, не обращают внимания, не берут в работу.

Почему не обязательно «ценная»?

Ценность инсайта почти всегда определяется не им самим, а тем, дойдет ли он до реализации. Если команда не понимает, что с ним делать, — он умрет, не принеся ценности, каким бы сильным ни был. Я сейчас не про организационные барьеры вроде зоны ответственности, ресурсов или приоритетов. Я про более тонкую вещь: команда должна видеть решение, и хотеть его реализовать.

Мы используем специальное басурманское словечко «actionable», что по смыслу примерно означает «управляемый» применительно к инсайту. Но и «экшенабельность» субъективна! Для одной команды инсайт будет экшенабельным: они доведут его до реализации и получат значительный эффект. Другая команда так и не сможет найти решение, пропустит инсайт, какой бы коммерческий потенциал он в себе ни скрывал.

Именно поэтому мы не говорим о «скрытой и ценной» закономерности в данных. Мы говорим о «значимой» в том смысле, что такая закономерность действительно является рычагом воздействия на целевую метрику. А еще мы в автоматическом режиме прогнозируем конкретный, измеримый экономический эффект от внедрения инсайта вместо абстрактного рассуждения о ценности.

Чем больше я думаю об этом, тем яснее становится простая вещь. Инсайт всегда существует в контексте конкретных знаний, ограничений, решений и людей. И, возможно, именно поэтому процесс поиска инсайтов так плохо поддается формализации вручную — но отлично ложится на системный, машинный подход.

С вами был Кузин из Smart Data Hub. Не мучайте данные, мы умучаем их за вас.

Эффект Симпсона: когда данные честно говорят противоположные вещи

Есть одно когнитивное искажение в аналитике, про которое я частенько рассказываю на выступлениях. Как правило он вызывает одинаковую реакцию: сначала интерес, потом удивление, а потом легкое недоверие. Вроде бы все логично, формулы простые, расчеты прозрачные — но внутри остается ощущение, что «так не должно работать».

Речь про «эффект (парадокс) Симпсона». Ситуацию, когда в одних и тех же данных можно получить противоположные выводы — и оба при этом будут математически корректными. Не потому что кто-то ошибся в расчетах, а потому что данные устроены чуточку сложнее, чем кажется на первый взгляд.

Чтобы с этим эффектом действительно разобраться, одного объяснения обычно недостаточно. Его нужно увидеть на цифрах. Именно поэтому я собрал файл, в котором можно самому покрутить данные и посмотреть, как это работает на практике. В конце поста я дам ссылку, но сначала — про две формы, в которых эффект Симпсона чаще всего проявляется.

1. Статика. Здесь «Симпсон» основан на эффекте агрегации: итоговая метрика определяется не только значениями в сегментах, но и их весами. Парадокс Симпсона в статике чаще всего возникает именно здесь — когда «среднее» скрывает структуру [см. вкладку «статика» по ссылке ниже].

2. Динамика. Мы смотрим на агрегированную метрику и видим тренд — рост или падение. Начинаем делать выводы, менять бюджеты, оптимизировать стратегию. Но если разложить данные по сегментам, может выясниться, что внутри каждого сегмента ситуация развивается в противоположную сторону. Метрика улучшается везде — но общий результат во времени ухудшается. Или наоборот [см. вкладку «динамика» по ссылке ниже].

Пруфы здесь!👇

Эффект Симпсона не нарушает математику — он нарушает интуицию. Нам хочется верить, что если данные посчитаны правильно, то и вывод из них будет один. Но данные могут быть честными и при этом вводить в заблуждение, если не учитывать их структуру.

Здесь вы можете пощупать этот эффект руками: ссылка на файл с расчетами. В файле по ссылке есть два листа: один про статику, другой про динамику. Их можно спокойно разобрать и посмотреть, как из одних и тех же цифр получаются разные выводы.

Эффект Симпсона — хороший повод в следующий раз не спешить с выводами, а покопать данные поглубже, даже если метрики выглядят очень убедительно.

С вами был Кузин из Smart Data Hub. Эффект Симпсона — это когда ты все посчитал правильно, но отчет все равно вызывает недоверие у руководителя.