Обещанные методологические размышления.

В одном из недавних релизов на одном из проектов мы выкатили новый контентый слой.

То есть добавили еще одну категорию контента / инструмент, который пользователь может использовать для победы. Например, раньше у него были заклинания и различные артефакты. Заклинания разных стихий наносят урон, артефакты модифицируют урон (коэффициенты на крит, на кулдаун, на урон и т.д.). А теперь мы добавили еще слой спутников героя, которые также могут наносить урон.

Анализировать это можно по-разному. Первый и самый простой уровень — есть ли изменение на графике платежей. По возможности — в тех категориях, которые связаны с этим контентным слоем (офферы, покупка харды и трата ее на сундуки и т. д.). В принципе, это должно быть видно на дашбордах.

Если усложнять, то дальше надо смотреть, используют ли этот контент — берут ли в бои, какая доля пользователей им пользуется и как быстро вся аудитория начинает пользоваться этим контентом. У нас, кстати, получилось так, что платящие не проявили особого интереса, а вот неплатящие как раз нагриндили валют и купили.

Можно смотреть еще ниже — как изменилось поведение пользователя в игре. Новый контентный слой предполагает, что где-то в игре будут источники, как можно получить и прокачать этот контент. Если мету делать емкой, то это будут отдельные ресурсы (условные шарды и/или валюты) и чтобы их получить, надо сходить в бои, открывать сундуки и т.д.

То есть, смотрим, увеличилось ли количество боев на пользователя, особенно того режима, который дает соответствующие валюты. Косвенно это еще и маркер, насколько контент оказался интересен пользователям.

Во-вторых, этот контентный слой должен помогать пользователю выигрывать. Поэтому смотрим, изменилась ли вероятность победы после покупки, какой вклад в общий урон дает этот контент, стало ли игроку легче играть.

И это еще хорошо, что в нашем варианте для прокачки нужна отдельная валюта, так как иначе надо смотреть, не произошло ли распределение трат валют от других категорий (каннибализации).

В общем, когда вводим новый слой контента, надо строить граф (или брать у гд картинку, если они ее нарисовали), каких игровых компонент этот слой касается и как меняет поведение пользователя. И исходя из этого строить стратегию анализа.

При оперировании, к слову, уже другой акцент — на использовании этого контента. У меня про это даже была где-то старая, еще времен GI, открытая лекция нашего лида. Надо будет поискать.

Весна в самом разгаре. Время тепла, время любви время конференции AHA!25. Это дружеского пиара пост, да.

Как обычно, два дня 29-30 мая, плюс онлайн-секция 22го мая. Программа еще в стадии формирования, однако основной набор докладов уже понятен.

Мне интереснее всего показались доклады по статистике — “Формула доверия: аналитические доверительные интервалы для ratio- и uplift-метрик” (Яндекс) и “SPRT + CUPAC. Максимально ускоряем эксперименты” (Kolesa group). К слову, в прошлом году от Kolesa group был интересный доклад про causal impact — видимо, там подобралась сильная стат. команда. Еще интересные для меня доклады — “Проксируй это: как использовать прокси-метрики умнее?” (X5 Tech) и “Как пересчитать в деньги эффект по любому изменению в продукте?” (Литрес).

Также есть пара любопытных секций, одна по нестандартным продуктовым задачам (например, геоданные в геозависимых бизнесах типа Я.Такси или поиск стильных атрибутов в Lamoda). Вторая — по поведенческой экономике. Правда, в ней ни одного анонса пока нет, только слоты. Даже интересно, что и кто там будет. Будет забавно, если Кючарев или кто-то из сберовской лабы.

В программе пока нет онлайн-секции, но это, думаю, временно. В программе также много LLM/AI (я б сказал, что это основной фокус конференции, судя по программе), а также организации экспериментов и в целом *Ops. Жаль, что практически ничего нет из behavioral studies про поведение пользователей, кроме пока пустой секции по поведенческой экономике.

Несмотря на то, что игровые аналитики на подобных конференциях обычно не бывают, на прошлой конференции удалось даже немного понетворкаться. С кем-то развиртуализировались (@smatrosov, @borzilo_y, @lena_astr, привет!), с кем-то просто встретились впервые за много лет.

В общем. Если есть возможность — сходите или посмотрите онлайн. Цена за оффлайн, конечно, кусается. Но организаторы любезно сделали промокод со скидкой в 10% для читателей моего канала: DICEANALYTICS10.

Расскажу вам про одну рядовую задачу, которая возникла недавно.

Приходит ко мне наша прекрасная трафик-менеджер, которая работает с прототипами, и говорит: “мы вчера начали тестовую закупку, там десяток платящих, но у нас что-то данные в AppsFlyer не сходятся ни с внутренней, ни с внешней системами трекинга, ни с интерфейсами третьих сервисов, давай поисследуем”.

Решение простое — потранзакционное сличение и поиск потеряшек, благо идентификаторы транзакций везде есть. А вот результаты получились забавными.

Во-первых, читеры. Их оказалось достаточно просто вычислить — их идентификатор транзакции оказался совсем не похож на стандартный ios-овский идентификатор. Вопрос в том, как они вообще просочились — по идее, информация о платеже должна отправляться во все системы после того, как сервер погасит чек от стора и выдаст пользователю купленные ресурсы. Ребята срочно накатили хотфикс, который фильтрует и не отправляет информацию о платежах с такими индентификаторами. Но позже, видимо, придется системно решать валидацию платежей на стороне клиента, хотя это так себе решение.

Во-вторых, косяк в инфраструктуре. Платежи с тестовых девайсов попадали в общий поток платежей для AppsFlyer, но уходили на тестовый стенд в наших аналитических системах. Обычно на тестовые платежи можно не обращать внимания, пара десятков долларов погоды не делают, да и на других проектах не было таких проблем. Но на старте закупки они оказались заметными. Тоже, наверное, надо будет решать и встраивать механики маркировки тестовых платежей от AF.

Третий кейс вообще смешной. Пользователь сделал платеж. Сервер начислил ему ресурсы. А вот через шесть часов с клиента ушло еще одно сообщение в AF об этом же платеже. В результате два платежа с одним идентификатором. Наши системы отфильтровали дубль, AF — нет, да и не его это задача. Как это произошло — непонятно и скорее всего мы не будем ничего делать, если таких кейсов будет единицы.

Попутно было еще несколько нюансов, которые изрядно подпортили жизнь. Типа того что бд некоторых сервисов работает в локальной таймзоне (легаси, однако). А некоторые интерфейсы по умолчанию показывают не потоковые статистики за дату, а когортные.

В общем, как обычно, причина никогда не бывает одна. А дублирующие системы сбора данных — благо в большинстве случаев, но может вызвать головную боль, если их несколько.

Сложный кейс из недавнего исследования.

На графике — какая доля пользователей вернется на следующий день после регистрации, в зависимости от количества сделанных в день установки матчей.

Сравнение двух версий. Версии, помимо прочего, отличаются в дизайне первой сесии — в версии 0.3 туториальные матчи существенно короче, чем в предыдущей версии. Точнее, раньше туториальные матч были из трех-пяти раундов, теперь из одного-двух.

Собственно вопрос, что вы видите на графике и как вы это можете проинтерпретировать?

Мой комментарий через пару дней.

UPD: в комментарии положил распределение пользователей по группам

#exercises

Комментрий по недавней задачке.
Кейс, к слову, получился не очень наглядный и интересный, но что уж. Постараюсь другие делать по-прозрачнее.

Во-первых, общие размышления. Я смотрю на рет1 в том числе и в разрезе по группам активности. Группы можно выделять как по абсолютным значениям (так гд обычно делают), так и по квартилям (наш лид недавно предложил такой вариант, пока тестируем). Это помогает понять, за счет какой аудитории изменилось удержание. Тут, к слову, нередко бывают забавы в духе парадокса Симпсона, когда ретеншен изменился за счет перераспределения аудитории по группам (когда какая-нибудь сильно выросла в численности, например). В этой ситуации тоже есть прирост в группе самых активных, но это только часть ответа.

Собственно, по картинке. Тут самое подозрительное, что ретеншен неактивных и малоактивных пользователей упал. А у самых активных — вырос. В норме, если изменения первой сессии оказались очень хороши, я бы ожидал системного роста удержания во всех группах.

Я склонен интерпретировать ситуацию следующим образом. Когда мы сделали туториал быстрее и короче (так как сделали меньше раундов в туториальных матчах), пользователи стали дальше проваливать по воронке боев, делать их больше. Но при этом все равно отваливаться. Таким образом мы просто сдвинули точку отвала и несколько обострили выбор. То есть, пользователи, которые раньше ждали конца первого матча туториала и потом отваливались, сейчас делают выбор намного раньше.

При этом у нас вырос рет у очень активных пользователей (и количество тоже). Для меня это выглядит так, будто нам удалось заинтересовать какую-то аудиторию, которая проскочила быстрый туториал и потом еще надолго задержалась в игре и вернулась на след.день.

В комментариях были предложения смотреть время сессии. Я, признаться, не люблю эту метрику, ее достаточно сложно корректно посчитать в мобилках. Но у нас есть что-то похожее — heartbeat, события, которые отправляются каждые X секунд (по аналогии с user_engagement из Firebase-трекинга). Правда, под рукой этого графика сейчас нет, а что там было в отчете, уже не помню, к сожалению.

#exercises

Команды прототипов -- это, конечно, особый мир, безжалостный и беспощадный. Вайпы прогресса, радикальные перешатывания меты (если продюсер будет нежен(а), то с миграцией), нерфы абилок и болезненные кривые сложности, зажимание в углах и лишение прототипной девственности, картинки и идеи, которые никогда не пойдут в прод, жестокосердность продюсеров..."Мы уже давно почту саппорта не читаем. Будет сильно ныть -- вообще забаним". Так и живем.

*по следам плейтеста пивота

Меж тем, уже началась онлайн-секция Aha!25.

Онлайн-трек доступен всем, кто зарегистрировался на платформе https://lms.matemarketing.ru.

Я планирую быть на оффлайн-части 29-30 мая. Вот тут писал про доклады, которые думаю посетить.
Если будете там и хотите встретиться — напишите, буду рад пообщаться.

Внезапно прошел уже месяц с AHA25. Можно, наконец, как честному слоупоку, поговорить про впечатления.

Программа оставила смешанные впечатления. Пропал блок по поведенческой экономике, появился блок по здоровью, чекапам и прочему. Очень много про AI / LLM, притом не с точки зрения продуктовой аналитики, а в продуктовых или маркетинговых задачах.

Из чисто аналитических инсайтов — и в кулуарах, и в докладах регулярно звучали реплики про “мы собираем 100500 метрик”. Конечно, какие-то метрики для ui, какие-то — по сегментам, но все равно. Сколько слышу, каждый раз поражает. Но одновременно задумался — может, и нам стоит больше метрик придумать/использовать?

Больше всего понравились два доклада. Тоже про метрики. Здесь можно посмотреть аннотации докладов.

Первый — “От cuped к mutlti-cuped: больше метрик — больше решений, или как мы превратили обилие метрик из штрафа в бонус»” (Григорий Засько, Лаборатория Прикладной Статистики, Т-Банк). Одна из идей доклада — использовать в тестах многомерные критерии, чтобы принимать решение не по изменению одной метрики, а по совокупности метрик. И “набор метрик как экосистемное изменение”. Вполне можно прикрутить к некоторым экспериментам в играх, мне кажется, так как у нас эксперименты нередко предполагают системное изменение поведения пользователя.

Второй интересный доклад — “Проксируй это: как использовать прокси-метрики умнее?” (Артем @gofat Ерохин, X5). Для меня это доклад про темы “подумать попозже” (особенно в части про causal inference), так как в моей работе прокси достаточно примитивные (воронка боев как прокси к ретеншену) и без какого-то глубокого осмысления и манипуляций. Зато вроде бы придумал, почему один из наших эксперментов оказался неудачен — кажется, мы напоролись на то, что называют законом Гудхарда — “Когда мера становится целью, она перестает быть хорошей мерой”. Мы пытались манипулировать прокси-метрикой, чтобы изменить целевую метрику и у нас (закономерно по Гудхарду) ничего не получилось. Скорее всего причины, почему именно не получилось у нас, лежат гораздо глуже. Но в первом приближении все равно неплохая интерпретация.

В общем, ходить на конференции полезно, в который раз убеждаюсь. Если даже не сами доклады, то некоторые решения в них или реплики в кулуарах наталкивают на новые идеи.

Ошибка выжившего по-геймдевному

Два дня — два закрытых прототипа. Один не прошел первые бенчмарки. Второй не получилось масштабировать. Команды ушли в глубокое погружение и обсуждают новые концепты.

В итоге на моем фюзеляже пятнадцать звездочек. Иногда мне кажется, что это мое проклятие — стоит мне уйти, как проекты не просто пойдут вверх, а полетят ракетой.

Одно понятно — полишинг и оптимизация, к которым все привыкли на проектах в оперировании, не нужны на прототипах. Если делать эксперименты — то только с большими эффектами и сильными изменениями. Реплика с одного из обсуждений в тему:

страшно -- это когда клан игроков пришел к офису и обещал всем дать пизды. вот тогда было страшно. а поменять цены -- не страшно.

Я последние полтора месяца в каком-то летнем лимбе, хайкинге и некоторых жизненных изменениях.

В результате тело как перышко, крыша как дуршлаг, ничего осмысленного писать не получается, простите. Только прохладные истории да забавные сюжеты.

Вот, например, даталорды где-то откопали забавную игрушку “Who is the Best CDO?”. К слову, когда играл, практически не смотрел на смысловое содержание, только на варианты выборов и как они соотносятся с бюджетом и задачами. И есть у меня смутное подозрение, что игрушка намного реалистичнее, чем хотелось бы.

Недавно услышал неожиданную мысль — при увеличении конверсии в платящих ретеншен платящих будет снижаться. Потому что менее релевантные игроки становятся платящими и поэтому меньше удерживаются. По аналогии с масштабированием трафика и/или фичерами, когда начинаем больше закупать, качество аудитории и ретеншен падают.

Для меня, честно говоря, это выглядит достаточно странно. Я привык жить в парадигме, что платящие пользователи относительно однородны, платеж служит просто фильтром специальной мотивированной аудитории. Они могут потом не делать второй платеж, уходить из игры и тому подобное, но это уже эффекты продукта, а не следствие деградации аудитории.

При этом я навскидку не очень представляю, как это можно проверить или опровергнуть. Как и доказать однородность сконвертировавшихся пользователей. Конечно, можно сделать тест, где тестовой группе сделать сверхдешевый стартерпак. Набежит куча пользователей, которая потом также быстро отвалится. Но, на мой взгляд, это будет нечестный тест, так как нормальное повышение конверсии предполагает все же продуктовые изменения, а не демпинг.

В общем, кажется, это из того же ряда аксиом индустрии, типа “метрики органики всегда лучше платных пользователей, потому что она более мотивированная”. Видимо, надо просто принять свою сторону и исходя из этого работать дальше. Хочется сказать “рынок потом узнает своих кто прав”, но то мечты, мечты.

Прекрасные ребята из AppMagic недавно выпустили отчет по LiveOps-механикам казуальных игр в первом полугодии 2025 года. Добрался я до него через две недели, конечно, но рад, что не пропустил.

Внутри — оценка плотности LiveOps-ивентов, разбор популярных механик ивентов, просто общая оценка ситуации в ключевых жанрах (casino, puzzles, hybridcasual). Притом получилась синхрония — буквально сегодня в паре игр видел некоторые трендовые механики из отчета.

Глядя на эти механики, которые по сути являются самостоятельным геймплеем, вспомнилась старая фраза “а давайте [в шутер] встроим match3 и будут нам горы золота!” В каждой шутке, как говорится.

В общем, хороший и интересный отчет. Вот бы еще что-то такое же и по мидкорным жанрам.

#reports

Сижу тут, читаю дизайн аб-теста одних ребят. Фича достаточно простая, ничего нового — немного перешатали предъявление офферов, чтобы больше показывать актуальные и/или релевантные офферы.

Внутри дизайна все вроде бы по красоте — ожидаемый размер эффекта, целевая монетизационная метрика, контрольные (заградительные) метрики, расчет выборки… Даже есть набор метрик в доп.исследовании типа среднего чека и т. д.

В какой-то момент ловлю себя на мысли, что не понимаю, почему это должно работать. Нигде не описана логическая цепочка, как фича приведет к повышению целевой монетизационной метрики. В этом примере, например, это могло быть что-то типа “пользователи больше видят релевантные офферы и лучше в них конвертятся, в итоге растут деньги”. Следовательно из этого можно было бы взять другую целевую метрику для эксперимента или как минимум направление дополнительных исследований об эффекте от фичи.

В результате потеряна связь между фичей и ее эффектом. Предложил выпытывать у продюсера, как именно фича должна повлиять на поведение пользователей, чтобы изменились целевые метрики, и явно включать это в дизайн исследования. Теперь интересно, сработает ли.

С высоты ледника я озирал полмира. Мой первый трехтысячник. Возможно, последний. Но, говорят, визуальная перспектива помогает ментальной перспективе.

Что ж, с днем рождения меня.

Спасибо, что читаете. Последние месяцы выдались насыщенными на жизненные и бытовые изменения, моя активность в канале упала. Надеюсь, скоро вернусь к прежнему ритму постов и вообще интеллектуальной жизни.

Вчера наблюдал ожесточенные споры, по накалу сравнимые с холиварами эпохи дикого интернета. А камень преткновения обманчиво очевидный — как измерять вовлеченность пользователя в мини-ивент? Чтобы понимать, ивент еще интересен пользователям или выгорел.

С более простыми механиками типа квестов, баттлпассов или длинных контентных ивентов все более-менее понятно. А вот с мини-ивентами, которые по сути почти ничего не требуют от пользователя и опираются на его обычную игру, сильно сложнее. Например, каскады или лава-квесты (прошел семь уровней подряд — выиграл квест), или даже локальные лидерборды.

Можно считать вовлекшимся в ивент пользователя, который нажал “старт” или получил награду? К слову, я за этот вараинт. Но может быть не очень понятно, этот ивент как-то повлиял на поведение пользователя, простимулировал ли его играть активнее или нет.

А можно смотреть относительную метрику — стал ли пользователь больше играть (проходить больше уровней) после старта ивента относительно периода до ивента. И вроде бы мотивирующая сила тут понятна. Но это относительная метрика, непонятно, где граница значимого увеличения. И сложно атрибуцировать к конкретному ивенту, так как в игре может быть много самых разных подобных мотиваторов играть активнее одновременно. Не говоря уже о просто неприятной сложности расчета таких метрик.

В общем, вариантов много, стороны отчаянно рубятся на тему, что же такое “вовлечение” и не очень готовы уступать. Скоро следующая серия, даже интересно, к чему все придет в итоге.

Дружеского пиара пост.

Когда-то давно мы в ODS в канале #jobs требовали указания вилок во всех вакансиях, чтобы была опредленная прозрачность на рынке. И чтобы все — и соискатели, и работодатели могли понимать, сколько может стоить на рынке специалист с тем или иным набором навыков.

Потом ODS кончился и с прозрачностью стало несколько сложнее. В последнее время один из наиболее доступных источников подобных данных (а также кучи данных про работодателей, зоны ответственности и прочее) — ежегодные опросы NEWHR.

В этом году есть изменения — ребята адаптировали вопросы также для руководителей аналитики, системных и бизнес-аналитиков.

В общем. Если вы дата/продуктовый/BI/маркетинговый/системные/бизнес/веб-аналитик или вообще руководитель — потратьте, пожалуйста, немного своего бесценного времени и пройдите опросник.

Результаты планируются в начале 2026 года, но с участниками обещают поделиться промежуточными результатами.

Еще один пост дружеского пиара.

Ноябрь традиционно черный месяц. Но также это месяц прельстивого Матемаркетинга. 20-21 ноября, кластер Ломоносов, встречайте. Онлайн-секция в начале ноября.

На сайте уже доступна программа. И она вызывает странные ощущения: вроде как Матермаркетинг, а вайбы Aha очень сильные — половина докладов от продуктовых аналитиков. Есть, конечно же доклады по маркетинговой аналитике, хорошие доклады по статистике, трек по AI (куда уж без него). Ну и не без странных треков типа HR-трека, Академии Excel и Well-being.

Из того, что меня заинтересовало:

- Как собирать и унифицировать метрики для A/B-экспериментов с помощью Metrics Definition Language (Артём Прокопенко, Циан). Мне всегда интересна тема разметки, а тут аж MDL придумали.
- Методология замера кумулятивных эффектов в онлайне в X5 Retail Group (многомудрый Сергей Матросов, X5 Retail Group). Самый, наверное, важный для меня доклад, так как у меня регулярно возникает вопрос, как бы так замерить эффект от фич, сделанных в отчетный период, но выборки на тесты и holdout не хватает.
- Опыт разработки статистического критерия для многомерных A/B-тестов (Дмитрий Забавин, Glowbyte). Продолжение темы, которая была на Aha.
- Кто на самом деле влияет на метрику: методика разложения дельты по сегментам (Михаил Строганов, Magnit Omni). Я обычно связь падения метрики с тем или иным сегментом смотрел на дашбордах, визуально. А тут предлагают более строгую методологию. Интересно, как это работает.
- Uplift-модель, которая поняла бизнес: путь от теории к счастью клиентов (Виктор Харламов, Т-Банк). Сама тема мне не так чтобы горит, но я с большим удовольствием читаю канал Виктора (неистово рекомендую!), и, думаю, может быть интересно.
- Как мы получили p < 0.001 на 10 наблюдениях в группе. Ультимативный гайд по A/B-экспериментам на малых выборках (Андрей Романов, Авито). Еще одна больная тема — мне выборки почти всегда недостаточно и хочется послушать рабочие решения.

Я с очень высокой вероятностью и к моему большому сожалению пропущу этот датасатанистский шабаш. Но если у вас есть возможность — сходите.

Цены, к сожалению, по-ноябрьски суровы, но обещают скидку по промокоду DICEANALYTICS10.

Наблюдаю одновременно смешную и грустную битву, почти как битву Бобра с Ослом, когда стая Светлых героев окружила Темного властелина и жестоко его убила.

Сделали фичу (мини-ивент). Загнали в аб-тест, в качестве целевой выбрали монетизационную метрику, в контроле — некоторые поведенческие. Тест не прокрасился, нет значимых изменений ни в целевой, ни в контрольных. Есть некоторые положительные изменения в маленьких сегментах суперкитов, но на общую картину они не влияют.

Продакт считает, что фичу надо раскатывать. Она не сделала хуже, возможно для кого-то сделала лучше. Но фича есть у всех конкурентов и у них отлично себя показывает. То, что слабо сработала тут — особенности экономики и лайвопса проекта, план по их изменению есть. А пользователей все же надо развлекать новым контентом.

Аналитики хором говорят, что раз изменений в целевой нет, то катить ничего не надо, так как фича не выполнила поставленных целей. Переобуваться после проведения теста тоже не надо. А о всяких дополнительных факторах принятия решения надо было думать и объявлять заранее.

В общем, строгие формальности data-driven против слабо формализуемых продуктовых аргументов и data-informed. Я лично склоняюсь к последнему и в данном кейсе на стороне продакта.

Соблазнился заголовками и купил подпиcку на премиум-материалы App2Top.

Читал “Социальные кооп-игры для друзей — главный инди-тренд года” (@NastiaKolchina смотрю на тебя и твой матч2). Как и обещают, внутри попытка определить тренд, анализ рынка и структура выручки в жанре. Самое интересное — основные характеристики жанра (низкая стоимость, странная физика, сессионность без прогрессии т. д.) и структура жанра по выручке.

У меня уже давно есть ощущение, что кооперативные игры и механики будут только усиливаться — я даже пару лет назад, когда проходил курс по трендвотчингу, как раз хотел сделать проект на эту тему. В частности, после того, как увидел, что в одном из опросов в нашем прототипе-шутере некоторые респонденты заявили, что им неинтересны лидерборды и они хотят играть с друзьями.

Но статья, к сожалению, короткая и слабая. Описание критериев и рынка — да, хорошо. Гемдизайнерского разбора мало. Но когда надо отойти от описания и сделать чуть больше аналитики — совсем сомнительно. Например, чтобы утверждать “ХХХ — главный тренд”, хорошо бы перечислить существующие тренды и их соотношение. Ну и “спрос на недорогие кооперативные развлечения вряд ли исчезнет целиком. Сама суть таких проектов — весело проводить время с друзьями — неподвластна тенденциям”. Спасибо, кэп.

Я временами прокрастинирую развлекаюсь и пытаюсь догнать уходящий поезд — общаюсь с chatgpt на тему типовых задачек игровых аналитиков. Иногда даже неплохие идеи попадаются. А иногда — прям сомнительные советы.

Например, предлагаю построить стратегию оценки отдельного онбординг-ивента (в него можно ходить, можно не ходить).

И chatgpt, среди прочих адекватных инструментов типа а/б-тестов, предлагает вот такое:

Посегментировать по вовлечённости:
- не стартовал ивент,
- выполнил 1–2 задания,
- завершил весь ивент.
→ построить retention кривые по этим кластерам.

Выглядит красиво и логично, но проблема опять в ненаблюдаемой лояльности. Пользователь, который лучше проходит онбординг-ивент, скорее всего и без него вернется в игру. И эффект от онбординга в таком случае будет достаточно сложно выделить и оценить.

Впрочем, когда работаешь с черным ящиком, без возможности прямо измерить мотивацию и прочие подобные вещи, постоянно такая лажа получается — чистый бихевиоризм не работает и надо учитывать латентные факторы. Собственно, это одна из причин, на мой взгляд, почему игровым аналитикам критически важно доменное знание.

UPD. При другом запросе на схожую тему появилась вот такая формулировка. Приемлемо.

Но! это корреляция, не причинность — игроки, которые завершили ивент, изначально более вовлечённые и мотивированные.