Вячеслав Зотов из WhaleKit написал настоящий лонгрид про тесты хи-квадрат. В статье последовательно рассматривается, что за распределение хи-квадрат, семейство тестов на основе этого распределения, связь с z-тестом, рекомендуемый размер выборки и, в завершение всего, применимость тестов хи-квадрат к анализу воронок.

Очень понравилась структура статьи, все как в лучших домах. В частности, культура аргументации: на каждый тезис есть или пример, или симуляционный эксперимент и/или ссылка на CrossValidated и аналогичные ресурсы, где преимущественно разбирается математическая часть. Ссылки, наверное, самое важное для меня в этой статье, следом идет код экспериментов.

Тем не менее, кто-то из хабражителей оставил комментарий, с которым я, признаться, согласен: "ощущение, что это пятая статья из цикла. Напишите, пожалуйста, первые четыре". Действительно, статью можно было разделить на несколько частей, а кое-что даже и сократить.

Ряд пунктов вызвал некоторое сомнение. По большей части это блоки, касающиеся мощности тестов. Так, тезис "если в ячейке меньше 5 наблюдений, то можно просто умножить таблицу на нужное число" сразу навевает мысли о p-хакинге, мы так в студенчестве баловались. В параграфе про размер выборки также есть фраза "с ростом размера выборки статистика растет линейно, при этом p-value стремится к 0 и рано или поздно тест покажет статистически значимые отличия при исходных пропорциях". Кажется, что это очевидно, что с ростом выборки растет мощность и даже самые маленькие различия в какой-то момент могут быть признаны значимыми, просто потому что так сконструирован тест. Собственно именно поэтому в классическом анализе мы определяем размер эффекта и рассчитываем необходимую выборку при заданных мощности и значимости.

Блок про анализ воронок масштабный (с трудом продрался через него, честно говоря) и достоин отдельной статьи. Хи-квадрат как критерий согласия позволяет сравнивать категориальные данных больше чем 2*2 и это можно использовать при сравнении воронок, особенностям такого анализа и посвящен весь этот блок. Однако сама задача вызывает у меня некоторое недоумение. Зачем сравнивать воронки целиком, когда проще и нагляднее сравнить именно конверсию в какой-то конкретный шаг? Нас же обычно интересуют конкретные шаги и точечные изменения в воронках.

Всегда интересно, о чем думают коллеги по цеху. Аналитики в геймдеве почему-то очень скрытные. В целом же статья лично для меня стала прекрасной иллюстрацией, что если что-то придумал -- делай сразу. Я года полтора-два назад хотел своим коллегам на каком-нибудь R&D-дне рассказать про хи-квадрат, но много откладывал. В результате Вячеслав "успел раньше". Что ж, как минимум, я теперь смогу опираться на его, бесспорно, богатый материал.

#stats

Ребята из MyTracker выпустили промо-статью, где рассказывают про подходы к предсказанию LTV. В статье рассматриваются четыре способа -- катбустом, линейной регрессией, коэффициентами и экстраполяция логарифмом. Я в свое время пробовал как минимум три из четырех и их сочетания, разве что катбуст не шатал, поэтому было интересно почитать про чужой опыт и насколько он совпадает с моим. Из больших плюсов -- есть код и данные, пусть и анонимизированные, можно скачать и посмотреть внимательнее. А использование для прогноза данных за первые 8 дней жизни девайса даже в какой-то мере совпадает с моими наблюдениями.

Несколько спорные для меня нюансы -- прогнозирование ведется по девайсам (а не по когортам), притом, только по платящим девайсам. Это значит, что оценивать ROI таким образом будет достаточно сложно, как бы ребята ни говорили о хорошем качестве предсказания LTV платящих. Потому что доля платящих сама по себе изменчивая величина, как и ее динамика. Не говоря уже о том, что далеко не все девайсы платят в заданные восемь дней, хотя делают вклад в конечный LTV и поэтому тоже участвуют в модели, по словам авторов. Поэтому, лично на мой взгляд, корректнее работать с cumARPU когорт, а платящих, количество платежей или еще что-то добавлять в виде дополнительных переменных или весов .

Второй, менее явный, но намного более противный момент -- приложения разные и у всех разная эффективность монетизации. Насколько корректно очень разные приложения использовать в одной модели без использования спец.параметров (например, какой-то жанр или тип монетизации, или возраст проекта, или структура трафика) -- я не знаю, лично у меня есть сомнения и не очень приятный опыт. А если использовать спец.параметры, то возникают сложности с применением модели к проектам, где эти параметры неизвестны.

К сожалению, авторы не сделали общий слайд с сравнением моделей и каким-то заключением, что лучше, а что хуже и в каких условиях. При этом утверждают, что у них в MyTracker получается предсказывать LTV с точностью в 80-90% (то, что качество показанных в статье моделей сильно ниже, не смущает, явно ведь не все тонкости рассказали). Но это я, возможно, уже слишком много хочу от промо-материалов.

Очень приятно пообщался с ребятами из AppMagic. Говорили про то, на что смотреть при мониторинге рынков, какие метрики могут быть интересны и так далее. Одна из первых тем -- про разные механики, стоит ли их мониторить и можно ли из них собрать успешную игру. Условно, насколько может быть полезен конструктор в GameRefinery, в котором можно набрать фичи и получить определенную оценку проекта. Жаль, подписки нет, а тестировать косвенно весьма замудрено будет.

Проговорил достаточно привычную и очевидную мысль, что механики и геймплей -- важны для удержания пользователя в первые дни. А потом уже включается мета и она совсем не обязательно должна продолжать базовые геймплейные механики. Иначе не было бы игр-оборотней и всего зоопарка баттлеров
Поэтому если мы хотим успешный проект, то надо мониторить не механики, а конструкции меты и монетизации. Грубо говоря, мы продаем только харду или спамим офферами, монетизация у нас в контенте или в прокачке, как сильно пользователи играют в мету или и так далее. Лично в моей работе все это идет под флагом "анализ рисков меты" и постепенно складывается в набор вопросов и пунктов, которые надо контролировать при обсуждении концепта.

Второй аспект метагейма (и тут я ступаю на скользкую дорожку фантазий) -- это потребности пользователя и насколько мета их удовлетворяет. Это может быть и челлендж, и исследование, и даже желание заплатить. При этом я слабо верю в классификации наподобие типов по Бартлу. Мне кажется, она применима для грубой сетки, но слишком абстрактная. В конце концов, какая мотивация у играющих в Sims, обставляющих дом в Homescapes или подбирающих наряды в Love Nikki? Сетка "накопители / киллеры / исследователи / социальщики" плохо натягиваются на них. А психодиагностика нам напоминает, что шкальные модели гибче, чем типологические.

При этом оценить "насколько мета удовлетворяет" можно и мы это весьма регулярно делаем -- тут и окна актуальности контента, и насыщенность игрового времени яркими событиями, и персонализированность офферов, и так далее. А вот выявление, какие вообще могут быть потребности пользователя -- намного сложнее, я сейчас только-только нащупываю этот путь в тумане отсутствующих данных.

Недавно общались "анонимными игровыми аналитиками". Задушевный вопрос "а ты тоже за продюсерами бегаешь с паяльником?" заставил меня подумать о животрепещущем -- о роли продюсера в жизни аналитика. С одной стороны, хорошо, когда на проекте есть тревожный продюсер и/или гд, или же хотя бы проджект. Они миллион раз напишут, побеспокоятся о мельчайших деталях и случайных флуктуациях, роадмап будет на сто раз обговорен и даже сниться начнет. Главное, научиться говорить "спокойно, все учтено, вот тебе график" и держать успокоительное или островное очень-топленое-молоко под рукой.

С другой стороны -- очень уж это расслабляет. Теряешь навык форсированных расспросов о релизе, его целях и фичах. В результате потом можно получить ситуацию, когда в роадмапе аналитики нет вообще или она странная, а геймдизы отчаянно нуждаются в данных, но почему-то молчат и все равно продолжают растить развесистую мету. Штош, придется освежать навыки.

Буквально в субботу рассказывал студентам про фреймворк AARRR и что сейчас все больше внимания уделяется удержанию, чем привлечению. А сегодня в рассылке от Deconstructor of fun вижу постмортем Clash Quest -- одной из трех игр-франшиз от Supercell. Игра была в софтлонче 16 месяцев (Supercell, однако, могут себе позволить), последний радикальный апдейт с обнулением прогресса и компенсациями, судя по ютубу, был в июле.

Так вот. Авторы DoF считают, что причина закрытия проекта -- "we think that Clash Quest never achieved good enough retention [...]. And because of that, it was never able to build a big enough LTV to face the insanely high CPIs of the Puzzle and Puzzle RPG genres". Удержание лишь один из вариантов роста LTV, но, видимо, в духе времени.

Смотрю на результаты опроса пользователей. На вопрос "а почему не покупаешь?" самый частотный ответ: "слишком дорого". Для меня это самое интересное -- пользователь находится в неопределенности и не может знать о себестоимости предлагаемого контента в оффере. Однако при этом он как-то все равно оценивает, дорого для него или нет. Мне кажется, тут можно много экспериментировать, чтобы с помощью продукта и способов показа офферов создавать привязки и формировать субъективные оценки стоимости офферов пользователем.

Из самых примитивных решений -- показывать, с какими предметами были те, кто у него выиграл. Или формировать вилку, предлагая несколько офферов разной цены. В идеале еще хорошо бы спросить самого пользователя, как он понимает, что ему дорого, с чем сравнивает. И так далее. Надеяться же на то, что пользователь помнит стоимость харды в банке и ее использует как бейслайн, мне кажется излишне оптимистичным.

Развлекаюсь с данными Appannie. Задумчиво смотрю на всякие company_name, company_country_code, publisher_name и прочую инфу о том, кто делает и издает игры. С одной стороны, я люблю всякие социальные графы, да и интересно, как устроен рынок. А с другой — бесполезное же знание, ничего ценного из него особо не извлечь. Печаль.

В чате гейм-дизайнеров, который я регулярно просматриваю, народ вспомнил пару древних браузерных игрушек, в которых нет прямого управления над игровым процессом. Не Majesty, конечно, но тоже забавно. Попутно разбудили воспоминания об еще одной игрушке -- https://rednuht.org/genetic_cars_2/. Кажется, это новая версия, так как интерфейс и логика немного отличаются, но идея все та же. Создаем мир, определяем степень мутации в каждом поколении, а игра генерирует двухколесные машинки, чтобы они проехали как можно дальше в заданном мире. По сути это визуализация генетического алгоритма, который старается оптимизировать расстояние, понемногу варьируя характеристики машины (гены). Вот прямо сейчас я вижу, что алгоритм нащупал идею увеличения задних колес и ее тестирует.

Читаю чат рисечеров (там в основном социологи и маркетинговые исследователи). С конца сентября взрывной рост запросов на исследователей и контакты агентств в Казахстане, Узбекистане и Армении. А в чате ResearchOps, где в преимущественно ux/cx-исследователи и продакты, запрос на рекрутинговые агентства в Латинской Америке, Азии и чуть-чуть в Европе. Любопытное разделение, конечно.

В российском геймдеве же продолжается Великий Исход и, как цитирует нам InGameDev слова руководителя Константина Сахнова, игрового продюсера и руководителя онлайн-магистратуры РАНХиГС и Skillbox, с 24 февраля по 21 сентября Россия потеряла около 15,000 игровых специалистов. Сколько уехало в октябре -- вопрос открытый, но одна из команд, с которой я работаю, почти наполовину мигрировала на юга.

Аналитики при этом сидят тихо и не отсвечивают. Как обычно.

Ребята, чью статью про прогнозирование LTV я цитировал ранее, в четверг проводят вебинар на эту же тему.
https://tracker.my.com/promo/ltv-forecast-webinar

Посмотрел-послушал вебинар по предсказанию LTV от исследователей из MyTracker. Если коротко -- интересно с точки зрения идей. Из критически значимого, что, на мой взгляд, обесценивает весь материал -- в их примере используются только платящие. То есть все 95-97% неплатящих (как это обычно в f2p играх) и создаваемый ими дисбаланс классов игнорируются. Конечно, в других моделях это как-то решается. Но как -- нам уже не показали.

Из того, что еще показалось интересным --- предсказание по девайсами и введение в модель пользователей, для которых не прошло еще таргетное количество дней. Первое дает возможность использовать персональные характеристики, если получится их откуда-то найти. А второе, наверное, может повысить информативность модели / сгладить временной фактор.

UPD: https://www.youtube.com/watch?v=e8JKKAjWoqw

Играл я неторопливо в еще один низкобюджетный закос под героев (tinysoft все не успокоятся), а тут рекламные сетки принесли Wolf Game. Няшные волки, красивые картинки. Еще один, буквально новорожденный игрок в красном океане 4X. Появились в конце августа и за два месяца заработали около $4kk. При этом пик инсталлов был в первые пару недель, потом скатились на плато. А вот ревеню даже немного растет -- кажется, у проекта неплохо с удержанием и монетизацией в середине игры. Ближайший референс зарабатывает в пять раз больше, топы жанра -- почти в двадцать, но вдруг хвостатые осилят рынок.

Такое ощущение, что авторы Wolf Games сильно вдохновлялись The Ants, но решили использовать более благородные образы (волки это вам не муравьи) и добавить сюжетной истории, которую я честно пропустил. В остальном такой же набор, как орки и эльфы в современном фентези -- жесткий тутор с кучей шагов, стандартные постройки (ферма, склад, барак, лачуга строителей, клан-холл и т.д.), внешняя карта, прокачиваемые герои, которые дают определенные эффекты. На иконках ускорителей строительства заныли зубы от флешбеков многодневных таймеров.

Есть у меня определенная симпатия к 4X, еще с браузерной версии Four Kingdoms от Goodgame, так что мне регулярно подсовывают что-то такое. Люблю я 4X, на самом деле, за три вещи -- они на старте похожи на ситибилдеры, они учат агрессивной экономике грабежей (как и всякие Clash-like проекты) и именно в них я начал играть в кланы, общение с сокланами и так далее. И, кажется, именно аналитика кланов может быть той самой аналитической "изюминкой" проекта, типа кривых сложности в match3, карт контента в шутерах или же вилок выборов в интерактивных историях.

Года полтора назад я общался с hr и лидом аналитики в Melsoft, тогда они еще завлекали словами "мы тут интересный проект к релизу готовим". Прошлой осенью их купили Moon Active (небезызвестный Coin Master). Сейчас Family Island на 65 строчке в top grossing с $13.4kk, обогнав даже Vizor.

Год назад на White Nights я опять встретился с Дарьей и она рассказала, что Moon Active им радикально перестроили процессы, в частности, команду аналитики. Во-первых, у них много аналитиков на проекте (на тот момент было восемь). А во-вторых, их аналитики более узко специализированы. Кто-то занимается дашбордами, кто-то монетизацией и так далее.

Не знаю, насколько их стремительный рост связан с изменившимися процессами. Мне всегда казалось, что многочисленные команды аналитики получаются из-за раздувания штата или проблем с поиском широкопрофильных специалистов. Но вот пару недель назад я обнаружил себя читающим описание вакансий на сайте King и подумал, что это, видимо, достаточно распространенная практика и в ней есть определенный смысл.

Недавно досмотрел цикл курсов по продуктовой аналитике от devtodev / edvice: Basics, Acquisition & Engagement, User Monetization, User Interaction & Forecasting.

Содержание по программе симпатичное, внутри тоже неплохо: рассматривается широкий спектр тем, от дизайна событий до AB-тестов, анализа акций и сегментации пользователей. Я примерно из такого же набора исходил, когда продумывал программу факультета игровой аналитики GeekBrains. Впрочем, программа курсов не должна вводить в заблуждение -- все четыре курса больше похожи на прямое перечисление инструментов и их основных идей. В конце концов, мало что можно сказать про AB-тесты за 11 минут. То есть посмотреть и понять, хочется ли идти в эту область -- вполне годится. Научиться решать задачи, просмотрев этот курс -- точно нет. Опытным аналитикам курс может быть полезен скорее с точки зрения картирования областей, что вообще есть в инструментарии. Например, я не работаю с подписками и не очень активно использую ua-метрики, а в курсе они хотя бы перечислены.

Отдельно хорошо то, что практически все примеры касаются игровых практик и задач. В аннотациях курсов про игры не особо говорят, да и в материалах нередко встречаются примеры из неигровых областей, но истоки-то не спрячешь.

При этом стоит учитывать, что это курсы от devtodev, которые достаточно откровенно продают свою платформу. А это значит, что затронутые темы могут быть неточны или поверностны не только из-за ограничения формата, но и из-за ограничений самой платформы или опыта лекторов. Например, когортные метрики типа ARPU описываются, но ограничение по окну лайфтайма упоминается очень вскользь (так как, кажется, d2d это не очень умеет), проговаривания нюансов типа "есть события с клиента, а есть с сервера, и каждый из эмиттеров знает только свою часть данных" вообще не стоит ожидать. Зато расчет LTV представлен сразу несколькими формулами / подходами, с упором на ML-решение от devtodev.

В общем, если есть время -- то можно посмотреть. Или даже не смотреть, а просто полистать презентации и ссылки на доп.материалы. Новое там найти довольно сложно, а старое может быть с неточностями или очень поверхностно. Но в целом обзор получился весьма осмысленный.

К сожалению, на данный момент у сайта неудобная верстка. Левая панель с ссылками на разделы каждого курса у меня появилась только при масштабе 110%, на телефоне я вообще не смог смотреть курсы.

#courses

Ира Голощапова со своей командой проводит 17 декабря ODS-митап по A/B-тестам.
Звала еще и меня, но у меня лапки и до мэтров мне далеко. Все-таки у нас мало тестов и собственных наработок, а рассказывать классику про оценку выборки на основании анализа мощности и NHST — моветон, мне кажется. Впрочем, наши A/B-тесты это тема отдельного поста-размышления.

Из программы митапа мне особенно интересными показались доклады "Synthetic Control для AB тестов на малых размерах выборок" и "Планирование Байесовских АБ тестов", плюс еще рассказ об Ambrosia -- я ее видел, но внимательно не ковырял. Буду смотреть.

К слову, у Иры и ребят есть интересная серия постов по A/B-тестам, тоже стоит прочитать.

Долго молчавшие и работавшие непублично Playliner решили продолжить свою практику публикаций исследований по разным механикам. Помнится, я с большим удовольствием читал их обзор по механикам match3 (обзор по ссылке 2021 года, хотя я точно читал его примерно в 2018 году). Собственно этот обзор в свое время натолкнул меня на идею собрать библиотеку монетизационных механик и провести их деконстракт / экспериментальную проверку с точки зрения поведения и поведенческой экономики.

Так вот, сейчас Playliner каждые две недели дают демо-доступ к своим обзорам разных игр и их изменений. Например, сейчас это Angry Birds Dream Blast. Инструмент больше полезен, конечно, геймдизайнерам. Но и аналитики могут вытащить кое-что интересное для себя. Например, мне любопытно было посмотреть общий тренд изменений проекта, который уже давно в оперировании. И в Dream Blast это преимущественно ивенты, некоторые интерфейсные элементы и прочий тюнинг. Пару недель назад был другой проект, там я заметил эксперименты с ценами в банке. Впрочем, у меня есть подозрение, что ребята могут не улавливать какие-то более системные изменения, например скорости прогресса и/или кривые сложности. И даже сложно укорять их в этом, так как подобные изменения преимущественно статистикой и ловятся/контролируются.

Закончил большой и муторный отчет. Дался очень тяжело. И даже не из-за конца года и наложившихся релизов. Зато чуть точнее и четче сформулировал для себя стратегию исследования продуктовых изменений, в которых мы как-то радикально влияем на поведение пользователей.

Например, мы хотим пошатать экономику и поэтому меняем важный параметр в мете (размер награды, таймеры, количество очков рейтинга, ТТК, скидки в офферах, что угодно). В идеале, если мы еще на этапе продумывания интервенции соберем курултай с ГД (или великий курултай с привлечением продюсера, пм и топов). И проговорим-пропишем, как поменяется поведение и промежуточные метрики пользователей, какие будут эффекты второго и третьего порядков.

Подобная интервенция похожа на бросок камня в воду -- действие одно, а волны идут во все стороны, затрагивают важные и не всегда очевидные процессы. Так, если мы увеличиваем размер награды, то одним из эффектов будет рост прокачки оружия и/или уменьшение покупок паков с хардой. Эффекты второго порядка -- изменение боевых статистик типа винрейта или kd. Третьего -- пользователи быстрее летят по уровню и быстрее оказываются в котле с более злыми противниками, где могут как отвалиться, так и заплатить. И так далее, но это все уже весьма измеримые вещи. А имея такую модель и набор ожидаемых эффектов, проще проверять, сработала ли наша интервенция и как.

Конечно, мастерство аналитика в том числе и заключается в способности генерировать и проверять гипотезы, что могло измениться, придумывать информативные прокси-метрики. Но лично мне тут все же не хватает какой-то формальности и эксплицитности, наличия проговоренной минимальной измеримой модели на старте. С ней и интервенция оказывается более осознанной и продуманной, и оценивать ее проще, и результаты всей команде понятнее.

Разумеется, конечной целью любых изменений является изменение бизнес-метрик проекта и это важная часть отчета, про которую не стоит забывать. В конце концов, отчет можно построить и в обратном порядке -- как изменились метрики и за счет кого и чего, подобное исследование тоже предполагает понимание логики интервенции. Это вполне валидный подход, просто, видимо, мне он не всегда подходит.

Помнится, первые эксперименты с "чистой группой", как я тогда это называл, мы начали делать в GI. Там на одном из новых проектов предлагались с самого старта чудовищные скидки в 70-90% и мне очень хотелось это дело несколько нормализовать. Сделали три группы: контроль, группу с порезанными скидками и "чистую" группу. Результат был в какой-то мере ожидаем -- уменьшение скидок привело к существенному снижению выручки, притом больше допустимого. Хотя пару полезных идей мы все же вытащили из этого, помимо просто результатов теста. Во-первых, когда пользователи на самом старте покупают что-то только по очень высоким скидкам, у проекта проблемы с формированием ценности контента/метагейма для пользователя. А во-вторых, оценили, насколько вообще система офферов работает, чистая группа как раз выступила бейслайном.

Так вот. Сейчас global control / holdout experiments вполне распространенная практика. Мне в посте, который напомнил про такой подход, понравилась идея квартальных блоков. Мы-то делали все на когортах новых пользователей и смотрели в лайфтайме, а это очень неудобный путь, особенно для старых проектов. Правда, помимо дизайна, остается самое сложное -- смириться с потерей какого-то количества денег от группы, которая в нормальных условиях видела бы офферы и нормально платила. Но это вечная история, надо просто четко формулировать цели и ожидания от таких экспериментов.

Мда, ничего другого тут и не скажешь, кроме "ля ты крыыыса" (c).
Хотя истории последних лет, типа ухода Макса, намекают, что конец был немного предсказуем.

Если предаваться ностальгическим воспоминаниям, то в GI было весьма специфично с данными и культурой аналитики. Когда я пришел молодым-зеленым туда в 2015 году, данные были в виде полутора десятков реплик баз, без документации и внятного описания, что и где лежит. И задачи тогда были преимущественно маркетинговые. Потом был золотой период, когда мы строили централизованную систему сбора и хранения, подключали к ней студии, работали внутренним агентством, старались развивать продуктовую аналитику, регулярно ругались с d2d и так далее. Потом вся наша команда практически единомоментно ушла, бардак с данными нарастал, а пришедшие после нас больше работали с проектами, чем с инфраструктурно-организационным уровнем.

В GI, как говорил один из наших ведущих трафогонов, год за три идет. Я проработал там чуть больше трех лет, это было интересное время и в личном, и в профессиональном плане. Не люблю, когда уходят мамонты.

https://twitter.com/roadtoray/status/1613614353139535873
Вот тут оргинал поста

На выходных закончил Freemium Economics: Leveraging Analytics and User Segmentation to Drive Revenue. Отличная книга, несмотря на то, что вышла аж в 2014 году. В ней даже есть упоминания Zynga и Candy Crush Saga, хоть и на web-платформах.

В содержании традиционная солянка: и описание бизнес-модели, и обзор основных стат.методов, и разговор про метрики, монетизацию и виральность. Автор (Eric Seufert) постарался раскрыть разные стороны фримиумной бизнес-модели, от просто экономической модели до продуктовых задач и особенностей развития и монетизации фримиумного продукта. В результате книга получилась, на мой взгляд, больше про продакт менеджмент, чем про продуктовую аналитику, и это вносит свои акценты.

По содержанию хорошая глава про метрики, весьма неплоха глава про LTV. Наши любимые и привычные DAU, ARPU, конверсии, когортные метрики и тому подобное. Как будто конспект собственного курса прочитал, право слово, те же самые темы и тезисы. Есть даже указание на то, что LTV можно считать очень по-разному и что измерение оттока дела неблагодарное из-за необходимости выбирать пороги, про что вообще не особо часто упоминается.

Но в самое кокоро меня поразили, конечно же, прагматизм и разумность, в которых прослеживается богатый опыт. Пара цитат:

"Building a freemium product is like hunting in a large river for a very rare fish". В контексте речь идет о маленькой доле платящих, но и к успешности фримиум-продукта эту фразу тоже можно отнести. Если учесть, что я уже себе "звездочки на фюзеляже" могу рисовать по количеству закрытых при мне проектов, очень отзывается. К слову, чуть позже идет реплика, что "Analytics is the heart, the foundation, of the freemium model", потому что именно аналитика помогает тонко работать с вовлеченными пользователями и растить продукт.

"The analyst should also conduct a “smell test” on the results, or a subjective evaluation of the feasibility of the results in the context of historical patterns". Всякие курсы по продуктовой аналитике старательно учат коду и метрикам, но не менее важно понимать свой продукт, формировать чутье на лажу.

Еще один тезис касается LTV, но это уже тема отдельного поста.
В общем, мне понравилось.

#books

В продолжение интересных фраз из Freemium Economics. В главе про LTV наткнулся на такую формулировку: "LTV is primarily a decision-making tool".

Самое очевидное использование LTV, конечно, лежит в области маркетинговой аналитики, в задачах оценки эффективность рекламных кампаний. Тут ничего нового и неожиданного, разве что в подходах к предсказанию значений дальних дней или техническим особенностям определения инсталлов. Перформанс маркетинг как он есть, со всеми ужасами и кошмарами в своих темных водах. Собственно, в книге принятие решений с помощью LTV имеется в виду именно в маркетинговом смысле.

А вот с продуктовой точки зрения ситуация интереснее. В первую очередь это касается молодых проектов, которые только нащупывают свою модель меты и монетизации. Потому что для проектов в оперировании аб-тесты, тонкие сегментации пользователей и их поведение в динамике оказываются информативнее, чем LTV. Исследования на прототипах -- это всегда поиск, что сломалось (и это вполне прозачные задачи) и оценка, удалось ли нам сформировать у пользователей нужное нам поведение. Грубо говоря, работает ли наша мета так, как мы ожидаем.

И тут оценка LTV оказывается очень полезна. Точнее, не LTV как какая-то единая характеристика когорты, а кривая LTV / кумулятивного ARPU, отображение в динамике платежного поведения пользователей по ходу их продвижения в игре. Форма кривой дает нам сразу множество точек для исследований и интепретации. Например, если кривая ложится на плато на второй-третий день, то это может быть следствием багов в системе офферов. Чаще -- маркером, что у пользователей нет потребности играть в мету и делать повторные платежи, мета недостаточно формирует эту потребность. По переломам кривой мы можем оценивать, как работают наши пейволлы. Да даже когда мы пытаемся по первым дням прогнозировать дальние значения -- косвенно это демонстрирует нашу веру, что геймдизайнеры и ребята из монетизации будут также хороши в проектировании поздних этапов игры, как и в начале.

Во всех этих кейсах точные значения LTV не нужны или вторичны, в отличие от перформанс-маркетинга. Кривая LTV показывает нам, как работает наша мета на разных этапах. И уже на основе этого мы принимаем решения, как и где шатать экономику, как приоритизировать фичи и делать ребалансы. И именно поэтому я так зацепился за "decision-making tool".

Меж тем я вполне допускаю, что могут быть другие информативные инструменты, которые позволяют оценивать метагейм и модель монетизации. Просто я их на данный момент не знаю и был бы очень не против узнать.

#metrics