Читаю Талера, "Новая поведенческая экономика". Сама по себе книга любопытная, но для меня это больше введение в историю поведенческой экономики от одного из ее лидеров. Слишком уж много в ней малоинтересных для меня экспериментов или наблюдений.

Однако одно наблюдение, описанное буквально в первых главах, вполне отозвалось. Талер пересказывает исследование Repositioning Dynamics and Pricing Strategy (Ellickson, Misra, and Nair 2012). Если коротко, то магазины, делающие эпизодические распродажи, оказываются в большем выигрыше, чем те магазины, которые придерживались стратегии низких цен. Это мне напомнило мое недоумение от регулярных х3-распродаж в одном из проектов, с которым я работал.

Мне тогда казалось, что это формирует специфичное платежное поведение пользователей (приучает к скидкам) и делает их нечувствительными к другим акциям. Не говоря уже о том, что вся экономика оказывается выстроенной вокруг девальвированной стоимости харды. Впрочем, мне и сейчас так кажется, но вот это исследование, пересказанное Талером, подкрепило мысли, что подобные формы монетизации не только возможны, но и могут быть успешны.

Обсуждали тут с @dkd_kdk проблемы трекинга стоимости того или иного слоя контента. Мое наивное "так есть же движение ресурсов, а курс харды мы знаем" быстро оказалось повержено. Когда у тебя экономика вся на харде (то есть, покупаешь за реал только харду, а ее тратишь на все остальные предметы и ресурсы), движение ресурсов действительно помогает. Но в проектах, где большая часть контента продается за прямые платежи (в частности в офферах), так, видимо, не работает. И если оптимальный для своих проектов формат трекинга движений ресурсов я выработал, то вот с группой событий платежей и их информативностью / полезностью, чую, у меня могут быть некоторые пробелы.

У Ариэли в "Предсказуемой иррациональности" в одной из первых глав описывается ситуация, когда компании заставили раскрывать зарплаты топ-менеджеров, и вместо планируемого снижения разрыва зарплат топов и рядовых сотрудников это привело к обратной ситуации --- росту зарплат топов. Потому что люди сравнивают себя с другими и хотят так же. И тут же мне вспомнились глобальные извещения в Magic Rush (старенький баттлер, я начал играть в него году в 2015 примерно и с тех пор раз в год ставлю и вспоминаю). Извещения вида "ХХХ получил легендарного героя YYY". Вроде как не очень заметная штука, но вполне может работать на общее количество круток гачи, так как использует тот же механизм сравнения и легализации --- "этот получил, значит и я могу, стоит попробовать".
Было бы интересно простестировать, но разработка глобальных оповещений, издержки от информ.шума в лобби проекта и подобное делает подобный тест весьма сложно реализуемым, к сожалению. С другой стороны, исключающий аб-тест тоже будет сложно провести (у нас в одном из продуктов есть такая фича, как оказалось), если только не затеят глобальную переработку ui или не продать фичу командам новых проектов.

Я все понимаю, но product_id / unified_product_id / company_id вида 20600013730899 (или еще длинее) в appannie — это где-то за гранью разумного. Даже таймстампы в миллисекундах не так раздражают.

В ODS#analytics пробежал хороший вопрос, перескажу его и коментарии. "Что делать, когда мы хотим в аб-тесте оценить влияние фичи на монетизацию, но знаем, что даже в тестовой группе ею воспользуются не все". Стандартный подход -- сравниваем тест и контроль, смотрим аплифт и разницу, и оцениваем значимость различий. Ребята в комментариях предлагают еще два решения. Первое -- триггеринг, то есть определить параметры и выбрать минимальную подгруппу, которая потенциально может воспользоваться фичей. Второй вариант -- матчинг. В тестовой группе по параметрам пользователя учимся определять, воспользуется ли он фичей, а потом в контрольной группе фильтруем тех, кто вероятнее всего воспользовался бы фичей, если бы попал в тестовую группу, и уже эти группы сравниваем.

Подходы любопытные, на мой взгляд. Как минимум можно лучше оценить небольшие колебания (если вдруг мы ищем небольшой продуктовый эффект фичи). Однако они не контролируют каннибализацию, в результате эффект может быть завышенным или вообще ложным. Что, в свою очередь, накладывает ограничения на применимость подобных дизайнов. Так, я сейчас не очень представляю их использование в аналитике офферов, когда есть сложная игровая экономика и мириад конкурирущих между собой предложений.

Rush Royale сделали коллаб с Bubble и их комиксом Майор Гром. Надо будет узнать, как они выбирали коллаб и как будут оценивать его эффективность / что в целях. А то как-то в моем опыте это достаточно сомнительное дело, хорошо если затраты на арт и разработку ивентов отбить получалось.

Как говорят еретики-героинщики, не надо бегать от варвара --- умрете уставшим. Так и я, с регулярностью раз в несколько лет, сталкиваюсь с задачами, которые подозрительно похожи на что-то в духе имитационного моделирования или теории массового обслуживания. Шутеры, серверы, матчмейкинг, вот эта вот бездна. Каждый раз ломаю зубы об операционализацию интересующего меня процесса в терминах фреймворка (той же ТМО). И вот оно меня догнало в очередной раз. Теперь решил попробовать помощь зала и пойти к умным людям поконсультироваться. Посмотрим, вдруг осилю все же, хотя бы на уровне теории.

Наверное, надо все же признаться себе, что мне нравится дизайнить события аналитики для новых проектов. На том этапе, когда есть только ворох гдд и общее представление о том, какой будет игра и на что надо будет в ней смотреть, какими будут фокусы анализа. Или продумывать какие-нибудь внутренние инфраструктурные события типа движения ресурсов. В чем-то это похоже на психодиагностику и в целом психологические исследования -- как задать вопрос, какие наблюдаемые действия залогировать, чтобы понять что-то о поведении пользователя. Относительно инфраструктурных событий -- какие могут быть частые юзкейсы и каким должно быть событие, чтобы работать с ним было легко и быстро. Правда, само противное потом и одновременно самое главное и сложное -- пережить столкновение с тем, что у кого-то может быть свое видение модели данных (и нейминг, нейминг!) или ценности логируемой информации.

@konhis и гдд, регулярный ивент

кажется, я нашел себе чтиво на ближайшую вечность
https://news.1rj.ru/str/exp_fest/78

Несколько лет назад я написал программу для нового на тот момент факультета игровой аналитики в GeekBrains. С тех пор, конечно же, утекло много воды, программу меняли неоднократно, но студенты все же были и учились. Только что был на защите дипломных проектов первого набора. Ощущения специфичные, конечно, как будто прособеседовал толпу джунов. Сказать можно всякое, и про ребят, и про процесс, и про сам результат обучения. Но одна мысль все же настойчиво крутится в голове -- "обязательно должны быть рекомендации команде". И каноничная задача "нужно просто повысить арпу" обрастет конкретикой, а кажущиеся разрозненными части игры быстро обретут связи.

Меж тем, GI и SberGames окончательно умерли, Plarium закрывает офис, Белка и Playgendary уже. Azur и Плейкоты открывают офисы на Балканах с вполне понятной перспективой. У Nexters вроде похожие планы, по слухам. Этак скоро захочешь устроить встречу аналитиков или дата-завтраки, или митап какой, и не получится. Не так чтобы это и раньше получалось, правда, но все же.

Пролистал недавнюю Game Data Science от Anders Drachen et al. По общей структуре напомнила мне учебники по машинному обучению (то же ISL Хасти и Тибширани, например), только с примерами из геймдева. Я, конечно, больше хотел бы обратной структуры -- какие бывают задачи у аналитиков в геймдеве и какими алгоритмами их можно решать. Но, кажется, это утопия. Вторая примечательная особенность книги -- в ней f2p и мобильные игры если и не игнорируются, то в лучшем случае упоминаются в одном из параграфов введения. Не говоря уже о бизнес-смысле задач, для которых могут быть использованы описанные алгоритмы.

Тем не менее основные темы и идеи раскрываются неплохо -- снижение размерности, кластеризация, обучение с учителем и метрики качества модели, нейронки, визуализация. Очень порадовал блок по sequenсе analysis и упоминание пакета TraMineR для R. Мы как раз с одним ГД думаем посмотреть на бои с этой точки зрения (как минимум опробую подход). Да и для кластериации пользователей выглядит хорошо. А вот отсутствие самой концепции когортных метрик расстроило, как и игнорирование анализа выживаемости. Впрочем, если f2p/gaas изначально игнорируются, то не удивительно.

А еще интересно было посмотреть списки литературы к каждой главе. Какие книги есть по теме анализа данных в геймдеве, в каких журналах публикации, какие конференции. Списки не впечатляют, много откровенно древнего или не очень релевантного, но хоть что-то.

В общем, книжка получилась симпатичная и читать ее точно надо. Но, на мой взгляд, много ждать все же не стоит -- это скорее справочник по инструментам, чем какое-то введение в тему и доменную специфику.

#books

Appannie (data.ai), конечно, смешные. Увидел, что в один из месяцев ревеню по проекту сильно больше реального. Спросил, как так. Говорят, что у них все считает какая-то спец.моделька, и все цифры, которые они показывают — это estimates. Ладно, это еще как-то можно понять, у appmagic такая же история.
Но потом выяснилось, что в бесплатной версии appannie цифры более похожи на реальные. Спросил еще раз, как так. Ответили:

Regarding your question, the reason that the free account in the screenshot that you provided is showing the same value is because this is coming from a connect report. Connect takes data directly from google play store account so those will match actuals.
The screenshot that you provided is from an intelligence report from data.ai which uses estimates. 
We are always working on improving our estimates. This is how the model behaves and it is expected. We cannot guarantee that the actuals will be the same as our estimates.  We are always working on improving our estimates.

То есть у ребят есть нормальные данные, но премиум-пользователям они все равно дают оценки из модели. И не видят в этом никаких неувязок. Прелестно.

Временами просматриваю/модерирую канал analytics в ODS. И чем больше там тредов про A/B-тесты, ссылок на статьи ребят из VK и Avito, тем сильнее у меня ощущение, что я как-то отстал от жизни. Как отечественная психология™ использует преимущественно стат.аппарат практически столетней давности, так и я застрял где-то в лучшем случае в начале десятых годов. Классическая фреквентистская статистика, мощность и размер эффекта, перестановочные тесты -- да. Оценка мощности тестов в симуляционных экспериментах, линеаризация, дельта-метод, инструменты снижения дисперсии -- уже практически нет. И это я еще не смотрел внимательно в сторону causal inference. Оно местами сильно напоминает квазиэкспериментальные дизайны, особенно когда про синтетический контроль речь идет, но все же, своя атмосфера и тоже надо разбираться.

Последние дни работаю над большим отчетом по тесту метагейма на одном из новых проектов. Люблю такие периоды -- и раньше, и позже фокус больше на каких-то конкретных метриках и фичах, а тут мы впервые смотрим в целом на поведение игроков и то, как они воспринимают предложенную мету. И в который раз убеждаюсь, что начинать надо с метрик удержания и вовлечения. С них строится база понимания, на которую уже добавляются слои и детализация в виде "а как и за что (не)платят", "а на что тратят ресурсы", "а насколько вообще интересны базовые игровые циклы" и тому подобное. Я, как правоверный гештальтист, везде вижу изомофизм и проекции, и, на мой взгляд, подобные глобальные отчеты так или иначе должны воспроизводить опыт пользователя. В конце концов, пользователь сначала видит игру и как-то играет в нее, потом только (не)возникает решение заплатить, и уже после него мы можем смотреть детализацию, что именно хорошо или плохо с удержанием или монетизацией. В этом отчете мы начали с оценки окупаемости, потом посмотрели в экономику и боевку, и все равно в какой-то момент уперлись в вопрос времени жизни и активности платящих пользователей.

Хотя главное при всей этой оптике, конечно же -- не забыть сделать конкретные рекомендации, которые команда может взять в работу или как минимум обсудить. Грешен, что сказать.

Случился тут у меня казус. Тестируем один проект, а там конверсия в платящих на порядок выше стандартных для f2p проектов. Такая кампания и дизайн теста, так что ожидаемо. Но как оценивать ретеншен в такой ситуации? С одной стороны, вроде как проект, монетизация, все дела, смотрим просто на ретеншен. В других проектах ведь тоже есть и какая-то доля платящих, и качество монетизации. С другой стороны, ретеншен и мотивация оставаться у платящих могут иметь дополнительные аспекты. И то, что им нравится игра настолько, что они готовы не только играть, но и платить. И то, что они уже вложили какие-то деньги и для них увеличилась стоимость переключения (буквально сегодня о подобном писал Якубенков), и что-нибудь еще. При большой искусственной (за счет спец.кампании) доле платящих все это может искажать данные по удержанию.

По ретеншену я решил примитивно -- стал смотреть только неплатящих и по ним сравнивать с другими проектами. А вот исследовать мотивацию платящих и как она влияет на ретеншен уже сложнее -- например, было бы интересно нагнать пользователей по кампаниям с оптимизацией на платящих и выключить платежку. Но кто нам даст провернуть такое (с другой стороны, у нас тут этот эксперимент сторы уже провернули, можно ист.данные попробовать поднять). Или как-то поспрашивать платящих пользователей, насколько их удерживают уже сделанные платежи. Наверное еще и у поведенческих экономистов могут быть такие исследования, но перекладывать их опыт на f2p отдельная головная боль все же.

Хм. Кажется, я знаю, с какими неприличными предложениями можно сходить к нашей UX-лабе.

Обсуждали с одной из команд стоимость прокачки пушек. И у них достаточно специфичная стоимость одного левелапа -- 300000 в одной валюте, 500 в другой. И аргументов для таких порядков и такого соотношения как минимум два, несмотря на риски инфляции и последующий возможный переход к idle-like ценам типа 1.65ab.

Во-первых, разный порядок валют больше запутывает пользователей и немного усложняет им процесс выведения логики стоимости прокачки и тому подобного. Мы хорошо знаем, что пользователи у нас умные, мгновенно вычисляют наиболее эффективные пути, расписания акций и соотношение валют, в результате расчеты в гдд оказываются сильно оптимистичнее реальности. И разный порядок как раз немного наводит тумана.

Вторая причина --- порядок цен ассоциируется / задает субъективную стоимость объектов. Когда одна валюта измеряется в тысячах, а другая в единицах, вторая кажется более ценной. И с другой стороны, когда мы что-то продаем за тысячи единиц, это кажется более дорогим, чем если бы мы это продавали за единицы.

В-третьих, мне тут вспомнился достаточно спорный (на мой взгляд) метод оценки субъективной ценности офферов через стоимость чашки кофе, который мы использовали при планировании цен на офферы в другом проекте.

Оба аргумента кажутся субъективно понятными и логичными, но лично у меня все же есть какой-то легкий скепсис. В целом это все тянет на достаточно любопытное исследование, в котором стоит контролировать много дополнительных факторов: порядок цен в национальных валютах, принятые порядки, как работает эффект привязки в мультивалютной цене и в одновалютной и т. д. Есть мнение, что пользователи и умнее, чем нам кажется, и что цена скорее относительная сущность, чем абсолютная (правда, непонятно, что будет основанием сравнения).

ужасно, просто ужасно. и дисклеймер не помогает.

Не открывайте эти ссылки, иначе весь день работать не будете.

Тут можно прямо в браузер поиграть в
- Counter-Strike 1.6 https://play-cs.com/ru/servers
- Quake III Arena http://www.quakejs.com/
- Diablo https://d07riv.github.io/diabloweb/
- Caesar III https://epicport.com/ru/caesar3
- Starcraft http://pirrate.me/StarCraft/
- десяток старых и культовых игр https://dos.zone/

App2Top выпустили второе исследование merge-игр, на этот раз про перспективы разработки merge2 / merge3. Исследование провели ребята из AppMagic. Я, признаться, нежно люблю мерджи и когда я читал предыдущий обзор жанра (от App2Top), оказалось, что я играл во все ключевые тайтлы, начиная от triple town и до относительно свежих top war.

Исследование симпатичное и во многом совпадает с моими собственными ощущениями от жанров и их перспектив. Из того, что понравилось: идея, что merge-3 это по сути merge-5 и менеджмент предметов на поле, я именно с этим и столкнулся, когда играл в Merge Dragons. Любопытный кейс косвенной оценки успешности Merge Mansion через анализ публичных отчетов. Разумное и методологически осмысленное игнорирование гибридных игр типа Top War (чувствую в этом руку Максима Саморукова, он любит говорить про игры, которые сначала прикидываются одним жанром для удержания, а потом оказываются совсем другим -- типа The Ants или Top War). Очень понравились конкретные формулировки по ретеншену, размеру команд и требованиям к командам.

Несколько смутили скомканные формулировки типа "есть игры, которые сочетают оба варианта, но их перформанс невелик" -- да, есть ссылка на AppMagic, но хотелось хотя бы краткой формулировки, как именно они сочетают оба варианта, и идеи, почему не перформят. Еще зацепило, что Medieval Merge (весьма милая, к слову, уже пару месяцев играюсь), упоминается сразу в двух типах merge-2, хотя вроде как ответвления специально выделены как не пересекающиеся. Откуда взяты данные по размерам команд и ретеншену -- тоже интересно.

Ключевая особенность этого исследования (да и ему подобных) -- то, что они идут от геймдизайна и анализа механик. Наверное, это оптимальный путь, когда мы рассматриваем конкретную нишу и жанр. Но вот возможно ли (а если возможно, то как) построить исследования рынка и генерацию идей для новых проектов на основе количественных данных -- вопрос, который все больше занимает меня в последнее время.

#research