Редкое событие на нашем рынке игровой аналитики — открытая позиция на джуна. Saber, конечно, любопытная с этой точки зрения контора. Насколько я знаю, они не только заниматся аутсорсом, но у них есть и свои мобильные игры.

Требования не совсем джуновские, конечно. С другой стороны, и требования знать особенности игровой аналитики тоже нет, чего обычно уже ждешь от миддлов и выше.

Наконец-то добрался до статьи Илкки Паананена (гендир Supercell) о состоянии студии. Пересказ здесь, оригинал здесь.

Мне больше всего была интересна стратегическая часть — что и как делать дальше. Из наиболее важного — Supercell стремится к тому, чтобы делать хиты с большим вкладом в культуру, культурные феномены. Желание понятное, закономерное и амбициозное, конечно. При этом вполне подкрепленное, на мой взгляд, прагматическими соображениями: при разработке игр-середнячков соотношение прибыли и затрат на разработку может не удовлетворять бизнес-целям, да и сама разработка таких игр будет оттягивать ресурсы и тем самым уменьшать шанс создания хита. Однако разрабатывать хиты они собираются полагаясь на чутье команд разработки. И вот этот момент меня смущает, я немножко скептично отношусь к визионерским стратегиям. Особенно зная, сколько на самом деле маеты с метой и экономикой. При этом работа с данными не отвергается, но веры в то, что "following the data will lead to outlier successes" мало. И вот это уже интересно. Видимо, до недавного времени соблюдавшийся принцип "нанимаем людей с 10+ лет опыта в индустрии" дает какие-то дополнительные эффекты.

Второй момент, на который я обратил внимание — есть стремление создавать инновационные продукты, а не просто улучшать успешные игры других компаний. Это ведь уже даже не growth hacking. И требует, ко всему прочему, отработанных и эффективных практик креативного мышления. Я какое-то время назад думал над этим, но ни до чего серьезного кроме брейнштормов с гд по типу "скрести ужа с ежом и придумай к этому монетизацию" не дошел, потому что во всем своем далеком академическом прошлом темы креативности и мышления я обходил по очень большой дуге.

Вообще, по словам Паананена, Supercell создали пять хитов и закрыли около 30 игр. Я почему-то думал, что закрытых проектов будет больше. И теперь я в задумчивости, как же у них на самом деле построен процесс поиска концептов, экспериментирования и тестирования прототипов.

В очередном раунде скрининга новых игр мне достался Happy Hospital от гонконгских DragonPlus Game. Ничто не предвещало беды. Но это оказался тайм-менеджер (@yanapriestley, ты вроде любишь такое).

Поток пациентов, лимит на койки, врачей разных специальностей, несколько этапов лечения, одна медсестра, которая разносит лекарства, звезды на облагораживание госпиталя в Playrix-style...Тайм-менеджер. В целом сделано добротно, аж зависть берет. Мета развесистая, игра затягивает, сложность растет волнами и постепенно увеличивается. Как будто игра не осенью прошлого года вышла.

Никогда не понимал тайм-менеджеры. В Grand Hotel Mania меня хватило минут на десять. Надеюсь, ребята из Appmagic когда-нибудь сделают обзор и на этот жанр. Мы, конечно, посмотрим сами некоторые рыночные метрики, но это не совсем то.

Естественно, профдеформация тоже проявилась. Стал попутно думать, что и как я бы логировал. Какие были бы ключевые продуктовые метрики. Голова заболела, серьезно. После шутеров это какой-то совсем другой мир, кажется. Фермы и мерджи и то проще.

Сегодня был деактивирован слак ODS. Кончилась эпоха в жизни русскоязычного сообщества датасаентистов. И, в какой-то мере, страница моей личной истории.

Я был в ODS с самых первых месяцев и вплоть до сегодняшнего дня числился админом. На самом деле у меня были скорее модераторско-технические функции — разбирал заявки, немножко волонтерил на датафестах, тормозил и чистил срачи, отвечал на жалобы и так далее. Естественно, было очень много личных контактов и общения, это был круг если не друзей, то очень хороших знакомых.

В жизни сообщества я активно участвовал примерно до 2018-2019 годов, потом стал все больше и больше отходить и в последнее время эпизодически присматривал за вымершим каналом #lang_r и чуть более активным #analytics.

Одна из причин моего ухода была в том, что я чем дальше, тем больше осознавал, что я не датасатанист. Помню, на какой-то из встреч, когда меня спросили, чем я занимаюсь, я ответил что-то вроде “анализирую по логам поведение пользователей”. Я тогда еще работал в Консультант+ и слов “продуктовая аналитика”, кажется, никто не знал, уж я точно.

Сейчас продуктовой аналитикой никого не удивишь, связность сообщества нарушена, но не потеряна. А я все больше в своей работе делаю акцент на поведении пользователей, чем на анализе.

В чате игровых аналитиков сегодня весь день обсуждаем нейронки для выдачи офферов (и в целом системы рекомендаций). Одна мысль мне показалась весьма интересной, процитирую здесь:

Одно из неожиданных для меня открытий, которое мы сделали при внедрении системы офферов - пользователю нельзя всегда показывать хорошие предложения. Наоборот, надо показывать обычно плохие, чтобы, увидев хороший, он его купил. И поэтому мы специально модифицировали систему, чтобы она показывала разные предложения. И в этом смысле простой рандом вообще то очень неплохо работает.

В монетизации, построенной на офферах, мы по умолчанию предполагаем, что цены за инапы в магазине (банке) — это своего рода бейслайн, относительно которого пользователи и определяют выгоду оффера. Однако меня всегда смущала мысль, что пользователи могут вообще не заходить в банк и закупаться сугубо по офферам, в результате у них нет сравнения. И в таком смысле неинтересные / невыгодные офферы как раз могут задавать более наглядный бейслайн. А попутно — показывать вариативность предложений, заставлять пользователей сравнивать и, в результате, формировать осознание ценности оффера.

Единственный минус всей идеи — пользователи не резиновые и количество офферов, которое им можно показать в единицу времени, ограничено. А план по выручке никто не отменяет. Но это все можно проверять аб-тестами, как и эффективность полностью случайного набора офферов.

Читаю отчет SensorTower (пересказ и файл отчета здесь и здесь). Достаточно много любопытного, например “Hybridcasual Is the New Casual” и My little Universe, в которую я залипал одно время. Меня заинтересовало другое наблюдение:

Players of mobile games featuring both Character Collection and Social Clans metas tend to spend more time in the game.

Притом страницей раньше показано, что топ игр по гроссу (все — мидкор) как раз имеют коллекционирование и/или кланы. А некоторые, типа Genshin Impact — сильную нарративную часть.

Попутно вспомнил, что пользователи в одном из наших опросов говорили, что лидерборды им не очень интересны. А также постоянное нытье пользователей “когда будут друзья/кланы в игре”, которое обычно игнорируется. И успех Among Us.

Все это приводит меня к осторожным мыслям, что социальные и кооперативные фичи становятся все более и более значимыми, вместо нагибания и соревновательности. Или соревнование переходит в том числе в коллекции. Что приводит уже к совсем крамоле вида “продавать power в мидкоре через некоторое время может быть уже не очень эффективно.”

На выходных перечитал “Игру в цифры”. Впечатления, признаться, очень смешанные. С одной стороны, текст достаточно легкий, есть разные интересные наблюдения из отчетов или практики. С другой — на мой вкус, не очень выдержанный текст, сборная солянка всего “на тему”, по верхам, от отчетов десятилетней давности до демонстрации расчета метрик в экселе или описания, в каком порядке по стоимости могут быть инапы в банке.

Впрочем, почитать что-то от человека из индустрии всегда интересно. А то, как я регулярно говорю, аналитики в массе своей тихушники и нигде не светятся. Однако Василий Сабиров в введении пишет, что его главной задачей было “рассказать доступно и просто о том, как работает и для чего нужна игровая аналитика”. И, на мой взгляд, именно этой цели удалось достигнуть лишь частично.

Лично мне очень не хватило описания, как принимаются продуктовые решения, как в них участвует аналитика. В конце концов, посчитать метрики — не самая сложная часть анализа. Когда читал, в голове крутилась фраза-мем родом из GI, за авторством лида одной из студий — “надо просто увеличить ARPU”. То есть, недостаточно сказать, что какая-то метрика низкая/высокая. Надо понять, какие есть рычаги по ее изменению. И это, на мой взгляд, одна из самых сложных частей продуктовой аналитики.

Также мне не хватило некоторой продуктовой/поведенческой интерпретации метрик. Например, что рет1 мы обычно интерпретируем как заинтересованность в геймплее, а поздние дни — заинтересованность в мете. Что софт-валюта служит измерением опыта пользователя в игре, а хард-валюта — прокси к времени пользователя, которое он готов тратить. И так далее. Понимание и проговаривание подобных вещей, на мой взгляд, делает исследования более глубокими и осмысленными и как раз дает направление для изменений.

#books

Лид команды бэкендеров на одном из моих проектов с утра пораньше троллит. Вот до чего людей затяжной рефакторинг доводит.

30 мая будет конференция Aha’23. Ее делает Алексей Никушин и его команда МатеМаркетинга. Программа неполная, но общее представление дает.

Из того, что я вижу — конференция получилась преимущественно про A/B-тесты, притом большинство докладчиков из Avito и Яндекса. На мой взгляд в геймдеве большая часть их опыта либо нерелевантна, либо не очень применима, однако послушать все же стоит. В первую очередь про проблемы и процессы.

Есть еще несколько докладов про ценообразование и оптимизацию скидок, и вот для меня они сейчас интереснее всего. Я чем дальше, тем больше думаю про ценообразование в условиях, когда реальную стоимость пользователь оценить не может, хочется немного поэкспериментировать. Офферы, куда ж без них.

Вчера забрел на локальный геймдев-митап, поговорил про продуктовое мышление. Получилось вполне мило. А в кулуарном обсуждении услышал про себя “сразу видно опытного барыгу дофамином”.

Вообще, рад, что выбрался — чуток социализировался да вспомнил, как говорить на незнакомую аудиторию. Попутно сам для себя сформулировал ряд теоретических идей-тезисов про аналитику. Почему-то мне всегда лучше думается, когда надо кому-то что-то рассказать.

На самом деле мой доклад мне не особо нравится, он не согласован по блокам, а ключевые мысли слабо раскрыты. Да и в целом много личной картины мира, а аналитики в геймдеве обычно более приземленные ребята.

Записи митапа не было, но если кому интересно — вот тут текст моего выступления.

В последние дни на канал пришло достаточно много людей из сферы UX/СХ и продуктовых исследований. Потому, кажется, стоит хотя бы верхнеуровнево рассказать, что такое продуктовая аналитика в геймдеве (точнее, как я ее вижу), и как мы взаимодействуем с UX-задачами.

Первое и ключевое. Фокус продуктовых аналитиков на бизнес-задачах, а не на пользователе. Мы оцениваем внутри-игровую экономику и балансы, эффективность систем персональных предложений и скидок, как новые фичи влияют на метрики и т. д. То есть мы помогаем командам оперирования (продюсеру, геймдизайнерам, менеджерам монетизации) принимать решения по развитию продукта.

Второе — мы работаем с логами пользователей, с наблюдаемыми поведенческими актами. Как часто заходят, сколько играют, сколько сессий в день делают, что делают во время игры — прогрессия по уровням, количество и статистика по боям (если шутеры), выполненные квесты (в казуалках) и проч. Аналитики продумывают, что и как надо залогировать и ставят задачи командам разработки.

Основа нашей работы — мы проверяем гипотезы, почему у нас такие метрики, опираясь на то, что (не)сделал пользователь в игре. Это требует хорошего понимания того, как сконструирована игра и как может быть связано поведение пользователей в игре с нашими показателями.

Пример: “Видим, что в уровневой группе 10-20 увеличена доля отвалов”. Наша гипотеза — пользователю скучно. Операционализируем “скучно” как малое количество значимых событий (левелап, получение нового контента и т. д.) на единицу времени. Смотрим, как связана “скучность” с отвалами. Проверяем альтернативные гипотезы (например, резко выросла сложность и пользователи чаще проигрывают). Пишем рекомендации геймдизайнерам.

Про UX в следующем посте.

Продолжая тему UX-исследований глазами аналитика. Как я уже говорил, продуктовая аналитика основана в первую очередь на данных о наблюдаемом поведении пользователей. Мы редко проводим исследования, которые предполагают какое-то активное взаимодействие с пользователями и интерес к его опыту, хотя их ценность не отрицается. (Я сейчас про f2p/GaaS, в pay-to-play другая атмосфера).

Причин этому, на мой взгляд, несколько. В частности это необходимость достаточно дорогой инфраструктуры (исследователи, рекрут) и не очень высокая скорость получения информации. Также для большинства задач бывает достаточно логов и опыта продуктовых аналитиков. И, в конце концов, подобные исследования редко дают сильный рычаг влияния на метрики.

Чаще всего проводят опросы пользователей — оценки фич релиза (в том числе и технические проблемы), узнаваемость бренда, интересы аудитории (для идей коллабов) и тому подобное. В редких случаях спрашиваем суперкитов, что они думают о последних изменениях. Опросы обычно проводят саппорт, коммьюнити-менеджеры, иногда аналитики. Если есть какие-то отделы маркетинга (не UA), то еще и они.

Второе направление исследований — (не)модерируемые плейтесты. И я в данном случае не про внутренние или friends&family плейтесты, а тесты на внешней набранной по критериям выборке. Такие плейтесты обычно используются при оценке прототипов (@Maria_DW наш рулевой), когда только обкатываем те или иные идеи, или не можем придумать проверяемые на логах гипотезы. Такие исследования делают UX-исследователи или отдаются на аутсорс, у продуктовых аналитиков фокус и навыки совсем другие.

Юзабилити-тесты как таковые отдельно практически не проводятся, потому что для них обычно хватает внутренних плейтестов на сотрудниках — все они активные геймеры с разнообразным опытом и насмотренностью.

В целом, результаты UX-исследований редко выступают единственным основанием для принятия решений. Обычно это лишь один из источников материалов для размышлений, которые все равно потом проверяются на выборке.

Пилим с ребятами прототипы. И в какой-то момент оказались в ситуации “на третий день индеец Зоркий Глаз заметил, что в тюрьме всего три стены”. В смысле, осознали, что оценивать прототип по удержанию первого дня можно, но для понимания “почему так” — недостаточно.

Ретеншен метрика инертная и малоинформативная. Поэтому с головой нырнули в FTUE (first time user experience), чем ранее не особо увлекались — в немалой части потому что воронки боев как прокси к ретеншену вполне хватало, а мороки с выделением сессий много. Притом конкретные вещи типа багов или “экономических самоубийств / дедлоков” (когда тратишь ресурсы не на то, что надо, и потом даже нагриндить не можешь) тут не так интересны, хочется выловить концептуальное, понравилась пользователю игра или нет.

Пока балуюсь с временем первой сессии и ее насыщенностью / общим временем и его структурой в день инсталла. Попутно тестирую heartbit-событие, когда приложение каждые N секунд отправляет состояние пользователя (аналогично user_engagement в Firebase). В первую очередь пытаюсь понять, насколько оно информативно и полезно может быть.

К слову, вот древняя, но достаточно интересная статья на тему первых десяти минут: Why the first ten minutes are crucial if you want to keep players coming back

Обнаружил, что у Appsflyer есть что-то вроде среза базовых метрик по разным жанрам. Несколько лет назад подобные отчеты делали GameAnalytics. Однако их последний отчет был в 2019 году и с тех пор много воды утекло.

Интереснее всего, конечно же, ретеншен. Хотя есть и другие метрики, запросы на которые я также слышал в последнее время — CPI, уровень фрода, конверсии в платящего за 30 дней и т.д.

Грустные вайбы "quality of life фич" и "фич N-ой линии приоритета (N > 10)". А уж сколько из них касается аналитических событий и хотелок...
Я вот как-то полгода ждал, чтобы в опросы SurveyMonkey начали из инбоксов прокидывать некоторую полезную информацию.

Недавно во время одного из рабочих созвонов сформулировал ряд сомнений про офферы и концепции их формирования.

Допустим, у вас вся экономика и лайвопс стоят на офферах (предложениях купить со скидкой контент / ресурсы и т. д.). А покупки в банке если кто и делает, то это незначительная доля в структуре платежей (в отличие от тех же *scapes от Playrix, где, насколько я помню, преимущественно покупки харды в банке).

Я знаю две системы, какие офферы и когда мы показываем пользователю. Первая — триггерная. То есть у пользователя разлочился новый контент, и мы даем ему оффер с ним. Или пользователь проиграл / потратил энергию и мы даем ему в этом месте оффер. Эти офферы предполагают немедленную яркую потребность пользователя в контенте или ресурсах.

Вторая система — когда мы формируем и показываем какой-то набор предложений исходя из нашего представления о структуре аудитории, размерах скидок, модели дистрибуции контента и тому подобное. Условно, “надо показать оффер на $4.99, сейчас посмотрим, что в нем можно продать и с какой скидкой”. Насколько я понимаю, многие старые проекты рано или поздно приходят к такой модели, так как это позволяет лучше планировать и достигать поставленные цели по выручке.

Так вот. У меня есть подозрение, что на старте игры пользователю выгоднее показывать триггерные офферы, а персональные офферы — больше важны на поздних этапах, когда пользователи могут оценивать выгодность оффера и планировать долгосрочно. Но я не знаю, как можно это относительно легко проверить.

Также очень хочется скрестить обе модели. То есть давать оффер на необходимую сумму, но продавать в нем то, что пользователю нужно в этот момент. Или как сделать плавный переход от одной системы к другой. И тут тоже у меня нет какого-то простого и изящного решения, не знаю, как это можно хорошо сделать.

Если у вас есть примеры других систем офферов или опыт их оптимизации — расскажите, пожалуйста.

Dev2dev выпустили еще одну методичку, теперь по монетизации проектов. Внутри весьма обыденно — классическое перечисление метрик и их взаимосвязей, ничего про оперирование и принятие продуктовых решений на основе этих метрик. Несколько бестолковый блок по ARPU и привычная маета с разделением cumARPU и LTV (кажется, это вообще тема отдельного разговора). Плюс выделение Social LTV и фактора виральности, при этом нет про ad monetization.

Однако к методичке есть бонус (не знаю, был ли он раньше) — открытый доступ к демо-проекту в dev2dev. Тоже не предел мечтаний, но зато начинающие аналитики могут посмотреть, как организованы метрики, как они визуализируются, и так далее. Плюс разные сегменты и методы расчета метрик. В общем, для первого знакомства с продуктовыми дашбордами и инструментами верхнеуровневой и быстрой проверки гипотез вполне подойдет.

На еще одном локальном митапе восхитительная Ева Иванова рассказывала, как у них в G5 построен процесс выбора проектов для прототипов. Они делают большое предварительное исследование (и на пользователях в качественных исследованиях, и с помощью различных сервисов) по аудитории, состоянии и перспективах рынка, о возможной маркетинговой упаковке продукта и т. д. И на основе этих данных продюсеры уже смотрят на свои концепты.

Мне кажется, что-то в таком подходе есть — каким бы ни был интересным концепт, игнорировать глобальные тренды или не очень четко очерчивать ЦА и ее потребности все же не стоит. Да и понимание рынка растет.

С другой стороны, все это разбивается о конструкцию метагейма и монетизации. Можно хорошо изучить аудиторию, придумать интересный концепт, но все равно не суметь выстроить монетизацию так, чтобы проект был успешен. И тут у меня появляются сомнения — стоит ли тратить много ресурсов на предварительные маркетинговые исследования.

В общем, не знаю. Будем пробовать, видимо.

MyTracker выпустили методичку по многоруким бандитам. Внутри описание ключевой идеи, границ применимости, алгоритмов и, самое важное, примеры. Не сказать, что какая-то эксклюзивная информация, но мне методичка понравилась. Особенно интересными показалисль блок по оценке работы алгоритмов и практические советы.

Для желающих чуть глубже погрузиться в тему есть классическая статья Паши Нестерова на хабре, там формулы, куски кода, картинки и гифки. Ну и котики, конечно же.

Меня достаточно часто спрашивают, используем ли мы многоруких бандитов и почему нет. Мой ответ лежит в области общего подхода к A/B-тестам и тестированию гипотез — для меня A/B-тест это больше интервенция в сложное поведение пользователя, чем попытка оптимизировать одну определенную метрику. Поэтому в A/B-тестах мы смотрим не только метрику, которую хотели изменить, но и как в целом поменялось поведение пользователя и во время теста, и в каком-то интервале после.

Так что на применение многоруких бандитов в продуктовой аналитике (в геймдеве) я смотрю с некоторым скепсисом. Наверное, можно, но у меня нет такого опыта. Все это, впрочем, не отменяет ценности бандитов в маркетинге и привлечении пользователей — для тестирования креативов и т.д.

В чате по монетизации кто-то искал эксперта "по играм с успешными кейсами. Нужно помочь сформировать kpi для игр". Мой ответ местные умельцы сразу же засунули в генератор мемов. Впрочем, суть все равно та же — так или иначе, на мой взгляд, деньги и окупаемость и есть основной критерий успеха игры (особенно f2p). Собственно, это одна из причин, почему применение в геймдеве фреймворка north star метрик кажется мне сомнительной затеей.