Читаю отчет SensorTower (пересказ и файл отчета здесь и здесь). Достаточно много любопытного, например “Hybridcasual Is the New Casual” и My little Universe, в которую я залипал одно время. Меня заинтересовало другое наблюдение:
Players of mobile games featuring both Character Collection and Social Clans metas tend to spend more time in the game.
Притом страницей раньше показано, что топ игр по гроссу (все — мидкор) как раз имеют коллекционирование и/или кланы. А некоторые, типа Genshin Impact — сильную нарративную часть.
Попутно вспомнил, что пользователи в одном из наших опросов говорили, что лидерборды им не очень интересны. А также постоянное нытье пользователей “когда будут друзья/кланы в игре”, которое обычно игнорируется. И успех Among Us.
Все это приводит меня к осторожным мыслям, что социальные и кооперативные фичи становятся все более и более значимыми, вместо нагибания и соревновательности. Или соревнование переходит в том числе в коллекции. Что приводит уже к совсем крамоле вида “продавать power в мидкоре через некоторое время может быть уже не очень эффективно.”
Players of mobile games featuring both Character Collection and Social Clans metas tend to spend more time in the game.
Притом страницей раньше показано, что топ игр по гроссу (все — мидкор) как раз имеют коллекционирование и/или кланы. А некоторые, типа Genshin Impact — сильную нарративную часть.
Попутно вспомнил, что пользователи в одном из наших опросов говорили, что лидерборды им не очень интересны. А также постоянное нытье пользователей “когда будут друзья/кланы в игре”, которое обычно игнорируется. И успех Among Us.
Все это приводит меня к осторожным мыслям, что социальные и кооперативные фичи становятся все более и более значимыми, вместо нагибания и соревновательности. Или соревнование переходит в том числе в коллекции. Что приводит уже к совсем крамоле вида “продавать power в мидкоре через некоторое время может быть уже не очень эффективно.”
❤9
На выходных перечитал “Игру в цифры”. Впечатления, признаться, очень смешанные. С одной стороны, текст достаточно легкий, есть разные интересные наблюдения из отчетов или практики. С другой — на мой вкус, не очень выдержанный текст, сборная солянка всего “на тему”, по верхам, от отчетов десятилетней давности до демонстрации расчета метрик в экселе или описания, в каком порядке по стоимости могут быть инапы в банке.
Впрочем, почитать что-то от человека из индустрии всегда интересно. А то, как я регулярно говорю, аналитики в массе своей тихушники и нигде не светятся. Однако Василий Сабиров в введении пишет, что его главной задачей было “рассказать доступно и просто о том, как работает и для чего нужна игровая аналитика”. И, на мой взгляд, именно этой цели удалось достигнуть лишь частично.
Лично мне очень не хватило описания, как принимаются продуктовые решения, как в них участвует аналитика. В конце концов, посчитать метрики — не самая сложная часть анализа. Когда читал, в голове крутилась фраза-мем родом из GI, за авторством лида одной из студий — “надо просто увеличить ARPU”. То есть, недостаточно сказать, что какая-то метрика низкая/высокая. Надо понять, какие есть рычаги по ее изменению. И это, на мой взгляд, одна из самых сложных частей продуктовой аналитики.
Также мне не хватило некоторой продуктовой/поведенческой интерпретации метрик. Например, что рет1 мы обычно интерпретируем как заинтересованность в геймплее, а поздние дни — заинтересованность в мете. Что софт-валюта служит измерением опыта пользователя в игре, а хард-валюта — прокси к времени пользователя, которое он готов тратить. И так далее. Понимание и проговаривание подобных вещей, на мой взгляд, делает исследования более глубокими и осмысленными и как раз дает направление для изменений.
#books
Впрочем, почитать что-то от человека из индустрии всегда интересно. А то, как я регулярно говорю, аналитики в массе своей тихушники и нигде не светятся. Однако Василий Сабиров в введении пишет, что его главной задачей было “рассказать доступно и просто о том, как работает и для чего нужна игровая аналитика”. И, на мой взгляд, именно этой цели удалось достигнуть лишь частично.
Лично мне очень не хватило описания, как принимаются продуктовые решения, как в них участвует аналитика. В конце концов, посчитать метрики — не самая сложная часть анализа. Когда читал, в голове крутилась фраза-мем родом из GI, за авторством лида одной из студий — “надо просто увеличить ARPU”. То есть, недостаточно сказать, что какая-то метрика низкая/высокая. Надо понять, какие есть рычаги по ее изменению. И это, на мой взгляд, одна из самых сложных частей продуктовой аналитики.
Также мне не хватило некоторой продуктовой/поведенческой интерпретации метрик. Например, что рет1 мы обычно интерпретируем как заинтересованность в геймплее, а поздние дни — заинтересованность в мете. Что софт-валюта служит измерением опыта пользователя в игре, а хард-валюта — прокси к времени пользователя, которое он готов тратить. И так далее. Понимание и проговаривание подобных вещей, на мой взгляд, делает исследования более глубокими и осмысленными и как раз дает направление для изменений.
#books
❤9👍5
30 мая будет конференция Aha’23. Ее делает Алексей Никушин и его команда МатеМаркетинга. Программа неполная, но общее представление дает.
Из того, что я вижу — конференция получилась преимущественно про A/B-тесты, притом большинство докладчиков из Avito и Яндекса. На мой взгляд в геймдеве большая часть их опыта либо нерелевантна, либо не очень применима, однако послушать все же стоит. В первую очередь про проблемы и процессы.
Есть еще несколько докладов про ценообразование и оптимизацию скидок, и вот для меня они сейчас интереснее всего. Я чем дальше, тем больше думаю про ценообразование в условиях, когда реальную стоимость пользователь оценить не может, хочется немного поэкспериментировать. Офферы, куда ж без них.
Из того, что я вижу — конференция получилась преимущественно про A/B-тесты, притом большинство докладчиков из Avito и Яндекса. На мой взгляд в геймдеве большая часть их опыта либо нерелевантна, либо не очень применима, однако послушать все же стоит. В первую очередь про проблемы и процессы.
Есть еще несколько докладов про ценообразование и оптимизацию скидок, и вот для меня они сейчас интереснее всего. Я чем дальше, тем больше думаю про ценообразование в условиях, когда реальную стоимость пользователь оценить не может, хочется немного поэкспериментировать. Офферы, куда ж без них.
Вчера забрел на локальный геймдев-митап, поговорил про продуктовое мышление. Получилось вполне мило. А в кулуарном обсуждении услышал про себя “сразу видно опытного барыгу дофамином”.
Вообще, рад, что выбрался — чуток социализировался да вспомнил, как говорить на незнакомую аудиторию. Попутно сам для себя сформулировал ряд теоретических идей-тезисов про аналитику. Почему-то мне всегда лучше думается, когда надо кому-то что-то рассказать.
На самом деле мой доклад мне не особо нравится, он не согласован по блокам, а ключевые мысли слабо раскрыты. Да и в целом много личной картины мира, а аналитики в геймдеве обычно более приземленные ребята.
Записи митапа не было, но если кому интересно — вот тут текст моего выступления.
Вообще, рад, что выбрался — чуток социализировался да вспомнил, как говорить на незнакомую аудиторию. Попутно сам для себя сформулировал ряд теоретических идей-тезисов про аналитику. Почему-то мне всегда лучше думается, когда надо кому-то что-то рассказать.
На самом деле мой доклад мне не особо нравится, он не согласован по блокам, а ключевые мысли слабо раскрыты. Да и в целом много личной картины мира, а аналитики в геймдеве обычно более приземленные ребята.
Записи митапа не было, но если кому интересно — вот тут текст моего выступления.
🔥14❤3👍1
В последние дни на канал пришло достаточно много людей из сферы UX/СХ и продуктовых исследований. Потому, кажется, стоит хотя бы верхнеуровнево рассказать, что такое продуктовая аналитика в геймдеве (точнее, как я ее вижу), и как мы взаимодействуем с UX-задачами.
Первое и ключевое. Фокус продуктовых аналитиков на бизнес-задачах, а не на пользователе. Мы оцениваем внутри-игровую экономику и балансы, эффективность систем персональных предложений и скидок, как новые фичи влияют на метрики и т. д. То есть мы помогаем командам оперирования (продюсеру, геймдизайнерам, менеджерам монетизации) принимать решения по развитию продукта.
Второе — мы работаем с логами пользователей, с наблюдаемыми поведенческими актами. Как часто заходят, сколько играют, сколько сессий в день делают, что делают во время игры — прогрессия по уровням, количество и статистика по боям (если шутеры), выполненные квесты (в казуалках) и проч. Аналитики продумывают, что и как надо залогировать и ставят задачи командам разработки.
Основа нашей работы — мы проверяем гипотезы, почему у нас такие метрики, опираясь на то, что (не)сделал пользователь в игре. Это требует хорошего понимания того, как сконструирована игра и как может быть связано поведение пользователей в игре с нашими показателями.
Пример: “Видим, что в уровневой группе 10-20 увеличена доля отвалов”. Наша гипотеза — пользователю скучно. Операционализируем “скучно” как малое количество значимых событий (левелап, получение нового контента и т. д.) на единицу времени. Смотрим, как связана “скучность” с отвалами. Проверяем альтернативные гипотезы (например, резко выросла сложность и пользователи чаще проигрывают). Пишем рекомендации геймдизайнерам.
Про UX в следующем посте.
Первое и ключевое. Фокус продуктовых аналитиков на бизнес-задачах, а не на пользователе. Мы оцениваем внутри-игровую экономику и балансы, эффективность систем персональных предложений и скидок, как новые фичи влияют на метрики и т. д. То есть мы помогаем командам оперирования (продюсеру, геймдизайнерам, менеджерам монетизации) принимать решения по развитию продукта.
Второе — мы работаем с логами пользователей, с наблюдаемыми поведенческими актами. Как часто заходят, сколько играют, сколько сессий в день делают, что делают во время игры — прогрессия по уровням, количество и статистика по боям (если шутеры), выполненные квесты (в казуалках) и проч. Аналитики продумывают, что и как надо залогировать и ставят задачи командам разработки.
Основа нашей работы — мы проверяем гипотезы, почему у нас такие метрики, опираясь на то, что (не)сделал пользователь в игре. Это требует хорошего понимания того, как сконструирована игра и как может быть связано поведение пользователей в игре с нашими показателями.
Пример: “Видим, что в уровневой группе 10-20 увеличена доля отвалов”. Наша гипотеза — пользователю скучно. Операционализируем “скучно” как малое количество значимых событий (левелап, получение нового контента и т. д.) на единицу времени. Смотрим, как связана “скучность” с отвалами. Проверяем альтернативные гипотезы (например, резко выросла сложность и пользователи чаще проигрывают). Пишем рекомендации геймдизайнерам.
Про UX в следующем посте.
❤17👍12
Продолжая тему UX-исследований глазами аналитика. Как я уже говорил, продуктовая аналитика основана в первую очередь на данных о наблюдаемом поведении пользователей. Мы редко проводим исследования, которые предполагают какое-то активное взаимодействие с пользователями и интерес к его опыту, хотя их ценность не отрицается. (Я сейчас про f2p/GaaS, в pay-to-play другая атмосфера).
Причин этому, на мой взгляд, несколько. В частности это необходимость достаточно дорогой инфраструктуры (исследователи, рекрут) и не очень высокая скорость получения информации. Также для большинства задач бывает достаточно логов и опыта продуктовых аналитиков. И, в конце концов, подобные исследования редко дают сильный рычаг влияния на метрики.
Чаще всего проводят опросы пользователей — оценки фич релиза (в том числе и технические проблемы), узнаваемость бренда, интересы аудитории (для идей коллабов) и тому подобное. В редких случаях спрашиваем суперкитов, что они думают о последних изменениях. Опросы обычно проводят саппорт, коммьюнити-менеджеры, иногда аналитики. Если есть какие-то отделы маркетинга (не UA), то еще и они.
Второе направление исследований — (не)модерируемые плейтесты. И я в данном случае не про внутренние или friends&family плейтесты, а тесты на внешней набранной по критериям выборке. Такие плейтесты обычно используются при оценке прототипов (@Maria_DW наш рулевой), когда только обкатываем те или иные идеи, или не можем придумать проверяемые на логах гипотезы. Такие исследования делают UX-исследователи или отдаются на аутсорс, у продуктовых аналитиков фокус и навыки совсем другие.
Юзабилити-тесты как таковые отдельно практически не проводятся, потому что для них обычно хватает внутренних плейтестов на сотрудниках — все они активные геймеры с разнообразным опытом и насмотренностью.
В целом, результаты UX-исследований редко выступают единственным основанием для принятия решений. Обычно это лишь один из источников материалов для размышлений, которые все равно потом проверяются на выборке.
Причин этому, на мой взгляд, несколько. В частности это необходимость достаточно дорогой инфраструктуры (исследователи, рекрут) и не очень высокая скорость получения информации. Также для большинства задач бывает достаточно логов и опыта продуктовых аналитиков. И, в конце концов, подобные исследования редко дают сильный рычаг влияния на метрики.
Чаще всего проводят опросы пользователей — оценки фич релиза (в том числе и технические проблемы), узнаваемость бренда, интересы аудитории (для идей коллабов) и тому подобное. В редких случаях спрашиваем суперкитов, что они думают о последних изменениях. Опросы обычно проводят саппорт, коммьюнити-менеджеры, иногда аналитики. Если есть какие-то отделы маркетинга (не UA), то еще и они.
Второе направление исследований — (не)модерируемые плейтесты. И я в данном случае не про внутренние или friends&family плейтесты, а тесты на внешней набранной по критериям выборке. Такие плейтесты обычно используются при оценке прототипов (@Maria_DW наш рулевой), когда только обкатываем те или иные идеи, или не можем придумать проверяемые на логах гипотезы. Такие исследования делают UX-исследователи или отдаются на аутсорс, у продуктовых аналитиков фокус и навыки совсем другие.
Юзабилити-тесты как таковые отдельно практически не проводятся, потому что для них обычно хватает внутренних плейтестов на сотрудниках — все они активные геймеры с разнообразным опытом и насмотренностью.
В целом, результаты UX-исследований редко выступают единственным основанием для принятия решений. Обычно это лишь один из источников материалов для размышлений, которые все равно потом проверяются на выборке.
👍9👎3❤1
Пилим с ребятами прототипы. И в какой-то момент оказались в ситуации “на третий день индеец Зоркий Глаз заметил, что в тюрьме всего три стены”. В смысле, осознали, что оценивать прототип по удержанию первого дня можно, но для понимания “почему так” — недостаточно.
Ретеншен метрика инертная и малоинформативная. Поэтому с головой нырнули в FTUE (first time user experience), чем ранее не особо увлекались — в немалой части потому что воронки боев как прокси к ретеншену вполне хватало, а мороки с выделением сессий много. Притом конкретные вещи типа багов или “экономических самоубийств / дедлоков” (когда тратишь ресурсы не на то, что надо, и потом даже нагриндить не можешь) тут не так интересны, хочется выловить концептуальное, понравилась пользователю игра или нет.
Пока балуюсь с временем первой сессии и ее насыщенностью / общим временем и его структурой в день инсталла. Попутно тестирую heartbit-событие, когда приложение каждые N секунд отправляет состояние пользователя (аналогично user_engagement в Firebase). В первую очередь пытаюсь понять, насколько оно информативно и полезно может быть.
К слову, вот древняя, но достаточно интересная статья на тему первых десяти минут: Why the first ten minutes are crucial if you want to keep players coming back
Ретеншен метрика инертная и малоинформативная. Поэтому с головой нырнули в FTUE (first time user experience), чем ранее не особо увлекались — в немалой части потому что воронки боев как прокси к ретеншену вполне хватало, а мороки с выделением сессий много. Притом конкретные вещи типа багов или “экономических самоубийств / дедлоков” (когда тратишь ресурсы не на то, что надо, и потом даже нагриндить не можешь) тут не так интересны, хочется выловить концептуальное, понравилась пользователю игра или нет.
Пока балуюсь с временем первой сессии и ее насыщенностью / общим временем и его структурой в день инсталла. Попутно тестирую heartbit-событие, когда приложение каждые N секунд отправляет состояние пользователя (аналогично user_engagement в Firebase). В первую очередь пытаюсь понять, насколько оно информативно и полезно может быть.
К слову, вот древняя, но достаточно интересная статья на тему первых десяти минут: Why the first ten minutes are crucial if you want to keep players coming back
👍7❤2
Обнаружил, что у Appsflyer есть что-то вроде среза базовых метрик по разным жанрам. Несколько лет назад подобные отчеты делали GameAnalytics. Однако их последний отчет был в 2019 году и с тех пор много воды утекло.
Интереснее всего, конечно же, ретеншен. Хотя есть и другие метрики, запросы на которые я также слышал в последнее время — CPI, уровень фрода, конверсии в платящего за 30 дней и т.д.
Интереснее всего, конечно же, ретеншен. Хотя есть и другие метрики, запросы на которые я также слышал в последнее время — CPI, уровень фрода, конверсии в платящего за 30 дней и т.д.
Недавно во время одного из рабочих созвонов сформулировал ряд сомнений про офферы и концепции их формирования.
Допустим, у вас вся экономика и лайвопс стоят на офферах (предложениях купить со скидкой контент / ресурсы и т. д.). А покупки в банке если кто и делает, то это незначительная доля в структуре платежей (в отличие от тех же *scapes от Playrix, где, насколько я помню, преимущественно покупки харды в банке).
Я знаю две системы, какие офферы и когда мы показываем пользователю. Первая — триггерная. То есть у пользователя разлочился новый контент, и мы даем ему оффер с ним. Или пользователь проиграл / потратил энергию и мы даем ему в этом месте оффер. Эти офферы предполагают немедленную яркую потребность пользователя в контенте или ресурсах.
Вторая система — когда мы формируем и показываем какой-то набор предложений исходя из нашего представления о структуре аудитории, размерах скидок, модели дистрибуции контента и тому подобное. Условно, “надо показать оффер на $4.99, сейчас посмотрим, что в нем можно продать и с какой скидкой”. Насколько я понимаю, многие старые проекты рано или поздно приходят к такой модели, так как это позволяет лучше планировать и достигать поставленные цели по выручке.
Так вот. У меня есть подозрение, что на старте игры пользователю выгоднее показывать триггерные офферы, а персональные офферы — больше важны на поздних этапах, когда пользователи могут оценивать выгодность оффера и планировать долгосрочно. Но я не знаю, как можно это относительно легко проверить.
Также очень хочется скрестить обе модели. То есть давать оффер на необходимую сумму, но продавать в нем то, что пользователю нужно в этот момент. Или как сделать плавный переход от одной системы к другой. И тут тоже у меня нет какого-то простого и изящного решения, не знаю, как это можно хорошо сделать.
Если у вас есть примеры других систем офферов или опыт их оптимизации — расскажите, пожалуйста.
Допустим, у вас вся экономика и лайвопс стоят на офферах (предложениях купить со скидкой контент / ресурсы и т. д.). А покупки в банке если кто и делает, то это незначительная доля в структуре платежей (в отличие от тех же *scapes от Playrix, где, насколько я помню, преимущественно покупки харды в банке).
Я знаю две системы, какие офферы и когда мы показываем пользователю. Первая — триггерная. То есть у пользователя разлочился новый контент, и мы даем ему оффер с ним. Или пользователь проиграл / потратил энергию и мы даем ему в этом месте оффер. Эти офферы предполагают немедленную яркую потребность пользователя в контенте или ресурсах.
Вторая система — когда мы формируем и показываем какой-то набор предложений исходя из нашего представления о структуре аудитории, размерах скидок, модели дистрибуции контента и тому подобное. Условно, “надо показать оффер на $4.99, сейчас посмотрим, что в нем можно продать и с какой скидкой”. Насколько я понимаю, многие старые проекты рано или поздно приходят к такой модели, так как это позволяет лучше планировать и достигать поставленные цели по выручке.
Так вот. У меня есть подозрение, что на старте игры пользователю выгоднее показывать триггерные офферы, а персональные офферы — больше важны на поздних этапах, когда пользователи могут оценивать выгодность оффера и планировать долгосрочно. Но я не знаю, как можно это относительно легко проверить.
Также очень хочется скрестить обе модели. То есть давать оффер на необходимую сумму, но продавать в нем то, что пользователю нужно в этот момент. Или как сделать плавный переход от одной системы к другой. И тут тоже у меня нет какого-то простого и изящного решения, не знаю, как это можно хорошо сделать.
Если у вас есть примеры других систем офферов или опыт их оптимизации — расскажите, пожалуйста.
👍8
Dev2dev выпустили еще одну методичку, теперь по монетизации проектов. Внутри весьма обыденно — классическое перечисление метрик и их взаимосвязей, ничего про оперирование и принятие продуктовых решений на основе этих метрик. Несколько бестолковый блок по ARPU и привычная маета с разделением cumARPU и LTV (кажется, это вообще тема отдельного разговора). Плюс выделение Social LTV и фактора виральности, при этом нет про ad monetization.
Однако к методичке есть бонус (не знаю, был ли он раньше) — открытый доступ к демо-проекту в dev2dev. Тоже не предел мечтаний, но зато начинающие аналитики могут посмотреть, как организованы метрики, как они визуализируются, и так далее. Плюс разные сегменты и методы расчета метрик. В общем, для первого знакомства с продуктовыми дашбордами и инструментами верхнеуровневой и быстрой проверки гипотез вполне подойдет.
Однако к методичке есть бонус (не знаю, был ли он раньше) — открытый доступ к демо-проекту в dev2dev. Тоже не предел мечтаний, но зато начинающие аналитики могут посмотреть, как организованы метрики, как они визуализируются, и так далее. Плюс разные сегменты и методы расчета метрик. В общем, для первого знакомства с продуктовыми дашбордами и инструментами верхнеуровневой и быстрой проверки гипотез вполне подойдет.
❤11
На еще одном локальном митапе восхитительная Ева Иванова рассказывала, как у них в G5 построен процесс выбора проектов для прототипов. Они делают большое предварительное исследование (и на пользователях в качественных исследованиях, и с помощью различных сервисов) по аудитории, состоянии и перспективах рынка, о возможной маркетинговой упаковке продукта и т. д. И на основе этих данных продюсеры уже смотрят на свои концепты.
Мне кажется, что-то в таком подходе есть — каким бы ни был интересным концепт, игнорировать глобальные тренды или не очень четко очерчивать ЦА и ее потребности все же не стоит. Да и понимание рынка растет.
С другой стороны, все это разбивается о конструкцию метагейма и монетизации. Можно хорошо изучить аудиторию, придумать интересный концепт, но все равно не суметь выстроить монетизацию так, чтобы проект был успешен. И тут у меня появляются сомнения — стоит ли тратить много ресурсов на предварительные маркетинговые исследования.
В общем, не знаю. Будем пробовать, видимо.
Мне кажется, что-то в таком подходе есть — каким бы ни был интересным концепт, игнорировать глобальные тренды или не очень четко очерчивать ЦА и ее потребности все же не стоит. Да и понимание рынка растет.
С другой стороны, все это разбивается о конструкцию метагейма и монетизации. Можно хорошо изучить аудиторию, придумать интересный концепт, но все равно не суметь выстроить монетизацию так, чтобы проект был успешен. И тут у меня появляются сомнения — стоит ли тратить много ресурсов на предварительные маркетинговые исследования.
В общем, не знаю. Будем пробовать, видимо.
❤5
MyTracker выпустили методичку по многоруким бандитам. Внутри описание ключевой идеи, границ применимости, алгоритмов и, самое важное, примеры. Не сказать, что какая-то эксклюзивная информация, но мне методичка понравилась. Особенно интересными показалисль блок по оценке работы алгоритмов и практические советы.
Для желающих чуть глубже погрузиться в тему есть классическая статья Паши Нестерова на хабре, там формулы, куски кода, картинки и гифки. Ну и котики, конечно же.
Меня достаточно часто спрашивают, используем ли мы многоруких бандитов и почему нет. Мой ответ лежит в области общего подхода к A/B-тестам и тестированию гипотез — для меня A/B-тест это больше интервенция в сложное поведение пользователя, чем попытка оптимизировать одну определенную метрику. Поэтому в A/B-тестах мы смотрим не только метрику, которую хотели изменить, но и как в целом поменялось поведение пользователя и во время теста, и в каком-то интервале после.
Так что на применение многоруких бандитов в продуктовой аналитике (в геймдеве) я смотрю с некоторым скепсисом. Наверное, можно, но у меня нет такого опыта. Все это, впрочем, не отменяет ценности бандитов в маркетинге и привлечении пользователей — для тестирования креативов и т.д.
Для желающих чуть глубже погрузиться в тему есть классическая статья Паши Нестерова на хабре, там формулы, куски кода, картинки и гифки. Ну и котики, конечно же.
Меня достаточно часто спрашивают, используем ли мы многоруких бандитов и почему нет. Мой ответ лежит в области общего подхода к A/B-тестам и тестированию гипотез — для меня A/B-тест это больше интервенция в сложное поведение пользователя, чем попытка оптимизировать одну определенную метрику. Поэтому в A/B-тестах мы смотрим не только метрику, которую хотели изменить, но и как в целом поменялось поведение пользователя и во время теста, и в каком-то интервале после.
Так что на применение многоруких бандитов в продуктовой аналитике (в геймдеве) я смотрю с некоторым скепсисом. Наверное, можно, но у меня нет такого опыта. Все это, впрочем, не отменяет ценности бандитов в маркетинге и привлечении пользователей — для тестирования креативов и т.д.
👍7❤1
В чате по монетизации кто-то искал эксперта "по играм с успешными кейсами. Нужно помочь сформировать kpi для игр". Мой ответ местные умельцы сразу же засунули в генератор мемов. Впрочем, суть все равно та же — так или иначе, на мой взгляд, деньги и окупаемость и есть основной критерий успеха игры (особенно f2p). Собственно, это одна из причин, почему применение в геймдеве фреймворка north star метрик кажется мне сомнительной затеей.
👍2😁1
Сегодня в 18 по Лондону Валера Бабушкин и Стас Носуленко (AliExpress) будут разговаривать про Marketing Mix Modeling. Что это, зачем, какие подводные камни (а точнее рифы) могут быть и так далее.
Тема будет интересна больше маркетинговым аналитикам. Мы некоторое время назад смотрели на MMM, но до реального выведения в прод не дошли.
https://news.1rj.ru/str/cryptovalerii/445
UPD: запись встречи https://youtu.be/rSZFKDqH5eA
Тема будет интересна больше маркетинговым аналитикам. Мы некоторое время назад смотрели на MMM, но до реального выведения в прод не дошли.
https://news.1rj.ru/str/cryptovalerii/445
UPD: запись встречи https://youtu.be/rSZFKDqH5eA
👍4
Есть у меня один проект, на котором очень хочется оценить экономику. Побуждает ли игра платить пользователя, как работают те точки монетизации, которые заложили геймдизы и т. д. Хочется и аналитикам, и гд, и продюсерам.
Все бы хорошо, но есть нюанс. В проекте пока нет денег, не реализована платежка и еще долго не будет. А экономику надо хоть как-то начать проверять. Потому что выходить в бета-тест / глобал с совсем сырой метой — так себе идея.
В общем, самурайская задачка. Сижу вот, думаю над возможными решениями. Востребованность прокачки, предикт arpu немонетизационными метриками, утилизация жестко ограниченного количества выданной/нафармленной харды и так далее.
Притом все эти решения на самом деле плохие. Без денег нельзя оценить платежное поведение, к чему эти иллюзии. Придется строить какой-то комитет оценок, как бы это отвратно ни звучало, а потом бороться с миллионом спекуляций и натягиваний совы на глобус.
Все бы хорошо, но есть нюанс. В проекте пока нет денег, не реализована платежка и еще долго не будет. А экономику надо хоть как-то начать проверять. Потому что выходить в бета-тест / глобал с совсем сырой метой — так себе идея.
В общем, самурайская задачка. Сижу вот, думаю над возможными решениями. Востребованность прокачки, предикт arpu немонетизационными метриками, утилизация жестко ограниченного количества выданной/нафармленной харды и так далее.
Притом все эти решения на самом деле плохие. Без денег нельзя оценить платежное поведение, к чему эти иллюзии. Придется строить какой-то комитет оценок, как бы это отвратно ни звучало, а потом бороться с миллионом спекуляций и натягиваний совы на глобус.
❤6
Пока я болтался в отпуске, вышла книга собрата по потанинской песочнице Даниила Ханина “Юнит-экономика для стартапов и бизнеса”. У него было много статей, обучающих видео и прочего, и вот до книги дозрел.
Книга небольшая, но весьма плотная по количеству поданной информации. Внутри много знакомых терминов — конверсия, средний чек, CPA, знакомые ситуации и так далее. Правда, большая часть аббревиатур для меня оказалась непривычна. Ко всему прочему достаточно много внимания уделяется когортам и когортной логике.
Весьма симпатично и понятно через концепцию юнитов масштабирования и историю доткомов показана смена фокуса с товаров на пользователей. Что в свою очередь приводит к концепции когортных метрик и LTV. Мне самому не хватало такого теоретического контекста, будет хоть что студентам рассказать.
Даниил много работал со стартапами, поэтому книга не столько по юнит-экономике, сколько по построению фин.модели стартапа и поиску точек роста в ней. Притом стартапы в его примерах — не цифровые, поэтому некоторые нюансы будут непривычны тем, кто работает с цифровыми продуктами.
Несмотря на все достоинства книги, лично мне было очень тяжело читать. Но это, видимо, просто индивидуальная непереносимость стиля. Да и постоянно перекладывать термины и концепции на геймдев-аналитику тоже оказалось сложно.
#books
Книга небольшая, но весьма плотная по количеству поданной информации. Внутри много знакомых терминов — конверсия, средний чек, CPA, знакомые ситуации и так далее. Правда, большая часть аббревиатур для меня оказалась непривычна. Ко всему прочему достаточно много внимания уделяется когортам и когортной логике.
Весьма симпатично и понятно через концепцию юнитов масштабирования и историю доткомов показана смена фокуса с товаров на пользователей. Что в свою очередь приводит к концепции когортных метрик и LTV. Мне самому не хватало такого теоретического контекста, будет хоть что студентам рассказать.
Даниил много работал со стартапами, поэтому книга не столько по юнит-экономике, сколько по построению фин.модели стартапа и поиску точек роста в ней. Притом стартапы в его примерах — не цифровые, поэтому некоторые нюансы будут непривычны тем, кто работает с цифровыми продуктами.
Несмотря на все достоинства книги, лично мне было очень тяжело читать. Но это, видимо, просто индивидуальная непереносимость стиля. Да и постоянно перекладывать термины и концепции на геймдев-аналитику тоже оказалось сложно.
#books
👍12❤3
Признаться, я не люблю UI-аналитику. Мороки с ней много, а влияние на выручку сомнительное. Крупные косяки на плейтестах видно, а мелкие… раз они мелкие, то ими можно пренебречь или положить в бэклог и брать в работу, когда появляется свободное время.
Тем не менее мы кое-что собираем. Во-первых, это тапы пользователей по кнопкам, с трекингом на каком экране тап / откуда и куда переход. Эти данные крутят UI-дизайнеры, я лично их старательно избегаю. Во-вторых мы иногда трекаем поведение пользователя во время боя. Чаще всего это просто координаты смерти/убийства, потом для левел-дизайнеров рисуем хитмапы по ним. Но вот буквально недавно левел-дизайнеры запросили еще и перемещения по карте, чтобы выловить холодные места, по которым пользователи не ходят. Посмотрим, что за картинки получатся.
Помимо спорной (с точки зрения продуктовой аналитики) ценности UI-данных, есть еще одна особенность, которую приходится учитывать — количество этих данных. Когда мы несколько лет назад стали собирать тапы со всего DAU, команда DWH весьма горячо высказала нам свое неодобрение. Поэтому если дизайнить сбор UI-данных, надо сразу закладывать ограничение, чтобы данные собирались только по части аудитории. Да хотя бы примитивный фильтр встроить, типа sample(1:20, 1) == 1, или другой рубильник, который позволит открыть фичу только на часть аудитории. Глобальная связность данных пользователя тут необязательна, главное, чтобы в рамках сессии/боя они были целостны. Ну и хранить их дольше месяца вряд ли нужно.
Тем не менее мы кое-что собираем. Во-первых, это тапы пользователей по кнопкам, с трекингом на каком экране тап / откуда и куда переход. Эти данные крутят UI-дизайнеры, я лично их старательно избегаю. Во-вторых мы иногда трекаем поведение пользователя во время боя. Чаще всего это просто координаты смерти/убийства, потом для левел-дизайнеров рисуем хитмапы по ним. Но вот буквально недавно левел-дизайнеры запросили еще и перемещения по карте, чтобы выловить холодные места, по которым пользователи не ходят. Посмотрим, что за картинки получатся.
Помимо спорной (с точки зрения продуктовой аналитики) ценности UI-данных, есть еще одна особенность, которую приходится учитывать — количество этих данных. Когда мы несколько лет назад стали собирать тапы со всего DAU, команда DWH весьма горячо высказала нам свое неодобрение. Поэтому если дизайнить сбор UI-данных, надо сразу закладывать ограничение, чтобы данные собирались только по части аудитории. Да хотя бы примитивный фильтр встроить, типа sample(1:20, 1) == 1, или другой рубильник, который позволит открыть фичу только на часть аудитории. Глобальная связность данных пользователя тут необязательна, главное, чтобы в рамках сессии/боя они были целостны. Ну и хранить их дольше месяца вряд ли нужно.
🔥12
GoPractice написали короткую, но симпатичную статью про uplift-моделирование в предсказаниях оттока. Бизнес-смысл передан вполне доступно, а желающие технически подробностей могут посмотреть курс на ODS.
Вообще, предсказание оттока в геймдеве достаточно специфичная задача. Почему-то больше всего говорят о ней wannabe-аналитики и соискатели на собесах, когда рассказывают, какой бы ml они хотели делать. Лично в моей практике полезнее даже не исследования оттока, а более точечный анализ отвалов (на каком уровне/локации/лиге) на старте игры.
Прогнозирование оттока лояльной аудитории натыкается на сразу несколько критически важных моментов. Во-первых, в какой момент мы начинаем считать пользователя ушедшим. Во-вторых, обычно пользователь сам не знает, что он уже начал отваливаться и спрашивать его об этом бесполезно. В-третьих, нам в первую очередь важно поведение лояльной платящей аудитории, а ее не так чтобы много на самом деле. Все это затрудняет построение качественных моделей. Может быть, кто-то научился предсказывать отток хорошо, но я склонен считать неудачными и свои попытки, и попытки более опытных в ml коллег. А для uplift-моделирования желательно собрать две хорошие прогностические модели.
Есть еще и содержательная сложность — на мой взгляд, пытаться делать программы удержания отваливающихся лояльных пользователей практически бесполезно. Если пользователь долго играет и еще не платил, то горы харды его не спровоцируют на платеж. А если платящий пользователь решил уйти — причина его ухода лежит в игре и механические решения по удержанию будут по большей части паллиативными. И выгода от программ удержания в целом может быть ниже инфраструктурных издержек на создание ml-модели и ее поддержку.
Поэтому мне более интересным представляется исследование причин оттока — что изменилось, что говорят и думают киты об игре и недавних изменениях, как меняется поведение лояльной аудитории (а суперкиты в норме могут заходить каждый день) и т. д. Притом такое исследование может включать и построение прогностических моделей, но в них акцент надо делать больше на коэффициентах и предикторах, чем на качестве.
Вообще, предсказание оттока в геймдеве достаточно специфичная задача. Почему-то больше всего говорят о ней wannabe-аналитики и соискатели на собесах, когда рассказывают, какой бы ml они хотели делать. Лично в моей практике полезнее даже не исследования оттока, а более точечный анализ отвалов (на каком уровне/локации/лиге) на старте игры.
Прогнозирование оттока лояльной аудитории натыкается на сразу несколько критически важных моментов. Во-первых, в какой момент мы начинаем считать пользователя ушедшим. Во-вторых, обычно пользователь сам не знает, что он уже начал отваливаться и спрашивать его об этом бесполезно. В-третьих, нам в первую очередь важно поведение лояльной платящей аудитории, а ее не так чтобы много на самом деле. Все это затрудняет построение качественных моделей. Может быть, кто-то научился предсказывать отток хорошо, но я склонен считать неудачными и свои попытки, и попытки более опытных в ml коллег. А для uplift-моделирования желательно собрать две хорошие прогностические модели.
Есть еще и содержательная сложность — на мой взгляд, пытаться делать программы удержания отваливающихся лояльных пользователей практически бесполезно. Если пользователь долго играет и еще не платил, то горы харды его не спровоцируют на платеж. А если платящий пользователь решил уйти — причина его ухода лежит в игре и механические решения по удержанию будут по большей части паллиативными. И выгода от программ удержания в целом может быть ниже инфраструктурных издержек на создание ml-модели и ее поддержку.
Поэтому мне более интересным представляется исследование причин оттока — что изменилось, что говорят и думают киты об игре и недавних изменениях, как меняется поведение лояльной аудитории (а суперкиты в норме могут заходить каждый день) и т. д. Притом такое исследование может включать и построение прогностических моделей, но в них акцент надо делать больше на коэффициентах и предикторах, чем на качестве.
🔥11