Закончил большой и муторный отчет. Дался очень тяжело. И даже не из-за конца года и наложившихся релизов. Зато чуть точнее и четче сформулировал для себя стратегию исследования продуктовых изменений, в которых мы как-то радикально влияем на поведение пользователей.
Например, мы хотим пошатать экономику и поэтому меняем важный параметр в мете (размер награды, таймеры, количество очков рейтинга, ТТК, скидки в офферах, что угодно). В идеале, если мы еще на этапе продумывания интервенции соберем курултай с ГД (или великий курултай с привлечением продюсера, пм и топов). И проговорим-пропишем, как поменяется поведение и промежуточные метрики пользователей, какие будут эффекты второго и третьего порядков.
Подобная интервенция похожа на бросок камня в воду -- действие одно, а волны идут во все стороны, затрагивают важные и не всегда очевидные процессы. Так, если мы увеличиваем размер награды, то одним из эффектов будет рост прокачки оружия и/или уменьшение покупок паков с хардой. Эффекты второго порядка -- изменение боевых статистик типа винрейта или kd. Третьего -- пользователи быстрее летят по уровню и быстрее оказываются в котле с более злыми противниками, где могут как отвалиться, так и заплатить. И так далее, но это все уже весьма измеримые вещи. А имея такую модель и набор ожидаемых эффектов, проще проверять, сработала ли наша интервенция и как.
Конечно, мастерство аналитика в том числе и заключается в способности генерировать и проверять гипотезы, что могло измениться, придумывать информативные прокси-метрики. Но лично мне тут все же не хватает какой-то формальности и эксплицитности, наличия проговоренной минимальной измеримой модели на старте. С ней и интервенция оказывается более осознанной и продуманной, и оценивать ее проще, и результаты всей команде понятнее.
Разумеется, конечной целью любых изменений является изменение бизнес-метрик проекта и это важная часть отчета, про которую не стоит забывать. В конце концов, отчет можно построить и в обратном порядке -- как изменились метрики и за счет кого и чего, подобное исследование тоже предполагает понимание логики интервенции. Это вполне валидный подход, просто, видимо, мне он не всегда подходит.
Например, мы хотим пошатать экономику и поэтому меняем важный параметр в мете (размер награды, таймеры, количество очков рейтинга, ТТК, скидки в офферах, что угодно). В идеале, если мы еще на этапе продумывания интервенции соберем курултай с ГД (или великий курултай с привлечением продюсера, пм и топов). И проговорим-пропишем, как поменяется поведение и промежуточные метрики пользователей, какие будут эффекты второго и третьего порядков.
Подобная интервенция похожа на бросок камня в воду -- действие одно, а волны идут во все стороны, затрагивают важные и не всегда очевидные процессы. Так, если мы увеличиваем размер награды, то одним из эффектов будет рост прокачки оружия и/или уменьшение покупок паков с хардой. Эффекты второго порядка -- изменение боевых статистик типа винрейта или kd. Третьего -- пользователи быстрее летят по уровню и быстрее оказываются в котле с более злыми противниками, где могут как отвалиться, так и заплатить. И так далее, но это все уже весьма измеримые вещи. А имея такую модель и набор ожидаемых эффектов, проще проверять, сработала ли наша интервенция и как.
Конечно, мастерство аналитика в том числе и заключается в способности генерировать и проверять гипотезы, что могло измениться, придумывать информативные прокси-метрики. Но лично мне тут все же не хватает какой-то формальности и эксплицитности, наличия проговоренной минимальной измеримой модели на старте. С ней и интервенция оказывается более осознанной и продуманной, и оценивать ее проще, и результаты всей команде понятнее.
Разумеется, конечной целью любых изменений является изменение бизнес-метрик проекта и это важная часть отчета, про которую не стоит забывать. В конце концов, отчет можно построить и в обратном порядке -- как изменились метрики и за счет кого и чего, подобное исследование тоже предполагает понимание логики интервенции. Это вполне валидный подход, просто, видимо, мне он не всегда подходит.
🔥5❤1
Помнится, первые эксперименты с "чистой группой", как я тогда это называл, мы начали делать в GI. Там на одном из новых проектов предлагались с самого старта чудовищные скидки в 70-90% и мне очень хотелось это дело несколько нормализовать. Сделали три группы: контроль, группу с порезанными скидками и "чистую" группу. Результат был в какой-то мере ожидаем -- уменьшение скидок привело к существенному снижению выручки, притом больше допустимого. Хотя пару полезных идей мы все же вытащили из этого, помимо просто результатов теста. Во-первых, когда пользователи на самом старте покупают что-то только по очень высоким скидкам, у проекта проблемы с формированием ценности контента/метагейма для пользователя. А во-вторых, оценили, насколько вообще система офферов работает, чистая группа как раз выступила бейслайном.
Так вот. Сейчас global control / holdout experiments вполне распространенная практика. Мне в посте, который напомнил про такой подход, понравилась идея квартальных блоков. Мы-то делали все на когортах новых пользователей и смотрели в лайфтайме, а это очень неудобный путь, особенно для старых проектов. Правда, помимо дизайна, остается самое сложное -- смириться с потерей какого-то количества денег от группы, которая в нормальных условиях видела бы офферы и нормально платила. Но это вечная история, надо просто четко формулировать цели и ожидания от таких экспериментов.
Так вот. Сейчас global control / holdout experiments вполне распространенная практика. Мне в посте, который напомнил про такой подход, понравилась идея квартальных блоков. Мы-то делали все на когортах новых пользователей и смотрели в лайфтайме, а это очень неудобный путь, особенно для старых проектов. Правда, помимо дизайна, остается самое сложное -- смириться с потерей какого-то количества денег от группы, которая в нормальных условиях видела бы офферы и нормально платила. Но это вечная история, надо просто четко формулировать цели и ожидания от таких экспериментов.
🔥1
Мда, ничего другого тут и не скажешь, кроме "ля ты крыыыса" (c).
Хотя истории последних лет, типа ухода Макса, намекают, что конец был немного предсказуем.
Если предаваться ностальгическим воспоминаниям, то в GI было весьма специфично с данными и культурой аналитики. Когда я пришел молодым-зеленым туда в 2015 году, данные были в виде полутора десятков реплик баз, без документации и внятного описания, что и где лежит. И задачи тогда были преимущественно маркетинговые. Потом был золотой период, когда мы строили централизованную систему сбора и хранения, подключали к ней студии, работали внутренним агентством, старались развивать продуктовую аналитику, регулярно ругались с d2d и так далее. Потом вся наша команда практически единомоментно ушла, бардак с данными нарастал, а пришедшие после нас больше работали с проектами, чем с инфраструктурно-организационным уровнем.
В GI, как говорил один из наших ведущих трафогонов, год за три идет. Я проработал там чуть больше трех лет, это было интересное время и в личном, и в профессиональном плане. Не люблю, когда уходят мамонты.
https://twitter.com/roadtoray/status/1613614353139535873
Вот тут оргинал поста
Хотя истории последних лет, типа ухода Макса, намекают, что конец был немного предсказуем.
Если предаваться ностальгическим воспоминаниям, то в GI было весьма специфично с данными и культурой аналитики. Когда я пришел молодым-зеленым туда в 2015 году, данные были в виде полутора десятков реплик баз, без документации и внятного описания, что и где лежит. И задачи тогда были преимущественно маркетинговые. Потом был золотой период, когда мы строили централизованную систему сбора и хранения, подключали к ней студии, работали внутренним агентством, старались развивать продуктовую аналитику, регулярно ругались с d2d и так далее. Потом вся наша команда практически единомоментно ушла, бардак с данными нарастал, а пришедшие после нас больше работали с проектами, чем с инфраструктурно-организационным уровнем.
В GI, как говорил один из наших ведущих трафогонов, год за три идет. Я проработал там чуть больше трех лет, это было интересное время и в личном, и в профессиональном плане. Не люблю, когда уходят мамонты.
https://twitter.com/roadtoray/status/1613614353139535873
Вот тут оргинал поста
X (formerly Twitter)
Vlad (@roadtoray) on X
Помните тему с уходом Game Insight из РФ? Сейчас вдохните поглубже и приготовьтесь читать многабукаф (и кричать), потому что это того стоит
На выходных закончил Freemium Economics: Leveraging Analytics and User Segmentation to Drive Revenue. Отличная книга, несмотря на то, что вышла аж в 2014 году. В ней даже есть упоминания Zynga и Candy Crush Saga, хоть и на web-платформах.
В содержании традиционная солянка: и описание бизнес-модели, и обзор основных стат.методов, и разговор про метрики, монетизацию и виральность. Автор (Eric Seufert) постарался раскрыть разные стороны фримиумной бизнес-модели, от просто экономической модели до продуктовых задач и особенностей развития и монетизации фримиумного продукта. В результате книга получилась, на мой взгляд, больше про продакт менеджмент, чем про продуктовую аналитику, и это вносит свои акценты.
По содержанию хорошая глава про метрики, весьма неплоха глава про LTV. Наши любимые и привычные DAU, ARPU, конверсии, когортные метрики и тому подобное. Как будто конспект собственного курса прочитал, право слово, те же самые темы и тезисы. Есть даже указание на то, что LTV можно считать очень по-разному и что измерение оттока дела неблагодарное из-за необходимости выбирать пороги, про что вообще не особо часто упоминается.
Но в самое кокоро меня поразили, конечно же, прагматизм и разумность, в которых прослеживается богатый опыт. Пара цитат:
"Building a freemium product is like hunting in a large river for a very rare fish". В контексте речь идет о маленькой доле платящих, но и к успешности фримиум-продукта эту фразу тоже можно отнести. Если учесть, что я уже себе "звездочки на фюзеляже" могу рисовать по количеству закрытых при мне проектов, очень отзывается. К слову, чуть позже идет реплика, что "Analytics is the heart, the foundation, of the freemium model", потому что именно аналитика помогает тонко работать с вовлеченными пользователями и растить продукт.
"The analyst should also conduct a “smell test” on the results, or a subjective evaluation of the feasibility of the results in the context of historical patterns". Всякие курсы по продуктовой аналитике старательно учат коду и метрикам, но не менее важно понимать свой продукт, формировать чутье на лажу.
Еще один тезис касается LTV, но это уже тема отдельного поста.
В общем, мне понравилось.
#books
В содержании традиционная солянка: и описание бизнес-модели, и обзор основных стат.методов, и разговор про метрики, монетизацию и виральность. Автор (Eric Seufert) постарался раскрыть разные стороны фримиумной бизнес-модели, от просто экономической модели до продуктовых задач и особенностей развития и монетизации фримиумного продукта. В результате книга получилась, на мой взгляд, больше про продакт менеджмент, чем про продуктовую аналитику, и это вносит свои акценты.
По содержанию хорошая глава про метрики, весьма неплоха глава про LTV. Наши любимые и привычные DAU, ARPU, конверсии, когортные метрики и тому подобное. Как будто конспект собственного курса прочитал, право слово, те же самые темы и тезисы. Есть даже указание на то, что LTV можно считать очень по-разному и что измерение оттока дела неблагодарное из-за необходимости выбирать пороги, про что вообще не особо часто упоминается.
Но в самое кокоро меня поразили, конечно же, прагматизм и разумность, в которых прослеживается богатый опыт. Пара цитат:
"Building a freemium product is like hunting in a large river for a very rare fish". В контексте речь идет о маленькой доле платящих, но и к успешности фримиум-продукта эту фразу тоже можно отнести. Если учесть, что я уже себе "звездочки на фюзеляже" могу рисовать по количеству закрытых при мне проектов, очень отзывается. К слову, чуть позже идет реплика, что "Analytics is the heart, the foundation, of the freemium model", потому что именно аналитика помогает тонко работать с вовлеченными пользователями и растить продукт.
"The analyst should also conduct a “smell test” on the results, or a subjective evaluation of the feasibility of the results in the context of historical patterns". Всякие курсы по продуктовой аналитике старательно учат коду и метрикам, но не менее важно понимать свой продукт, формировать чутье на лажу.
Еще один тезис касается LTV, но это уже тема отдельного поста.
В общем, мне понравилось.
#books
👍9
В продолжение интересных фраз из Freemium Economics. В главе про LTV наткнулся на такую формулировку: "LTV is primarily a decision-making tool".
Самое очевидное использование LTV, конечно, лежит в области маркетинговой аналитики, в задачах оценки эффективность рекламных кампаний. Тут ничего нового и неожиданного, разве что в подходах к предсказанию значений дальних дней или техническим особенностям определения инсталлов. Перформанс маркетинг как он есть, со всеми ужасами и кошмарами в своих темных водах. Собственно, в книге принятие решений с помощью LTV имеется в виду именно в маркетинговом смысле.
А вот с продуктовой точки зрения ситуация интереснее. В первую очередь это касается молодых проектов, которые только нащупывают свою модель меты и монетизации. Потому что для проектов в оперировании аб-тесты, тонкие сегментации пользователей и их поведение в динамике оказываются информативнее, чем LTV. Исследования на прототипах -- это всегда поиск, что сломалось (и это вполне прозачные задачи) и оценка, удалось ли нам сформировать у пользователей нужное нам поведение. Грубо говоря, работает ли наша мета так, как мы ожидаем.
И тут оценка LTV оказывается очень полезна. Точнее, не LTV как какая-то единая характеристика когорты, а кривая LTV / кумулятивного ARPU, отображение в динамике платежного поведения пользователей по ходу их продвижения в игре. Форма кривой дает нам сразу множество точек для исследований и интепретации. Например, если кривая ложится на плато на второй-третий день, то это может быть следствием багов в системе офферов. Чаще -- маркером, что у пользователей нет потребности играть в мету и делать повторные платежи, мета недостаточно формирует эту потребность. По переломам кривой мы можем оценивать, как работают наши пейволлы. Да даже когда мы пытаемся по первым дням прогнозировать дальние значения -- косвенно это демонстрирует нашу веру, что геймдизайнеры и ребята из монетизации будут также хороши в проектировании поздних этапов игры, как и в начале.
Во всех этих кейсах точные значения LTV не нужны или вторичны, в отличие от перформанс-маркетинга. Кривая LTV показывает нам, как работает наша мета на разных этапах. И уже на основе этого мы принимаем решения, как и где шатать экономику, как приоритизировать фичи и делать ребалансы. И именно поэтому я так зацепился за "decision-making tool".
Меж тем я вполне допускаю, что могут быть другие информативные инструменты, которые позволяют оценивать метагейм и модель монетизации. Просто я их на данный момент не знаю и был бы очень не против узнать.
#metrics
Самое очевидное использование LTV, конечно, лежит в области маркетинговой аналитики, в задачах оценки эффективность рекламных кампаний. Тут ничего нового и неожиданного, разве что в подходах к предсказанию значений дальних дней или техническим особенностям определения инсталлов. Перформанс маркетинг как он есть, со всеми ужасами и кошмарами в своих темных водах. Собственно, в книге принятие решений с помощью LTV имеется в виду именно в маркетинговом смысле.
А вот с продуктовой точки зрения ситуация интереснее. В первую очередь это касается молодых проектов, которые только нащупывают свою модель меты и монетизации. Потому что для проектов в оперировании аб-тесты, тонкие сегментации пользователей и их поведение в динамике оказываются информативнее, чем LTV. Исследования на прототипах -- это всегда поиск, что сломалось (и это вполне прозачные задачи) и оценка, удалось ли нам сформировать у пользователей нужное нам поведение. Грубо говоря, работает ли наша мета так, как мы ожидаем.
И тут оценка LTV оказывается очень полезна. Точнее, не LTV как какая-то единая характеристика когорты, а кривая LTV / кумулятивного ARPU, отображение в динамике платежного поведения пользователей по ходу их продвижения в игре. Форма кривой дает нам сразу множество точек для исследований и интепретации. Например, если кривая ложится на плато на второй-третий день, то это может быть следствием багов в системе офферов. Чаще -- маркером, что у пользователей нет потребности играть в мету и делать повторные платежи, мета недостаточно формирует эту потребность. По переломам кривой мы можем оценивать, как работают наши пейволлы. Да даже когда мы пытаемся по первым дням прогнозировать дальние значения -- косвенно это демонстрирует нашу веру, что геймдизайнеры и ребята из монетизации будут также хороши в проектировании поздних этапов игры, как и в начале.
Во всех этих кейсах точные значения LTV не нужны или вторичны, в отличие от перформанс-маркетинга. Кривая LTV показывает нам, как работает наша мета на разных этапах. И уже на основе этого мы принимаем решения, как и где шатать экономику, как приоритизировать фичи и делать ребалансы. И именно поэтому я так зацепился за "decision-making tool".
Меж тем я вполне допускаю, что могут быть другие информативные инструменты, которые позволяют оценивать метагейм и модель монетизации. Просто я их на данный момент не знаю и был бы очень не против узнать.
#metrics
👍8
На app2top вышла статья "Как работает R&D-департамент Belka Games. Процессы и лайфхаки". Так как я много работаю с прототипами, был весьма заинтригован. И потом разочарован. Вот удивительно, как можно, сказав много слов, умолчать про главное. Конечно, процессы всегда полезно и важно. Но процессы отдела в немалой части зависят от весьма локальных штук — как в целом работает компания, что за люди в отделе, что ранее получалось, а что нет, и так далее. При этом некоторые из упомянутых принципов, типа followup-ов, детального прописывания роадмапов или 1-1 с сотрудниками, и вовсе кажутся очевидными.
А вот самое интересное -- как происходит поиск идей, какого вида формулируются гипотезы, какими инструментами пользуются... всего этого в тексте нет. Впрочем, фраза в заключении "В R&D-департаменте Belka Games мы считаем, что главная ответственность за результат ложится на плечи PM-а" как раз хорошо все подытоживает. Для меня же остается вопрос, чем тогда отдел R&D отличается от просто опытной команды разработки, если вообще различается.
А вот самое интересное -- как происходит поиск идей, какого вида формулируются гипотезы, какими инструментами пользуются... всего этого в тексте нет. Впрочем, фраза в заключении "В R&D-департаменте Belka Games мы считаем, что главная ответственность за результат ложится на плечи PM-а" как раз хорошо все подытоживает. Для меня же остается вопрос, чем тогда отдел R&D отличается от просто опытной команды разработки, если вообще различается.
🔥5
Редкое событие на нашем рынке игровой аналитики — открытая позиция на джуна. Saber, конечно, любопытная с этой точки зрения контора. Насколько я знаю, они не только заниматся аутсорсом, но у них есть и свои мобильные игры.
Требования не совсем джуновские, конечно. С другой стороны, и требования знать особенности игровой аналитики тоже нет, чего обычно уже ждешь от миддлов и выше.
Требования не совсем джуновские, конечно. С другой стороны, и требования знать особенности игровой аналитики тоже нет, чего обычно уже ждешь от миддлов и выше.
Наконец-то добрался до статьи Илкки Паананена (гендир Supercell) о состоянии студии. Пересказ здесь, оригинал здесь.
Мне больше всего была интересна стратегическая часть — что и как делать дальше. Из наиболее важного — Supercell стремится к тому, чтобы делать хиты с большим вкладом в культуру, культурные феномены. Желание понятное, закономерное и амбициозное, конечно. При этом вполне подкрепленное, на мой взгляд, прагматическими соображениями: при разработке игр-середнячков соотношение прибыли и затрат на разработку может не удовлетворять бизнес-целям, да и сама разработка таких игр будет оттягивать ресурсы и тем самым уменьшать шанс создания хита. Однако разрабатывать хиты они собираются полагаясь на чутье команд разработки. И вот этот момент меня смущает, я немножко скептично отношусь к визионерским стратегиям. Особенно зная, сколько на самом деле маеты с метой и экономикой. При этом работа с данными не отвергается, но веры в то, что "following the data will lead to outlier successes" мало. И вот это уже интересно. Видимо, до недавного времени соблюдавшийся принцип "нанимаем людей с 10+ лет опыта в индустрии" дает какие-то дополнительные эффекты.
Второй момент, на который я обратил внимание — есть стремление создавать инновационные продукты, а не просто улучшать успешные игры других компаний. Это ведь уже даже не growth hacking. И требует, ко всему прочему, отработанных и эффективных практик креативного мышления. Я какое-то время назад думал над этим, но ни до чего серьезного кроме брейнштормов с гд по типу "скрести ужа с ежом и придумай к этому монетизацию" не дошел, потому что во всем своем далеком академическом прошлом темы креативности и мышления я обходил по очень большой дуге.
Вообще, по словам Паананена, Supercell создали пять хитов и закрыли около 30 игр. Я почему-то думал, что закрытых проектов будет больше. И теперь я в задумчивости, как же у них на самом деле построен процесс поиска концептов, экспериментирования и тестирования прототипов.
Мне больше всего была интересна стратегическая часть — что и как делать дальше. Из наиболее важного — Supercell стремится к тому, чтобы делать хиты с большим вкладом в культуру, культурные феномены. Желание понятное, закономерное и амбициозное, конечно. При этом вполне подкрепленное, на мой взгляд, прагматическими соображениями: при разработке игр-середнячков соотношение прибыли и затрат на разработку может не удовлетворять бизнес-целям, да и сама разработка таких игр будет оттягивать ресурсы и тем самым уменьшать шанс создания хита. Однако разрабатывать хиты они собираются полагаясь на чутье команд разработки. И вот этот момент меня смущает, я немножко скептично отношусь к визионерским стратегиям. Особенно зная, сколько на самом деле маеты с метой и экономикой. При этом работа с данными не отвергается, но веры в то, что "following the data will lead to outlier successes" мало. И вот это уже интересно. Видимо, до недавного времени соблюдавшийся принцип "нанимаем людей с 10+ лет опыта в индустрии" дает какие-то дополнительные эффекты.
Второй момент, на который я обратил внимание — есть стремление создавать инновационные продукты, а не просто улучшать успешные игры других компаний. Это ведь уже даже не growth hacking. И требует, ко всему прочему, отработанных и эффективных практик креативного мышления. Я какое-то время назад думал над этим, но ни до чего серьезного кроме брейнштормов с гд по типу "скрести ужа с ежом и придумай к этому монетизацию" не дошел, потому что во всем своем далеком академическом прошлом темы креативности и мышления я обходил по очень большой дуге.
Вообще, по словам Паананена, Supercell создали пять хитов и закрыли около 30 игр. Я почему-то думал, что закрытых проектов будет больше. И теперь я в задумчивости, как же у них на самом деле построен процесс поиска концептов, экспериментирования и тестирования прототипов.
🔥3
В очередном раунде скрининга новых игр мне достался Happy Hospital от гонконгских DragonPlus Game. Ничто не предвещало беды. Но это оказался тайм-менеджер (@yanapriestley, ты вроде любишь такое).
Поток пациентов, лимит на койки, врачей разных специальностей, несколько этапов лечения, одна медсестра, которая разносит лекарства, звезды на облагораживание госпиталя в Playrix-style...Тайм-менеджер. В целом сделано добротно, аж зависть берет. Мета развесистая, игра затягивает, сложность растет волнами и постепенно увеличивается. Как будто игра не осенью прошлого года вышла.
Никогда не понимал тайм-менеджеры. В Grand Hotel Mania меня хватило минут на десять. Надеюсь, ребята из Appmagic когда-нибудь сделают обзор и на этот жанр. Мы, конечно, посмотрим сами некоторые рыночные метрики, но это не совсем то.
Естественно, профдеформация тоже проявилась. Стал попутно думать, что и как я бы логировал. Какие были бы ключевые продуктовые метрики. Голова заболела, серьезно. После шутеров это какой-то совсем другой мир, кажется. Фермы и мерджи и то проще.
Поток пациентов, лимит на койки, врачей разных специальностей, несколько этапов лечения, одна медсестра, которая разносит лекарства, звезды на облагораживание госпиталя в Playrix-style...Тайм-менеджер. В целом сделано добротно, аж зависть берет. Мета развесистая, игра затягивает, сложность растет волнами и постепенно увеличивается. Как будто игра не осенью прошлого года вышла.
Никогда не понимал тайм-менеджеры. В Grand Hotel Mania меня хватило минут на десять. Надеюсь, ребята из Appmagic когда-нибудь сделают обзор и на этот жанр. Мы, конечно, посмотрим сами некоторые рыночные метрики, но это не совсем то.
Естественно, профдеформация тоже проявилась. Стал попутно думать, что и как я бы логировал. Какие были бы ключевые продуктовые метрики. Голова заболела, серьезно. После шутеров это какой-то совсем другой мир, кажется. Фермы и мерджи и то проще.
👍3❤1
Сегодня был деактивирован слак ODS. Кончилась эпоха в жизни русскоязычного сообщества датасаентистов. И, в какой-то мере, страница моей личной истории.
Я был в ODS с самых первых месяцев и вплоть до сегодняшнего дня числился админом. На самом деле у меня были скорее модераторско-технические функции — разбирал заявки, немножко волонтерил на датафестах, тормозил и чистил срачи, отвечал на жалобы и так далее. Естественно, было очень много личных контактов и общения, это был круг если не друзей, то очень хороших знакомых.
В жизни сообщества я активно участвовал примерно до 2018-2019 годов, потом стал все больше и больше отходить и в последнее время эпизодически присматривал за вымершим каналом #lang_r и чуть более активным #analytics.
Одна из причин моего ухода была в том, что я чем дальше, тем больше осознавал, что я не датасатанист. Помню, на какой-то из встреч, когда меня спросили, чем я занимаюсь, я ответил что-то вроде “анализирую по логам поведение пользователей”. Я тогда еще работал в Консультант+ и слов “продуктовая аналитика”, кажется, никто не знал, уж я точно.
Сейчас продуктовой аналитикой никого не удивишь, связность сообщества нарушена, но не потеряна. А я все больше в своей работе делаю акцент на поведении пользователей, чем на анализе.
Я был в ODS с самых первых месяцев и вплоть до сегодняшнего дня числился админом. На самом деле у меня были скорее модераторско-технические функции — разбирал заявки, немножко волонтерил на датафестах, тормозил и чистил срачи, отвечал на жалобы и так далее. Естественно, было очень много личных контактов и общения, это был круг если не друзей, то очень хороших знакомых.
В жизни сообщества я активно участвовал примерно до 2018-2019 годов, потом стал все больше и больше отходить и в последнее время эпизодически присматривал за вымершим каналом #lang_r и чуть более активным #analytics.
Одна из причин моего ухода была в том, что я чем дальше, тем больше осознавал, что я не датасатанист. Помню, на какой-то из встреч, когда меня спросили, чем я занимаюсь, я ответил что-то вроде “анализирую по логам поведение пользователей”. Я тогда еще работал в Консультант+ и слов “продуктовая аналитика”, кажется, никто не знал, уж я точно.
Сейчас продуктовой аналитикой никого не удивишь, связность сообщества нарушена, но не потеряна. А я все больше в своей работе делаю акцент на поведении пользователей, чем на анализе.
😢7❤6
В чате игровых аналитиков сегодня весь день обсуждаем нейронки для выдачи офферов (и в целом системы рекомендаций). Одна мысль мне показалась весьма интересной, процитирую здесь:
Одно из неожиданных для меня открытий, которое мы сделали при внедрении системы офферов - пользователю нельзя всегда показывать хорошие предложения. Наоборот, надо показывать обычно плохие, чтобы, увидев хороший, он его купил. И поэтому мы специально модифицировали систему, чтобы она показывала разные предложения. И в этом смысле простой рандом вообще то очень неплохо работает.
В монетизации, построенной на офферах, мы по умолчанию предполагаем, что цены за инапы в магазине (банке) — это своего рода бейслайн, относительно которого пользователи и определяют выгоду оффера. Однако меня всегда смущала мысль, что пользователи могут вообще не заходить в банк и закупаться сугубо по офферам, в результате у них нет сравнения. И в таком смысле неинтересные / невыгодные офферы как раз могут задавать более наглядный бейслайн. А попутно — показывать вариативность предложений, заставлять пользователей сравнивать и, в результате, формировать осознание ценности оффера.
Единственный минус всей идеи — пользователи не резиновые и количество офферов, которое им можно показать в единицу времени, ограничено. А план по выручке никто не отменяет. Но это все можно проверять аб-тестами, как и эффективность полностью случайного набора офферов.
Одно из неожиданных для меня открытий, которое мы сделали при внедрении системы офферов - пользователю нельзя всегда показывать хорошие предложения. Наоборот, надо показывать обычно плохие, чтобы, увидев хороший, он его купил. И поэтому мы специально модифицировали систему, чтобы она показывала разные предложения. И в этом смысле простой рандом вообще то очень неплохо работает.
В монетизации, построенной на офферах, мы по умолчанию предполагаем, что цены за инапы в магазине (банке) — это своего рода бейслайн, относительно которого пользователи и определяют выгоду оффера. Однако меня всегда смущала мысль, что пользователи могут вообще не заходить в банк и закупаться сугубо по офферам, в результате у них нет сравнения. И в таком смысле неинтересные / невыгодные офферы как раз могут задавать более наглядный бейслайн. А попутно — показывать вариативность предложений, заставлять пользователей сравнивать и, в результате, формировать осознание ценности оффера.
Единственный минус всей идеи — пользователи не резиновые и количество офферов, которое им можно показать в единицу времени, ограничено. А план по выручке никто не отменяет. Но это все можно проверять аб-тестами, как и эффективность полностью случайного набора офферов.
🔥13
Читаю отчет SensorTower (пересказ и файл отчета здесь и здесь). Достаточно много любопытного, например “Hybridcasual Is the New Casual” и My little Universe, в которую я залипал одно время. Меня заинтересовало другое наблюдение:
Players of mobile games featuring both Character Collection and Social Clans metas tend to spend more time in the game.
Притом страницей раньше показано, что топ игр по гроссу (все — мидкор) как раз имеют коллекционирование и/или кланы. А некоторые, типа Genshin Impact — сильную нарративную часть.
Попутно вспомнил, что пользователи в одном из наших опросов говорили, что лидерборды им не очень интересны. А также постоянное нытье пользователей “когда будут друзья/кланы в игре”, которое обычно игнорируется. И успех Among Us.
Все это приводит меня к осторожным мыслям, что социальные и кооперативные фичи становятся все более и более значимыми, вместо нагибания и соревновательности. Или соревнование переходит в том числе в коллекции. Что приводит уже к совсем крамоле вида “продавать power в мидкоре через некоторое время может быть уже не очень эффективно.”
Players of mobile games featuring both Character Collection and Social Clans metas tend to spend more time in the game.
Притом страницей раньше показано, что топ игр по гроссу (все — мидкор) как раз имеют коллекционирование и/или кланы. А некоторые, типа Genshin Impact — сильную нарративную часть.
Попутно вспомнил, что пользователи в одном из наших опросов говорили, что лидерборды им не очень интересны. А также постоянное нытье пользователей “когда будут друзья/кланы в игре”, которое обычно игнорируется. И успех Among Us.
Все это приводит меня к осторожным мыслям, что социальные и кооперативные фичи становятся все более и более значимыми, вместо нагибания и соревновательности. Или соревнование переходит в том числе в коллекции. Что приводит уже к совсем крамоле вида “продавать power в мидкоре через некоторое время может быть уже не очень эффективно.”
❤9
На выходных перечитал “Игру в цифры”. Впечатления, признаться, очень смешанные. С одной стороны, текст достаточно легкий, есть разные интересные наблюдения из отчетов или практики. С другой — на мой вкус, не очень выдержанный текст, сборная солянка всего “на тему”, по верхам, от отчетов десятилетней давности до демонстрации расчета метрик в экселе или описания, в каком порядке по стоимости могут быть инапы в банке.
Впрочем, почитать что-то от человека из индустрии всегда интересно. А то, как я регулярно говорю, аналитики в массе своей тихушники и нигде не светятся. Однако Василий Сабиров в введении пишет, что его главной задачей было “рассказать доступно и просто о том, как работает и для чего нужна игровая аналитика”. И, на мой взгляд, именно этой цели удалось достигнуть лишь частично.
Лично мне очень не хватило описания, как принимаются продуктовые решения, как в них участвует аналитика. В конце концов, посчитать метрики — не самая сложная часть анализа. Когда читал, в голове крутилась фраза-мем родом из GI, за авторством лида одной из студий — “надо просто увеличить ARPU”. То есть, недостаточно сказать, что какая-то метрика низкая/высокая. Надо понять, какие есть рычаги по ее изменению. И это, на мой взгляд, одна из самых сложных частей продуктовой аналитики.
Также мне не хватило некоторой продуктовой/поведенческой интерпретации метрик. Например, что рет1 мы обычно интерпретируем как заинтересованность в геймплее, а поздние дни — заинтересованность в мете. Что софт-валюта служит измерением опыта пользователя в игре, а хард-валюта — прокси к времени пользователя, которое он готов тратить. И так далее. Понимание и проговаривание подобных вещей, на мой взгляд, делает исследования более глубокими и осмысленными и как раз дает направление для изменений.
#books
Впрочем, почитать что-то от человека из индустрии всегда интересно. А то, как я регулярно говорю, аналитики в массе своей тихушники и нигде не светятся. Однако Василий Сабиров в введении пишет, что его главной задачей было “рассказать доступно и просто о том, как работает и для чего нужна игровая аналитика”. И, на мой взгляд, именно этой цели удалось достигнуть лишь частично.
Лично мне очень не хватило описания, как принимаются продуктовые решения, как в них участвует аналитика. В конце концов, посчитать метрики — не самая сложная часть анализа. Когда читал, в голове крутилась фраза-мем родом из GI, за авторством лида одной из студий — “надо просто увеличить ARPU”. То есть, недостаточно сказать, что какая-то метрика низкая/высокая. Надо понять, какие есть рычаги по ее изменению. И это, на мой взгляд, одна из самых сложных частей продуктовой аналитики.
Также мне не хватило некоторой продуктовой/поведенческой интерпретации метрик. Например, что рет1 мы обычно интерпретируем как заинтересованность в геймплее, а поздние дни — заинтересованность в мете. Что софт-валюта служит измерением опыта пользователя в игре, а хард-валюта — прокси к времени пользователя, которое он готов тратить. И так далее. Понимание и проговаривание подобных вещей, на мой взгляд, делает исследования более глубокими и осмысленными и как раз дает направление для изменений.
#books
❤9👍5
30 мая будет конференция Aha’23. Ее делает Алексей Никушин и его команда МатеМаркетинга. Программа неполная, но общее представление дает.
Из того, что я вижу — конференция получилась преимущественно про A/B-тесты, притом большинство докладчиков из Avito и Яндекса. На мой взгляд в геймдеве большая часть их опыта либо нерелевантна, либо не очень применима, однако послушать все же стоит. В первую очередь про проблемы и процессы.
Есть еще несколько докладов про ценообразование и оптимизацию скидок, и вот для меня они сейчас интереснее всего. Я чем дальше, тем больше думаю про ценообразование в условиях, когда реальную стоимость пользователь оценить не может, хочется немного поэкспериментировать. Офферы, куда ж без них.
Из того, что я вижу — конференция получилась преимущественно про A/B-тесты, притом большинство докладчиков из Avito и Яндекса. На мой взгляд в геймдеве большая часть их опыта либо нерелевантна, либо не очень применима, однако послушать все же стоит. В первую очередь про проблемы и процессы.
Есть еще несколько докладов про ценообразование и оптимизацию скидок, и вот для меня они сейчас интереснее всего. Я чем дальше, тем больше думаю про ценообразование в условиях, когда реальную стоимость пользователь оценить не может, хочется немного поэкспериментировать. Офферы, куда ж без них.
Вчера забрел на локальный геймдев-митап, поговорил про продуктовое мышление. Получилось вполне мило. А в кулуарном обсуждении услышал про себя “сразу видно опытного барыгу дофамином”.
Вообще, рад, что выбрался — чуток социализировался да вспомнил, как говорить на незнакомую аудиторию. Попутно сам для себя сформулировал ряд теоретических идей-тезисов про аналитику. Почему-то мне всегда лучше думается, когда надо кому-то что-то рассказать.
На самом деле мой доклад мне не особо нравится, он не согласован по блокам, а ключевые мысли слабо раскрыты. Да и в целом много личной картины мира, а аналитики в геймдеве обычно более приземленные ребята.
Записи митапа не было, но если кому интересно — вот тут текст моего выступления.
Вообще, рад, что выбрался — чуток социализировался да вспомнил, как говорить на незнакомую аудиторию. Попутно сам для себя сформулировал ряд теоретических идей-тезисов про аналитику. Почему-то мне всегда лучше думается, когда надо кому-то что-то рассказать.
На самом деле мой доклад мне не особо нравится, он не согласован по блокам, а ключевые мысли слабо раскрыты. Да и в целом много личной картины мира, а аналитики в геймдеве обычно более приземленные ребята.
Записи митапа не было, но если кому интересно — вот тут текст моего выступления.
🔥14❤3👍1
В последние дни на канал пришло достаточно много людей из сферы UX/СХ и продуктовых исследований. Потому, кажется, стоит хотя бы верхнеуровнево рассказать, что такое продуктовая аналитика в геймдеве (точнее, как я ее вижу), и как мы взаимодействуем с UX-задачами.
Первое и ключевое. Фокус продуктовых аналитиков на бизнес-задачах, а не на пользователе. Мы оцениваем внутри-игровую экономику и балансы, эффективность систем персональных предложений и скидок, как новые фичи влияют на метрики и т. д. То есть мы помогаем командам оперирования (продюсеру, геймдизайнерам, менеджерам монетизации) принимать решения по развитию продукта.
Второе — мы работаем с логами пользователей, с наблюдаемыми поведенческими актами. Как часто заходят, сколько играют, сколько сессий в день делают, что делают во время игры — прогрессия по уровням, количество и статистика по боям (если шутеры), выполненные квесты (в казуалках) и проч. Аналитики продумывают, что и как надо залогировать и ставят задачи командам разработки.
Основа нашей работы — мы проверяем гипотезы, почему у нас такие метрики, опираясь на то, что (не)сделал пользователь в игре. Это требует хорошего понимания того, как сконструирована игра и как может быть связано поведение пользователей в игре с нашими показателями.
Пример: “Видим, что в уровневой группе 10-20 увеличена доля отвалов”. Наша гипотеза — пользователю скучно. Операционализируем “скучно” как малое количество значимых событий (левелап, получение нового контента и т. д.) на единицу времени. Смотрим, как связана “скучность” с отвалами. Проверяем альтернативные гипотезы (например, резко выросла сложность и пользователи чаще проигрывают). Пишем рекомендации геймдизайнерам.
Про UX в следующем посте.
Первое и ключевое. Фокус продуктовых аналитиков на бизнес-задачах, а не на пользователе. Мы оцениваем внутри-игровую экономику и балансы, эффективность систем персональных предложений и скидок, как новые фичи влияют на метрики и т. д. То есть мы помогаем командам оперирования (продюсеру, геймдизайнерам, менеджерам монетизации) принимать решения по развитию продукта.
Второе — мы работаем с логами пользователей, с наблюдаемыми поведенческими актами. Как часто заходят, сколько играют, сколько сессий в день делают, что делают во время игры — прогрессия по уровням, количество и статистика по боям (если шутеры), выполненные квесты (в казуалках) и проч. Аналитики продумывают, что и как надо залогировать и ставят задачи командам разработки.
Основа нашей работы — мы проверяем гипотезы, почему у нас такие метрики, опираясь на то, что (не)сделал пользователь в игре. Это требует хорошего понимания того, как сконструирована игра и как может быть связано поведение пользователей в игре с нашими показателями.
Пример: “Видим, что в уровневой группе 10-20 увеличена доля отвалов”. Наша гипотеза — пользователю скучно. Операционализируем “скучно” как малое количество значимых событий (левелап, получение нового контента и т. д.) на единицу времени. Смотрим, как связана “скучность” с отвалами. Проверяем альтернативные гипотезы (например, резко выросла сложность и пользователи чаще проигрывают). Пишем рекомендации геймдизайнерам.
Про UX в следующем посте.
❤17👍12
Продолжая тему UX-исследований глазами аналитика. Как я уже говорил, продуктовая аналитика основана в первую очередь на данных о наблюдаемом поведении пользователей. Мы редко проводим исследования, которые предполагают какое-то активное взаимодействие с пользователями и интерес к его опыту, хотя их ценность не отрицается. (Я сейчас про f2p/GaaS, в pay-to-play другая атмосфера).
Причин этому, на мой взгляд, несколько. В частности это необходимость достаточно дорогой инфраструктуры (исследователи, рекрут) и не очень высокая скорость получения информации. Также для большинства задач бывает достаточно логов и опыта продуктовых аналитиков. И, в конце концов, подобные исследования редко дают сильный рычаг влияния на метрики.
Чаще всего проводят опросы пользователей — оценки фич релиза (в том числе и технические проблемы), узнаваемость бренда, интересы аудитории (для идей коллабов) и тому подобное. В редких случаях спрашиваем суперкитов, что они думают о последних изменениях. Опросы обычно проводят саппорт, коммьюнити-менеджеры, иногда аналитики. Если есть какие-то отделы маркетинга (не UA), то еще и они.
Второе направление исследований — (не)модерируемые плейтесты. И я в данном случае не про внутренние или friends&family плейтесты, а тесты на внешней набранной по критериям выборке. Такие плейтесты обычно используются при оценке прототипов (@Maria_DW наш рулевой), когда только обкатываем те или иные идеи, или не можем придумать проверяемые на логах гипотезы. Такие исследования делают UX-исследователи или отдаются на аутсорс, у продуктовых аналитиков фокус и навыки совсем другие.
Юзабилити-тесты как таковые отдельно практически не проводятся, потому что для них обычно хватает внутренних плейтестов на сотрудниках — все они активные геймеры с разнообразным опытом и насмотренностью.
В целом, результаты UX-исследований редко выступают единственным основанием для принятия решений. Обычно это лишь один из источников материалов для размышлений, которые все равно потом проверяются на выборке.
Причин этому, на мой взгляд, несколько. В частности это необходимость достаточно дорогой инфраструктуры (исследователи, рекрут) и не очень высокая скорость получения информации. Также для большинства задач бывает достаточно логов и опыта продуктовых аналитиков. И, в конце концов, подобные исследования редко дают сильный рычаг влияния на метрики.
Чаще всего проводят опросы пользователей — оценки фич релиза (в том числе и технические проблемы), узнаваемость бренда, интересы аудитории (для идей коллабов) и тому подобное. В редких случаях спрашиваем суперкитов, что они думают о последних изменениях. Опросы обычно проводят саппорт, коммьюнити-менеджеры, иногда аналитики. Если есть какие-то отделы маркетинга (не UA), то еще и они.
Второе направление исследований — (не)модерируемые плейтесты. И я в данном случае не про внутренние или friends&family плейтесты, а тесты на внешней набранной по критериям выборке. Такие плейтесты обычно используются при оценке прототипов (@Maria_DW наш рулевой), когда только обкатываем те или иные идеи, или не можем придумать проверяемые на логах гипотезы. Такие исследования делают UX-исследователи или отдаются на аутсорс, у продуктовых аналитиков фокус и навыки совсем другие.
Юзабилити-тесты как таковые отдельно практически не проводятся, потому что для них обычно хватает внутренних плейтестов на сотрудниках — все они активные геймеры с разнообразным опытом и насмотренностью.
В целом, результаты UX-исследований редко выступают единственным основанием для принятия решений. Обычно это лишь один из источников материалов для размышлений, которые все равно потом проверяются на выборке.
👍9👎3❤1
Пилим с ребятами прототипы. И в какой-то момент оказались в ситуации “на третий день индеец Зоркий Глаз заметил, что в тюрьме всего три стены”. В смысле, осознали, что оценивать прототип по удержанию первого дня можно, но для понимания “почему так” — недостаточно.
Ретеншен метрика инертная и малоинформативная. Поэтому с головой нырнули в FTUE (first time user experience), чем ранее не особо увлекались — в немалой части потому что воронки боев как прокси к ретеншену вполне хватало, а мороки с выделением сессий много. Притом конкретные вещи типа багов или “экономических самоубийств / дедлоков” (когда тратишь ресурсы не на то, что надо, и потом даже нагриндить не можешь) тут не так интересны, хочется выловить концептуальное, понравилась пользователю игра или нет.
Пока балуюсь с временем первой сессии и ее насыщенностью / общим временем и его структурой в день инсталла. Попутно тестирую heartbit-событие, когда приложение каждые N секунд отправляет состояние пользователя (аналогично user_engagement в Firebase). В первую очередь пытаюсь понять, насколько оно информативно и полезно может быть.
К слову, вот древняя, но достаточно интересная статья на тему первых десяти минут: Why the first ten minutes are crucial if you want to keep players coming back
Ретеншен метрика инертная и малоинформативная. Поэтому с головой нырнули в FTUE (first time user experience), чем ранее не особо увлекались — в немалой части потому что воронки боев как прокси к ретеншену вполне хватало, а мороки с выделением сессий много. Притом конкретные вещи типа багов или “экономических самоубийств / дедлоков” (когда тратишь ресурсы не на то, что надо, и потом даже нагриндить не можешь) тут не так интересны, хочется выловить концептуальное, понравилась пользователю игра или нет.
Пока балуюсь с временем первой сессии и ее насыщенностью / общим временем и его структурой в день инсталла. Попутно тестирую heartbit-событие, когда приложение каждые N секунд отправляет состояние пользователя (аналогично user_engagement в Firebase). В первую очередь пытаюсь понять, насколько оно информативно и полезно может быть.
К слову, вот древняя, но достаточно интересная статья на тему первых десяти минут: Why the first ten minutes are crucial if you want to keep players coming back
👍7❤2
Обнаружил, что у Appsflyer есть что-то вроде среза базовых метрик по разным жанрам. Несколько лет назад подобные отчеты делали GameAnalytics. Однако их последний отчет был в 2019 году и с тех пор много воды утекло.
Интереснее всего, конечно же, ретеншен. Хотя есть и другие метрики, запросы на которые я также слышал в последнее время — CPI, уровень фрода, конверсии в платящего за 30 дней и т.д.
Интереснее всего, конечно же, ретеншен. Хотя есть и другие метрики, запросы на которые я также слышал в последнее время — CPI, уровень фрода, конверсии в платящего за 30 дней и т.д.