3 ошибки А/Б тестов на ретеншен

Ретеншен пользователей – очень коварная метрика, которая легко тебя вводит в заблуждение. Делая тесты на ретеншен часто кажется что ничего не поменялось, хотя эффект на самом деле есть и будет заметен сильно позже. В результате бракуются нормальные гипотезы, или просто тесты заходят в тупик

На своем опыте выбрал три самые частые ошибки:

- Смотрится какой-то общий ретеншен, а не тех кто столкнулся с действием теста. Например, в подсчете участвуют те, кто не прошел онбординг приложения (они никак с тестом столкнуться не могли). Это добавляет в данные +30% шума и мешает разглядеть под лупой позитив.
- Маленькие тестовые группы. Если тест на ретеншен новых, то в тестовой группе минимально должно быть по 5к инсталлов в день на протяжении недели. Лучше больше. Если нет столько трафа – то лучше без тестов. Помните, что 30-50% пользователей удаляют сразу после установки, чтобы не забивать телефон. Поэтому из 10000 купленных инсталлов полезными для тестирования будут далеко не все
- Короткий период оценки. Рост продукта строится на ретеншене 90-180 дня, а не первых 30ти дней. Редко кто смотрит дольше 30ти дней, хотя вся экспонента и окупаемость продукта кроется как раз на юзерах в зоне между 30м и 180м днем жизни. Например, в тестах на ленту мы смотрели когорты не менее 8ми недель, только после этого периода был виден качественный рост

В тестах на ретеншен важно смотреть как меняется вовлечение в продукт и за счет чего именно этот ретеншен растет. Ретеншен это всегда про ценность, и важно понимать что именно хотят юзеры.

Если у вас какая-то херня с тестами и вы не можете разобраться – берите у меня консультацию

Паттерн выходных

По многим приложениям видел такой паттерн – удаления приложения в 2-3 раза вырастают в субботу и воскресенье. Связано с тем, что много людей экономит место на смартфонах и имеют привычку по-выходным чистить всякий хлам. Удаления меряются всегда либо по консоли Google Play / App Store, либо по удалениям пуш токенов. Если вы не видите таких пиков – значит скорее всего что-то криво настроено.

На Tier3 рынках выражено сильно (места у всех мало), на Tier 1-2 тоже есть, но не так жестко.

Lean Startup в 2023

Пять лет назад все учились делать MVP, и проверять гипотезы дешево. В 2023 MVP нахер никому не упали, пользователи плачут от кривых поделий разработчиков. Сейчас продукт абсолютно точно надо делать нормально, или не делать совсем.

Я опытом проб и ошибок пришел к такой стратегии запуска новых продуктов:

1. Маркетинг
2. Магнит
3. Апсейл

Что значат эти пункты:

1. Маркетинг. Очень важно накидать 3-5 ниш в которых вы хотели бы работать, и посмотреть их в трафе. Покрутить какую-то рекламу, лучше видео. Посмотреть какой интерес к этой теме – какие CTR, CPM. Если на эту группу офферов плохо кликают (CTR < 1%), то дальше я бы не шел
2. Магнит. Нужен простой мини-продукт который стоит дешево и быстро продается. При этом уже по той же ценности, с которой вы хотите работать. Калькулятор, квиз, книжка, консультация специалиста.
3. Апсейл. Надо очень хорошо проработать покупателей магнитов. Касдевы, личные встречи, продажи доп продуктов, всё это тут в тему. Также можно делать какой-то дискорд или телеграм канал для догрева и прожима

Как только у вас есть связка 1-2-3 – то можно оценить нишу с точки зрения объемов. И если там всё ок – то делать продукт под воронку которая уже есть

Теперь пару слов для любителей строить технологии и космолеты: ребята, сделать технологию это очень круто и важно, но денег на этом не заработать. Максимум – развести какого-нибудь инвестора на раунд. Как только вы подойдете к постройке первого продукта на своей технологии – вам нужна будет воронка.

Тогда вспомните про этот пост.

Никто ничего не читает

И дизайнеры и продакты часто говорят что пользователи ничего не читают, не погружаются в продукт, даже не пытаются понять суть. Ставят, рандомно что-то тыкают, уходят.

Действительно, это так. В основном потому что юзеры в интернете находятся в состоянии разжиженного мозга, часто под алкоголем или наркотой. С этим ничего не поделать. Так было всегда.

Если я что-то хочу объяснить пользователям в своих продуктах то придерживаюсь формата сториз:

- делай объясняющий сториз на полный экран без скипа
- на сториз должен быть заголовок и картинка, можно добавить подзаголовок
- опишите коротко и емко что надо делать пользователю, зачем это надо и в чем ценность
- обычно три-четыре сториза достаточно для любой даже самой сложной фичи

Что точно делать не стоит:

- длинные тексты и видео
- всплывающие подсказки и стрелочки
- мега онбординги с интерактивом

Тексты надо учиться писать коротко и ебко, отрезать лишнее, чтобы с первого касания врезалось что вы от хотите от пользователя. Не стесняйтесь повторять важное, потому что с первого раза поймет половина.

Правила найма по Табунову

Если у вас выстроен найм, есть хороший HRD и рекрутеры, то руководителю остается придерживаться этих трех простых правил для найма команды мечты:

1. если тебе кажется, то тебе не кажется
2. безумцы всегда сами сообщат о том, что они не в себе. надо только внимательно слушать
3. не фартовые нам не нужны

Правила бескомпромиссно применимы абсолютно к любой вакансии, любому типу бизнеса и жизненной конфигурации (я нанимал абсолютно всех, начиная от продавцов и учителей заканчивая лидами бекенд разработки и дата саентистами).

Сразу допишу про не фартовых

В любом найме есть железобетонные чекпойнты, которые нарушать нельзя. Например, если воронка у вас:

– Ассесмент
– Первое собеседование
– Финальное собеседование
– Тестовый период

То особое место надо уделить четким критериям прохождения каждого этапа, и зафиксировать их на миро. Как только вы это сделаете, сразу появятся кандидаты, которые удовлетворяют этим критериям на 98%. Например, сделал 30 пунктов из 35, порог – 32.

Нормальные рекрутеры прибегут и начнут уговоры, давайте возьмем этого Василия, он же почти смог, такой хороший человек и почти нам подходит. Не ведитесь ни при каком раскладе.

Всегда есть веская причина почему Василий смог не до конца – опоздал, устал, не успел, не так понял, просто не фортануло. Реальная веская причина – Василий просто не ваш кандидат.

Стратегия пять единиц

Чтобы продукт начал расти достаточно закрывать пять единиц:

1. Один клиент
2. Одна проблема
3. Одно решение
4. Один трафик и карточка в сторе
5. Один онбординг с активацией

Часто крышу сносит, если у вас мега продукт и идейная команда. Возможно есть небольшое ДАУ или покупки, стрельнуло что-то там и там. Вы пытаетесь масштабироваться, а оно чето не растет. Не растет потому что нет системности, а есть хаос который вы транслируете в рынок.

Тут нужен план пять единиц – выделить ААА клиентов, выделить самую главную в их жизни проблему которую вы можете решить, и настроить на это связку трафик – стор – онбординг. Одна такая связка спокойно может приносить от $100K revenue / month.

Выглядит просто, но в реальности это нехилая задача, системно получать фидбек от рынка в формате пять единиц. Если ваш мобильный продукт плохо растет, и вы не знаете что делать – у меня временно появились слоты на консультации где мы разбираем продуктовые и маркетинговые точки роста

#стратегия

В индустрии принято равняться на крупные компании – Amazon, Google, Facebook, Apple, Yandex, Avito, VK, Mail, Wargaming. Все бесконечно следят за крупными компаниями, и пытаются копировать то как они работают. Слушают доклады на конференциях, перенимают какие-то подходы, и думают как это круто оказаться в такой компании.

Правда в том, что все гиганты – очень неэффективны. Разговаривая с топами оттуда можно услышать шутки типа “как оргструктуру ни крути, работать у тебя будут не больше 100 человек, остальные просто получать зарплату”. Весь Agile, Scrum, менторство, ретроспективы, карты компетенций и квартальные ревью – всё предназначено для того чтобы хоть как-то заставить неэффективную структуру показывать результаты. Для корпорации важно просто сохранять текущий вектор движения, что-то делать для поддержания. Корпорации постоянно сканируют как работают те кто растут, пытаются сделать из этого методичку и внедрить у себя, без понимания сути вопроса и контекста.

Если вы пытаетесь натянуть весь этот менеджмент на задачи роста – ничего не выйдет, потому что решать надо корень проблемы – эффективность команды, скорость фидбека от рынка и внедрение радикальной правды.

А это уже может быть больно, реальные пользователи могут и послать.

На что нет смысла тратить А/Б тесты

Есть продакты-теоретики которые любят вбрасывать ослиный навоз в гипотезы:

- Никто не знает как лучше пользователю, справа кнопка или слева
- Спрашивать телефон слишком жестко на данном этапе
- Может оставим крестик, вдруг люди испугаются
- Пользователю непонятно что от мы от него хотим
- Три карточки или две карточки – никто не знает, давайте тестить

Такие гипотезы ни к чему не ведут и вносят хаос в процесс. У продуктовой команды только одна задача – нарезка и доставка ценности продукта до пользователя. Вместо работы с ценностным предложением, его усилением и касаниями в продукте, тянет туда где думать не надо – покраска кнопок, расстановка экранов и редактирование текстов.

На 80% гипотез ответ можно найти без проведения тестов: или можно тупо посчитать вероятности, или посмотреть с аналитиками, ну или посмотреть в рынке.

Есть очень простая схема оценки гипотезы: если гипотеза не ведет к значительному увеличению ценности продукта в глазах пользователя – то зачем вы это тестите, идите думайте дальше. Пользователям нужен ценный качественный продукт, который можно рекомендовать друзьям. Всем реально пофигу где какая кнопка, и насколько красиво нарисовали иллюстрацию.

Если вам нужен взгляд со стороны на ваших продактов и А/Б тесты, то берите у меня консультацию

Заумь

По данным аналитического агентства “ТМ аналитика” каждый четвертый стартап загибается от зауми. Смотришь на лендинг или карточку приложения – всё очень круто и очень умно, но ничего непонятно. Не написано ни одного УТП и выгоды. Без специалиста не разобраться что и кому продают, приходится смотреть обзоры на ютубе.

Отличный пример из наших дней – это крипта. Пользователи воспринимают крипту как очередные вебмани, которыми можно перевести деньги и забрать в обменнике. Фаундеры крипто-стартапов все находятся в децентрализованном блокчейн космосе, где они сломали законы денег и корпораций, поэтому их стартап стоит сотни миллионов. Это они и пишут на лендингах своих проектов. Кто знает, может проект реально крутой. Но об этом никто не узнает, потому что никто не написал решаемые проблемы и выгоды от их решений.

Избавиться от зауми сложно, но можно. Оставлю три рекомендации:

1. Качать скилл смотреть свежим независимым взглядом на свой продукт
2. Говорить с пользователями и анализировать как и что они говорят
3. Не щадить тексты: отрезать воду и писать острые заголовки

Фидбек луп

Первое что должен выстроить CPO – это правильно работающий цикл обратной связи. Это система получения фидбека от рынка, через которую продукт приводится к рыночным реалиям. У вас хорошо настроен фидбек луп когда есть все три пункта:

1. Вы выдвигаете гипотезы, которые идут от рынка, а не от головы
2. Вы системно тестируете гипотезы – собираете данные, оцениваете факты, разбираетесь в аномалиях
3. Вы системно структурируете сработавшие гипотезы, разбираетесь в причинно-следственных связях, докапываетесь до сути вопроса, которая приводит к лучшему понимают рынка, пользователя, и продукта на нем

Чем лучше и быстрее работает фидбек луп, тем успешнее будет продукт и богаче компания. В FunCorp в какие-то годы мы делали под 100 тестов в год, суммарно это дало огромный накопленный эффект ввиде сложных процентов и накопленных знаний.

Правильный фидбек луп во всех компаниях выглядит одинаково, а неправильный – у всех свой. Основные ошибки:

- Фидбек луп медленный. Месячные итерации вместо недельных. Нет конструкторов – долгая разработка и неповоротливый маркетинг
- Тестируются гипотезы от головы а не от рынка Команда и CPO думают что они самые умные, гипотезы идут против рынка и пользователя
- Нет системы гипотез – нет стратегических и тактических гипотез. Нет фундаментальных вопросов на которые мы хотим узнать ответ у рынка.
- Преждевременная оптимизация и делегирование – никто не смотрит что происходит глазами / тыкает руками. Всё сваливают на третьих, типа QA или разработчиков
- Кривые ресерчи – касдевы с ошибками, плохо сделанные исследования конкурентов, кривая аналитика рынка
- Нет радикальной правды. Игнор фактов и приукрашивание цифр

Все проблемы по росту продукта и выстраиванию системы фидбека от рынка я разбираю на своих консультациях. Приходите если есть что обсудить

#стратегия #стратегияпопонедельникам

Правда про дизайн 🧑🏻‍🎤

Красота и дизайн ни на что не влияют: от хорошего дизайна конверсии не улучшатся, инсталлы не будут стоить дешевле, ретеншен не будет выше. Пользователи не отличают хороший дизайн от плохого: нас окружают продукты, которые решают проблему на 10 из 10, но выглядят плохо.

Так бы сказал я сам лет пять назад, но сейчас я так не думаю. Мне довелось работать с очень крутыми дизайнерами, которые хорошо понимают как продукт продается пользователю. Мне довелось продавать продукт с херовым дизайном, и объяснять пользователям “че все так по-уродски у нас выглядит”. Дизайн влияет сильно, и вот в чем дело:

- На конкурентном рынке пользователи первично выбирают по дизайну
- Сотрудники первично выбирают место где работать по дизайну
- Инвесторы ведутся на дизайн так же, как пользователи и сотрудники
- Весь маркетинг и PR идет в десять раз легче
- Дизайн создает Бренд и сложные конверсии
- Высокую стоимость проще обосновать с хорошим дизайном
- К хорошему дизайну пользователь будет возвращаться чаще

Я могу придумать еще 20 причин за дизайн. Грамотно сделанный дизайн экономит тысячу слов: нет никакого другого способа создать доверие и объяснить кто мы, для кого мы делаем продукты, и почему нам надо верить.

Как понять что дизайн хороший? В IT продуктах – это про грамотную структуру, простоту и нарезку ценности на кусочки. Каждая точка касания решает свои задачи оптимальным способом, не больше и не меньше.

Как мы начали монетизировать Coub

Coub в 2014 году разогнался до космических высот – аудитория была около 65 млн MAU / 6M DAU. Мы решили что пора зарабатывать бабки, и начали искать партнера по рекламе, который должен монетизировать весь инвентарь .

Партнером выбрали MyTarget. В первый день после раскатки рекламы мы охренели от количества кликов и денег. Наши ожидания были X, а мы получали 3X. Новости конечно хорошие.

Через месяц-полтора Мейл нам сказал: у вас очень странный траф, аномально много кликов, а конверсий дальше нет. Скорее всего у вас мисслики. Разбирайтесь или мы вас вырубим.

Мы ломали голову недели две, потому что верстка была ну очень тупая. Оказалось дело было в крестике на баннере. Крестик был векторный, и сделан инверсий (см картинку). Если пользователь кликал РОВНО в центр крестика, то попадал на прозрачность, и клик попадал на слой ниже – на сам баннер. Ну и переходил собственно по ссылке.

Как только мы это зафиксили CTR пришел в норму, а я если честно в шоке до сих пор что такое может быть.

Как правильно писать спеки

Спеки это заказы от продукта в разработку. 90% продактов с рынка пишут спеки без какой либо системы, в результате получается много переделок или недоработок.

Схема написания спек очень простая, и заключается в прописывании всех состояний:

1. Опиши все данные на входе: как пользователь попадает в бизнес логику, какие бывают аргументы или состояния в базе данных
2. Опиши все внутренние переменные и их состояния, а так же логику работы в зависимости от состояний
3. Опиши все состояния готового результата
4. Опиши аналитику и как будем ее оценивать
5. Опиши финальный дизайн и тексты

Пример для мобильного приложения:

- Для нового раздела в мобильном приложении опиши как пользователь туда попадает - иконки, диплинки, пуши, ссылки
- Опиши все данные в новом разделе, их состояния, кто и как их меняет, опиши логику работы
- Опиши что в результате пользователь должен получить в результате работы

До спеки, в которой прописаны все состояния, очень трудно докопаться.

Если у вас какие-то терки между бизнесом и разработкой, то такие кейсы можем разобрать на консультациях

Вот вот щас попрет

Если у тебя стартап или ты предприниматель, то ты бываешь в трех состояниях:

– Прет
– Не прет
– Вот вот щас попрет

Если с первыми двумя всё понятно, то в состоянии “вот вот щас попрет” я лично просадил 3-5 лет жизни. Это когда вроде более-менее что-то есть, есть понятные точки роста, и вот вот щас всё полетит. Надо только сделать 1-2-3 чтобы поперло, но делая их открываются новые 1-2-3, и так по кругу.

Кажется, что так у всех и это нормально. В реальности это тест на яйца фаундера – можешь ли ты сам перед собой признаться, что на самом деле тебе не прет, и уже давно. Что ты где-то косякнул, и даже не знаешь где. Что пора уже или продавать всю эту шарагу, или что-то кардинально менять в бизнесе.

"Вот вот щас попрет" случается регулярно, во всех компаниях всех типов и всех размеров. Причина всегда одна – рынок меняется, а люди – нет.

Выбор рынка

Правильно выбрать рынок - 50% успеха. Кто-то отслеживает тренды, кто-то смотрит как живет сосед, кто-то покупает аналитику.

Я смотрю всегда на такие рынки:

- Рынок должен быть среднестаном - не должно быть крупных компаний которые вытягивают 80% рынка на себя
- На рынке должен быть бесплатный траф или органика
- На рынке должна быть волатильность - все часто меняется и потребитель легко переключается на такой товар

Когда-то таким рынком был рынок мобильных приложений. Сейчас это:

- Маркетплейсы
- Контент для соцсетей и фильтры для соцсетей
- Карты и лут для игр

Не стоит идти в долгие разработки, надо арендовать хорошие идеи на волатильном рынке и переделывать под себя

#стратегия #стратегияпопонедельникам

Правда про тестировщиков

Инженер по тестированию программного обеспечения (он же тестировщик или QA engineer) проверяет IT-продукты на прочность. Он продумывает, что и где может сломаться, прогнозирует сбои и находит ошибки в приложениях, сайтах и программах, чтобы продукт вышел работоспособным. Инженер по тестированию должен всеми способами испытать надёжность и удобство сервиса на этапе разработки. Так пишут на лендингах курсов по тестированию.

Но реальность совсем другая:

1. Большой отдел тестирования – первый признак низкой культуры разработки. Когда разработчики генерят баги в промышленных объемах. Нормальное соотношение 1 тестировщик на 5 разработчиков.
2. Тестировщики никогда ни за что не отвечают и всегда переводят стрелки. Если в продукте бага – виновата разработка. Если криво собраны тестовые стенды – то виноваты девопсы. Если аналитика кривая – виноваты продакты. Если лента тормозит – то надо было делать нагрузочное тестирование, что вы хотели.
3. Тестировщики не понимают ни бизнес, ни продукт которым пользуются, ни разработку. Они умеют писать отчеты, двигать таски в джире.
4. Тестировщики никогда не проверят, совпадает ли реализованный продукт дизайну. Дизайнеры делают пиздато, а выходит кривое поделие – отступы не те, шрифты не те
5. Очень редко кто из тестировщиков проверит аналитику и работоспособность собранных отчетов, всегда приходится вычищать за ними

В общем, тестировщики в таких объемах не нужны. В команде из 5-6 разработчиков достаточно одного толкового QA. Работу с тестировщиками надо грамотно выстроить как CTO, так и CPO. Как это сделать я рассказываю на консультациях.

Атака клонов

В 2020 у нас в FunCorp появилась шальная идея – проверить что будет, если запустить iFunny на другие рынки и под другим брендом. Будут ли какие-то продукты c ROAS выше iFunny, и насколько выгодней будет лить другие продукты?

Я нарисовал план из 10 продуктов за год. Откуда взялось 10? Я просто прикинул из опыта, что если ты идешь в тему в которой не разбираешься – у тебя каждый десятый эксперимент успешный. Если разбираешься – то каждый четвертый. 10 продуктов это много, но только так можно быть уверенным что гипотезу проверили правильно.

Десять запусков поделили так:

- 4 продукта на США
- 6 продуктов под брендом Keke на разные страны

С самого начала года начали прогать. Билды сделали быстро, а бекенд доводили до ума месяцев 9-10. Как только начинали лить траф, постоянно что-то отваливалось: то пользователи из одного проекта писались в другой, то пуши не ходили, то аналитика кривая. Мы с аналитиками сидели смотрели эвенты пользователей и учили QA работать.

В середине года было запущено семь проектов, отлито дофига денег в трафе, но полностью посчитанной воронки не было ни по одному из проектов. Во-первых, для оценки ROAS надо было хотя бы три месяца смотреть когорты, а лучше 6 месяцев. Во-вторых, весь период подсчета ROAS критически важно работать без багов.

К августу нам надо было уже что-то решать, какие проекты остаются а какие нет. Шел восьмой месяц тестирования гипотезы. Я сделал сравнительную таблицу, из которой стало понятно, что по ROAS оценить ничего нельзя, и надо ждать еще полгода. Поэтому решили логически:

- CPI мы можем опустить, и знаем как
- Ретеншен мы сможем поднять, если довести продукт и контент
- А вот CPM, который платит нам рекламодатель, мы врядли сильно изменим

В результате мы оценивали по CPM и ARPDAU:

- Все не-американские сразу отправились в мусорку, так как вне США рекламный рынок слабый
- В американских разброс по монетизации был в 4 раза, оставили самое жирное по монетизации

Так мы родили Americas Best Pictures & videos. Название для этого продукта мы придумали так: смотрели какие телепередачи были популярны в США, заметили много названий вида america’s got talent, america’s funnies videos, america’s bla bla bla. И название зашло неплохо, потому что рынок продукт принял и продукт за несколько лет принес десятки миллионов.

Выводы отсюда какие:

- Делать надо быстро и хорошо
- Если вы делаете долго, то скорее всего это уже будет не надо. Три продукта мы так и не запустили
- Работать надо на рынке, где есть бабки