Все кто вписывает вас в секту любителей АБ-тестов не договаривают следующее:

1) Это очень дорого в разработке и аналитике
2) Это не дает краткосрочных результатов (иногда вообще не дает результатов)
3) У 99% проектов мало аудитории чтобы полноценно их проводить

Разговоры с пользователями или запись их экрана гораздо проще и дешевле поможет понять что не так в продукте.

Спустя шесть лет с момента старта coub.com мне удалось полностью выйти. Vaizra Capital Льва Левиева выкупила мои акции. Спасибо им за это.

Денег на коубе я особо не заработал, но набил кучу шишек и понял как делать не надо. Про такой опыт не пишут в книжках, этим он и ценен.

За первый квартал команда роста iFunny сделала около 15 АБ-тестов на улучшение онбординга новых пользователей. Чем могу поделиться:

– В первую сессию пользователь приходит за контентом а не за функциями приложения. Мы меняли местами ленту featured на ленту subnoscriptions, и ретеншен сразу падал на 10 п.п. По AppSee я вижу подтверждение этому: 99% пользователей листают мемы и залипают в них. Больше никуда не ходят и ничего не нажимают.
– Принудительная регистрация в первую сессию убивает ретеншен. Мы протестили несколько вариантов: регистрация, регистрация + подписка на пользователей, регистрация по телефону + инвайты друзей. Результаты всегда хуже, от 5 до 15 пунктов.
– Подробные объяснения функций приложения на онбординге добавили нам 1-2 п.п. к ретеншену.

Еще хочу отметить что если в тесте RR1 высокий – то будет высоким RR7 и RR21. И наоборот: если RR1 низкий, то дальше всё тоже будет плохо.

Можно это использовать чтобы быстро проверять гипотезы и не ждать например данных по RR7.

В любом рабочем бизнесе есть новые клиенты и существующие. Проще и дешевле продавать существующему клиенту чем новому. Поэтому бизнесы с высокой частотой повторных покупок живут хорошо, а с низкой – плохо.

Например FMCG компании. Colgate за безумные деньги покупает клиента, и в этом есть смысл ведь он будет довольно долго чистить зубы их зубной пастой каждый день.

Так и в наших интернетах. У B2C продукта есть две метрики: RR по новым (например до 21 дня) и частота использования продукта в день и в неделю.

RR по новым говорит нам насколько легко новый пользователь может ощутить ценность продукта. А частота использования показывает насколько этот пользователь ваш продукт любит.

Например пользователь Facebook делает в среднем 13 сессий в день, и для пользователя это выглядит как очень сильная привычка к конкретному приложению. Но с точки зрения менеджеров facebook это довольно четкий набор фич которые заставляют пользователя вернуться и делать эти 13 сессий.

У развлекательных проектов все зависит от DAU. DAU падает - всё плохо, растет – всё хорошо.

Это очень общая метрика, и сходу не очевидно как с ней можно работать. Для iFunny я придумал DAU отчет, где DAU бьется по нескольким группам показателей. Всего там больше 60ти колонок. Вот два примера как это работает:

1) Бьем DAU по активности пользователей. Тут DAU = Новые пользователи + Пользователи которые были в аппе вчера + Пользователи которые вчера не заходили но сегодня пришли
2) Бьем DAU по типу входа в апп. DAU = входы по иконке + входы через пуш + входы по диплинку

Любое колебание DAU я анализирую по куче таких групп метрик. В 99% случаев причина колебания в одной группе.

Например: падает DAU андройда последние три дня. Начинаю разбираться – видно что в группе 1 падают новые пользователи, а в группе 2 входы по диплинку. Смотрю структуру по входам через диплинк: упали входы с Facebook Messenger. Сразу понятно куда копать и что происходит.

Если вы растете – важно понимать как сохранить этот рост и как его умножить. Если вы падаете или стоите на месте – то вам надо понимать в чем проблема и где точки роста.

В АБ-тестах часто побеждают варианты которые логически не объяснить. Это нормально, и не стоит в них эту логику искать. Нужно просто накинуть еще десяток вариантов.

Вот пример тестирования заглавной картинки в Google Play. Пример справа дает на 7% больше инсталлов. Я могу дать 5 причин почему так должно быть, и 5 причин почему не должно. Смысла в этом копаться нет, лучше брать количеством.

Резюмировали тесты онбординга на прошлой неделе. Единственный непоколебимый тест который дает улучшения всегда и везде – отключение рекламы в первый день. Тестили мы первые 7 дней без рекламы, но случайно сделали тест еще и с плавающим окном.

Оказалось что не важно в какой день появляется реклама, главное что в первый день пользования её нет и она не портит первый опыт пользователю.

Думаю причин такого поведения несколько:
1) она мешает смотреть контент, а чем больше пользователь посмотрит – тем выше вероятность что он останется
2) технические проблемы, которые всплывают из рекламных SDK и рекламного медиаконтента

ФРИИ раскрыл результаты работы за пять лет. В их отчете они экзитнули 15 компаний, 15 компаний закрылось, всего 337. Часто в медиа пишут про совсем другое распределение: из 10 стартапов 5 закроются, 3 будут сводить концы с концами, 2 выживут. То есть 80% новых закроются.

По моей личной статистике 95% проектов будут успешны если их фаундеры:
– очень хотят превратить это в бизнес и прикладывают достаточно усилий
– учатся, а не долбят лбом об стену

То есть если вы не идиот, то рано или поздно у вас всё будет. Среди моих друзей и знакомых у всех всё полетело. Конечно не сразу, но в течение первых двух лет точно.

Если стартап (проект) не летит в первые 9 месяцев жизни - то нахуй этот проект. Из девяти месяцев максимум три должна составлять разработка, остальное на допил и тестирование на людях.

Мотивация достаточно быстро закончится, и вы остаетесь с чемоданом без ручки: бросить проект жалко, а денег не приносит. Так и живут годами в надеждах что полетит.

Amplitude это классная система аналитики, но у нее есть одна проблема. В ней всё представлено графиками и дашбордами, а нормального табличного представления нет.

Зачем это нужно? Чтобы смотреть динамику системы и взаимозависимость показателей. Например пользователи стали больше шарить, но при этом заходить по расшаренным ссылкам стали реже. Чтобы это увидеть в Amplitude – надо точно знать что смотреть, или будут сюрпризы.

AppStore в этом году 10 лет. За 10 лет он стал самым большым и самым дебильным магазином мобильных приложений в мире. Любой разработчик приложений с хотя бы одним живым проектом в сторе точно сталкивался с их идиотизмом. Вот примеры из моего опыта:

1) Сравни Такси забанили по жалобе Яндекса. Жалобу особо никто не читал, как и наши ответы на нее. Просто забанили от греха подальше.
2) Coub забанили по жалобе Warner Music на копирайт. Для Warner это была такая стратегия переговоров, а AppStore же просто забил на DMCA и выпилил нас из стора.
3) У iFunny регулярно есть проблемы с модерацией новых версий из за контента или комментариев (UGC). У приложения 17+ и весь контент им соответствует, но просто не везло с модераторами.

Отсюда мои выводы:
– Заливать копию приложения (второй билд) от другого аккаунта чтобы не терять органику при бане (который рано или поздно придет)
– Нужна медийность проекта и продукта чтобы решать такие вопросы быстро
– Помнить что правила для всех разные и очень субъективные: для Twitter одни, для вас другие

Среднестан и крайнестан

Нассим Талеб, один из моих любимых авторов, написал фундаментальную книжку "Черный лебедь" про устройство жизни и бизнеса. Там он делит человеческую деятельность на среднестан и крайнестан.

Среднестан – те области где результат прямо пропорционален вложенному труду. Например вы юрист, программист или врач. Ваша оплата зависит от количества часов которые вы вложите в свое дело. Люди с бОльшим опытом гарантированно зарабатывают больше.

Крайнестан – области где результат не пропорционален вложенным часам работы. Например вы художник, стартапер или рок музыкант. В крайнестане есть люди которые вкладывают годы и получают гроши, а есть те кто за полгода становится суперзвездой.

Все интернет проекты естественно тоже делятся на среднестан и крайнестан. И если это среднестан – то будет понятно что делать, но не ждите сверхдоходов. А если крайнестан – то надейтесь на удачу.

Про телефонные разговоры

В начале 2016 я много читал про customer development и пытался воплотить это в жизнь для запуска Pact. По методологии нужно было найти несколько целевых покупателей и потом их допрашивать в течение часа разными абстрактными вопросами. Типа "какими продуктами вы уже пользуетесь сейчас" и "на какие IT сервисы вы тратите деньги". Выходило очень хреново: я не знал кто целевой клиент и где его брать, как выводить на интервью, плюс сами вопросы мне казались идиотскими.

В результате я сделал лендинг на тильде с описанием продукта и формой заявки с тремя полями: имя, телефон и название компании. Включил рекламу в фейсбуке. С 30 тыс рублей я получил около 50 заявок (600 руб/шт).

Дальше я все их прозвонил фразой типа "вы оставили заявку на сайте, какую проблему решаете?". Люди мне всё рассказали: как поняли лендинг, что думают про проект и будут ли платить. С этим уже можно работать. Дальше мы неоднократно возвращались к прозвонам чтобы понять причины черна, почему клиенты не платят и сколько вообще готовы платить.

Выводы отсюда простые:
– Регистрируйте пользователя по телефону если это возможно
– Звоните или пишите в мессенджеры если есть непонятки

Мой главный лайфхак на собеседовании: речь кандидата отражает состояние его мозгов. Если говорит медленно или путано – то значит так и думает. Берите тех кто говорит быстро, ясно и четко – не пожалеете.

В iFunny ключевая метрика – это глубина просмотра, и от нее зависит всё остальное (ARPU, ретеншен, шаринг итп). Поэтому мы делаем тесты на глубину.

На главном экране у нас лента контента с лучшими мемами которые выбирает редакция.
В среднем её досматривают до конца около 50%.

Мы сделали такой тест: добавили счетчик непрочитанных и убрали контент который юзер уже смотрел.

Результаты крутые: +30-50% к просмотрам в тестовой группе. Вместе с ними рост и по остальным метрикам (шаринг, частота сессий). Один минус – в тестовой группе вырос отток аудитории.

Думаю что некоторых бесит счетчик и им нужна кнопка mark all as read.

На этой неделе вышла iOS 12

В ней переработали пуш уведомления и теперь мы наконец-то можем слать пуши без запроса у пользователя.

В системе появилось несколько уровней уведомлений: prominent, стандартные и critical. Prominent токен можно получить без запроса у пользователя, но уведомления по такому токену могут появляться только в Notification Center и на иконке приложения красной циферкой.

Нам в iFunny бейджей на иконке вполне достаточно: до 25% DAU активируются именно после смены счетчика.

В андройде кстати обратная проблема: токен дают без запроса, не во всех системах вообще есть красный счетчик на иконке. В стоковом Android нет, а в самсунгах есть.

Два приложения

Один из моих любимых хаков – залить одинаковый бинарник приложения в сторы несколько раз. С разными названиями и разными иконками.
Это дает сразу массу плюсов:

– Вы можете полностью занять первый экран поисковой выдачи по определенному запросу (например налить мотива), а это дает сильное преимущество в узких нишах
– Если вас банят – то банят только одно приложение из нескольких
– Проще делать какие-то глобальные тесты которые нельзя ставить в сплит

Естественно, есть и сложности: всё это трудно поддерживать в актуальном состоянии так как одно и то же надо делать несколько раз.

В iFunny в районе 35-40 человек в разработке, и они разделены на 7 микрокоманд по бизнес-направлениям:

– Монетизация
– Core backend (отдают технические долги бекенда)
- Core client (отдают технические долги iOS и Android приложений)
– Growth (занимаются улучшением метрик, АБ тесты)
– User Satisfaction (занимаются счастьем пользователей)
– Сайт
– Портал (админка)

В команде может быть до восьми человек, у всех команд свои цели и KPI.

Мы ищем еще одного менеджера проектов – вести две команды из этого списка. Если вдруг это вы, или это ваш друг, то вот вам вакансия https://hh.ru/vacancy/27975933

Пишите мне на tm@fun.co или на job@fun.co
За успешную рекомендацию платим $3K.

Якубенков написал отличную статью про вывод продукта на рынок. Вот она https://gopractice.ru/go-to-market-strategy/

От себя добавлю что на раннем этапе в стартапах самое важное – это найти бесплатный канал аквизишена пользователей.

Бесплатный по двум причинам:
– скорее всего у вас небольшой бюджет на маркетинг (<100K$)
– у вас сырой продукт с не отлаженной воронкой конверсии

Если потратить все бабки в первых пользователей, то велик риск всё просрать: воронку так и не отладите, а деньги уже кончатся.

Хорошая новость в том что бесплатных каналов трафа много, но это тема другого поста.