Пока мы делаем тесты и работаем с продуктом, наши пацаны воюют с бруклинскими гуманитариями. Денис написал отличный пост про это, подписывайтесь на него https://news.1rj.ru/str/memeuar

​Зацените какой рост нам дал тест пушей по таймзонам.

Как было: пуши рассылались 7 раз в день, в одинаковое для всех таймзон время. Первый пуш в 5 утра LA, последний в 7 вечера.

Как стало: начали слать пуши по таймзоне юзера. За счет этого получилась ступеньчатая рассылка пушей: пользователи первой зоны получают 20 пушей в равных пропорциях, и перед рассылкой во вторую зону мы выбираем лучшего по CTR и шлем только его. Получается, для каждой рассылки выбираем максимально доступный CTR.

Смотрите графики. В целом рост 15-20%, и есть что оптимизировать.

Многие думают что развитие рост продакт-менеджера заключается в получении новых навыков: касдев, работа с аналитикой, юнит-экономика, приоритизация, статистика, итп. Так мы получаем менеджеров, которым есть что написать в резюме, но они ни в чем не разбираются.

Основная ценность менеджера продукта – глубокое знание рынка, пользователя и его потребностей. Выберите свою нишу, и досконально изучите бизнес и рынок. Начните изучать пользователей: задавайте вопросы, находите на них ответы с помощью тестов и аналитики. Смотрите на конкурентов: как часто релизятся, что запускают, кого нанимают, считайте их экономику, итп. Копите знания.

На это уйдут годы, но эти знания на рынке стоят миллионы. Невозможно стать крутым продактом, работая 2 года в екомерсе, потом 2 года в играх, и еще 2 года в B2B SAAS сервисе для учета финансов. Знания везде будут поверхностные, и в результате дорого себя не продашь.

Поделюсь болью: для персонализации нам нужен пол, возраст и геопозиция пользователя. Запросили у фейсбука доступ в девелопер консоли, и пять раз получали реджект. Скоро отправляем в шестой раз. Что не нравилось:

1. Не могли запустить билды
2. Было непонятное описание, зачем нам эти пермишены. Хотя оно в 6 абзацев текста
3. Пользователь не может логинится в один клик

Короче, лютейше они озверели. Самый дикий стор приложений на данный момент. Даже в Apple Store такого нет.

Последнее время воюем с кучей багов в ABPV и iFunny. На удаленке не хватает коммуникации, да и далеко не все оказались готовы к удаленной работе. По этому поводу решил вспомнить самый лютый баг в моей карьере:

Дело было в 2013, я работал CTO коуба, и дебажил странный баг. Я написал что-типа current_user = User.find(1) для простоты отладки, починил баг, и хуйнул сразу в прод.

Через 5 минут звонок на телефон. Звонит очень дальний знакомый и говорит: слушай, я тут на твой сайт зашел, и почему-то сразу под тобой залогинился. Это что, у вас новый прикол такой?

На 30 минут я залогинил всех юзеров коуба в свой админский профайл. Почти пол часа любой имел доступ ко всем админкам, удалялкам и банилкам.

Факап я быстро откатил назад, и вроде никто из пользователей особо не спалил. Но запомнилось надолго.

​Результаты года в iFunny отражу графиком среднего времени в приложении на юзера. Выросли почти на 40%, c 40 минут до 55, при росте всех основных аудиторных метрик (DAU/MAU/WAU).

В основном за счет работы с контентом, многоруких бандитов и ML. В этом направлении копали последние два года.

Вся команда большие молодцы. Всегда приятно работать с профессионалами. 🍾

​Тестили новые вотермарки в iFunny и APBV. Картинки прилагаю.

Результаты плачевные: никто не вбивает текст с картинки в браузер. Видимо, слишком геморно и непонтяно зачем. С нескольких сотен тысяч шеров и сейвов за две недели мы получили 6 инсталлов. Конверсия просто супер мизер. Сама воронка нормальная, просто никто не вбивает домен приложения в браузерную строку.

Плюс к этому, в тестовой группе пользователи начинали меньше сохранять и расшаривать. Для нас это минус, так как рекомендер контента хуже учится.

В результате отрубили

Наш новый проект ABPV на этой неделе пробил 100К DAU. В день он зарабатывает уже в два раза больше русского АйДаПрикола, где 300К DAU. И это только первый квартал.

Богатый рекламный рынок в США, очень богатый.

вспомните эту картинку когда будете оплачивать курсы по продакт менеджменту

Мы продолжаем копать онбординг в ABPV. Вместе с аналитиками узнали, что если пользователь ставит приложение после 19:00 NY time, то сидит без пушей целых 13 часов, и поэтому ретеншен таких пользователей ниже.

Сделали тест: расписание пушей рассчитывалось от времени инсталла (первого старта). Пуши в тесте приходили так: первый пуш через 15 минут после установки. Далее через 1, 3, 5, 7, 9 и 11 часов. Всего 7 онбординговых пушей, специально выбранных по CTR.

Казалось бы, беспроигрышный тест. Больше пушей – выше ретеншен – больше бабла. Но жизнь сложнее.

В нулевой день в тестовой группе был яркий позитив – больше сессий, больше просмотров, больше вовлечения. Но на первый день ретеншен был хуже. Оказалось, что новые пользователи пугались такого объема пушей, и удаляли приложение.

Теперь делаем второй тест, где онбордящих пушей не семь, а три, и приходят они не так часто.

У меня есть давняя мечта – оседлать виральность, и сделать продукт который будет распространять сам себя. И единственный на сегодня пример такой виральности – инвайты по телефонной книжке. Пользователь дает доступ к контактам, и дальше рассылает приглосы друзьям.

Мы проверили такую схему в ABPV, и результаты первых тестов плачевные. Мы тестили кучу офферов, пять разных дизайнов, и в самом лучшем варианте инвайтит всего 0.1% юзеров.
Не получили даже сотню инсталлов за период с теста.

Будем копать дальше, ждите новых постов

​Элон Маск параллельно ведет 8 бизнес-проектов. Как это возможно? А как же фокус? Что скажут инвесторы и инфобизнесмены?

Очень неоднозначный тест мы провели на iFunny.

Мы сортируем ML-ленту по убыванию вероятности лайка и других действий. Это круто работает и дает рост ретеншена, но есть одна проблема: если пользователь не делает никаких экшенов – качество ранжирования сомнительно.

Мы решили сделать сортировку по вероятному времени просмотра. По каждому мему мы начали собирать количество секунд, которые пользователь потратил на просмотр мема. На основе этих данных обучили модель, которая ставила наиболее залипательное вперед.

Результаты такие:
- В когорте low activity есть рост глубины просмотра, и им явно это зашло
- В когортах medium/high activity упали метрики вовлечения (лайки, шеры), но время в приложении чуть выросло
- Субъективно, стало больше контента который нельзя быстро осмыслить

Однако ретеншен никак не изменился.
Тестим дальше

В январе я писал про тест с вотермарками https://news.1rj.ru/str/bossofyourboss/182, тогда я получил кучу фидбека от вас, в том числе про то почему вотермарк развернут вертикально, ведь так неудобно читать.

Мы прислушались к комментариям, и развернули вотермарк горизонтально. Результаты такие же плохие: получили всего 5 установок и около 1000 открытий ссылки, которая стоит на вотермарке.

Возможно, на вселенских масштабах как у TikTok это и работает, но мы пока оставили всё по-старому

Записали с Колей Белоусовым подкаст https://youtu.be/cQwJn0epn1g

Перемыли всем кости, обкашляли важные вопросики, все как вы любите

Из коментов: этот Слепаков без гитары норм вещи задвигает

В калифорнии запретили использование темных паттернов интерфейса. Теперь нельзя катить мутные страницы оплаты и подписки, навязывать доп услуги, писать важную инфу мелким шрифтом, итп.

Выскажусь по этому поводу. Нас окружают те продукты, на которых создатели смогли хорошо зарабатывать. Пользователю на самом деле неважно сколько платить, 1000 рублей или 1150. Однако для компании эта разница очень влияет на бизнес-модель и юнит-экономику.

В нишах с низкой маржой и высокой конкуренцией темные паттерны это один из немногих шансов выживать и зарабатывать. Пример – агрегаторы авиабилетов.

Мой друг Игорь Кузнецов завел канал с разбором популярных темных паттернов https://news.1rj.ru/str/brainshare , подписывайтесь на него

Google Play и App Store постоянно ужесточают правила для UGC приложений, а пользователи постоянно придумывают новые грани токсичности контента. Посередине стоит iFunny с его системой модерации контента (таможня).

Всю жизнь мы делали модерацию с помощью админки и украинских фрилансеров. Такой подход работает, стоит недорого, но люди ошибаются раз на десять картинок.

В прошлом году мы собрали команду из умных ребят, и сделали нейросеть для модерации контента. Взяли датасет забаненных картинок, и обучили нейронку для классификации изображений с архитектурой EfficientNetB4. Получился сервис, который на каждую картинку может сообщить, бан это или нет, и с какой вероятностью.

В феврале запустили на iFunny в тестовом режиме, сразу увидели что качество модерации немецкое, и ошибок на порядок меньше. Через две недели раскатили на всех.

Получилось настолько круто, что мы открыли нашего автомодератора для всех. Посмотреть как это работает можно тут https://moderation.fun.co/

На праздниках много думаю про конечный продукт и оргсхемы в бизнесе. У разработки конечный продукт – фичи, у тестирования – отсутствие багов, у менеджера - это идеи. О том, что надо сделать, чтобы улучшить бизнес.

К сожалению, про то как работать с идеями пишет только Тема Лебедев, поэтому решил написать мои правила, как генерить идеи:

- Я верю в то что в любом бизнесе можно сгенерить бесконечно много прорывных крутых идей и изменить рынок. Правда, это может быть уже совсем другой бизнес
- Часто прорывные идеи не кажутся какой-то херней пока не начинаешь их докручивать.
- Поэтому важно обсуждать идеи в конструктиве: не засирать, а пытаться докручивать до рабочего состояния всей командой
- Идея должна быть смелой и нести вызов команде и рынку. Не стоит тратить время на покраску кнопок и тюнинг коэффициентов, через год это все равно никто не вспомнит
- Прорывные идеи – это актив, который влияет на капитализацию. Чем больше крутого и уникального мы сгенерируем про ленты контента – тем дороже стоит наша компания. Поэтому игра стоит свеч

Ну, и самое важное. Работа с идеями – это конвейерное производство. Количество переходит в качество. Пока не проверили хотя бы 100 гипотез – нет смысла говорить о результате.