​Тестили новые вотермарки в iFunny и APBV. Картинки прилагаю.

Результаты плачевные: никто не вбивает текст с картинки в браузер. Видимо, слишком геморно и непонтяно зачем. С нескольких сотен тысяч шеров и сейвов за две недели мы получили 6 инсталлов. Конверсия просто супер мизер. Сама воронка нормальная, просто никто не вбивает домен приложения в браузерную строку.

Плюс к этому, в тестовой группе пользователи начинали меньше сохранять и расшаривать. Для нас это минус, так как рекомендер контента хуже учится.

В результате отрубили

Наш новый проект ABPV на этой неделе пробил 100К DAU. В день он зарабатывает уже в два раза больше русского АйДаПрикола, где 300К DAU. И это только первый квартал.

Богатый рекламный рынок в США, очень богатый.

вспомните эту картинку когда будете оплачивать курсы по продакт менеджменту

Мы продолжаем копать онбординг в ABPV. Вместе с аналитиками узнали, что если пользователь ставит приложение после 19:00 NY time, то сидит без пушей целых 13 часов, и поэтому ретеншен таких пользователей ниже.

Сделали тест: расписание пушей рассчитывалось от времени инсталла (первого старта). Пуши в тесте приходили так: первый пуш через 15 минут после установки. Далее через 1, 3, 5, 7, 9 и 11 часов. Всего 7 онбординговых пушей, специально выбранных по CTR.

Казалось бы, беспроигрышный тест. Больше пушей – выше ретеншен – больше бабла. Но жизнь сложнее.

В нулевой день в тестовой группе был яркий позитив – больше сессий, больше просмотров, больше вовлечения. Но на первый день ретеншен был хуже. Оказалось, что новые пользователи пугались такого объема пушей, и удаляли приложение.

Теперь делаем второй тест, где онбордящих пушей не семь, а три, и приходят они не так часто.

У меня есть давняя мечта – оседлать виральность, и сделать продукт который будет распространять сам себя. И единственный на сегодня пример такой виральности – инвайты по телефонной книжке. Пользователь дает доступ к контактам, и дальше рассылает приглосы друзьям.

Мы проверили такую схему в ABPV, и результаты первых тестов плачевные. Мы тестили кучу офферов, пять разных дизайнов, и в самом лучшем варианте инвайтит всего 0.1% юзеров.
Не получили даже сотню инсталлов за период с теста.

Будем копать дальше, ждите новых постов

​Элон Маск параллельно ведет 8 бизнес-проектов. Как это возможно? А как же фокус? Что скажут инвесторы и инфобизнесмены?

Очень неоднозначный тест мы провели на iFunny.

Мы сортируем ML-ленту по убыванию вероятности лайка и других действий. Это круто работает и дает рост ретеншена, но есть одна проблема: если пользователь не делает никаких экшенов – качество ранжирования сомнительно.

Мы решили сделать сортировку по вероятному времени просмотра. По каждому мему мы начали собирать количество секунд, которые пользователь потратил на просмотр мема. На основе этих данных обучили модель, которая ставила наиболее залипательное вперед.

Результаты такие:
- В когорте low activity есть рост глубины просмотра, и им явно это зашло
- В когортах medium/high activity упали метрики вовлечения (лайки, шеры), но время в приложении чуть выросло
- Субъективно, стало больше контента который нельзя быстро осмыслить

Однако ретеншен никак не изменился.
Тестим дальше

В январе я писал про тест с вотермарками https://news.1rj.ru/str/bossofyourboss/182, тогда я получил кучу фидбека от вас, в том числе про то почему вотермарк развернут вертикально, ведь так неудобно читать.

Мы прислушались к комментариям, и развернули вотермарк горизонтально. Результаты такие же плохие: получили всего 5 установок и около 1000 открытий ссылки, которая стоит на вотермарке.

Возможно, на вселенских масштабах как у TikTok это и работает, но мы пока оставили всё по-старому

Записали с Колей Белоусовым подкаст https://youtu.be/cQwJn0epn1g

Перемыли всем кости, обкашляли важные вопросики, все как вы любите

Из коментов: этот Слепаков без гитары норм вещи задвигает

В калифорнии запретили использование темных паттернов интерфейса. Теперь нельзя катить мутные страницы оплаты и подписки, навязывать доп услуги, писать важную инфу мелким шрифтом, итп.

Выскажусь по этому поводу. Нас окружают те продукты, на которых создатели смогли хорошо зарабатывать. Пользователю на самом деле неважно сколько платить, 1000 рублей или 1150. Однако для компании эта разница очень влияет на бизнес-модель и юнит-экономику.

В нишах с низкой маржой и высокой конкуренцией темные паттерны это один из немногих шансов выживать и зарабатывать. Пример – агрегаторы авиабилетов.

Мой друг Игорь Кузнецов завел канал с разбором популярных темных паттернов https://news.1rj.ru/str/brainshare , подписывайтесь на него

Google Play и App Store постоянно ужесточают правила для UGC приложений, а пользователи постоянно придумывают новые грани токсичности контента. Посередине стоит iFunny с его системой модерации контента (таможня).

Всю жизнь мы делали модерацию с помощью админки и украинских фрилансеров. Такой подход работает, стоит недорого, но люди ошибаются раз на десять картинок.

В прошлом году мы собрали команду из умных ребят, и сделали нейросеть для модерации контента. Взяли датасет забаненных картинок, и обучили нейронку для классификации изображений с архитектурой EfficientNetB4. Получился сервис, который на каждую картинку может сообщить, бан это или нет, и с какой вероятностью.

В феврале запустили на iFunny в тестовом режиме, сразу увидели что качество модерации немецкое, и ошибок на порядок меньше. Через две недели раскатили на всех.

Получилось настолько круто, что мы открыли нашего автомодератора для всех. Посмотреть как это работает можно тут https://moderation.fun.co/

На праздниках много думаю про конечный продукт и оргсхемы в бизнесе. У разработки конечный продукт – фичи, у тестирования – отсутствие багов, у менеджера - это идеи. О том, что надо сделать, чтобы улучшить бизнес.

К сожалению, про то как работать с идеями пишет только Тема Лебедев, поэтому решил написать мои правила, как генерить идеи:

- Я верю в то что в любом бизнесе можно сгенерить бесконечно много прорывных крутых идей и изменить рынок. Правда, это может быть уже совсем другой бизнес
- Часто прорывные идеи не кажутся какой-то херней пока не начинаешь их докручивать.
- Поэтому важно обсуждать идеи в конструктиве: не засирать, а пытаться докручивать до рабочего состояния всей командой
- Идея должна быть смелой и нести вызов команде и рынку. Не стоит тратить время на покраску кнопок и тюнинг коэффициентов, через год это все равно никто не вспомнит
- Прорывные идеи – это актив, который влияет на капитализацию. Чем больше крутого и уникального мы сгенерируем про ленты контента – тем дороже стоит наша компания. Поэтому игра стоит свеч

Ну, и самое важное. Работа с идеями – это конвейерное производство. Количество переходит в качество. Пока не проверили хотя бы 100 гипотез – нет смысла говорить о результате.

Помните я рассказывал про тест, когда мы сортировали главную ленту по убыванию залипательности картинок? https://news.1rj.ru/str/bossofyourboss/195
Мы провели его несколько раз на iFunny, смотрели в разных разрезах, много спорили, но по итогу отрубили.

Так вот, сегодня выяснилось что с февраля вместо корректных данных о времени просмотра на iOS приходили нули, и рекомендер был обучен не так как надо. Выводы которые мы написали – неправильные, и надо всё переделывать.

Вот так бывает, пацаны. Проводишь АБ-тест, а потом спустя квартал выясняется что всё работало криво, и теперь надо фиксить и делать перетест

Кстати, мы открыли новую вакансию на продакта по монетизации, приходите к нам работать https://hh.ru/vacancy/44527763

Сейчас стандарт ленты контента на смартфоне – бесконечная лента с вертикальным скроллингом. В iFunny всегда была горизонтальная лента, где надо листать справа налево. Такая же лента в приложении Галерея на вашем смартфоне.

В начале этого года в ABPV мы заметили что почти 40% сессий имеют длину 1-3 просмотра. Перерыли всю аналитику, начали думать что с этим делать, и одна из гипотез была в том, что юзерам непривычно листать слева направо. Решили делать два теста: лента-барабан (как в тиктоке), и freescroll.

Барабан уже протестили, результаты такие:

- На новых пользователях разницы нет вообще
- На старых пользователях барабан дает на 5% меньше просмотров (видимо с непривычки)

Выглядит так, что пока юзерам всё равно как листать. Посмотрим что будет с freescroll лентой.

Прошло чуть больше месяца с момента полной раскатки iOS 14.5. Многие предрекали пиздец рекламному рынку iOS, но его не случилось. Факты которые мы имеем на начало июля:

- По нашим US приложениям только 25-35% новых юзеров разрешают IDFA
- Из текущей пользовательской базы IDFA разрешило менее 20% пользователей
- Суммарно мы имеем 80% юзеров без IDFA
- Всё это позитивно сказалось на рекламной выручке: если раньше рекламодатели боялись выкупать траф с IDFA, и средний CPM был ниже, то сейчас CPM почти сравнялся и мы видим хорошие филлрейты
- Атрибуция через SKAdNetwork на удивление работает

Короче, с рекламой все нормально, работаем дальше)

С начала года веду список точек роста у нас в продукте. Вот самые интересные из них:

⁃ Рекомендациями не охвачены 100% пользователей. Те, кто не делает никаких действий, а просто смотрят, не получают персонализации
⁃ Не изучено влияние токсичного контента. Возможно он убивает ретеншен
⁃ Каких-то категорий контента у нас нет. Например, мемы про селебов или оружие
⁃ ML не использует фичи пользователя и контента для рекомендаций
⁃ В приложении слабый эксплоринг и поиск

Если вы где-то встречали крутые решения этих проблем - скидывайте в коменты, обсудим.

Если вам интересно решать подобные задачи на рынке США - эта вакансия для вас https://hh.ru/vacancy/43726930

Каждый день про создание IT продуктов, личную продуктивность и user-generated контент.

Начинал с разработчика, сооснователь 4х компаний.

Более 10ти лет делаю алгоритмические ленты контента.

Выиграл в 12 лет в лотерею автомобиль.

С тех пор мне можно верить.

Лучшие посты:

- Почему нужны темные паттерны
- Как мы без денег получили первый миллион пользователей
- Пять нет для продуктового стартапа
- Какие аналитические обряды должны быть если отвечаешь за продукт
- Правда про дизайн
- Главная проблема касдевов
- Медийность

Послужной список:

– Сейчас занимаюсь Post Punk Publishing – разрабатываем мобильные продукты
– 6 лет работал в FunCorp – прошел от growth manager и CPO до CEO бизнес-юнита
– Co-Founder Pact.im – 2016-2022 – запускал как CEO в команде
– Co-Founder Сравни Такси – 2017-2019 – запускал как CTO в команде
– Co-Founder Coub.com – 2011-2016 – запускал как CTO в команде, коуб проходил Y Combinator в 2016

Ни один проект не закрылся, всё радует пользователей и приносит бабки

Я хорошо разбираюсь:

– В разработке ПО
– Продукте и маркетинге
– Менеджменте и стратегии

Пишу про свой реальный опыт, а не вторичную инфу из книжек

В канале можно купить рекламу: @tm_assistance

У меня есть консультации для продактов и предпринимателей, где мы разбираем кучу вопросов: как растить продукт, делать бесплатный траф, почему вы не растете: https://news.1rj.ru/str/bossofyourboss/166