Очень неоднозначный тест мы провели на iFunny.

Мы сортируем ML-ленту по убыванию вероятности лайка и других действий. Это круто работает и дает рост ретеншена, но есть одна проблема: если пользователь не делает никаких экшенов – качество ранжирования сомнительно.

Мы решили сделать сортировку по вероятному времени просмотра. По каждому мему мы начали собирать количество секунд, которые пользователь потратил на просмотр мема. На основе этих данных обучили модель, которая ставила наиболее залипательное вперед.

Результаты такие:
- В когорте low activity есть рост глубины просмотра, и им явно это зашло
- В когортах medium/high activity упали метрики вовлечения (лайки, шеры), но время в приложении чуть выросло
- Субъективно, стало больше контента который нельзя быстро осмыслить

Однако ретеншен никак не изменился.
Тестим дальше

В январе я писал про тест с вотермарками https://news.1rj.ru/str/bossofyourboss/182, тогда я получил кучу фидбека от вас, в том числе про то почему вотермарк развернут вертикально, ведь так неудобно читать.

Мы прислушались к комментариям, и развернули вотермарк горизонтально. Результаты такие же плохие: получили всего 5 установок и около 1000 открытий ссылки, которая стоит на вотермарке.

Возможно, на вселенских масштабах как у TikTok это и работает, но мы пока оставили всё по-старому

Записали с Колей Белоусовым подкаст https://youtu.be/cQwJn0epn1g

Перемыли всем кости, обкашляли важные вопросики, все как вы любите

Из коментов: этот Слепаков без гитары норм вещи задвигает

В калифорнии запретили использование темных паттернов интерфейса. Теперь нельзя катить мутные страницы оплаты и подписки, навязывать доп услуги, писать важную инфу мелким шрифтом, итп.

Выскажусь по этому поводу. Нас окружают те продукты, на которых создатели смогли хорошо зарабатывать. Пользователю на самом деле неважно сколько платить, 1000 рублей или 1150. Однако для компании эта разница очень влияет на бизнес-модель и юнит-экономику.

В нишах с низкой маржой и высокой конкуренцией темные паттерны это один из немногих шансов выживать и зарабатывать. Пример – агрегаторы авиабилетов.

Мой друг Игорь Кузнецов завел канал с разбором популярных темных паттернов https://news.1rj.ru/str/brainshare , подписывайтесь на него

Google Play и App Store постоянно ужесточают правила для UGC приложений, а пользователи постоянно придумывают новые грани токсичности контента. Посередине стоит iFunny с его системой модерации контента (таможня).

Всю жизнь мы делали модерацию с помощью админки и украинских фрилансеров. Такой подход работает, стоит недорого, но люди ошибаются раз на десять картинок.

В прошлом году мы собрали команду из умных ребят, и сделали нейросеть для модерации контента. Взяли датасет забаненных картинок, и обучили нейронку для классификации изображений с архитектурой EfficientNetB4. Получился сервис, который на каждую картинку может сообщить, бан это или нет, и с какой вероятностью.

В феврале запустили на iFunny в тестовом режиме, сразу увидели что качество модерации немецкое, и ошибок на порядок меньше. Через две недели раскатили на всех.

Получилось настолько круто, что мы открыли нашего автомодератора для всех. Посмотреть как это работает можно тут https://moderation.fun.co/

На праздниках много думаю про конечный продукт и оргсхемы в бизнесе. У разработки конечный продукт – фичи, у тестирования – отсутствие багов, у менеджера - это идеи. О том, что надо сделать, чтобы улучшить бизнес.

К сожалению, про то как работать с идеями пишет только Тема Лебедев, поэтому решил написать мои правила, как генерить идеи:

- Я верю в то что в любом бизнесе можно сгенерить бесконечно много прорывных крутых идей и изменить рынок. Правда, это может быть уже совсем другой бизнес
- Часто прорывные идеи не кажутся какой-то херней пока не начинаешь их докручивать.
- Поэтому важно обсуждать идеи в конструктиве: не засирать, а пытаться докручивать до рабочего состояния всей командой
- Идея должна быть смелой и нести вызов команде и рынку. Не стоит тратить время на покраску кнопок и тюнинг коэффициентов, через год это все равно никто не вспомнит
- Прорывные идеи – это актив, который влияет на капитализацию. Чем больше крутого и уникального мы сгенерируем про ленты контента – тем дороже стоит наша компания. Поэтому игра стоит свеч

Ну, и самое важное. Работа с идеями – это конвейерное производство. Количество переходит в качество. Пока не проверили хотя бы 100 гипотез – нет смысла говорить о результате.

Помните я рассказывал про тест, когда мы сортировали главную ленту по убыванию залипательности картинок? https://news.1rj.ru/str/bossofyourboss/195
Мы провели его несколько раз на iFunny, смотрели в разных разрезах, много спорили, но по итогу отрубили.

Так вот, сегодня выяснилось что с февраля вместо корректных данных о времени просмотра на iOS приходили нули, и рекомендер был обучен не так как надо. Выводы которые мы написали – неправильные, и надо всё переделывать.

Вот так бывает, пацаны. Проводишь АБ-тест, а потом спустя квартал выясняется что всё работало криво, и теперь надо фиксить и делать перетест

Кстати, мы открыли новую вакансию на продакта по монетизации, приходите к нам работать https://hh.ru/vacancy/44527763

Сейчас стандарт ленты контента на смартфоне – бесконечная лента с вертикальным скроллингом. В iFunny всегда была горизонтальная лента, где надо листать справа налево. Такая же лента в приложении Галерея на вашем смартфоне.

В начале этого года в ABPV мы заметили что почти 40% сессий имеют длину 1-3 просмотра. Перерыли всю аналитику, начали думать что с этим делать, и одна из гипотез была в том, что юзерам непривычно листать слева направо. Решили делать два теста: лента-барабан (как в тиктоке), и freescroll.

Барабан уже протестили, результаты такие:

- На новых пользователях разницы нет вообще
- На старых пользователях барабан дает на 5% меньше просмотров (видимо с непривычки)

Выглядит так, что пока юзерам всё равно как листать. Посмотрим что будет с freescroll лентой.

Прошло чуть больше месяца с момента полной раскатки iOS 14.5. Многие предрекали пиздец рекламному рынку iOS, но его не случилось. Факты которые мы имеем на начало июля:

- По нашим US приложениям только 25-35% новых юзеров разрешают IDFA
- Из текущей пользовательской базы IDFA разрешило менее 20% пользователей
- Суммарно мы имеем 80% юзеров без IDFA
- Всё это позитивно сказалось на рекламной выручке: если раньше рекламодатели боялись выкупать траф с IDFA, и средний CPM был ниже, то сейчас CPM почти сравнялся и мы видим хорошие филлрейты
- Атрибуция через SKAdNetwork на удивление работает

Короче, с рекламой все нормально, работаем дальше)

С начала года веду список точек роста у нас в продукте. Вот самые интересные из них:

⁃ Рекомендациями не охвачены 100% пользователей. Те, кто не делает никаких действий, а просто смотрят, не получают персонализации
⁃ Не изучено влияние токсичного контента. Возможно он убивает ретеншен
⁃ Каких-то категорий контента у нас нет. Например, мемы про селебов или оружие
⁃ ML не использует фичи пользователя и контента для рекомендаций
⁃ В приложении слабый эксплоринг и поиск

Если вы где-то встречали крутые решения этих проблем - скидывайте в коменты, обсудим.

Если вам интересно решать подобные задачи на рынке США - эта вакансия для вас https://hh.ru/vacancy/43726930

Каждый день про создание IT продуктов, личную продуктивность и user-generated контент.

Начинал с разработчика, сооснователь 4х компаний.

Более 10ти лет делаю алгоритмические ленты контента.

Выиграл в 12 лет в лотерею автомобиль.

С тех пор мне можно верить.

Лучшие посты:

- Почему нужны темные паттерны
- Как мы без денег получили первый миллион пользователей
- Пять нет для продуктового стартапа
- Какие аналитические обряды должны быть если отвечаешь за продукт
- Правда про дизайн
- Главная проблема касдевов
- Медийность

Послужной список:

– Сейчас занимаюсь Post Punk Publishing – разрабатываем мобильные продукты
– 6 лет работал в FunCorp – прошел от growth manager и CPO до CEO бизнес-юнита
– Co-Founder Pact.im – 2016-2022 – запускал как CEO в команде
– Co-Founder Сравни Такси – 2017-2019 – запускал как CTO в команде
– Co-Founder Coub.com – 2011-2016 – запускал как CTO в команде, коуб проходил Y Combinator в 2016

Ни один проект не закрылся, всё радует пользователей и приносит бабки

Я хорошо разбираюсь:

– В разработке ПО
– Продукте и маркетинге
– Менеджменте и стратегии

Пишу про свой реальный опыт, а не вторичную инфу из книжек

В канале можно купить рекламу: @tm_assistance

У меня есть консультации для продактов и предпринимателей, где мы разбираем кучу вопросов: как растить продукт, делать бесплатный траф, почему вы не растете: https://news.1rj.ru/str/bossofyourboss/166

Что я понял за четыре года работы с пушами

1. Пуши это бездонная точка роста. Мне много раз казалось что вот уже всё придумано и сделано, но потом придумывали еще больше крутых гипотез.
2. Во всех пушах должны быть картинки и бейдж на иконке. Это закон.
3. Тексты должны создавать и выбирать роботы. Не должно быть никакой редакторской вкусовщины, умных маркетологов и диджитал стратегов
4. Не надо ссать что пуши отключат. Пользователям на самом деле прикольно получать уведомления, и чем моложе аудитория – тем лучше она вовлекается.
Слать надо минимум 7 пушей в день
5. С пушами всё в порядке если средний CTR не ниже 10% и не менее 30% DAU заходят с пушей. Если меньше – значит где-то жопа

Я не хожу на продуктовые митапы и конференции, потому что в них нет смысла. Можно бесконечно слушать про кейсы роста и то какие все вокруг крутые, но в 99% у тебя эти кейсы не сработают, и все равно надо будет думать своей головой.

Я помню как слушал доклад Ultimate Guitar про онбординг на Epic Growth, и думал – вот это круто! А через полгода начал учиться играть на гитаре, поставил их приложение, и понял что кроме онбординга всё через жопу.

Поэтому наши проджекты и продакты ходят на технические конференции типа Хайлоад. Там и сознание расширят, и практической пользы больше 😀

Перепробовал все клавиатуры на ios, идеальной не нашёл. Тестил: Google, SwiftKey, Fleksy, Yandex. Чем пользуетесь и что нравится?

Главный парадокс интернета в 2021: информации столько, что можно найти что угодно и о ком угодно, но никому это не надо. Все скупают онлайн курсы, которые пройдут на 50% и бросят. Причем в этих курсах ноль уникальной информации – это просто переупакованная википедия, статьи, книжки и выступления с конференций.

¯\_(ツ)_/¯

У меня уже два года были выключены все уведомления на смартфоне, но с iOS 15 я всё включил обратно. Уведомления это удобно: всё в одном месте, сразу видно что происходит. НО только когда ты готов быть на связи с миром

Делать много А/Б тестов это круто и весело. Еще веселее – заявлять что вы делаете тысячи А/Б тестов в год. Но правда в том, что суета с А/Б тестами нужна если непонятно как сделать рост продукта. То есть – нет экспертизы.

Если экспертиза есть, то вы четко понимаете что надо делать. Смысл тогда делать тесты?

Итоги года по нашим продуктам в FunCorp – двойной рост выручки, и рост аудитории в США. Драйверы роста – наш новый продукт ABPV, улучшения пушей и ленты в iFunny, которые дали рост ретеншена и буст в бизнес-модели. Команда выросла, теперь занимаем целый этаж в Белых Садах.

Точки роста на 2022:
- ML и рекомендации
- ML в пушах
- Работа с контентом (авто-категоризация, распознавание)
- Поиск по мемам

🤟🤟