С прошлого поста пришло несколько продуктовых проблем, выбрал самую популярную для 99% приложений – увеличение ретеншена.

Приложение: Eristica https://bit.ly/2Z9vFBv. Суть приложения: пользователь зарабатывает деньги выполняя задания и снимая это на видео. Пример: юзер съедает ложку сахара и получает за это деньги https://share.eristica.com/sh/yVXJb6cprN.

Проблема: низкий Retention любого дня.

Как пытались решить: делали онбординг, растили оплаты, делали чатик юзеров (?), видим корреляцию между просмотрами видео и Retention. Планируется делать фичи на увеличение просмотров.

Что со всем этим делать:

Автор проблемы пишет: основная ценность для юзера – возможность заработать денег. Я уверен, если сегментировать юзеров которым Eristica уже заплатила, то ретеншен у них будет хорошим. Они получили ценность и будут возвращаться еще.

Но далеко не все готовы снимать видео и зарабатывать на этом деньги. В целом в UGC проектах 1% создателей контента – остальные смотрят. Даже если я ошибаюсь на порядок, в Eristica точно создают не более 10%.

Соответственно 90% это зрители, ценность "заработать" они никогда не смогут получить. Скорее всего они установили приложение чисто для фана, поэтому есть связь между просмотрами видео и ретеншеном. Мои предложения такие:

- Нужно улучшать контент. Половина челленджей – скучные, мало угара и развлечений. Всё это мы уже видели. Придумывайте задания круче круче. Можно добавить музыку.
- С лентой надо работать. На первом месте должно быть видео которое набрало больше всего лайков на 1000 просмотров. Сейчас первым номером постоянно висит онбординг, который я уже смотрел несколько раз. Всегда нужен новый крутой контент, если юзер посмотрел видео – прячьте его. Нужен автостарт видеоплеера.
- Нужно сделать нормально пуши, тк это ретеншен драйвер. Сейчас за три дня я не получил ни одного пуша.
- Нужно сделать нормальный пошаговый онбординг, который ведет пользователя к самому веселому виральному видео. Сейчас он есть в виде видеоролика, но с ним много проблем – без звука оно не работает, оно долгое и занудное, при этом не доносит ценность. Хочется пролистать

В общем как-то так, это основные моменты которые я бы поменял. Если будете делать – дайте фидбек.

Пять признаков хорошего ТЗ:

- Написано максимально коротко и ясно. Воду оставьте авторам курсов по продакт менеджменту.
- ТЗ продает фичу всем кто с ним работает. Описано какой профит для нас и какой для юзера
- Полностью описано то что видит пользователь. Приложены макеты, анимированные прототипы, видео и гифки. Пятилетний ребенок легко поймет что должно получиться в результате.
- Описана аналитика: какие эвенты трекаем, как их считаем и что считаем успехом
- Нет никаких технических нюансов реализации это фичи

Уровень текста должен быть не хуже текстов в известных медиа.

В нашей работе много завязано на везении. Взлетит фича или не взлетит, как поведут себя конкуренты, сойдется ли маркетинг и какая будет конверсия – всё это в большей степени зависит от везения, а не от крутости CEO или продакт менеджера.

Что делать чтобы вам везло:

- Верьте фактам и цифрам, а не домыслам. Докапывайтесь до сути, анализируйте аномалии
- Общайтесь с пользователями и клиентами так часто как можете
- Не думайте за других. Выдвигайте гипотезы, проверяйте всё деле
- Соблюдайте дисциплину. Каждую неделю получайте результаты двух АБ тестов
- Не будьте самоуверены. Трезво оценивайте себя и ситуацию вокруг.

У iFunny аудитория подростков-задротов, которые много времени тратят на игры. Мы долго вынашивали идею добавить в iFunny геймификацию, месяц только утверждали спеку. Суть в том что за целевые действия в приложении пользователь получает очки. Чем больше у пользователя очков – тем выше его уровень – тем больше респекта от остальных пользователей. Помимо уровней есть награды:

- Ежедневные: посмотрел/лайкнул/создал в день N элементов
- Еженедельные: то же самое что ежедневные, только за неделю
- Единоразовые: верификация мейла, телефона, велкам ачивка

В августе был запуск, что мы получили:

- Рост создателей контента
- Рост количества созданного контента на 50%
- Рост контентных метрик: шаринга, лайков, глубины просмотра

Но прикол в том что за неделю хайп сошел на нет, пользователи привыкли к ачивкам и метрики вернулись в дефолтное положение. На высоком уровне остались только просмотры своего профайла. Как оценивать фичу – непонятно. С одной стороны ничего не выросло, с другой стороны многие топовые пользователи вовлеклись и пользуются.

Я знаю что многих посещает мысль делать геймификацию в своем продукте, надеюсь этот пост будет полезет.

В FunCorp с лета ищем проджект менеджера. У 90% кандидатов одна и та же проблема в резюме: нет живых проектов которые этот менеджер запустил. Тех которые можно пощупать, которые сейчас работают и зарабатывают деньги.

У всех какая-то поебень в виде улучшения процессов управления, определения стратегии развития, коммуникации с сотрудниками смежных подразделений, итп. Ничего конкретного.

Любой менеджер оценивается по результатам работы, а не по разговорам. Проджект по запущенным проектам, продакт по продажам или аудитории продуктов которые он создал.

Так что, крутые проджекты, если вам это близко и вы ищете работу – пишите мне в личку, поговорим.

Один из сторов нас удалил для профилактики на сутки, при этом не найдя ничего запрещенного и не скинув примеры. Обычно они всегда кидают алерты с указанием того что им не нравится, или же звонят. А так получается мы нарушений не нашли, но на всякий случай дадим пизды чтобы не расслаблялись.

Второй стор тоже ничего не нашел, но на всякий случай сказал ввести цензуру уровня Северной Кореи, чтобы успокоить Васю из Бруклина. 

Если статьи никак не влияют на бизнес, то удаления из сторов и неадекватная цензура работают в минус.
Поэтому следите за актуальной новостной повесткой, она меняется примерно раз в год. И превентивно принимайте меры. Если не можете продуктово что-то поменять, меняйте свой имидж и имидж компании.

Я вот например ношу кепку с радужным флагом, жертвую деньги в фонд борьбы с ущемлением прав лгбт и подумываю сделать камин-аут.

PS
Сейчас стали активно нагибать Реддит и Твиттер. Реддит прогнулся капитально и тоже ввел цензуру Северной Кореи, а Твиттер просто всех посылает нахуй.

В следующем посте я расскажу почему так произошло и какие козыри есть у Твиттера, но нет у нас или Реддита)

Если у вас еще остались иллюзии по поводу справедливости в Google Play и App Store рекомендую почитать в канале Дениса про то как нас недавно снова выпилили (а потом вернули) из стора

Нашли очень простой способ увеличивать глубину просмотра (а значит и деньги) в iFunny.

Каждый день мы выпускаем 150 смешных мемов. Невероятно, но если мы выпускаем 300 мемов – глубина растет на 30%, показы рекламы тоже на 20-30%.

Сейчас проверяем как от этого меняется ретеншен, ну и останется сделать тест где мы будем выпускать 600 или 1000 мемов в день.

Пять фич, которые не взлетели в iFunny:

1. Подписка без рекламы. Очень маленькая конверсия в платящих, всего купило несколько десятков

2. Персонализация по интересам. Предлагали пользователю выбрать что ему нравится – Аниме, Гейминг, Женщины или Мемы. В зависимости от этого ранжировали контент. В тестовой группе всё стало сильно хуже (лайки на 1000. глубина просмотра), думаю мы просто не смогли сделать контент реально хорошим.

3. Лайки для незалогиненной аудитории. Думали что если дать возможность ставить лайк без регистрации то улучшим вовлечение этих пользователей, а значит и ретеншен.

На деле – нифига. Оказалось это совсем неблагодарная аудитория, лайкать начали меньше 10%.

4. Новый UI/UX регистрации. Выкинули лишний шаг в регистрации, улучшили воронку логина, поправили воронки по регистрации через соцсети.

На деле в первой версии конверсия была в два раза хуже, начали разбираться и через две итерации правок получили такую же конверсию как и до этого.

5. Редизайн комментариев. Делали группу тестов по улучшению UX, хотели чтобы аудитория больше комментировала и лайкала комментарии. Добавили дизлайк.

На деле комментировать стали меньше, сделали три итерации, так ни к чему и не пришли. Против привычки не попрешь.

Нет ничего более отсталого и устаревшего в разработке чем спринты и SCRUM. Спринты настолько плохо работают и тяжело внедряются, что появился целый класс бизнес консультантов (скрам мастера, эджайл тренеры, и прочие инфобизнесмены) которые на этом зарабатывают.

Везде где я работал мы отказывались от спринтов в пользу простого канбана, и сразу наступала благодать. Все прекращали друг другу трахать мозги, считать стори пойнты и сортировать беклог. Команда наконец сосредотачивалась на выпуске продукта и ценных для пользователя фич.

Трудно иногда поверить насколько популярным оказывается очевидное говно.

Год назад я перешел на Android, а в сентябре вернулся обратно на айфон. За это время мы неплохо вырастили наши главные метрики на андройде, например за счет пуш-уведомлений с кастомной версткой.

Для меня это самый верный источник гипотез. Просыпаешься, открываешь свое приложение и пользуешься. Сразу все проблемы пользователей как на ладони.

Когда мы запускали Коб было правило – каждый сотрудник создает минимум один коб в день. И продукту хорошо (больше контента), и команда наглядно видит что мы сделали круто, а где накосячили.

В сентябре мы запустили в iFunny новый раздел – Карта. В нем пользователь видит мемы и других пользователей рядом с собой. Для контентного приложения это очень странный раздел, но у Snapchat например он есть и вроде круто работает.

Цель раздела такая: за юзеров с включенной геопозицией платят гораздо больше. Тупо запрос геопозиции на старте сторы не разрешат, поэтому нужная была какая-то фича где локация будет использоваться. Придумали карту.

Что в результате:
– Цель выполнена: за все время геолокацию включили около 200К людей, ежедневно 10% юзеров у нас с включенной геопозицией, и в деньгах это видно.
– При этом сам раздел не особо зашел: ежедневно заходит меньше процента DAU.

Думаю будем как-то докручивать карту как продукт. Попытаемся вкрутить туда больше фана и как-то её встроить в основную ленту.

​Неожиданно для меня канал iFunny на ютубе (https://www.youtube.com/channel/UC9fl4bVuaxpTOoE45isRovg) вышел на 60 тыс просмотров в месяц. Это полностью автоматизированная история, канал ведет робот а не человек.

Каждый день бот выбирает самые топовые iFunny видео за сегодня, на которых распознался текст или есть описание. Потом он склеивает их в один длинный шедевр, и генерирует текстовое описание (пример на картинке). В тайтл робот ставит текст первого мема.

Расчет был на то что YouTube это гигантский поисковый движок в котором часто ищут смешные видео. И если правильно и системно отгружать туда контент, то рано или поздно мы попадем в какой-то горячий поисковый запрос.

Так и произошло, правда ждать нам пришлось почти полгода.

Какое-то время назад я писал про тест 150/300 элементов в день, вот этот пост https://news.1rj.ru/str/bossofyourboss/111

Тест был успешный, и мы пошли дальше. Сейчас тестим 300 vs 600 мемов в день. Промежуточные результаты такие:

⁃ Рост глубины просмотра на 10%
⁃ Рост денег на 5-8%
⁃ Рост smiles rate и других контентных метрик
⁃ Ретеншен и остальные ключевые метрики не упали

Тут видно что рост глубины просмотра не линейный. Мы выпускаем в два раза больше мемов, а глубина выросла всего на 10%. Похоже на потолок.

Получается что с 2017 мы почти в 10 раз увеличили количество публикуемых мемов, с 80 до 600 в день. Это нам дало рост глубины в 3 раза, плюс что-то мы там точно выиграли в ARPU.

Я не верю в менеджеров чья первая работа была руководящая (например джуниор менеджер).

В начале карьеры я работал разработчиком в разных маленьких и средних компаниях. Я часто сталкивался с менеджерами, которые поверхностно понимали продукт и делали глупые ошибки. Например, в 2010 году я работал в компании, где за две недели до релиза в переговорке ставили кровати для разработчиков, так как чтобы успеть к релизу нужно было ночевать в офисе.

По удивительному совпадению этим проектом руководила менеджер которая не могла написать ни строчки кода.

Любой нормальный руководитель сначала должен поесть говна и понять как всё работает в самом низу. Тогда будут уважать и менеджера и его решения. Иначе это всё быстро превратиться из управления в опыты над людьми.

Всех поздравляю с новым рабочим годом и желаю подписчикам легкости в достижении целей.

В 2020 я продолжу писать про то как мы итерационно улучшаем iFunny и какие результаты видим, а так же про мое хобби и маленький бизнес https://pact.im/

Сервис Coub, который я с Антоном Гладкобородовым основал в 2011 году, теперь переходит в управление Владу Цыплухину и всей команде ИД Комитет. https://vc.ru/media/98175 Это не экзит, инвестор Коуба Лев Левиев забрал всё что осталось от компании за долги.

В 2015, когда я вышел из коба, мне уже было понятно куда всё идет. Инвесторам рисовались липовые графики, не было нормальной работы с продуктом, а CEO радовался тому что отдел продаж окупает свои собственные зарплаты. Всё катилось в какой-то рамблер, менеджмент компании медленно но верно отпиливал себе руки и ноги)

На мои попытки что-то изменить всем сотрудникам запретили общаться со мной, и до сих пор не зовут на корпоративы)

Я очень рад что проект не закрыли, а будут развивать и растить. Думаю у ребят всё получится.

В прошлом году мы проводили один очень интересный тест с Machine Learning сортировкой ленты. В нем мы сортировали главную ленту с помощью коллаборативной фильтрации, за базу взяли базовую модель Neural Factorisation Machine.

По сути эта простая модель дает персонализацию на основе лайков пользователя. Чем больше ты ставишь смайлов, тем точнее рекомендации, и выше вероятность что ты лайкнешь снова.

В группе А была сортировка по убыванию smiles rate, а в группе B – ML. Сплит 50 на 50.

Тестили почти три месяца, и в декабре раскатили на 100%. Результаты позитивные:

- Рост stickiness и retention
- Рост smiles rate +10%
- Рост smile DAU +3%
- Рост шаров и сейвов +5%

Вывод: улучшения есть, надо копать в эту сторону дальше

Эволюция работы с отзывами на iFunny

2017: Вспомнили что у нашего приложения есть отзывы. Почитали. Поняли что там какой-то пиздец, начали брать их в работу

2018: Наладили системную работу. Починили кучу багов по жалобам пользователей. Вроде есть какие-то улучшения в продукте.

2019: Проработали все основные жалобы. При этом почему-то плохих отзывов меньше не стало. Изменилась структура жалоб: вместо жалоб на приложение стали жаловаться на контент. Закралась мысль что отзывы пишут одни и те же люди, потому что это их хобби.

2020: Не нашел ни одной продуктовой метрики которая зависела бы от отзывов в сторах. Зато нашел юзеров которые публикуют плохие отзывы ради развлечения, потому что don’t let this app fuck you.

Весь декабрь мы постили в iFunny по 600 мемов в день (я писал про это пост), и с 26го декабря вернулись обратно в режим 300. На 600 мемах был ниже ретеншен.

Всё бы ничего, но именно с 26го на 10% упали метрики лайков на 1000 просмотров и на юзера (smiles rate, smiles per device). И эти метрики напрямую влияют на ретеншен.

Гипотезы которые мы перебрали:

– Сезонность. Отмазка номер один, но в 2019 и 2018 в эти даты всё было ок
– ML сортировка деградировала (обучилась на неверных данных). Отключали ML на два дня, стало только хуже. Вернули как было
– Техника. На каких-то версиях / осях люди больше не могут лайкать. Отказались, ведь релизов в эти даты не было.
– Редакция. Отчасти подтвердилась

Выяснилось в редакции снизили планку качества для того чтобы можно было выпускать 600 мемов в день. И забыли вернуть всё обратно при откате обратно на 300.