Год назад я перешел на Android, а в сентябре вернулся обратно на айфон. За это время мы неплохо вырастили наши главные метрики на андройде, например за счет пуш-уведомлений с кастомной версткой.
Для меня это самый верный источник гипотез. Просыпаешься, открываешь свое приложение и пользуешься. Сразу все проблемы пользователей как на ладони.
Когда мы запускали Коб было правило – каждый сотрудник создает минимум один коб в день. И продукту хорошо (больше контента), и команда наглядно видит что мы сделали круто, а где накосячили.
Для меня это самый верный источник гипотез. Просыпаешься, открываешь свое приложение и пользуешься. Сразу все проблемы пользователей как на ладони.
Когда мы запускали Коб было правило – каждый сотрудник создает минимум один коб в день. И продукту хорошо (больше контента), и команда наглядно видит что мы сделали круто, а где накосячили.
В сентябре мы запустили в iFunny новый раздел – Карта. В нем пользователь видит мемы и других пользователей рядом с собой. Для контентного приложения это очень странный раздел, но у Snapchat например он есть и вроде круто работает.
Цель раздела такая: за юзеров с включенной геопозицией платят гораздо больше. Тупо запрос геопозиции на старте сторы не разрешат, поэтому нужная была какая-то фича где локация будет использоваться. Придумали карту.
Что в результате:
– Цель выполнена: за все время геолокацию включили около 200К людей, ежедневно 10% юзеров у нас с включенной геопозицией, и в деньгах это видно.
– При этом сам раздел не особо зашел: ежедневно заходит меньше процента DAU.
Думаю будем как-то докручивать карту как продукт. Попытаемся вкрутить туда больше фана и как-то её встроить в основную ленту.
Цель раздела такая: за юзеров с включенной геопозицией платят гораздо больше. Тупо запрос геопозиции на старте сторы не разрешат, поэтому нужная была какая-то фича где локация будет использоваться. Придумали карту.
Что в результате:
– Цель выполнена: за все время геолокацию включили около 200К людей, ежедневно 10% юзеров у нас с включенной геопозицией, и в деньгах это видно.
– При этом сам раздел не особо зашел: ежедневно заходит меньше процента DAU.
Думаю будем как-то докручивать карту как продукт. Попытаемся вкрутить туда больше фана и как-то её встроить в основную ленту.
Неожиданно для меня канал iFunny на ютубе (https://www.youtube.com/channel/UC9fl4bVuaxpTOoE45isRovg) вышел на 60 тыс просмотров в месяц. Это полностью автоматизированная история, канал ведет робот а не человек.
Каждый день бот выбирает самые топовые iFunny видео за сегодня, на которых распознался текст или есть описание. Потом он склеивает их в один длинный шедевр, и генерирует текстовое описание (пример на картинке). В тайтл робот ставит текст первого мема.
Расчет был на то что YouTube это гигантский поисковый движок в котором часто ищут смешные видео. И если правильно и системно отгружать туда контент, то рано или поздно мы попадем в какой-то горячий поисковый запрос.
Так и произошло, правда ждать нам пришлось почти полгода.
Каждый день бот выбирает самые топовые iFunny видео за сегодня, на которых распознался текст или есть описание. Потом он склеивает их в один длинный шедевр, и генерирует текстовое описание (пример на картинке). В тайтл робот ставит текст первого мема.
Расчет был на то что YouTube это гигантский поисковый движок в котором часто ищут смешные видео. И если правильно и системно отгружать туда контент, то рано или поздно мы попадем в какой-то горячий поисковый запрос.
Так и произошло, правда ждать нам пришлось почти полгода.
Какое-то время назад я писал про тест 150/300 элементов в день, вот этот пост https://news.1rj.ru/str/bossofyourboss/111
Тест был успешный, и мы пошли дальше. Сейчас тестим 300 vs 600 мемов в день. Промежуточные результаты такие:
⁃ Рост глубины просмотра на 10%
⁃ Рост денег на 5-8%
⁃ Рост smiles rate и других контентных метрик
⁃ Ретеншен и остальные ключевые метрики не упали
Тут видно что рост глубины просмотра не линейный. Мы выпускаем в два раза больше мемов, а глубина выросла всего на 10%. Похоже на потолок.
Получается что с 2017 мы почти в 10 раз увеличили количество публикуемых мемов, с 80 до 600 в день. Это нам дало рост глубины в 3 раза, плюс что-то мы там точно выиграли в ARPU.
Тест был успешный, и мы пошли дальше. Сейчас тестим 300 vs 600 мемов в день. Промежуточные результаты такие:
⁃ Рост глубины просмотра на 10%
⁃ Рост денег на 5-8%
⁃ Рост smiles rate и других контентных метрик
⁃ Ретеншен и остальные ключевые метрики не упали
Тут видно что рост глубины просмотра не линейный. Мы выпускаем в два раза больше мемов, а глубина выросла всего на 10%. Похоже на потолок.
Получается что с 2017 мы почти в 10 раз увеличили количество публикуемых мемов, с 80 до 600 в день. Это нам дало рост глубины в 3 раза, плюс что-то мы там точно выиграли в ARPU.
Telegram
Michael Tabunov
Нашли очень простой способ увеличивать глубину просмотра (а значит и деньги) в iFunny.
Каждый день мы выпускаем 150 смешных мемов. Невероятно, но если мы выпускаем 300 мемов – глубина растет на 30%, показы рекламы тоже на 20-30%.
Сейчас проверяем как от…
Каждый день мы выпускаем 150 смешных мемов. Невероятно, но если мы выпускаем 300 мемов – глубина растет на 30%, показы рекламы тоже на 20-30%.
Сейчас проверяем как от…
Я не верю в менеджеров чья первая работа была руководящая (например джуниор менеджер).
В начале карьеры я работал разработчиком в разных маленьких и средних компаниях. Я часто сталкивался с менеджерами, которые поверхностно понимали продукт и делали глупые ошибки. Например, в 2010 году я работал в компании, где за две недели до релиза в переговорке ставили кровати для разработчиков, так как чтобы успеть к релизу нужно было ночевать в офисе.
По удивительному совпадению этим проектом руководила менеджер которая не могла написать ни строчки кода.
Любой нормальный руководитель сначала должен поесть говна и понять как всё работает в самом низу. Тогда будут уважать и менеджера и его решения. Иначе это всё быстро превратиться из управления в опыты над людьми.
В начале карьеры я работал разработчиком в разных маленьких и средних компаниях. Я часто сталкивался с менеджерами, которые поверхностно понимали продукт и делали глупые ошибки. Например, в 2010 году я работал в компании, где за две недели до релиза в переговорке ставили кровати для разработчиков, так как чтобы успеть к релизу нужно было ночевать в офисе.
По удивительному совпадению этим проектом руководила менеджер которая не могла написать ни строчки кода.
Любой нормальный руководитель сначала должен поесть говна и понять как всё работает в самом низу. Тогда будут уважать и менеджера и его решения. Иначе это всё быстро превратиться из управления в опыты над людьми.
Всех поздравляю с новым рабочим годом и желаю подписчикам легкости в достижении целей.
В 2020 я продолжу писать про то как мы итерационно улучшаем iFunny и какие результаты видим, а так же про мое хобби и маленький бизнес https://pact.im/
В 2020 я продолжу писать про то как мы итерационно улучшаем iFunny и какие результаты видим, а так же про мое хобби и маленький бизнес https://pact.im/
Сервис Coub, который я с Антоном Гладкобородовым основал в 2011 году, теперь переходит в управление Владу Цыплухину и всей команде ИД Комитет. https://vc.ru/media/98175 Это не экзит, инвестор Коуба Лев Левиев забрал всё что осталось от компании за долги.
В 2015, когда я вышел из коба, мне уже было понятно куда всё идет. Инвесторам рисовались липовые графики, не было нормальной работы с продуктом, а CEO радовался тому что отдел продаж окупает свои собственные зарплаты. Всё катилось в какой-то рамблер, менеджмент компании медленно но верно отпиливал себе руки и ноги)
На мои попытки что-то изменить всем сотрудникам запретили общаться со мной, и до сих пор не зовут на корпоративы)
Я очень рад что проект не закрыли, а будут развивать и растить. Думаю у ребят всё получится.
В 2015, когда я вышел из коба, мне уже было понятно куда всё идет. Инвесторам рисовались липовые графики, не было нормальной работы с продуктом, а CEO радовался тому что отдел продаж окупает свои собственные зарплаты. Всё катилось в какой-то рамблер, менеджмент компании медленно но верно отпиливал себе руки и ноги)
На мои попытки что-то изменить всем сотрудникам запретили общаться со мной, и до сих пор не зовут на корпоративы)
Я очень рад что проект не закрыли, а будут развивать и растить. Думаю у ребят всё получится.
vc.ru
Сервис с короткими видео Coub перешёл под контроль «Комитета» — издателя vc.ru, TJ и DTF — Медиа на vc.ru
Сооснователь Coub Антон Гладкобородов покинет компанию и займется новыми проектами.
В прошлом году мы проводили один очень интересный тест с Machine Learning сортировкой ленты. В нем мы сортировали главную ленту с помощью коллаборативной фильтрации, за базу взяли базовую модель Neural Factorisation Machine.
По сути эта простая модель дает персонализацию на основе лайков пользователя. Чем больше ты ставишь смайлов, тем точнее рекомендации, и выше вероятность что ты лайкнешь снова.
В группе А была сортировка по убыванию smiles rate, а в группе B – ML. Сплит 50 на 50.
Тестили почти три месяца, и в декабре раскатили на 100%. Результаты позитивные:
- Рост stickiness и retention
- Рост smiles rate +10%
- Рост smile DAU +3%
- Рост шаров и сейвов +5%
Вывод: улучшения есть, надо копать в эту сторону дальше
По сути эта простая модель дает персонализацию на основе лайков пользователя. Чем больше ты ставишь смайлов, тем точнее рекомендации, и выше вероятность что ты лайкнешь снова.
В группе А была сортировка по убыванию smiles rate, а в группе B – ML. Сплит 50 на 50.
Тестили почти три месяца, и в декабре раскатили на 100%. Результаты позитивные:
- Рост stickiness и retention
- Рост smiles rate +10%
- Рост smile DAU +3%
- Рост шаров и сейвов +5%
Вывод: улучшения есть, надо копать в эту сторону дальше
Эволюция работы с отзывами на iFunny
2017: Вспомнили что у нашего приложения есть отзывы. Почитали. Поняли что там какой-то пиздец, начали брать их в работу
2018: Наладили системную работу. Починили кучу багов по жалобам пользователей. Вроде есть какие-то улучшения в продукте.
2019: Проработали все основные жалобы. При этом почему-то плохих отзывов меньше не стало. Изменилась структура жалоб: вместо жалоб на приложение стали жаловаться на контент. Закралась мысль что отзывы пишут одни и те же люди, потому что это их хобби.
2020: Не нашел ни одной продуктовой метрики которая зависела бы от отзывов в сторах. Зато нашел юзеров которые публикуют плохие отзывы ради развлечения, потому что don’t let this app fuck you.
2017: Вспомнили что у нашего приложения есть отзывы. Почитали. Поняли что там какой-то пиздец, начали брать их в работу
2018: Наладили системную работу. Починили кучу багов по жалобам пользователей. Вроде есть какие-то улучшения в продукте.
2019: Проработали все основные жалобы. При этом почему-то плохих отзывов меньше не стало. Изменилась структура жалоб: вместо жалоб на приложение стали жаловаться на контент. Закралась мысль что отзывы пишут одни и те же люди, потому что это их хобби.
2020: Не нашел ни одной продуктовой метрики которая зависела бы от отзывов в сторах. Зато нашел юзеров которые публикуют плохие отзывы ради развлечения, потому что don’t let this app fuck you.
Весь декабрь мы постили в iFunny по 600 мемов в день (я писал про это пост), и с 26го декабря вернулись обратно в режим 300. На 600 мемах был ниже ретеншен.
Всё бы ничего, но именно с 26го на 10% упали метрики лайков на 1000 просмотров и на юзера (smiles rate, smiles per device). И эти метрики напрямую влияют на ретеншен.
Гипотезы которые мы перебрали:
– Сезонность. Отмазка номер один, но в 2019 и 2018 в эти даты всё было ок
– ML сортировка деградировала (обучилась на неверных данных). Отключали ML на два дня, стало только хуже. Вернули как было
– Техника. На каких-то версиях / осях люди больше не могут лайкать. Отказались, ведь релизов в эти даты не было.
– Редакция. Отчасти подтвердилась
Выяснилось в редакции снизили планку качества для того чтобы можно было выпускать 600 мемов в день. И забыли вернуть всё обратно при откате обратно на 300.
Всё бы ничего, но именно с 26го на 10% упали метрики лайков на 1000 просмотров и на юзера (smiles rate, smiles per device). И эти метрики напрямую влияют на ретеншен.
Гипотезы которые мы перебрали:
– Сезонность. Отмазка номер один, но в 2019 и 2018 в эти даты всё было ок
– ML сортировка деградировала (обучилась на неверных данных). Отключали ML на два дня, стало только хуже. Вернули как было
– Техника. На каких-то версиях / осях люди больше не могут лайкать. Отказались, ведь релизов в эти даты не было.
– Редакция. Отчасти подтвердилась
Выяснилось в редакции снизили планку качества для того чтобы можно было выпускать 600 мемов в день. И забыли вернуть всё обратно при откате обратно на 300.
На последней презентации айфонов Apple показала возможность логина в приложения через Apple Id.
Мы недавно отправляли новое приложение на ревью в App Store, и получили реджект из за того что не было логина через Apple Id. То есть логин через FB и Google были, а Apple сделать не успели. Пришлось быстро доделывать и перезаливаться.
Не думал что Apple так жестко пушит использование новых фич среди разработчиков. Имейте ввиду
Мы недавно отправляли новое приложение на ревью в App Store, и получили реджект из за того что не было логина через Apple Id. То есть логин через FB и Google были, а Apple сделать не успели. Пришлось быстро доделывать и перезаливаться.
Не думал что Apple так жестко пушит использование новых фич среди разработчиков. Имейте ввиду
В конце января запустили приложение WHLSM и сайт https://whlsm.com
Это аналог iFunny, но на другую аудиторию и с другим контентом (добрые мемы для хорошего настроения).
Пролили несколько тысяч инсталлов, результаты странные:
– Юзеры досматривают весь публикуемый контент до конца
– 50% DAU поставило хоть один лайк
– При этом плохой ретеншен и пока космическая цена инсталла
Эксперимент интересный, будем смотреть дальше.
Это аналог iFunny, но на другую аудиторию и с другим контентом (добрые мемы для хорошего настроения).
Пролили несколько тысяч инсталлов, результаты странные:
– Юзеры досматривают весь публикуемый контент до конца
– 50% DAU поставило хоть один лайк
– При этом плохой ретеншен и пока космическая цена инсталла
Эксперимент интересный, будем смотреть дальше.
Я недавно исследовал целую неделю мемов из раздела iFunny Featured. Взял 10 лучших и 10 худших по smiles rate, и пытался понять причину, почему хороший контент перформит а плохой нет.
По каждому мему я искал историю упоминаний в интернете через TinEye. В каком году появился, на какой площадке, сколько клонов и перезаливов было, итп. Плюс учитывал перезаливы и репосты внутри iFunny.
Оказалось что 60% лучших – это суперхиты прошлого. Давно забытые баяны, у которых несколько лет назад были сотни упоминаний в интернете. А в десятке худших, наоборот, суперхитов вообще нет. 80% это новый уникальный контент.
Выглядит как точка роста, можно копать дальше.
Кстати, мы ищем человека руководить московской командой редакции, Product Manager of Editorial Team. Если вам интересно заниматься похожими вещами и работать вместе со мной над улучшением контента – вот вам вакансия https://hh.ru/vacancy/35950201
Скидывайте своё портфолио и рассказ о себе мне в телеграм или на tm@fun.co
По каждому мему я искал историю упоминаний в интернете через TinEye. В каком году появился, на какой площадке, сколько клонов и перезаливов было, итп. Плюс учитывал перезаливы и репосты внутри iFunny.
Оказалось что 60% лучших – это суперхиты прошлого. Давно забытые баяны, у которых несколько лет назад были сотни упоминаний в интернете. А в десятке худших, наоборот, суперхитов вообще нет. 80% это новый уникальный контент.
Выглядит как точка роста, можно копать дальше.
Кстати, мы ищем человека руководить московской командой редакции, Product Manager of Editorial Team. Если вам интересно заниматься похожими вещами и работать вместе со мной над улучшением контента – вот вам вакансия https://hh.ru/vacancy/35950201
Скидывайте своё портфолио и рассказ о себе мне в телеграм или на tm@fun.co
❤1
Не могу спать, мучаюсь одним вопросом. У нас есть iFunny в трех странах: США, Бразилия и Россия (под брендом АйДаПрикол). Вот среднее количество смайлов (лайков) на 1000 показов:
– Бразилия – 80
– США – 70
– Россия – 5
Не могу понять, из за чего такая дикая разница в 15 раз. Россия для грустных? Не принято ставить лайк?
Если есть идеи – скидывайте в личку. Лучшие мысли опубликую в пятницу.
– Бразилия – 80
– США – 70
– Россия – 5
Не могу понять, из за чего такая дикая разница в 15 раз. Россия для грустных? Не принято ставить лайк?
Если есть идеи – скидывайте в личку. Лучшие мысли опубликую в пятницу.
На прошлой неделе я получил от подписчиков более 30 гипотез, почему в АйДаПриколе мало лайков. Только дошли руки всё обработать.
Я структурировал все идеи, и выбрал самые интересные:
– Самая топовая гипотеза. Виновато всё русское:
– Русская лень
– Особый менталитет
– Нет культуры лайков
– Грустят на фоне событий в стране
– Русские слишком суровы
– Низкопроизводительный труд
– За лайки сажают, ФСБ смотрят за лайками, итп
– У других игроков рынка в России тоже ниже like rate.
– Есть проблема в воронке конверсии. Для лайка нужна регистрация, а в регистрации нет OK и VK. Скоро запилим и увидим.
– Видео со звуком неудобно смотреть, поэтому их не лайкают
– Юзер не видит смысла лайка
– Кнопка лайка не похожа на то что есть в других приложениях
Всем кто написал – большое спасибо. Я всё прочитал, ответить всем нет возможности.
Мое мнение такое:
1. Я за инженерный подход. Русские конечно особенные, но почему тогда в других приложениях они лайкают нормально. Пример – TikTok. Под всеми видео не менее 50 лайков на 1000 показов.
2. Сто процентов есть проблемы в воронке регистрации, их надо искать и фиксить
3. Скорее всего мы даем недостаточно хороший контент, тут нужно итерировать и улучшаться
Я структурировал все идеи, и выбрал самые интересные:
– Самая топовая гипотеза. Виновато всё русское:
– Русская лень
– Особый менталитет
– Нет культуры лайков
– Грустят на фоне событий в стране
– Русские слишком суровы
– Низкопроизводительный труд
– За лайки сажают, ФСБ смотрят за лайками, итп
– У других игроков рынка в России тоже ниже like rate.
– Есть проблема в воронке конверсии. Для лайка нужна регистрация, а в регистрации нет OK и VK. Скоро запилим и увидим.
– Видео со звуком неудобно смотреть, поэтому их не лайкают
– Юзер не видит смысла лайка
– Кнопка лайка не похожа на то что есть в других приложениях
Всем кто написал – большое спасибо. Я всё прочитал, ответить всем нет возможности.
Мое мнение такое:
1. Я за инженерный подход. Русские конечно особенные, но почему тогда в других приложениях они лайкают нормально. Пример – TikTok. Под всеми видео не менее 50 лайков на 1000 показов.
2. Сто процентов есть проблемы в воронке регистрации, их надо искать и фиксить
3. Скорее всего мы даем недостаточно хороший контент, тут нужно итерировать и улучшаться
Всем привет. Я и мои друзья-продакты Егор Данилов (@betternotworse) и Байрам Аннаков (@ProductsAndStartups) хотим провести завтра в 17:00 МСК стрим. Будем обсуждать вопросы подписчиков.
Примеры вопросов, которые мы ждем:
– Как больше зарабатывать
– Как улучшить форму оплаты / регистрацию
– Как должна выглядить карточка товара
– Как улучшить ретеншен
– Почему пользователи не понимают смысл моего продукта
Итп
Присылайте свои кейсы в эту гугл форму https://forms.gle/soA4nMeGzQoScK1k9 , а мы выберем самые интересные и постараемся дать на них развернутые ответы.
Примеры вопросов, которые мы ждем:
– Как больше зарабатывать
– Как улучшить форму оплаты / регистрацию
– Как должна выглядить карточка товара
– Как улучшить ретеншен
– Почему пользователи не понимают смысл моего продукта
Итп
Присылайте свои кейсы в эту гугл форму https://forms.gle/soA4nMeGzQoScK1k9 , а мы выберем самые интересные и постараемся дать на них развернутые ответы.
Google Docs
Вопросы к стриму
Присылайте свои продуктовые проблемы, а завтра, 22 марта, в 17:00 МСК мы разберем самые интересные в Live стриме вместе с Байрамом, Егором и Мишей
Ссылка на стрим будет в канале https://tttttt.me/bossofyourboss
Ссылка на стрим будет в канале https://tttttt.me/bossofyourboss
Спасибо всем, кто принял участие в стриме. Было 300 человек. Если вы смотрели, дайте обратную связь, пожалуйста: https://forms.gle/vZoC9Jy2oKeSdMAz5
Google Docs
Продакт стрим - обратная связь
В самых крутых рекомендательных алгоритмах интернета обязательно есть дизлайк. В YouTube, Facebook, Apple Music, итп. Алгоримтам важно собирать как позитивную, так и негативную обратную связь от пользователей.
Мы долго жили без дизлайка, но алгоритмы дальше надо улучшать, и пришла пора его добавить. Несколько недель назад запустили, люди начали ставить в районе 10 дизлайков на 1000 просмотров. Видно что контент минусят за дело.
Будем дальше тестить, добавим дизлайк в ML и посмотрим как это повлияет на ретеншен и общий smiles rate.
Мы долго жили без дизлайка, но алгоритмы дальше надо улучшать, и пришла пора его добавить. Несколько недель назад запустили, люди начали ставить в районе 10 дизлайков на 1000 просмотров. Видно что контент минусят за дело.
Будем дальше тестить, добавим дизлайк в ML и посмотрим как это повлияет на ретеншен и общий smiles rate.
Я изучил программу самых известных курсов по продакт-менеджменту и составил собственный бесплатный курс подготовки продакт менеджеров:
⁃ Начинаем курс с работы PHP разработчиком в веб студии - 6 мес
⁃ Таксуем по Москве на Мерсе в бизнес-классе – 3 месяца
⁃ Идем работать риэлтором – 6 мес
⁃ Дальше репетитором по математике – 6 мес
⁃ Завершаем курс созданием и успешным закрытием собственного стартапа – 9 мес
На выходе всего за 2.5 года получаем закаленного менеджера, который всем нужен.
Не благодарите
⁃ Начинаем курс с работы PHP разработчиком в веб студии - 6 мес
⁃ Таксуем по Москве на Мерсе в бизнес-классе – 3 месяца
⁃ Идем работать риэлтором – 6 мес
⁃ Дальше репетитором по математике – 6 мес
⁃ Завершаем курс созданием и успешным закрытием собственного стартапа – 9 мес
На выходе всего за 2.5 года получаем закаленного менеджера, который всем нужен.
Не благодарите
🔥4
На прошлой неделе промелькнула новость про то что зум вырос с 10М DAU до 200M DAU меньше чем за год. Это интересный кейс, который не встретишь на Epic Growth Conference.
Интересен он тем, что зум это невероятно стремная программа, которую китайцы задизайнили в Paint за 15 минут. В нем всё сделано через жопу, кроме звонков. Звонки делали боги своего дела.
Я застал кучу сервисов для видеоконференций: Skype, Hangouts, Appear.in, Slack, Screenhero итп; и везде всё лагало и глючило. Zoom вынес всех – звонить можно всегда и везде, даже если нет интернета.
Вспомните Zoom, когда будете обсуждать редизайн или улучшения UX в своем продукте. Заниматься стоит только Core-функциональностью.
Интересен он тем, что зум это невероятно стремная программа, которую китайцы задизайнили в Paint за 15 минут. В нем всё сделано через жопу, кроме звонков. Звонки делали боги своего дела.
Я застал кучу сервисов для видеоконференций: Skype, Hangouts, Appear.in, Slack, Screenhero итп; и везде всё лагало и глючило. Zoom вынес всех – звонить можно всегда и везде, даже если нет интернета.
Вспомните Zoom, когда будете обсуждать редизайн или улучшения UX в своем продукте. Заниматься стоит только Core-функциональностью.
❤1