Всех поздравляю с новым рабочим годом и желаю подписчикам легкости в достижении целей.
В 2020 я продолжу писать про то как мы итерационно улучшаем iFunny и какие результаты видим, а так же про мое хобби и маленький бизнес https://pact.im/
В 2020 я продолжу писать про то как мы итерационно улучшаем iFunny и какие результаты видим, а так же про мое хобби и маленький бизнес https://pact.im/
Сервис Coub, который я с Антоном Гладкобородовым основал в 2011 году, теперь переходит в управление Владу Цыплухину и всей команде ИД Комитет. https://vc.ru/media/98175 Это не экзит, инвестор Коуба Лев Левиев забрал всё что осталось от компании за долги.
В 2015, когда я вышел из коба, мне уже было понятно куда всё идет. Инвесторам рисовались липовые графики, не было нормальной работы с продуктом, а CEO радовался тому что отдел продаж окупает свои собственные зарплаты. Всё катилось в какой-то рамблер, менеджмент компании медленно но верно отпиливал себе руки и ноги)
На мои попытки что-то изменить всем сотрудникам запретили общаться со мной, и до сих пор не зовут на корпоративы)
Я очень рад что проект не закрыли, а будут развивать и растить. Думаю у ребят всё получится.
В 2015, когда я вышел из коба, мне уже было понятно куда всё идет. Инвесторам рисовались липовые графики, не было нормальной работы с продуктом, а CEO радовался тому что отдел продаж окупает свои собственные зарплаты. Всё катилось в какой-то рамблер, менеджмент компании медленно но верно отпиливал себе руки и ноги)
На мои попытки что-то изменить всем сотрудникам запретили общаться со мной, и до сих пор не зовут на корпоративы)
Я очень рад что проект не закрыли, а будут развивать и растить. Думаю у ребят всё получится.
vc.ru
Сервис с короткими видео Coub перешёл под контроль «Комитета» — издателя vc.ru, TJ и DTF — Медиа на vc.ru
Сооснователь Coub Антон Гладкобородов покинет компанию и займется новыми проектами.
В прошлом году мы проводили один очень интересный тест с Machine Learning сортировкой ленты. В нем мы сортировали главную ленту с помощью коллаборативной фильтрации, за базу взяли базовую модель Neural Factorisation Machine.
По сути эта простая модель дает персонализацию на основе лайков пользователя. Чем больше ты ставишь смайлов, тем точнее рекомендации, и выше вероятность что ты лайкнешь снова.
В группе А была сортировка по убыванию smiles rate, а в группе B – ML. Сплит 50 на 50.
Тестили почти три месяца, и в декабре раскатили на 100%. Результаты позитивные:
- Рост stickiness и retention
- Рост smiles rate +10%
- Рост smile DAU +3%
- Рост шаров и сейвов +5%
Вывод: улучшения есть, надо копать в эту сторону дальше
По сути эта простая модель дает персонализацию на основе лайков пользователя. Чем больше ты ставишь смайлов, тем точнее рекомендации, и выше вероятность что ты лайкнешь снова.
В группе А была сортировка по убыванию smiles rate, а в группе B – ML. Сплит 50 на 50.
Тестили почти три месяца, и в декабре раскатили на 100%. Результаты позитивные:
- Рост stickiness и retention
- Рост smiles rate +10%
- Рост smile DAU +3%
- Рост шаров и сейвов +5%
Вывод: улучшения есть, надо копать в эту сторону дальше
Эволюция работы с отзывами на iFunny
2017: Вспомнили что у нашего приложения есть отзывы. Почитали. Поняли что там какой-то пиздец, начали брать их в работу
2018: Наладили системную работу. Починили кучу багов по жалобам пользователей. Вроде есть какие-то улучшения в продукте.
2019: Проработали все основные жалобы. При этом почему-то плохих отзывов меньше не стало. Изменилась структура жалоб: вместо жалоб на приложение стали жаловаться на контент. Закралась мысль что отзывы пишут одни и те же люди, потому что это их хобби.
2020: Не нашел ни одной продуктовой метрики которая зависела бы от отзывов в сторах. Зато нашел юзеров которые публикуют плохие отзывы ради развлечения, потому что don’t let this app fuck you.
2017: Вспомнили что у нашего приложения есть отзывы. Почитали. Поняли что там какой-то пиздец, начали брать их в работу
2018: Наладили системную работу. Починили кучу багов по жалобам пользователей. Вроде есть какие-то улучшения в продукте.
2019: Проработали все основные жалобы. При этом почему-то плохих отзывов меньше не стало. Изменилась структура жалоб: вместо жалоб на приложение стали жаловаться на контент. Закралась мысль что отзывы пишут одни и те же люди, потому что это их хобби.
2020: Не нашел ни одной продуктовой метрики которая зависела бы от отзывов в сторах. Зато нашел юзеров которые публикуют плохие отзывы ради развлечения, потому что don’t let this app fuck you.
Весь декабрь мы постили в iFunny по 600 мемов в день (я писал про это пост), и с 26го декабря вернулись обратно в режим 300. На 600 мемах был ниже ретеншен.
Всё бы ничего, но именно с 26го на 10% упали метрики лайков на 1000 просмотров и на юзера (smiles rate, smiles per device). И эти метрики напрямую влияют на ретеншен.
Гипотезы которые мы перебрали:
– Сезонность. Отмазка номер один, но в 2019 и 2018 в эти даты всё было ок
– ML сортировка деградировала (обучилась на неверных данных). Отключали ML на два дня, стало только хуже. Вернули как было
– Техника. На каких-то версиях / осях люди больше не могут лайкать. Отказались, ведь релизов в эти даты не было.
– Редакция. Отчасти подтвердилась
Выяснилось в редакции снизили планку качества для того чтобы можно было выпускать 600 мемов в день. И забыли вернуть всё обратно при откате обратно на 300.
Всё бы ничего, но именно с 26го на 10% упали метрики лайков на 1000 просмотров и на юзера (smiles rate, smiles per device). И эти метрики напрямую влияют на ретеншен.
Гипотезы которые мы перебрали:
– Сезонность. Отмазка номер один, но в 2019 и 2018 в эти даты всё было ок
– ML сортировка деградировала (обучилась на неверных данных). Отключали ML на два дня, стало только хуже. Вернули как было
– Техника. На каких-то версиях / осях люди больше не могут лайкать. Отказались, ведь релизов в эти даты не было.
– Редакция. Отчасти подтвердилась
Выяснилось в редакции снизили планку качества для того чтобы можно было выпускать 600 мемов в день. И забыли вернуть всё обратно при откате обратно на 300.
На последней презентации айфонов Apple показала возможность логина в приложения через Apple Id.
Мы недавно отправляли новое приложение на ревью в App Store, и получили реджект из за того что не было логина через Apple Id. То есть логин через FB и Google были, а Apple сделать не успели. Пришлось быстро доделывать и перезаливаться.
Не думал что Apple так жестко пушит использование новых фич среди разработчиков. Имейте ввиду
Мы недавно отправляли новое приложение на ревью в App Store, и получили реджект из за того что не было логина через Apple Id. То есть логин через FB и Google были, а Apple сделать не успели. Пришлось быстро доделывать и перезаливаться.
Не думал что Apple так жестко пушит использование новых фич среди разработчиков. Имейте ввиду
В конце января запустили приложение WHLSM и сайт https://whlsm.com
Это аналог iFunny, но на другую аудиторию и с другим контентом (добрые мемы для хорошего настроения).
Пролили несколько тысяч инсталлов, результаты странные:
– Юзеры досматривают весь публикуемый контент до конца
– 50% DAU поставило хоть один лайк
– При этом плохой ретеншен и пока космическая цена инсталла
Эксперимент интересный, будем смотреть дальше.
Это аналог iFunny, но на другую аудиторию и с другим контентом (добрые мемы для хорошего настроения).
Пролили несколько тысяч инсталлов, результаты странные:
– Юзеры досматривают весь публикуемый контент до конца
– 50% DAU поставило хоть один лайк
– При этом плохой ретеншен и пока космическая цена инсталла
Эксперимент интересный, будем смотреть дальше.
Я недавно исследовал целую неделю мемов из раздела iFunny Featured. Взял 10 лучших и 10 худших по smiles rate, и пытался понять причину, почему хороший контент перформит а плохой нет.
По каждому мему я искал историю упоминаний в интернете через TinEye. В каком году появился, на какой площадке, сколько клонов и перезаливов было, итп. Плюс учитывал перезаливы и репосты внутри iFunny.
Оказалось что 60% лучших – это суперхиты прошлого. Давно забытые баяны, у которых несколько лет назад были сотни упоминаний в интернете. А в десятке худших, наоборот, суперхитов вообще нет. 80% это новый уникальный контент.
Выглядит как точка роста, можно копать дальше.
Кстати, мы ищем человека руководить московской командой редакции, Product Manager of Editorial Team. Если вам интересно заниматься похожими вещами и работать вместе со мной над улучшением контента – вот вам вакансия https://hh.ru/vacancy/35950201
Скидывайте своё портфолио и рассказ о себе мне в телеграм или на tm@fun.co
По каждому мему я искал историю упоминаний в интернете через TinEye. В каком году появился, на какой площадке, сколько клонов и перезаливов было, итп. Плюс учитывал перезаливы и репосты внутри iFunny.
Оказалось что 60% лучших – это суперхиты прошлого. Давно забытые баяны, у которых несколько лет назад были сотни упоминаний в интернете. А в десятке худших, наоборот, суперхитов вообще нет. 80% это новый уникальный контент.
Выглядит как точка роста, можно копать дальше.
Кстати, мы ищем человека руководить московской командой редакции, Product Manager of Editorial Team. Если вам интересно заниматься похожими вещами и работать вместе со мной над улучшением контента – вот вам вакансия https://hh.ru/vacancy/35950201
Скидывайте своё портфолио и рассказ о себе мне в телеграм или на tm@fun.co
❤1
Не могу спать, мучаюсь одним вопросом. У нас есть iFunny в трех странах: США, Бразилия и Россия (под брендом АйДаПрикол). Вот среднее количество смайлов (лайков) на 1000 показов:
– Бразилия – 80
– США – 70
– Россия – 5
Не могу понять, из за чего такая дикая разница в 15 раз. Россия для грустных? Не принято ставить лайк?
Если есть идеи – скидывайте в личку. Лучшие мысли опубликую в пятницу.
– Бразилия – 80
– США – 70
– Россия – 5
Не могу понять, из за чего такая дикая разница в 15 раз. Россия для грустных? Не принято ставить лайк?
Если есть идеи – скидывайте в личку. Лучшие мысли опубликую в пятницу.
На прошлой неделе я получил от подписчиков более 30 гипотез, почему в АйДаПриколе мало лайков. Только дошли руки всё обработать.
Я структурировал все идеи, и выбрал самые интересные:
– Самая топовая гипотеза. Виновато всё русское:
– Русская лень
– Особый менталитет
– Нет культуры лайков
– Грустят на фоне событий в стране
– Русские слишком суровы
– Низкопроизводительный труд
– За лайки сажают, ФСБ смотрят за лайками, итп
– У других игроков рынка в России тоже ниже like rate.
– Есть проблема в воронке конверсии. Для лайка нужна регистрация, а в регистрации нет OK и VK. Скоро запилим и увидим.
– Видео со звуком неудобно смотреть, поэтому их не лайкают
– Юзер не видит смысла лайка
– Кнопка лайка не похожа на то что есть в других приложениях
Всем кто написал – большое спасибо. Я всё прочитал, ответить всем нет возможности.
Мое мнение такое:
1. Я за инженерный подход. Русские конечно особенные, но почему тогда в других приложениях они лайкают нормально. Пример – TikTok. Под всеми видео не менее 50 лайков на 1000 показов.
2. Сто процентов есть проблемы в воронке регистрации, их надо искать и фиксить
3. Скорее всего мы даем недостаточно хороший контент, тут нужно итерировать и улучшаться
Я структурировал все идеи, и выбрал самые интересные:
– Самая топовая гипотеза. Виновато всё русское:
– Русская лень
– Особый менталитет
– Нет культуры лайков
– Грустят на фоне событий в стране
– Русские слишком суровы
– Низкопроизводительный труд
– За лайки сажают, ФСБ смотрят за лайками, итп
– У других игроков рынка в России тоже ниже like rate.
– Есть проблема в воронке конверсии. Для лайка нужна регистрация, а в регистрации нет OK и VK. Скоро запилим и увидим.
– Видео со звуком неудобно смотреть, поэтому их не лайкают
– Юзер не видит смысла лайка
– Кнопка лайка не похожа на то что есть в других приложениях
Всем кто написал – большое спасибо. Я всё прочитал, ответить всем нет возможности.
Мое мнение такое:
1. Я за инженерный подход. Русские конечно особенные, но почему тогда в других приложениях они лайкают нормально. Пример – TikTok. Под всеми видео не менее 50 лайков на 1000 показов.
2. Сто процентов есть проблемы в воронке регистрации, их надо искать и фиксить
3. Скорее всего мы даем недостаточно хороший контент, тут нужно итерировать и улучшаться
Всем привет. Я и мои друзья-продакты Егор Данилов (@betternotworse) и Байрам Аннаков (@ProductsAndStartups) хотим провести завтра в 17:00 МСК стрим. Будем обсуждать вопросы подписчиков.
Примеры вопросов, которые мы ждем:
– Как больше зарабатывать
– Как улучшить форму оплаты / регистрацию
– Как должна выглядить карточка товара
– Как улучшить ретеншен
– Почему пользователи не понимают смысл моего продукта
Итп
Присылайте свои кейсы в эту гугл форму https://forms.gle/soA4nMeGzQoScK1k9 , а мы выберем самые интересные и постараемся дать на них развернутые ответы.
Примеры вопросов, которые мы ждем:
– Как больше зарабатывать
– Как улучшить форму оплаты / регистрацию
– Как должна выглядить карточка товара
– Как улучшить ретеншен
– Почему пользователи не понимают смысл моего продукта
Итп
Присылайте свои кейсы в эту гугл форму https://forms.gle/soA4nMeGzQoScK1k9 , а мы выберем самые интересные и постараемся дать на них развернутые ответы.
Google Docs
Вопросы к стриму
Присылайте свои продуктовые проблемы, а завтра, 22 марта, в 17:00 МСК мы разберем самые интересные в Live стриме вместе с Байрамом, Егором и Мишей
Ссылка на стрим будет в канале https://tttttt.me/bossofyourboss
Ссылка на стрим будет в канале https://tttttt.me/bossofyourboss
Спасибо всем, кто принял участие в стриме. Было 300 человек. Если вы смотрели, дайте обратную связь, пожалуйста: https://forms.gle/vZoC9Jy2oKeSdMAz5
Google Docs
Продакт стрим - обратная связь
В самых крутых рекомендательных алгоритмах интернета обязательно есть дизлайк. В YouTube, Facebook, Apple Music, итп. Алгоримтам важно собирать как позитивную, так и негативную обратную связь от пользователей.
Мы долго жили без дизлайка, но алгоритмы дальше надо улучшать, и пришла пора его добавить. Несколько недель назад запустили, люди начали ставить в районе 10 дизлайков на 1000 просмотров. Видно что контент минусят за дело.
Будем дальше тестить, добавим дизлайк в ML и посмотрим как это повлияет на ретеншен и общий smiles rate.
Мы долго жили без дизлайка, но алгоритмы дальше надо улучшать, и пришла пора его добавить. Несколько недель назад запустили, люди начали ставить в районе 10 дизлайков на 1000 просмотров. Видно что контент минусят за дело.
Будем дальше тестить, добавим дизлайк в ML и посмотрим как это повлияет на ретеншен и общий smiles rate.
Я изучил программу самых известных курсов по продакт-менеджменту и составил собственный бесплатный курс подготовки продакт менеджеров:
⁃ Начинаем курс с работы PHP разработчиком в веб студии - 6 мес
⁃ Таксуем по Москве на Мерсе в бизнес-классе – 3 месяца
⁃ Идем работать риэлтором – 6 мес
⁃ Дальше репетитором по математике – 6 мес
⁃ Завершаем курс созданием и успешным закрытием собственного стартапа – 9 мес
На выходе всего за 2.5 года получаем закаленного менеджера, который всем нужен.
Не благодарите
⁃ Начинаем курс с работы PHP разработчиком в веб студии - 6 мес
⁃ Таксуем по Москве на Мерсе в бизнес-классе – 3 месяца
⁃ Идем работать риэлтором – 6 мес
⁃ Дальше репетитором по математике – 6 мес
⁃ Завершаем курс созданием и успешным закрытием собственного стартапа – 9 мес
На выходе всего за 2.5 года получаем закаленного менеджера, который всем нужен.
Не благодарите
🔥4
На прошлой неделе промелькнула новость про то что зум вырос с 10М DAU до 200M DAU меньше чем за год. Это интересный кейс, который не встретишь на Epic Growth Conference.
Интересен он тем, что зум это невероятно стремная программа, которую китайцы задизайнили в Paint за 15 минут. В нем всё сделано через жопу, кроме звонков. Звонки делали боги своего дела.
Я застал кучу сервисов для видеоконференций: Skype, Hangouts, Appear.in, Slack, Screenhero итп; и везде всё лагало и глючило. Zoom вынес всех – звонить можно всегда и везде, даже если нет интернета.
Вспомните Zoom, когда будете обсуждать редизайн или улучшения UX в своем продукте. Заниматься стоит только Core-функциональностью.
Интересен он тем, что зум это невероятно стремная программа, которую китайцы задизайнили в Paint за 15 минут. В нем всё сделано через жопу, кроме звонков. Звонки делали боги своего дела.
Я застал кучу сервисов для видеоконференций: Skype, Hangouts, Appear.in, Slack, Screenhero итп; и везде всё лагало и глючило. Zoom вынес всех – звонить можно всегда и везде, даже если нет интернета.
Вспомните Zoom, когда будете обсуждать редизайн или улучшения UX в своем продукте. Заниматься стоит только Core-функциональностью.
❤1
Формат стрима, где мы с Егором и Байрамом разбираем продуктовые задачи подписчиков, вроде бы зашел. Пока карантин – будем повторять регулярно. Ближайший стрим в это воскресенье
Поэтому очень нужно чтобы вы скинули своих интересных кейсов в эту форму, а мы выберем самые крутые и обсудим их вместе с вами https://forms.gle/Lqg2wumLGDnZanmx6
Поэтому очень нужно чтобы вы скинули своих интересных кейсов в эту форму, а мы выберем самые крутые и обсудим их вместе с вами https://forms.gle/Lqg2wumLGDnZanmx6
Google Docs
Продуктовый стрим с Байрамом Аннаковым, Михаилом Табуновым и Егором Даниловым 17 мая в 18:00 Мск
Пришлите свою продуктовую задачу, которую вы хотите решить вместе с нами. Мы выберем 2-3 самые интересные и вместе с авторами вопросов побрейнштормим их решения во время стрима. Ссылка на стрим появится здесь незадолго до начала стрима: https://ttttt.me/betternotworse…
Начинаем продуктовый стрим, подключайтесь: https://funcorp.zoom.us/j/92773804833
Ретрансляция на Ютубе (если не помрет): http://www.youtube.com/watch?v=tWGiNScEBS8
Ретрансляция на Ютубе (если не помрет): http://www.youtube.com/watch?v=tWGiNScEBS8
С начала года мы запустили 5 новых приложений:
- WHLSM – Добрые мемы – США
- Keke USA (клон iFunny)
- Keke UK – Великобритания
- Keke DE – Германия
- America’s best pics and videos (США)
С технической стороны это всё – iFunny, но под разными брендами, с разным контентом и на разную аудиторию.
Из них явно не полетел только Keke USA, и мы его сняли с продажи. Метрики были в 3-5 раз хуже чем в самом iFunny, как это объяснить мы не знаем.
По остальным приложениям пока не ясно. По результатам проливки всех пяти приложений стало ясно что есть мутная бага на андройде. Там был сильно ниже ретеншен и цифры по доставке пушей были не в норме.
Копали две недели, и в результате нашли. Оказалось что было два запроса в приложении, у которых были неправильные заголовки, и бекенд их записывал в другой проект. По этим установкам не ходили пуши, криво считалась аналитика, итп.
Пофиксили, и ретеншен Android билдов вырос почти в два раза. Теперь, по сути, нужно заново собирать все данные, закупать еще столько же трафика и ждать еще квартал.
- WHLSM – Добрые мемы – США
- Keke USA (клон iFunny)
- Keke UK – Великобритания
- Keke DE – Германия
- America’s best pics and videos (США)
С технической стороны это всё – iFunny, но под разными брендами, с разным контентом и на разную аудиторию.
Из них явно не полетел только Keke USA, и мы его сняли с продажи. Метрики были в 3-5 раз хуже чем в самом iFunny, как это объяснить мы не знаем.
По остальным приложениям пока не ясно. По результатам проливки всех пяти приложений стало ясно что есть мутная бага на андройде. Там был сильно ниже ретеншен и цифры по доставке пушей были не в норме.
Копали две недели, и в результате нашли. Оказалось что было два запроса в приложении, у которых были неправильные заголовки, и бекенд их записывал в другой проект. По этим установкам не ходили пуши, криво считалась аналитика, итп.
Пофиксили, и ретеншен Android билдов вырос почти в два раза. Теперь, по сути, нужно заново собирать все данные, закупать еще столько же трафика и ждать еще квартал.
Пользователи iFunny обожают сохранять контент в галерею. У нас всегда можно было сохранять только картинки, видео и гифки – нет, хотя это огромный запрос от пользователей.
Мы решили изучить, как изменится ретеншен, если разрешать пользователям сохранять что угодно и как угодно. По сути, мы проверяли гипотезу: будут ли чаще пользоваться продуктом, если давать то что просят пользователи. Классический вопрос продакт менеджмента: стоит ли развивать продукт так, как хотят этого пользователи.
Вывели кнопку Save вниз, разрешили сохранять всё подряд, и поставили в сплит на три недели.
Оказалось следующее:
- Шаринг упал на 30%, а с ним и траф с шарингов
- Зато сейвы выросли на 30%
- Ретеншен как был, так и остался на прежнем месте
Короче, несмотря на то что юзеры просили, для продукта в целом эта фича дала бы негатив.
Мы решили изучить, как изменится ретеншен, если разрешать пользователям сохранять что угодно и как угодно. По сути, мы проверяли гипотезу: будут ли чаще пользоваться продуктом, если давать то что просят пользователи. Классический вопрос продакт менеджмента: стоит ли развивать продукт так, как хотят этого пользователи.
Вывели кнопку Save вниз, разрешили сохранять всё подряд, и поставили в сплит на три недели.
Оказалось следующее:
- Шаринг упал на 30%, а с ним и траф с шарингов
- Зато сейвы выросли на 30%
- Ретеншен как был, так и остался на прежнем месте
Короче, несмотря на то что юзеры просили, для продукта в целом эта фича дала бы негатив.
👍1
Мы начинаем стрим. Темы дня:
– Оптимизация онбординга в https://amplifr.com/ru
– Продуктовая стратегия для Viqeo
– Внедряем подписочную модель в фитнес приложение
Zoom: https://funcorp.zoom.us/j/98675980076
YouTube: https://www.youtube.com/watch?v=7hnQcJC81MU
– Оптимизация онбординга в https://amplifr.com/ru
– Продуктовая стратегия для Viqeo
– Внедряем подписочную модель в фитнес приложение
Zoom: https://funcorp.zoom.us/j/98675980076
YouTube: https://www.youtube.com/watch?v=7hnQcJC81MU
Forwarded from EDU
Будем благодарны за обратную связь по стриму здесь: https://forms.gle/FRB8F9qTjnfzX7Rp8
Google Docs
Продакт стрим #4 - обратная связь