Дочитал новую книжку Нассима Талеба "Рискуя собственной шкурой". В ней автор доносит одну простую мысль: где нет риска – там не может быть обучения. Ты никогда не научишься если не будешь ставить на кон свою шкуру.

В работе я это часто вижу:

– разработчики которые никогда не вскакивали ночью из за того что всё лежит
– менеджеры которые никогда не теряли свои деньги в мутных проектах
– тестировщики которых никогда не увольняли за пропущенные баги
– стартаперы которые без инвестора ничего не могут
– итп

Можно сколько угодно много раз проходить онлайн-курсы, читать книжки и бегать к менторам, но научиться по-настоящему можно только через дискомфорт: теряя деньги, время, здоровье, итп. Всё остальное это пыль.

Сама возможность что-то серьезно проебать – уже большая удача. Если вы фейлите три стартапа один за другим – то точно знаете как не надо. А это уже товар который хорошо продается.

Купил Samsung S9+. Это самый популярный девайс у Android пользователей iFunny. Samsung использует свой кастомный андройд с наворотами, и естественно эти навороты играют роль в метриках, поэтому решил попользоваться как основным телефоном.

Например, в нем приложение при установке не попадает на главный экран. Оно будет в шторке "все приложения", из которой его надо вытащить чтобы видеть на главном экране. Скорее всего в шторку заходят реже и аппы вне главного экране реже используются.

Отсюда идея – на онбординге просить пользователя вытащить апп на главный экран, ну или как-то пытаться добавляться туда автоматически.

Вообще, стараюсь регулярно на разных платформах пользоваться и смотреть глазами пользователя на то что мы делаем. Быстро привыкаешь к основному девайсу и легко упустить важные мелочи.

Data-driven подход стал стандартом, и я считаю что его популярность скорее опасна чем полезна. В работе с данными очень просто накосячить, и неподготовленному человеку он дает массу вариантов выстрелить себе в ногу. Например:

– При закупке трафика мы оптимизировали цену инсталла, при этом не смотря на ARPU. Это классика и все про это в курсе.
– Мы проводим AB тест, результат хороший. Раскатываем его на всех и теряем 10 тысяч пользователей. Это потому что мы увидели рост метрик и на радостях забыли посчитать отток.
– Мы собираем своих пользователей и рассказываем про новую новую фичу. Они в восторге, мы тратите полгода на разработку, а потом ей никто не пользуется. Так получилось потому что выборка пользователей была слишком мала (статистически не значима).

Примеры могу перечислять бесконечно. Все они от того что мы склонны делать решения на основе неполных данных. Нам по природе постоянно кажутся очевидными выводы или решения, которые с точки зрения статистики просто нельзя принять. Например вы приходите в сетевой магазин, вас плохо обслужили, вы решили что вся их сеть плохая. С точки зрения цифр это абсурд, но с точки зрения обывателя это логично.

Поэтому выживают только параноики: всё перепроверяйте, катите через АБ-тест и постепенно.

Сто лет не был на Pinterest. Сегодня зашел в свой аккаунт примерно за года три. Вижу откуда-то взявшуюся тысячу фолловеров. Приятное ощущение, хоть это и боты.

В коубе например были боты которые подписывались на новых пользователей для увеличения активности. Не факт что это что-то давало в ретеншене, но в активности и уведомлениях точно.

Два года назад в Instagram любое говно набирало десятки лайков, потому что их ставили боты в надежде на продвижение. Инста не при чем, людям приятно.

А у пинтереста всё хорошо. 300М уников, один из самых больших сайтов в интернете.

Важный факт который стоит всегда помнить при проведении A/B тестов – деградация конверсии.

Возьмем для примера наш тест на открытие меню. В нем мы ставим красную точку рядом с главным меню в расчете что его будут больше открывать. Точка пропадает если пользователь сделал целевое действие. Смотрите пример на картинке.

На графике видны результаты проведения теста. В первый день в тестовой группе открывали на 44% чаще, а в последний день – всего в 7%. Разница больше чем в 6 раз!

В UI тестах такое постоянно, и дело тут в эффекте новизны. Любое новое всегда получает больше внимания пользователя, чем старое. Потом все привыкают и конверсия деградирует до нормальной. Поэтому такие тесты мы смотрим минимум неделю, а лучше две.

В этом году мы много делали по общению с пользователями. Мало того что мы работаем с тремя видами обратной связи, мы решили что с пользователями надо встретиться лично.

Первый митап был летом в Лос-Анджелесе. Второй митап был начале декабря в Хьюстоне. Что мы поняли и зачем нужны митапы?

Во-первых, мы четко поняли нашу аудиторную нишу, которая без личных встреч была неочевидна. Никогда не видел чтобы на митап приходили с мамами и папами.

Во-вторых, чем ближе мы к пользователю – тем проще принимать продуктовые решения.

Ну и в третьих, митап это мини-конференция на которой вы можете собрать фидбек на все ваши идеи и быстро проверить какие-то гипотезы.

Если вам нравится канал – рекомендуйте его друзьям и шарьте посты.

Чистил сегодня борд в Trello. Надо было удалить где-то 50 карточек. Выбесился нереально из за прыгающего интерфейса. На видео показан этот баг.

Такие детали всегда нужно прорабатывать, ведь они и делают ваш продукт качественным.

Если у вас мобильный проект, то скорее всего пуш-уведомления это важная его часть. В iFunny например пуши это ретеншен-драйвер и важная часть реактивации пользователей.

Мы много времени потратили на аналитику пушей и пришли к вот такому набору метрик:

- Количество отправок пушей – сколько раз мы отправляли пуш в APNS или Firebase
- Количество доставок пушей – количество получений пуша девайсами. Тут стоит помнить что айфоны могут отправлять такую инфу только если приложение в фоне.
- Количество открытий приложения по пушу
- % от DAU которым не доходят пуши

Эти метрики мы смотрим в разрезе четырех типов пушей:

- По типам рассылки (выход новой пачки мемов)
- По активностям (смайл, репаб, комент, итп)
- Сообщения в чате
- Остальное

Смотрим это всё в отчете по дням: так мы полностью видим динамику всех воронок, и если что-то ломается – фиксим.

Классная метрика, которую надо обязательно мерять UGC приложениям – количество пользователей которые уходят из вашего приложения в другие. Например, сколько пользователей кликает по ссылкам или открывает диплинки.

Естественно, чем меньше эта цифра – тем лучше продукту. По ней будет ясно куда утекает ваш траф и как сильно влияет на продукт реклама.

В конце прошлого года меня покусал дизайнер и мы решили обновить дизайн комментариев. Естественно проверяли АБтестом.

На картинке ниже пример: до и после. Решили уплотнить верстку чтобы получить больше вовлечения: в новом дизайне больше ответов на коменты и активности в приложении.

В реальности комментировать стали меньше, а активность стала хуже. В первую очередь стали на 10-15% реже оставлять ответы к комментариям. Почему так? Думаем что кнопка "Replies" слишком маленькая и её тупо не видят.

Результат этого теста – отличный пример как любой (даже маленький) редизайн может угробить приложение и воронку конверсии.

Мы в FunCorp стараемся быть на пике последних технологий в индустрии. Поэтому делюсь новым трендом в ASO – бейджиком на иконке. Мы потестили – он дает в увеличение конверсии в скачивание приложения на 10%. Как обычно, всё что хорошо работает – очень тупо и просто.

Ранее я описывал результаты теста с новым дизайном комментариев. В нем мы немного поменяли UI экрана коментов и получили ухудшение активности. Решили что проблема в кнопке Replies: она слишком маленькая и её не видят.

Естественно нарисовали новый дизайн с большой красивой кнопкой Replies, который должен был всё пофиксить (на картинке третий скрин).

Протестили и получили результаты еще хуже чем были:
– Общее количество комментирующих – минус 5%
– Replies – минус 10%
– Всё остальное тоже пошло поехало

В целом очередной пример как редизайн может убить продукт

Продолжаем тестить дизайн коментов?
public poll

Тестим дальше! – 139
👍👍👍👍👍👍👍 72%

В жопу – 53
👍👍👍 28%

👥 192 people voted so far.

Странно видеть продакт-менеджеров которые вместо запуска собственных продуктов запускают курсы и тренинги по тому как стать крутым продактом.

В гугле тоже не дураки сидят. Тему с бейджами на иконке прикрыли, с 1 мая вводят обязательную модерацию загружаемых иконок в гугл плее.

https://android-developers.googleblog.com/2019/03/introducing-new-google-play-app-and.html

Всё что я делаю как менеджер – ищу узкое место и пытаюсь его как-то устранить. Такой подход к делу полностью раскладывает бизнес по полочкам и помогает заниматься самым важным.

Узкое место в системе всегда одно, и его устранение дает бизнесу возможность быстрее расти.

Например во всех моих стартапах узкое место постоянно перемещалось между разработкой, продажами и маркетингом. У меня в Пакте ботлнек в разработке, не успеваем делать фичи на которые есть покупатели. Как только фиксишь разработку или маркетинг – узкое место переезжает куда-то дальше по кругу.

В FunCorp гораздо лучше с разработкой, поэтому узкое место или в маркетинге или в юнит-экономике (продукте). Сейчас например проблема в том, что у нас слишком много гипотез: не можем запускать тесты пока не завершатся старые.

Так что приоритизируйте правильно, лучше ничего не делать чем делать хуйню.