Уже в 14:00 начнется трансляция с Рафаэлем, менеджером Trivago! Трансляция будет по ссылке:
https://radio.mediametrics.ru/normalno_delaj/64130/

#запуск_фичи #growth
Как в Badoo запускали виральную механику?
EGC кончился, но я успела поговорить с Тимуром Гарифзяновым, Product Lead в Magic Labs (Badoo, Bumble и др).
Спрашивала, зачем в приложение для дейтинга запускали виральную механику, какие пробовали инструменты, что получилось в итоге. Об этом и о том, какие процессы были задействованы, как выглядели эксперименты и какие были результаты — в записи эфира по ссылке: tgclick.click/Si6fi7eu

#анонс #развитие_продукта #процессы
Как поменять процессы внутри компании, чтобы выпускать продукт чаще? А как это делать, когда компания продает франшизу, да еще и не только на территории России? Поговорим об этом с Дмитрием Павловым, руководителем разработки Dodo IS в Додо пицце. Сегодня в 19:05 прямая трансляция,
видеозапись будет доступна по той же ссылке: tgclick.click/wu3PiWm0

#тестирование_гипотез #монетизация #fail
CoinKeeper рассказывает о борьбе за высокий ARPU
В 2017 году CoinKeeper было 200т+ MAU и подписке при 4-5% CR за 30 дней.

1. Ценовая дискриминиация
Зимой 2015 $1 повысился с 33₽ до 75₽. Основная аудитория у CoinKeeper Россия, и от повышения цен в 2,5 раза упала конверсия.
Цены в ₽ вернули на прежний уровень, но задумались: можно ли заработать на иностранных пользователях больше, чем на российских?

Пробовали дискриминацию по географии: выбрали 16 стран и показали им более высокие цены. Результаты:
📉конверсия в покупки упала
📈средний чек вырос
✅итоговый прирост составил 13%.
Успех, но эти страны приносили только 20% дохода.

Дальше: «богатые» пользователи «бедных» стран. Устройства — последний iPhone, Android6+:
📉конверсия упала
📈средний чек вырос
❎роста не произошло :)
⚠️исключение - последний iPhone 7, где конверсия не сильно упала, а чек подрос.
Главное — эксперимент научил не бояться повышать цену.

2. Допродаем сомневающимся
На странице покупки 79% нажавших «Купить» не подтверждали платеж. Почему? Гипотеза — тех. проблемы с платежами. Опрашиваем:
⚠️Не удалось (ошибки) — 19%
😞Слишком дорого — 28%
🤪Просто не хочу — 53%

Чтобы «догнать», стали направлять письмо со ссылкой на оплату тем, кому «не удалось купить», и показывать оффер со скидкой тем, кому дорого.
☘️Эксперимент напомнил не сдаваться слишком рано.

Результаты:
📈Конверсия в покупки +18%
📉Средний чек -4%
✅Прирост дохода +11%
✅ Доп. доход от продаж через письма +6% месячного дохода

3. Увеличиваем продажи в первый день
В Coinkeeper делают большой упор на продажи в первые сутки:
🔹80% новичков видит хотя бы 1 преминум питч, 62% видят 2, 20% видят 4
Какие это дает результаты?
🔹69% платежей первого месяца происходит в первые сутки
🔹56% платежей первых суток происходит в первые 10 минут!

Главное — «Только в первый день у вас есть 100% пользователей»

4. Увеличиваем доход с помощью второго тарифа
Чтобы поднять средний чек, добавили второй, более дорогой тариф. Произошло прекрасное:
🔻старые пользователи были недовольны
🔻конверсия в покупки новых упала в 4 раза
✖️через 5 дней второй тариф убрали
Почему не сработало? гипотез много… но главное — это напомнило об осторожности.

Легкое и приятное видео с деталями и подробностями, 12 минут без вопросов: tgclick.click/aB4A8JRZ

#анонс #развитие_продукта #процессы
Как построить правильную систему метрик для продукта? Для каких продуктов это работает, а для каких нет? Поговорим на примере нескольких кейсов с Еленой Серегиной, founder Datalatte, ex-Яндекс.
Сегодня в 12:00 прямая трансляция, видеозапись будет доступна по ссылке:
tgclick.click/0rLTYu0P

#запуск_продукта #процессы
Как правильно масштабировать команду?
В «Тинькофф бизнес» за 3 месяца сделали MVP продукта для запуска на рынке. За 3 года прошли от первых 500 клиентов до 300 000. А команда разработки выросла с 5 до 200 человек, испытав немало проблем роста. Как боролись?

В начале была единая небольшая команда. Но с ростом продукта росла и она. Работать вместе стало неэффективно при количестве человек больше 7, так что команду пришлось делить. Так появились слои: «веб», «клиент», «бек» и тп.

А рост все продолжался. Вскоре всплыли проблемы:
🔀 синхронизации между слоями не хватало,
⤵️ процесс разработки превращается в waterfall: фронты не хотят делать пока не готов бекенд, а бекенд не хочет делать пока не видит итоговый дизайн),
❌ постоянно происходили конфликты релизов,
⚠️ появлялилсь узкие места в слоях: то в qa, то в аналитике,
🏃‍♀️ все задачи приходили от разных заказчиков, но все — наипервейшего приоритета,
💢 команду разрывали на части, появлялась аллокация людей в задачи в % (ты тратишь 10% времени на это, 5% на это, 20% на…)
Как следствие — утрачивается понимание целей командой. Time2Market все больше, а команда попросту выгорает.

Что делать? Решили делиться на команды опять, но по-другому. Их назвали «Продуктовые единицы», и в каждой из них поставили одного заказчика, с одним беклогом, одной фулл-стек командой, отвечающей за свой сервис, со своими процессами: планирование, спринты, релизы.
А что сложного? Да вот что:
🔸 как почти любой продукт, растущий из mvp, «Тинькофф бизнес» представляет из себя монолит кода. Микросервисы отпиливались поочередно и небыстро.
🔹 увлекшись распиливанием монолита, команда полностью забыла про разделение интерфейсной части. Это задержало трансформацию на еще какое-то время, неучтенное в начале.
🔸 некоторые люди и некоторые части кода так и не поделилились. Кто-то из-за уникальной экспертизы, нужной сразу всем, или каких-то еще внутренних причин. Они так и остались общей прослойкой, и к коммуникациям с ней каждая команда относится с должным вниманием.
🔹 кое-что выделялось в отдельную команду совершено зря. Когда запускали валютные платежи, отдельная команда делала продукт для них. Но автоматизация операций была преждевременной, и еще год пришлось переделывать все системы.
🔸 не обошлось и без борьбы с топ-менеджментом. Для них вполне проблемы разработки казались то некомпетентностью персонала, то вообще повседневными жалобами программистов. Получение поддержки, которая сделала возможной весь процесс масштабирования, было возможно только после глубокого погружения топов в текущие проблемы ИТ.

Но в итоге все получилось. Все мини-команды после реформации также объединялись в одну команду, но с полностью переделанной внутренней структурой. Все видят общую цель, но и четко понимают свой собственный фокус при достижении этой цели. Профит!
А главное, теперь команде знает принцип, по которому можно масштабироваться снова и снова, и даже в курсе большинства подводных камней.

А вам приходилось участвовать в масштабировании команды?
🧐- да, успешно
😣 - да, неуспешно
🤓 - пока нет
Видео, 22 минуты без вопросов: tgclick.click/glGyhP32

Мы ходим на конференции и слушаем доклады на митапах, чтобы принести в свой продукт новые идеи и инструменты. Но помогает ли это в долгосрочной перспективе? Вместе с Байрамом Аннаковым, CEO & Founder Appintheair, поговорим о системном подходе — о том, как видеть продукт и компанию более цельно и принимать системные долгосрочные решения. Трансляция, а позднее видеозапись: https://radio.mediametrics.ru/normalno_delaj/64516

#запуск_продукта #fail #процессы
Рассказ об ошибках в стартапе, совершенных scrum-командой, и к чему они привели.
Продукт: супер-сложный технически, финансируется заказчиком. Он сам не до конца знает, чего хочет, и его требования и приоритеты меняются 3 раза в день. Сроки: все это нужно уже вчера.
Как следствие, команда на гране выгорания с постоянными переработками (даже оплачиваемыми) и общей атмосферой «да пофиг уже».
В рассказе много боли, мало конкретики, но мне так близко, что все же делюсь с вами. Итак, что похоронило этот и может похоронить любой другой проект (кроме перечисленного выше)?

1️⃣ Забивали на скептиков
Слишком мало времени, слишком опасный костыль, слишком урезаем время на code review… Здесь от таких жалоб стабильно отмахивались. Результат — больше крашей и провальных релизов — часто именно из-за тех «бутылочных горлышках» на которое указывали скептики.
🔹Профилактика: прислушиваться, потому что даже если твои ребята не правы в оценке степени риска, они скорее всего безошибочно выявили самую опасную часть процесса, не грех лишний раз ее проверить и успокоить себя и других.

2️⃣ Отсутствие общего vision у команды
В команде было несколько версий понимания, о чем вообще продукт. Анатилики, разработчики, QA, клиент — у каждого свое мнение. А наличие нескольких бизнес-аналитиков вносило дополнительного веселья — каждый из них топил только за ту часть продукта, что понимал хорошо сам.
🔹Профилактика — единый PO. И да, на большую команду разработки (43!), кажется непомерной нагрузкой такая роль. Но его задача — общее виденье на высоком уровне, а конкретные требования как раз формирует команда внутри себя, руководствуясь этим видением.

3️⃣ Забивали на техдолг, или «Дай программисту волю — он весь продукт зарефакторит»
Да, чтобы хакнуть рост, часто приходится костылить так, что на ревью отдавать стыдно. И время на «оптимально, универсально, основательно» не везде можно выделить.
Но чтобы делать хороший, масштабируемый продукт, нельзя громоздить костыли на костыли и надеяться, что инвалид будет работать вечно. Если совершенно забыть о техдолге в угоду росту, то скорость также быстро упадет, когда вас догонят проблемы множественных багов из-за неочевидных взаимосвязей, недокументированности и тому подобного хаоса, многократно увеличенные сейчас, когда вы уже набрали миллион активных пользователей.
🔹Профилактика: не забывать про техдолг, уделять внимание продумыванию архитектуры наперед, выделять время на автотесты и так далее.

4️⃣ Продажи вопреки здравому смыслу — Ох, оочень знакомая мне проблема!
Sales легко увлекаются и могут продавать без оглядки на в возможности команды. Если руководство благоволит, одни продажники легко могут самолично разрушить спокойствие и эффективность команды. Достаточно парочку раз продать то, что в продукте не хотели и не планировали делать, только потому, что это захотел «жирный» клиент.
Но и команда при удачном «ветре» может тянуть одеяло в свою сторону: продолжать тестировать, когда уже правда пора продавать, регулярно нарушать собственные сроки и пофигистично пожимать плечами при этом.
🔹Профилактика: Courage, Respect, Commitment, Openess, Focus — для всех участников процесса (ценности Agile):
🔘не боимся говорить о проблемах (что это мы не успеем, и не надо компании заключать этот договор),
🔘уважаем друг друга (видела не просто разногласия, а взаимные оскорбления вживую и в почте, и это по-моему не нормально),
🔘называем и выдерживаем адекватные сроки продажникам и топ-менеджменту, а они, собрав волю в кулак — клиентам.
🔘договариваемся, а не требуем или отказываем без объяснения. При таких-то условиях и в таком-то урезанном объеме можно реализовать, давайте подумаем вместе, подойдет ли это клиенту, и что делать если нет.
🔘фокус: еще одна отсылка к vision, которое показывает, что, когда и для кого мы должны создать.

Вообще, самая большая ошибка — не делать выводов из ошибок.
А вам что кажется самым страшным в этом списке? Источник: tgclick.click/kxd2czlr

Анонс:
#анонс #развитие_продукта #процессы
20 ноября в 21:00 вместе с Михаилом Цвиком, продактом из Revolut, ex-Wrike, поговорим об особенностях b2b пользователя:
как привлекать,
как удерживать,
что считать и как анализировать,
что еще важно не забывать, когда делаешь b2b продукт.
Трансляция, а позднее видеозапись, доступны по ссылке: https://radio.mediametrics.ru/normalno_delaj/64662/

#анонс #развитие_продукта #процессы
Сегодня в 18:05 вместе с Станиславом Пятикопом, CPO Simple Health, ex-Wheely поговорим об особенностях подписочных моделей. Услышим о том, как Simple Health запускался в США, как выбирали модель монетизации, какие делали тесты.
Трансляция, а позднее видеозапись, доступны по ссылке: https://radio.mediametrics.ru/normalno_delaj/64700/

#growth
Как растили Retention в iFunny

iFunny — это #2 продукт в топ entertaiment по оценке Similar Web со 100% UGC. У продукта более 50млн установок.
Начали с онбординга, ведь хороший онбординг=хороший retention.

💡#1. Люди плохо понимают продукт и уходят.
Удлинили онбординг с 1 экрана до 5, объясняя про лайки, шары и т.п. Ничего не поменялось!
💡#2. Не объясняем ценность уведомления.
Сделали в ios кастомный диалог про пуши, где можно выбрать, когда и сколько пушей получать. Стало хуже.
💡#3. Предложили добавить чтение iFunny в календарь (небанально).
Вырос retention в первый день, но потом люди удаляли iFunny из календаря, и дальше ничего не изменилось.

Всего сделали около 20-ти вариантов онбординга, но по факту не добились изменения ретеншена ни одним.

Просмотр сессий+опрос показали, что 60% новых установок — это на самом деле старые пользователи! И обучать их нет смысла, а надо работать над пушами и просмотрами.

💡#4 Решили, что пользователю нечего смотреть, и он поэтому уходит. Сделали разные разделы, где контент по темам — они стали отвлекать пользователей, глубина просмотра упала.
💡#5 Решили, что листание это тоже работа. Сделали переключение контента автоматом, как сториз. Никто не понял, глубина просмотра упала.
💡#6 Люди хотят смотреть сначала то, что еще не видели. Поменяли сортировку, не ждали многого, но тест дал +40% в просмотры.
💡#7 Сортируем внутри непрочитанных по убыванию k-share (отношение шеринга к просмотрам).
+30% шаров, +20% репабов, +1000 инсталлов в день... а глубина и ретеншен не меняются.
💡#8 Сравнили 4 группы: сортировка по лайкам, по сохранениям, по репостам и по шарам, и увидели сильный рост ретеншена в группе по лайкам. Наконец-то! Кстати, работали со старыми, а метрики новых тоже улучшились.

Дальше работали с пушами. Заметили разницу платформ:
🍏iOS не любят много пушей, зато влияет бейдж непрочитанных,
🤖Android все равно сколько пушей, а вот бейдж почти не влияет.
Квартал вычищали ошибки отправки и делали аналитику, и только тогда смогли экспериментировать:
💡#9 В пуш добавили UGC тексты, это подняло открытия
💡#10 Просто добавление картинки дало еще х2 открытий
💡#11 Добавление увеличенной картинки дало х3 открытий.
Всего работа с пушами дала +300% push CTR, +2% DAU/WAU, +2% Views per user, +3% сессий.

А всего эксперименты дали:
📈Рост stickiness на 30 %
📈Рост RR7, RR 21
📈Рост заходящих каждый день

Источник (видео, 24 минуты): tgclick.click/yDF7ElDG

#анонс #развитие_продукта #процессы
6 декабря в 15:05 вместе с Владимиром Горовым, Data science product manager Яндекс.Недвижимость и Авто.ру, поговорим о том, как в продукте использовали data science для улучшения пользовательского опыта. Трансляция, а позднее видеозапись, доступны по ссылке:

https://radio.mediametrics.ru/normalno_delaj/64891/

#запуск_продукта #startup
В эту пятницу в 15:00 у нас тема-мечта для многих стартапах. С Грачиком Аджамяном, Ceo&Founder Wakie, обсудим:
- как попасть в Y-Combinator,
- кому это нужно, а кому нет,
- какие вопросы возникнут при подготовке заявки,
- что происходит внутри акселератора
и самое главное
- Как получить от пребывания в программе максимальную пользу?
Трансляция, а после эфира видеозапись будет доступна по ссылке: https://radio.mediametrics.ru/normalno_delaj/64986/

#анонс#развитие_продукта#процессы
В эту среду в 21:00 вместе с Михаилом Табуновым, CPO FunCorp, обсудим в прямом эфире и попробуем ответить на вопрос, где границы возможного в продакт-менеджменте. Можно ли из любого продукта сделать рабочий бизнес, если достаточно сделать итераций, или не всегда? И как грамотно организовать процесс?
Трансляция, а после эфира видеозапись будет доступна по ссылке: https://radio.mediametrics.ru/normalno_delaj/65056/

#marketing #growth
Зачем нужна контролируемая каннибализация?
Контролируемая каннибализация (ваш продукт Х мешает продажам вашего же продукта Y) — частая история в ритейле, но редкость для технологической среды.

В связи с этим еще интереснее посмотреть на опыт Яндекс.Такси, где есть аж 3 примера каннибализации:
1. Яндекс.Такси и Uber Russia — 1 продукт, 2 бренда
2. Яндекс.Такси и Яндекс.Драйв — 2 продукта, 1 потребность
3. Платный и органический траффик — 1 продукт, 2 вида траффика

Расскажу про Яндекс.Такси и Uber (в выступлении есть еще про платный траффик и органику)
После покупки Яндексом бизнеса Uber на территории России и СНГ было принято решение перевыпустить в России приложение Uber под брендом Uber Russia.
Это означало:
⁃ привлечение пользователей почти с нуля (нельзя было пользоваться основным приложением Uber),
⁃ САС хуже,
⁃ стоимость поездок дешевле.
С другой стороны, оба бренда работают на рынке, где 55% клиентов пользуются не только ими, но и конкурентами. В итоге, какие задачи может решать второй бренд?

Задача 1. Привлечение аудитории через дифференциацию брендов.
У Uber Russia было три стратегии развития на рынке, где уже существует лидер — Яндекс.Такси:
⁃ Дискаунтер (позиционироваться как лидер, но быть дешевле). Не подходит — было бы проигрышем для бизнеса в целом
⁃ Челленджер (доказать что ты лучше лидера). Не подходит — была бы полная каннибализация бренда Яндекс.Такси
⁃ Эксперт в определенной ЦА — стать брендом для входа в категорию у определенной ЦА и расширить воронку бизнеса в целом. Бинго!

Для поиска ЦА, которую можно было бы завлечь с помощью Uber Russia, провели качественные и количественные исследования. Выполняли три задачи:
⁃ сегментировали поездки по кейсам (по делам, шикануть, ежедневно и тп)
⁃ сегментировали пользователей по аудиториям (более взрослая, более молодая и т.п.)
⁃ смотрели, что происходит на пересечении, где Яндекс хуже всего работает.

Нашли сегмент: ночные поездки у молодежи. Из интересного, сегмент отличается чувствительностью к цене и большей лояльностью к зарубежным брендам. То есть ровно то, чем Uber Russia отличается от Яндекс.Такси!
Для это ЦА и был сделан продукт UberNight: специальные тарифы для поездки ночью, который и помог привлечь эту аудиторию.

Задача 2. Удержание и возврат.
У команды Яндекс.Такси есть маркеры, помещающие клиента в «зону риска» — еще не ушел, но уже недоволен. Это выражается и в жалобах в саппорт, и в низких оценках водителям, и в отменах поездок по определенным причинам. Для каждого сегмента кейсы разные, и в некоторых случаях своевременное предложение от Uber Russia может перетянуть клиента в новый продукт, не теряя его для бизнеса.
Также отлично работает возврат пользователей через второе приложение. Купить «отвалившегося» пользователя дешевле вторым брендом.
Благодаря такой стратегии доля поездок клиента перераспределяется, но общая частота поездок клиентов в среднем повысилась аж на 30%!

А вы когда-нибудь задумывались о стратегии self-disrupt для своего продукта?

Источник: tgclick.click/v2OBEPxz

#запуск_продукта #growth
ML в продаже авто 🚖

В Carprice нейросети используются, например, для распределения потока продавцов авто и показа наиболее релевантных объявлений.

Еще, когда Carprice покупает машину у человека и продает её дилеру, то забирает себе маржу-разницу. Ее устанавливает каждый раз нейросеть.

🛴Изначально маржа была фиксирована – некий процент от стоимости машины.

По мере развития стало ясно: чтобы достичь оптимального сочетания конверсии в покупку и маржи, на разные машины маржа должна быть разная, в зависимости от состояния, цены, города продажи и т.п.

🚐 Попытались задавать маржу фиксированными значениями для разных сегментов, но скоро поняли, что сегментов получается очень много.

🚕 Тогда сделали административный интерфейс, чтобы создавать, редактировать и учитывать сложные правила.

Однако спустя еще время в Carprice пришли к тому, что управлять вручную правилами – достаточно тяжело, а отслеживать результаты - ещё тяжелее.

🏎 Вот в этот момент и внедрили туда нейросеть, которая стала управлять этими правилами, сегментами и факторами.

Нейросеть анализирует параметры каждой из уже совершённых сделок: тип и состояние авто, город, время, клиент, результаты аналогичных сделок за большой период и конверсию по ним.

На основании этих данных выбирается гибкий процент маржи для будущих сделок: она снижается только для тех авто, где повышение конверсии в итоге принесет больше дохода.

В результате:
🚖 доход выше на 20%
🚘 выкупаемость машин выше на 2%
🏎 их средняя цена выше на 11,1%

А вы уже придумали, как ml поможет вашему продукту?
😎 - да, у нас уже работает
🤓 - да, еще не работает
🤨 - у меня это неприменимо

Дочитать про 2 других кейса: https://productstar.ru/blog/ml-cases

#запуск_продукта #mvp #процессы
Как ит-блоггер делал приложение для дальнобойщиков с помощью lean-разработки
У дальнобойщиков сложный режим труда и отдыха — нельзя вести фуру больше 4,5 часов непрерывно, а также больше Х часов в день, неделю, месяц. Особый прибор (тахограф) следит за режимом, а данные с него снимает только ГАИ и сразу выставляет штрафы за несоблюдение.
Сами дальнобойщики ведут записи в тетрадке и конечно нередко ошибаются в подсчетах.

Есть несколько приложений для записей, но неудачных: каждое действие водителя нужно дублировать, даже если в пробке ты останавливаешься и трогаешься снова.
Максим (тот самый ит-блоггер) периодически работал дальнобойщиком и подумал, что мог бы решить проблему. Больше всего меня восхищает верно выбранный процесс, посмотрите💜

📝 Коридорный тест на ЦА
Максим сделал бумажный прототип приложения, который проверял на других дальнобойщиках на стоянках, пока не сделал прототип понятным.

🛴Проверка боевыми условиями
Затем он поехал с прототипом в рейс, в дороге «пользуясь» им и уточняя алгоритм работы. Примерно за месяц он составил детальное описание приложения.

🧩Дизайн и ТЗ первой версии
он разрабатывал самостоятельно около полугода, а затем начал разрабатывать приложение с помощью агенства.
Разработка заняла 2,5 месяца, по мнению блоггера — максимальная сложность была в коммуникации с разработчиками, которая шла только через менеджера и напоминала «испорченный телефон», а внесение правок стоило дополнительных денег.

🤹‍♀️Бета-тестирование
Можно было на этом остановиться. Но несмотря на стоимость изменений, Максим не просто выпустил приложение, а сделал 100 действующих дальнобойщиков бета-тестерами. Они делились обратной связью для улучшения приложения, и через год и 52 итерации продукт был готов.

🗣 Распространение через сарафанное радио
Стоимость приложения была большой для Play Market, $12, но продажи только нарастали.
На стоянках оно подавало сигналы пользователям (например, что минимальное время отдыха выполнено). Другие водители слушали отзывы и без колебаний решались на покупку.

🤑Продажа или развитие
В начале продаж Максиму поступило предложение о покупке продукта за $500k. Но первый месяц уже принес $100к выручки, а продажи росли по экспоненте.

На текущий момент разработка полностью окупилось, а Максим уже разрабатывает другие приложения для дальнобойщиков. Теперь у него есть партнер-программист и удаленный штат — подозреваю, издержки на разработку значительно снизились.

Источник (много про блоггера и его контент в канале о рейсах за рубеж): tgclick.click/nhxISMZh

#процессы #развитие_продукта
Как менять ядро продукта и зачем.
💁‍♂️ Интервью и аналитика показали, что Aha-момент в Badoo — первый match в приложении («да» в ответ на «да»). Retention людей, получивших match на первый же день использования, значительно превышает Retention других.

🙅‍♀️ Команда стала исследовать тех, кто не получают матча в первый день, и работу алгоритма match (который предлагает кандидатов) с этими людьми.

👴🏻 Алгоритм match существовал уже 12 лет. Он совершенствовался разными людьми, на основе тенденций и гипотез 12-ти лет (таргетируем студентов, а теперь молодых специалистов, теперь людей с детьми и с машинами). Естественно, обрастал костылями и неполной документацией. Вносить изменения в алгоритм было сложно — никогда не знаешь, что именно получится🤞.

⚒Пришли к решению, что алгоритм надо переписать целиком, чтобы достигнуть эффективных результатов и прозрачности его работы. Но как протестировать, что новый алгоритм лучше старого? Badoo — социальное приложение, где есть масса связей между людьми. Значит, невозможно выделить обособленную контрольную и тестовую группы для A/B теста, не влияющие друг на друга.

💊На помощь пришел алгоритм casual impact (https://google.github.io/CausalImpact/CausalImpact.html). Он строит модель предсказания, как будет себя вести метрика, если б изменений не было. Сравнили новый и старый алгоритмы — увидели прирост на 5% в матчинге людей.

📊Чтобы случайно не оптимизировать поведение только под одну группу, Badoo поделилил аудиторию на группы: male/female ratio, платежеспособность, среднего возраста, % пользования предложения и т.п. Группы выделялись в рамках страны, изменения тестили в странах из каждой группы и раскатывали на 100%, только если во всех группах не наблюдали проблем.

⚙️Теперь вносить изменения в алгоритм и тестировать гипотезы легче. Каждый шаг задокументирован, а статистикой обвязано по максимуму все, что можно. Например, в какой-то момент сделали анализ фотографий, и выяснили:
😉 улыбающийся мужчина круче (больше матчей) не улыбающегося,
🤓очки тоже прибавляют мужчине привлекательности,
🧔🏻а вот бороды вышли из моды (!)

📈 Работа с новой версией уже принесла на 50% больше матчей в первый день у пользователей.

По скромным подсчетам, в 2018 году Badoo сгенерил такую воронку:
⁃ 2 700 000 000 матчей,
⁃ 2 295 000 000 чатов,
⁃ (предполжительно) 22 950 000 свиданий
⁃ (предположительно) 1 147 500 свадеб
⁃ (уж совсем приблизительно) 573 750 детей, рожденных благодаря встречам на Badoo.
Вот так. Не бойтесь рисковать, делайте классные продукты (и детей).
Видео, 19 минут без вопросов: tgclick.click/urdiUN8x

#запуск_продукта
Сегодня, в 15:05 говорим об онлайн-продажах Вкусвилла с Мелором Курдованидзе, менеджером цифровых продуктов во Вкусвилле. Будем разбираться, в какой момент пора выходить в онлайн, как строить работу с агрегаторами доставки и принимать решение о запуске (или нет) своей доставке. Трансляция, а позднее видеозапись, доступны по ссылке: tgclick.click/WYHrmAJ0

#конкурс
Вчера с Melor Kurdovanidze поговорили о том, как во Вкусвилле запускают ecomm. В конце эфира объявили конкурс на лучшее описание фичи предзаполненной корзины.

🎖Победителю дарим книги, подписанные Вкусвилл и от передачи "Нормально делай, нормально будет".

📄Заявки принимаются всю неделю (до 19 марта включительно), а потом мы постараемся дать побольше обратной связи и выбрать самый интересный, качественный ответ.

👉Ссылка на форму, куда присылать заявку: http://tgclick.click/3ESPBN19

UPD вчера намудрила с правами, не было доступа 🙈. Сейчас поправила, заполняйте!

#запуск_фичи #фейл #карантин_с_пользой
Как запуск фичи обернулся непредсказуемыми последствиями для сервиса.

Juno — райдшеринговый стартап в Нью-Йорке, с фокусом на «человеческое» отношение к водителям 🚕.
Анонсировали запуск фичи, которую очень ждали эти водители: фильтр по направлению.
Кажется, такая штука есть и у российских сервисов: водитель может выбрать точку (например «домой»), и заказы подбираются плюс-минус по пути к ней.

Подобрать заказ по пути в точку сложнее, чем просто заказ. Пришлось пойти на некоторые хитрости:
🚀 «Фора» по времени прибытия на заказ. Даже если водитель, использующий фильтр, прибудет на заказ позднее (на 20-90 секунд), чем это мог бы сделать другой водитель поблизости, заказ отдается ему.
👩‍🚒 Несгораемые попытки выставить фильтр. Пока по факту поездка в нужном направлении не совершена, можно снимать и заново ставить фильтр и искать поездки бесконечно.

Фича запустилась и получила массу позитивного отклика в первый же день. На 15й день:
✅ больше половины водителей выставляли фильтр ежедневно, что превосходило все ожидания.
📊 вероятность успешной поездки подросла на 6%, тк водители больше не отменяли поездку, когда она была не в том направлении
📈 чуть подросло время ожидания пассажиров, но негатива от пользователей не было.

Хорошо, что успех каждого изменения June измеряет не только через 2 недели, но и долгосрочно. На 30-й день выросло кол-во отмен поездок пассажирами и начался отток.
С помощью пирамиды метрик была быстро обнаружена причина:
💁‍♀️ «I expected a shorter wait time», жаловались пассажиры.

Раньше ⌛️ориентировочное время ожидания машины до выбора водителя и ⏱ время ожидания конкретного водителя после его выбора практически совпадало, хотя и рассчитывалось разными алгоритмами.

Но теперь они перестали совпадать, особенно в пиковые часы. Стали смотреть, что происходит в пиковое время, когда проблемы были максимальными:
➡️ большинство пассажиров едет на работу в центр, что логично
⬅️ а вот водители хотят ехать в аэропорты в это же время, и туда и выставляют фильтр, причем в некоторых аэропортах назначения June даже не работает.

Действовать нужно было срочно.
🚫 Команда полностью вырубила фильтр в часы пик, хоть это и гарантировало негатив со стороны водителей.
⚠️ Также были внесены ограничения на выставление фильтра, и теперь нельзя было поехать в какую угодно точку.

Жесткие меры принесли результаты - отток остановился. Однако потребовалось немало денег как на качественную коммуникацию с водителями, чтобы снизить негатив из-за отключения фичи, так и на возврат пассажиров, которые отказались от сервиса из-за этого негатива.

Какие выводы сделали в June?
💹 не забывать смотреть влияние новой фичи как на кратком, так и на более длительном промежутке времени
🔺держать в тонусе иерархию метрик: именно она позволила быстро добраться до первопричин проблемы.

Источник, 15 минут без вопросов: tgclick.click/rPzZdfsp

А у вас когда-нибудь были такие «коварные» запуски?