Forwarded from This is Data
Данные – это три кита, на которых держится любой бизнес, и от того, насколько грамотно эти данные обращаются в системах, зависят рост и успех компании.
В новой статье мы рассмотрим основные технологии обмена данными, пережившие эволюцию и доказавшие свою состоятельность в бизнесе.
В новой статье мы рассмотрим основные технологии обмена данными, пережившие эволюцию и доказавшие свою состоятельность в бизнесе.
Forwarded from Сто 💯 икс // Денис Мартынцев
The Hook Model – инструмент удержания и вовлечения
Американский исследователь и предприниматель Нир Эяль предложил интересный способ повысить вовлеченность пользователей в продукт.
«Модель крючка» – это четыре фазы взаимодействия между пользователем и продуктом, регулярное повторение которых приводит к возникновению привычки.
1. Триггер
Формирование привычки начинается с внешнего или внутреннего триггера.
Внутренние триггеры – это мысли и эмоции людей, которые они связывают с вашим продуктом. Скука, одиночество, разочарование провоцируют дискомфорт и приводят к неосознанным действиям.
Задача команды: выявить внутренние переживания пользователей и связать их с продуктом. Так, чтобы при возникновении соответствующей эмоции пользователю в первую очередь приходил на ум именно ваш продукт.
Внешние триггеры – сенсорные раздражители, окружающие пользователя. Это информация, которую нужно донести, чтобы инициировать действие.
Внешние триггеры могут быть нескольких видов:
Платные триггеры – привлечение внимания через платные рекламные каналы (контекст, таргетированная реклама и тд).
Бесплатные триггеры – информация о вашем продукте в СМИ, блогах и сообществах.
Триггеры отношений – рекомендации людей и упоминания вашего продукта в личном или виртуальном общении.
Внедренные триггеры – элементы окружения пользователя, которые часто попадаются на глаза (иконка приложения, e-mail, пуш-уведомление, сообщение в мессенджер).
Именно внедренные триггеры обеспечивают постоянное обращение пользователей к продукту, что ведет к формированию привычки.
Задача команды: придумать, настроить и оптимизировать внедренные триггеры, которые будут инициировать совершение действия в продукте.
2. Действие
За каждым триггером должны следовать реакции пользователей, направленные на совершение действий в продукте.
Вероятность совершения действий напрямую зависит от их сложности. Чем больше усилий требуется от пользователя, тем меньше вероятность, что действие будет выполнено.
Задача команды: упрощать продукт, чтобы для совершения действий требовалось как можно меньше усилий.
3. Переменное вознаграждение
Действия пользователей должны вести к получению переменного вознаграждения одного из трех типов:
Вознаграждение племени – социальное вознаграждение за счет связи пользователя с другими людьми, чувства востребованности, важности и привлекательности в глазах общества.
Вознаграждение добычей – материальные блага, информация или контент, которые пользователи могут получить, совершив действие.
Внутреннее вознаграждение – чувство удовлетворения, возникающее при полном выполнении задачи.
Задача команды: определить один или несколько типов переменного вознаграждения, характерных для продукта, которые можно использовать в качестве наживки в формировании привычки.
4. Инвестиция
Чем больше времени и сил пользователи инвестируют в продукт, тем больше они его ценят.
На этапе инвестиций пользователи должны совершать действия, которые приведут к получению переменного вознаграждения в будущем.
Инвестиции позволяют накапливать ценность в форме контента, личных данных, аудитории, репутации или навыков, а также инициировать новые триггеры.
Задача команды: создавать и развивать механики инвестиций в продукт, связывать их с получением переменного вознаграждения в будущем.
Заранее неизвестно, что лучше сработает на каждом из этапов модели, применяемой к вашему продукту. Потребуется провести не один эксперимент, чтобы найти оптимальные решения.
Опыт десятков популярных продуктов, использующих модель крючка, говорит о том, что эти усилия окупаются.
Удержание и вовлеченность – фундаментальные метрики. Вырастив их за счет создания привычки, вы сможете сделать рост бизнеса долгосрочным и управляемым.
Американский исследователь и предприниматель Нир Эяль предложил интересный способ повысить вовлеченность пользователей в продукт.
«Модель крючка» – это четыре фазы взаимодействия между пользователем и продуктом, регулярное повторение которых приводит к возникновению привычки.
1. Триггер
Формирование привычки начинается с внешнего или внутреннего триггера.
Внутренние триггеры – это мысли и эмоции людей, которые они связывают с вашим продуктом. Скука, одиночество, разочарование провоцируют дискомфорт и приводят к неосознанным действиям.
Задача команды: выявить внутренние переживания пользователей и связать их с продуктом. Так, чтобы при возникновении соответствующей эмоции пользователю в первую очередь приходил на ум именно ваш продукт.
Внешние триггеры – сенсорные раздражители, окружающие пользователя. Это информация, которую нужно донести, чтобы инициировать действие.
Внешние триггеры могут быть нескольких видов:
Платные триггеры – привлечение внимания через платные рекламные каналы (контекст, таргетированная реклама и тд).
Бесплатные триггеры – информация о вашем продукте в СМИ, блогах и сообществах.
Триггеры отношений – рекомендации людей и упоминания вашего продукта в личном или виртуальном общении.
Внедренные триггеры – элементы окружения пользователя, которые часто попадаются на глаза (иконка приложения, e-mail, пуш-уведомление, сообщение в мессенджер).
Именно внедренные триггеры обеспечивают постоянное обращение пользователей к продукту, что ведет к формированию привычки.
Задача команды: придумать, настроить и оптимизировать внедренные триггеры, которые будут инициировать совершение действия в продукте.
2. Действие
За каждым триггером должны следовать реакции пользователей, направленные на совершение действий в продукте.
Вероятность совершения действий напрямую зависит от их сложности. Чем больше усилий требуется от пользователя, тем меньше вероятность, что действие будет выполнено.
Задача команды: упрощать продукт, чтобы для совершения действий требовалось как можно меньше усилий.
3. Переменное вознаграждение
Действия пользователей должны вести к получению переменного вознаграждения одного из трех типов:
Вознаграждение племени – социальное вознаграждение за счет связи пользователя с другими людьми, чувства востребованности, важности и привлекательности в глазах общества.
Вознаграждение добычей – материальные блага, информация или контент, которые пользователи могут получить, совершив действие.
Внутреннее вознаграждение – чувство удовлетворения, возникающее при полном выполнении задачи.
Задача команды: определить один или несколько типов переменного вознаграждения, характерных для продукта, которые можно использовать в качестве наживки в формировании привычки.
4. Инвестиция
Чем больше времени и сил пользователи инвестируют в продукт, тем больше они его ценят.
На этапе инвестиций пользователи должны совершать действия, которые приведут к получению переменного вознаграждения в будущем.
Инвестиции позволяют накапливать ценность в форме контента, личных данных, аудитории, репутации или навыков, а также инициировать новые триггеры.
Задача команды: создавать и развивать механики инвестиций в продукт, связывать их с получением переменного вознаграждения в будущем.
Заранее неизвестно, что лучше сработает на каждом из этапов модели, применяемой к вашему продукту. Потребуется провести не один эксперимент, чтобы найти оптимальные решения.
Опыт десятков популярных продуктов, использующих модель крючка, говорит о том, что эти усилия окупаются.
Удержание и вовлеченность – фундаментальные метрики. Вырастив их за счет создания привычки, вы сможете сделать рост бизнеса долгосрочным и управляемым.
Forwarded from Интернет-аналитика // Алексей Никушин
Y Combinator опубликовал гайд о том, как правильно поднимать раунд серии А. Гайд — концентрация опыта YC за несколько лет работы с успешными и не очень стартапами. Про правильный питч и прочее почитайте сами, а мы расскажем о самом интересном — о цифрах, которые интересны инвесторам.
Тактика на старте
За 6-12 месяцев до даты подъема раунда А необходимо решить, чем вы будете удивлять потенциальных инвесторов. Нужно выбрать себе цели и тут же начать их трекать, чтобы в день Х у вас уже были красивые графики того, как эти цели были достигнуты. Если понимания, к чему вы стремитесь, нет, то можно их копипастнуть (с умом, разумеется) в предложенных YC бенчмарках — это наборы параметров, средние для стартапов YCombinator за 5 лет в разных областях. Например, для Usage Based / B2B компании ключевой метрикой будет ARR (Annual Recurring Revenue — годовой повторяющийся доход), который в день презентации должен достигнуть $1.3-6.1M, а для маркетплейсов такой метрикой будет GMV (Gross Merchandise Value) в $4.8-63.2M.
Помимо ключевой метрики YCombinator советует стремиться к конкретным цифрам по росту продаж, размеру раунда, dilution и post money.
За два месяца до раунда А необходимо задуматься о целях раунда B, чтобы в раунде А поднять столько денег, чтобы этих целей достичь. В среднем, нужно планировать увеличить показатели текущих метрик в 3-5 раз. Посчитайте, сколько на это нужно средств, и это и будет минимальная сумма успеха раунда А.
Второй очень важный момент — необходимо спланировать план Б. Денег, поднятых на раунде А, должно хватить на то, чтобы при плохом сценарии развития событий и вашего проекта, вы все равно смогли бы хотя бы выйти на самоокупаемость, чтобы протянуть до того времени, когда метрики достигнут достаточной величины для подъема раунда B или хотя бы моста.
Как определить дату Х?
Как понять, что стартап "готов"? На самом деле, универсального ответа на этот вопрос или правила не существует.
Есть высказывания, которые можно принять за истину. Например, говорят, что SaaS компания готова к раунду A как только пересекает величину $1m по метрике ARR. Однако YCombinator видел достаточно компаний, поднявших А, чей ARR варьировался от $200k до $9m, и более того, многие из них все равно сгорели.
YCombinator предлагает следующий лайфхак. Начинайте регулярно встречаться с потенциальными инвесторами уже сразу после поднятия сида. Если им интересно с вами выпить кофе раз в месяц-два, если они воодушевленно следят за вашим прогрессом, то дождитесь момента, когда они захотят познакомить вас с друзьями-инвесторами — это и есть сигнал к раунду А. Если же инвесторы на вас подзабили — это сигнал к тому, чтобы напрячься в сторону развития бизнеса, а до раунда пока что далеко.
Три грани успешного раунда
Чтобы поднять деньги, а не пролететь мимо них, необходимо сфокусироваться на трех вещах: истории, связях и метриках.
История ваших планов должна напугать инвестора. Он должен бояться того, что вы вырастете до невообразимых размеров, захватите рынок, а инвестора оставите на обочине. Как и в сиде, в А веру инвесторов нужно подкреплять именно эмоционально.
Устанавливайте новые связи, поддерживайте теплыми старые, рассказывайте всем о вашем продукте, пусть о нем говорят или хотя бы имеют представление. Всегда четко озвучивайте дату предстоящего раунда А. Одна из частых ошибок — "фишка" некоторых стартаперов, когда они начинают делать вид, что у них все так хорошо, что раунд А они брать как бы и не собираются. Опыт YCombinator'а говорит, что почти всегда это провал.
@internetanalytics
Тактика на старте
За 6-12 месяцев до даты подъема раунда А необходимо решить, чем вы будете удивлять потенциальных инвесторов. Нужно выбрать себе цели и тут же начать их трекать, чтобы в день Х у вас уже были красивые графики того, как эти цели были достигнуты. Если понимания, к чему вы стремитесь, нет, то можно их копипастнуть (с умом, разумеется) в предложенных YC бенчмарках — это наборы параметров, средние для стартапов YCombinator за 5 лет в разных областях. Например, для Usage Based / B2B компании ключевой метрикой будет ARR (Annual Recurring Revenue — годовой повторяющийся доход), который в день презентации должен достигнуть $1.3-6.1M, а для маркетплейсов такой метрикой будет GMV (Gross Merchandise Value) в $4.8-63.2M.
Помимо ключевой метрики YCombinator советует стремиться к конкретным цифрам по росту продаж, размеру раунда, dilution и post money.
За два месяца до раунда А необходимо задуматься о целях раунда B, чтобы в раунде А поднять столько денег, чтобы этих целей достичь. В среднем, нужно планировать увеличить показатели текущих метрик в 3-5 раз. Посчитайте, сколько на это нужно средств, и это и будет минимальная сумма успеха раунда А.
Второй очень важный момент — необходимо спланировать план Б. Денег, поднятых на раунде А, должно хватить на то, чтобы при плохом сценарии развития событий и вашего проекта, вы все равно смогли бы хотя бы выйти на самоокупаемость, чтобы протянуть до того времени, когда метрики достигнут достаточной величины для подъема раунда B или хотя бы моста.
Как определить дату Х?
Как понять, что стартап "готов"? На самом деле, универсального ответа на этот вопрос или правила не существует.
Есть высказывания, которые можно принять за истину. Например, говорят, что SaaS компания готова к раунду A как только пересекает величину $1m по метрике ARR. Однако YCombinator видел достаточно компаний, поднявших А, чей ARR варьировался от $200k до $9m, и более того, многие из них все равно сгорели.
YCombinator предлагает следующий лайфхак. Начинайте регулярно встречаться с потенциальными инвесторами уже сразу после поднятия сида. Если им интересно с вами выпить кофе раз в месяц-два, если они воодушевленно следят за вашим прогрессом, то дождитесь момента, когда они захотят познакомить вас с друзьями-инвесторами — это и есть сигнал к раунду А. Если же инвесторы на вас подзабили — это сигнал к тому, чтобы напрячься в сторону развития бизнеса, а до раунда пока что далеко.
Три грани успешного раунда
Чтобы поднять деньги, а не пролететь мимо них, необходимо сфокусироваться на трех вещах: истории, связях и метриках.
История ваших планов должна напугать инвестора. Он должен бояться того, что вы вырастете до невообразимых размеров, захватите рынок, а инвестора оставите на обочине. Как и в сиде, в А веру инвесторов нужно подкреплять именно эмоционально.
Устанавливайте новые связи, поддерживайте теплыми старые, рассказывайте всем о вашем продукте, пусть о нем говорят или хотя бы имеют представление. Всегда четко озвучивайте дату предстоящего раунда А. Одна из частых ошибок — "фишка" некоторых стартаперов, когда они начинают делать вид, что у них все так хорошо, что раунд А они брать как бы и не собираются. Опыт YCombinator'а говорит, что почти всегда это провал.
@internetanalytics
Forwarded from Интернет-аналитика // Алексей Никушин
Третья грань
YCombinator говорит, что нет волшебного набора метрик, которые наколдуют вам успех в раунде А. В первую очередь, нужно очень хорошо знать свой проект, чтобы понимать, какие именно показатели докажут инвестору, что у вас есть необходимый прогресс. Если инвестор заподозрит, что вы не шарите за product-market fit, пиши пропало.
Показатели должны быть целостными и подробными. Так, если ваш график показывает стабильный рост на 25% в месяц в течение 6 месяцев — все супер, все прогнозируемо. Если ваш график — пила со взлетами и падениями, которая в среднем дает рост в 25% за 6 месяцев, и эта картина не объясняется разумно (например, сезонностью) — вам скажут идти работать дальше.
Три главных косяка с данными, которые помешают взять раунд:
— недостаточность (если вы запустились 2 месяца назад, нет смысла показывать тренд инвестору, даже если там экспонента, т.к. два месяца — это ничто),
— противоречивость (в среднем рост показателя высокий, а в действительности сильные колебания),
— ошибки прошлого (за несколько лет существования стартапа график дернулся вверх только в последние несколько месяцев).
Инвесторы не любят графики с накоплением и не любят подмены понятий (например, представления GMV как прибыли).
Инвесторы любят видеть изменения показателей последовательно по месяцам, кварталам и годам.
Убедитесь, что помните, как считали каждую метрику и какие принимали допущения, а главное, знаете, как изменятся показатели, если эти допущения не брать. Например, если "пользователь" это человек, который логинится раз в месяц, прикиньте изменения метрик в случае, если за "пользователя" принять человека с ежедневным логином.
@internetanalytics
YCombinator говорит, что нет волшебного набора метрик, которые наколдуют вам успех в раунде А. В первую очередь, нужно очень хорошо знать свой проект, чтобы понимать, какие именно показатели докажут инвестору, что у вас есть необходимый прогресс. Если инвестор заподозрит, что вы не шарите за product-market fit, пиши пропало.
Показатели должны быть целостными и подробными. Так, если ваш график показывает стабильный рост на 25% в месяц в течение 6 месяцев — все супер, все прогнозируемо. Если ваш график — пила со взлетами и падениями, которая в среднем дает рост в 25% за 6 месяцев, и эта картина не объясняется разумно (например, сезонностью) — вам скажут идти работать дальше.
Три главных косяка с данными, которые помешают взять раунд:
— недостаточность (если вы запустились 2 месяца назад, нет смысла показывать тренд инвестору, даже если там экспонента, т.к. два месяца — это ничто),
— противоречивость (в среднем рост показателя высокий, а в действительности сильные колебания),
— ошибки прошлого (за несколько лет существования стартапа график дернулся вверх только в последние несколько месяцев).
Инвесторы не любят графики с накоплением и не любят подмены понятий (например, представления GMV как прибыли).
Инвесторы любят видеть изменения показателей последовательно по месяцам, кварталам и годам.
Убедитесь, что помните, как считали каждую метрику и какие принимали допущения, а главное, знаете, как изменятся показатели, если эти допущения не брать. Например, если "пользователь" это человек, который логинится раз в месяц, прикиньте изменения метрик в случае, если за "пользователя" принять человека с ежедневным логином.
@internetanalytics
Forwarded from Интернет-аналитика // Алексей Никушин
Вот такие метрики YCombinator предлагает отслеживать и демонстрировать инвесторам при поднятии раунда серии А для следующих категорий компаний:
Enterprise
Total customers
Bookings
Revenue
Revenue CMGR
Gross margin
Customer LTV / paid CAC
Burn rate / runway
(Пример компании: Scale)
SaaS
Total customers
Bookings
Monthly recurring revenue (MRR)
Revenue CMGR
Gross margin
Gross account churn
Net dollar churn
Customer LTV / paid CAC
Quick ratio: a measure of a company’s short term liquidity
Секретная метрика: эффективность продаж, то есть какой объем годового роста дохода приходится на каждый доллар, потраченный на продажи и маркетинг
Burn rate / runway
(Пример компании: Slack)
Usage-Based
Monthly revenue
Revenue CMGR
Gross margin
Dollar-based net expansion
Customer LTV / paid CAC
Burn rate / runway
(Пример компании: Twilio)
Subnoscription
Total subscribers
Trial conversion (if applicable)
Monthly recurring revenue (MRR)
Revenue CMGR
Gross margin
Gross user churn
Customer LTV / paid CAC
Burn rate / runway
(Пример компании: Netflix)
Transactional
Gross transaction volume (GTV)
Net revenue
Net revenue CMGR
Take rate (net revenue as % of GTV)
Gross margin
User retention
User transaction frequency
Customer LTV / paid CAC
Burn rate / runway
(Пример компании: PayPal)
Marketplace
Gross merchandise value (GMV)
Net revenue
Net revenue CMGR
Take rate (net revenue as % of GMV)
Gross margin
Contribution margin per order
Customer retention
Seller retention
Transactions frequency
Average transaction value
Customer LTV / paid CAC
Seller LTV / paid SAC
Burn rate / runway
(Пример компании: Airbnb)
E-Commerce
Total visits
Total unique visitors
Total customers
Conversion rate
Total registered accounts
Revenue
Revenue CMGR
Gross margin
Customer retention
Order frequency
Average order value
Customer LTV / paid CAC
Net working capital as % of change sales
Burn rate / runway
(Пример компании: Bonobos)
Advertising
Total visits (if applicable)
Page views (if applicable)
Unique visitors (if applicable)
Minutes per session
Daily active users (DAU)
Monthly active users (MAU)
Percent logged-in
Downloads / installs (if applicable)
Mobile usage share
Impressions per user
Average cost-per-impression (CPM)
Average click-through-rate (CTR)
Revenue
Revenue CMGR
User retention
User LTV / paid CAC
Burn rate / runway
(Пример компании: Twitter)
Hardware
Total units sold
Average unit price
Revenue
Revenue CMGR
Gross margin
Average transaction value
Customer LTV / paid CAC
Net working capital as % of change in sales
Burn rate / runway
(Пример компании: GoPro)
Moonshots / Hard Tech / Biotech
Technical milestones accomplished
Total subject matter experts (FTEs)
Net working capital as % of change sales
Burn rate / runway
(Пример компании: Boom Supersonic)
@internetanalytics
Enterprise
Total customers
Bookings
Revenue
Revenue CMGR
Gross margin
Customer LTV / paid CAC
Burn rate / runway
(Пример компании: Scale)
SaaS
Total customers
Bookings
Monthly recurring revenue (MRR)
Revenue CMGR
Gross margin
Gross account churn
Net dollar churn
Customer LTV / paid CAC
Quick ratio: a measure of a company’s short term liquidity
Секретная метрика: эффективность продаж, то есть какой объем годового роста дохода приходится на каждый доллар, потраченный на продажи и маркетинг
Burn rate / runway
(Пример компании: Slack)
Usage-Based
Monthly revenue
Revenue CMGR
Gross margin
Dollar-based net expansion
Customer LTV / paid CAC
Burn rate / runway
(Пример компании: Twilio)
Subnoscription
Total subscribers
Trial conversion (if applicable)
Monthly recurring revenue (MRR)
Revenue CMGR
Gross margin
Gross user churn
Customer LTV / paid CAC
Burn rate / runway
(Пример компании: Netflix)
Transactional
Gross transaction volume (GTV)
Net revenue
Net revenue CMGR
Take rate (net revenue as % of GTV)
Gross margin
User retention
User transaction frequency
Customer LTV / paid CAC
Burn rate / runway
(Пример компании: PayPal)
Marketplace
Gross merchandise value (GMV)
Net revenue
Net revenue CMGR
Take rate (net revenue as % of GMV)
Gross margin
Contribution margin per order
Customer retention
Seller retention
Transactions frequency
Average transaction value
Customer LTV / paid CAC
Seller LTV / paid SAC
Burn rate / runway
(Пример компании: Airbnb)
E-Commerce
Total visits
Total unique visitors
Total customers
Conversion rate
Total registered accounts
Revenue
Revenue CMGR
Gross margin
Customer retention
Order frequency
Average order value
Customer LTV / paid CAC
Net working capital as % of change sales
Burn rate / runway
(Пример компании: Bonobos)
Advertising
Total visits (if applicable)
Page views (if applicable)
Unique visitors (if applicable)
Minutes per session
Daily active users (DAU)
Monthly active users (MAU)
Percent logged-in
Downloads / installs (if applicable)
Mobile usage share
Impressions per user
Average cost-per-impression (CPM)
Average click-through-rate (CTR)
Revenue
Revenue CMGR
User retention
User LTV / paid CAC
Burn rate / runway
(Пример компании: Twitter)
Hardware
Total units sold
Average unit price
Revenue
Revenue CMGR
Gross margin
Average transaction value
Customer LTV / paid CAC
Net working capital as % of change in sales
Burn rate / runway
(Пример компании: GoPro)
Moonshots / Hard Tech / Biotech
Technical milestones accomplished
Total subject matter experts (FTEs)
Net working capital as % of change sales
Burn rate / runway
(Пример компании: Boom Supersonic)
@internetanalytics
Forwarded from Webmagic новини-PPC, Google ads, Web analytics, GTM.
Доброе утро.
Очень интересная статья как для маркетологов так и для аналитиков
Решаем проблему атрибуции в digital-маркетинге при помощи машинного обучения
https://clc.to/PM0Vdw
via @webmagic
Очень интересная статья как для маркетологов так и для аналитиков
Решаем проблему атрибуции в digital-маркетинге при помощи машинного обучения
https://clc.to/PM0Vdw
via @webmagic
vc.ru
Решаем проблему атрибуции в digital-маркетинге при помощи машинного обучения
Кажется очевидным: маркетологи должны знать, какие из их маркетинговых инвестиций действительно сработали. Однако сделать это на практике оказывается не всегда так просто, как это звучит. Вот почему рекламная «атрибуция» становится все более незаменимой для…
Forwarded from Datalytics
100 полезных приёмов и хаков в Pandas от Kevin Markham, собранные в одном ноутбуке.
https://www.kaggle.com/python10pm/pandas-100-tricks
https://www.kaggle.com/python10pm/pandas-100-tricks
Forwarded from Нормально делай, нормально будет / Саша Клименко via @like
#процессы #развитие_продукта
Как менять ядро продукта и зачем.
💁♂️ Интервью и аналитика показали, что Aha-момент в Badoo — первый match в приложении («да» в ответ на «да»). Retention людей, получивших match на первый же день использования, значительно превышает Retention других.
🙅♀️ Команда стала исследовать тех, кто не получают матча в первый день, и работу алгоритма match (который предлагает кандидатов) с этими людьми.
👴🏻 Алгоритм match существовал уже 12 лет. Он совершенствовался разными людьми, на основе тенденций и гипотез 12-ти лет (таргетируем студентов, а теперь молодых специалистов, теперь людей с детьми и с машинами). Естественно, обрастал костылями и неполной документацией. Вносить изменения в алгоритм было сложно — никогда не знаешь, что именно получится🤞.
⚒Пришли к решению, что алгоритм надо переписать целиком, чтобы достигнуть эффективных результатов и прозрачности его работы. Но как протестировать, что новый алгоритм лучше старого? Badoo — социальное приложение, где есть масса связей между людьми. Значит, невозможно выделить обособленную контрольную и тестовую группы для A/B теста, не влияющие друг на друга.
💊На помощь пришел алгоритм casual impact (https://google.github.io/CausalImpact/CausalImpact.html). Он строит модель предсказания, как будет себя вести метрика, если б изменений не было. Сравнили новый и старый алгоритмы — увидели прирост на 5% в матчинге людей.
📊Чтобы случайно не оптимизировать поведение только под одну группу, Badoo поделилил аудиторию на группы: male/female ratio, платежеспособность, среднего возраста, % пользования предложения и т.п. Группы выделялись в рамках страны, изменения тестили в странах из каждой группы и раскатывали на 100%, только если во всех группах не наблюдали проблем.
⚙️Теперь вносить изменения в алгоритм и тестировать гипотезы легче. Каждый шаг задокументирован, а статистикой обвязано по максимуму все, что можно. Например, в какой-то момент сделали анализ фотографий, и выяснили:
😉 улыбающийся мужчина круче (больше матчей) не улыбающегося,
🤓очки тоже прибавляют мужчине привлекательности,
🧔🏻а вот бороды вышли из моды (!)
📈 Работа с новой версией уже принесла на 50% больше матчей в первый день у пользователей.
По скромным подсчетам, в 2018 году Badoo сгенерил такую воронку:
⁃ 2 700 000 000 матчей,
⁃ 2 295 000 000 чатов,
⁃ (предполжительно) 22 950 000 свиданий
⁃ (предположительно) 1 147 500 свадеб
⁃ (уж совсем приблизительно) 573 750 детей, рожденных благодаря встречам на Badoo.
Вот так. Не бойтесь рисковать, делайте классные продукты (и детей).
Видео, 19 минут без вопросов: tgclick.click/urdiUN8x
Как менять ядро продукта и зачем.
💁♂️ Интервью и аналитика показали, что Aha-момент в Badoo — первый match в приложении («да» в ответ на «да»). Retention людей, получивших match на первый же день использования, значительно превышает Retention других.
🙅♀️ Команда стала исследовать тех, кто не получают матча в первый день, и работу алгоритма match (который предлагает кандидатов) с этими людьми.
👴🏻 Алгоритм match существовал уже 12 лет. Он совершенствовался разными людьми, на основе тенденций и гипотез 12-ти лет (таргетируем студентов, а теперь молодых специалистов, теперь людей с детьми и с машинами). Естественно, обрастал костылями и неполной документацией. Вносить изменения в алгоритм было сложно — никогда не знаешь, что именно получится🤞.
⚒Пришли к решению, что алгоритм надо переписать целиком, чтобы достигнуть эффективных результатов и прозрачности его работы. Но как протестировать, что новый алгоритм лучше старого? Badoo — социальное приложение, где есть масса связей между людьми. Значит, невозможно выделить обособленную контрольную и тестовую группы для A/B теста, не влияющие друг на друга.
💊На помощь пришел алгоритм casual impact (https://google.github.io/CausalImpact/CausalImpact.html). Он строит модель предсказания, как будет себя вести метрика, если б изменений не было. Сравнили новый и старый алгоритмы — увидели прирост на 5% в матчинге людей.
📊Чтобы случайно не оптимизировать поведение только под одну группу, Badoo поделилил аудиторию на группы: male/female ratio, платежеспособность, среднего возраста, % пользования предложения и т.п. Группы выделялись в рамках страны, изменения тестили в странах из каждой группы и раскатывали на 100%, только если во всех группах не наблюдали проблем.
⚙️Теперь вносить изменения в алгоритм и тестировать гипотезы легче. Каждый шаг задокументирован, а статистикой обвязано по максимуму все, что можно. Например, в какой-то момент сделали анализ фотографий, и выяснили:
😉 улыбающийся мужчина круче (больше матчей) не улыбающегося,
🤓очки тоже прибавляют мужчине привлекательности,
🧔🏻а вот бороды вышли из моды (!)
📈 Работа с новой версией уже принесла на 50% больше матчей в первый день у пользователей.
По скромным подсчетам, в 2018 году Badoo сгенерил такую воронку:
⁃ 2 700 000 000 матчей,
⁃ 2 295 000 000 чатов,
⁃ (предполжительно) 22 950 000 свиданий
⁃ (предположительно) 1 147 500 свадеб
⁃ (уж совсем приблизительно) 573 750 детей, рожденных благодаря встречам на Badoo.
Вот так. Не бойтесь рисковать, делайте классные продукты (и детей).
Видео, 19 минут без вопросов: tgclick.click/urdiUN8x
Forwarded from Маркетинг-аналитика с OWOX BI
Мы любим общаться с аналитиками и с удовольствием собираем наши разговоры в статьи.
Подборка интервью с самыми крутыми специалистами в области аналитики: Стин Расмуссен, Джимом Стерн, Симо Ахава, Тим Вилсон и другие.
Сохраняйте пост😊
- Почему никто не хочет дать «пять» аналитику? Ответы Стина Расмуссена https://www.owox.com/c/4fg
- Исследование маркетинг-аналитики от OWOX BI: интервью с Джимом Стерном https://www.owox.com/c/4js
- Интервью с Дэмионом Брауном, основателем Data Runs Deep https://www.owox.com/c/4fl
- Исследование маркетинг-аналитики от OWOX BI: интервью с Тимом Вилсоном https://www.owox.com/c/4jt
- Исследование маркетинг-аналитики от OWOX BI: интервью с Симо Ахава https://www.owox.com/c/4ju
Подборка интервью с самыми крутыми специалистами в области аналитики: Стин Расмуссен, Джимом Стерн, Симо Ахава, Тим Вилсон и другие.
Сохраняйте пост😊
- Почему никто не хочет дать «пять» аналитику? Ответы Стина Расмуссена https://www.owox.com/c/4fg
- Исследование маркетинг-аналитики от OWOX BI: интервью с Джимом Стерном https://www.owox.com/c/4js
- Интервью с Дэмионом Брауном, основателем Data Runs Deep https://www.owox.com/c/4fl
- Исследование маркетинг-аналитики от OWOX BI: интервью с Тимом Вилсоном https://www.owox.com/c/4jt
- Исследование маркетинг-аналитики от OWOX BI: интервью с Симо Ахава https://www.owox.com/c/4ju
Forwarded from Datalytics
Forwarded from Mr. K
#ML #attribution #marketing #ROAS
Наконец нашел в себе силы для оформления статьи по мотивам моего выступления на MateMarketing
Будет интересно всем, кто ищет новые точки роста и увеличения эффективности рекламы в 2020! ;)
Like, share, Алишер, если было полезно!
https://vc.ru/marketing/108652-reshaem-problemu-atribucii-v-digital-marketinge-pri-pomoshchi-mashinnogo-obucheniya
Наконец нашел в себе силы для оформления статьи по мотивам моего выступления на MateMarketing
Будет интересно всем, кто ищет новые точки роста и увеличения эффективности рекламы в 2020! ;)
Like, share, Алишер, если было полезно!
https://vc.ru/marketing/108652-reshaem-problemu-atribucii-v-digital-marketinge-pri-pomoshchi-mashinnogo-obucheniya
Facebook
#ML | Facebook
View about #ML on Facebook. Facebook gives people the power to share and makes the world more open and connected.
Forwarded from Datalytics
Онлайн-самоучитель по экосистеме Python для научных вычислений. Множество хорошо детализированных уроков освещают вопросы использования пакетов NumPy, SciPy. На последок немного рассказывается про Sympy и Sklearn
https://scipy-lectures.org/index.html
https://scipy-lectures.org/index.html
Forwarded from Lena Seregina 📈🧘♀️♥️
Выступила с апдейтом по моей Пирамиды Метрик, о которой впервые рассказала на площадке ProductSense в 2018 году, на той же площадке - митапе от организаторов ProductSense.
Все, кто скопировал мои лекции, пропагандируют устаревший вариант пирамиды. За годы интеграции фреймворка в разные компании я многое переосознала. И часть этих инсайтов в видео:
https://www.youtube.com/watch?v=d5lV2KXVPfU
Все, кто скопировал мои лекции, пропагандируют устаревший вариант пирамиды. За годы интеграции фреймворка в разные компании я многое переосознала. И часть этих инсайтов в видео:
https://www.youtube.com/watch?v=d5lV2KXVPfU
YouTube
Фреймворк Product Metrics Pyramid: чем он может вам помочь, даже если метрики не ваш конек
Фреймворк Product Metrics Pyramid: чем он может вам помочь, даже если метрики не ваш конек
Выступление Елены Серёгиной на Product Mindset Meetup 3.03.2020
12 апреля Елена проведет 8-часовой воркшоп о метриках https://productsense.io/mw20-seryogina?utm_s…
Выступление Елены Серёгиной на Product Mindset Meetup 3.03.2020
12 апреля Елена проведет 8-часовой воркшоп о метриках https://productsense.io/mw20-seryogina?utm_s…
Forwarded from BigQuery Insights
Материалы по BigQuery ML
• Инструкция построения модели классификаци в BigQuery ML для прогноза покупок пользователей,
• Использование возможностей BigQuery ML для анализа в Tableau (видео с примерами + статья),
• BigQuery ML + Looker (видео),
• BigQuery ML на Kaggle (видео 1, видео 2).
via @BigQuery
• Инструкция построения модели классификаци в BigQuery ML для прогноза покупок пользователей,
• Использование возможностей BigQuery ML для анализа в Tableau (видео с примерами + статья),
• BigQuery ML + Looker (видео),
• BigQuery ML на Kaggle (видео 1, видео 2).
via @BigQuery
Forwarded from Datalytics
Блокнот про анализ данных в E-commerce с примером использования ассоциативных правил (алгоритм Apriori) для создания товарных рекомендаций
https://www.kaggle.com/ostrowski/market-basket-analysis-exploring-e-commerce-data
https://www.kaggle.com/ostrowski/market-basket-analysis-exploring-e-commerce-data
Forwarded from Сто 💯 икс // Денис Мартынцев
Работа с инструментами поиска точек роста
В поиске точек роста нет ничего лучше аналитики и общения с реальными пользователями. Но на какие цифры смотреть, какие связи искать, какие вопросы задавать пользователям?
Чтобы направить усилия в правильное русло, команда может использовать фреймворки и концепции, применяемые в продуктовом менеджменте, маркетинге и дизайне. С их помощью процесс поиска точек роста станет более осмысленным и управляемым.
Но прежде, чем приступить к хаотичному перебору всех известных инструментов, следует провести подготовительную работу.
1. Сформулировать задачи и выбрать инструменты
Подбор подходящего инструмента определяется задачей, которую команда хочет решить. Анализ воронки и петель, декомпозиция NSM и другая работа с метриками, направлена на то, чтобы выделить наиболее существенные для роста участки и определить стартовые задачи команды.
Если анализ показывает, что текущие показатели удержания недостаточны и у этого этапа воронки наибольший потенциал, то задачей будет рост удержания, для решения которой команда может использовать The Hook Model – фреймворк создания привычки пользоваться продуктом.
Если никто в компании ранее не занимался виральностью при том, что у продукта есть виральный потенциал, то задачей команды станет рост через виральность. Помочь в ее решении может Viral Loop – логика описания процесса привлечения новых пользователей теми, кто уже использует продукт.
2. Собрать группу участников разбора
Разбор инструментов – командная работа. Все участники команды роста должны принимать в нем участие, чтобы видеть картину одинаково.
Также, к проработке инструментов могут привлекаться и другие сотрудники компании, если они обладают компетенциями, отсутствующими в команде.
При этом очень важно, чтобы состав группы был сбалансирован по компетенциям и она не была слишком большой. Чем больше участников, тем сложнее модерировать процесс.
Оптимальный размер группы разбора – от 5 до 9 участников. Такая группа будет достаточно активна, но при этом ее активность можно держать под контролем.
3. Назначить модератора
Работу группы, занятой исследованием инструментов обязательно нужно модерировать.
Главная задача модератора: поддерживать встречу в конструктивном русле. Вести группу по процессу, инициировать обсуждения, давать высказаться всем участникам разбора, а не только самым активным и громким.
Как правило эту роль на себя берет Growth Manager, который должен предварительно изучить инструменты и спланировать ход встречи.
4. Лимитировать время
Встречи по разбору инструментов могут затянуться, а нужные решения так и не будут найдены. Чтобы этого не произошло, еще до начала встречи все участники команды должны знать ее длительность и понимать, что за это время они должны выжать из инструмента максимум и другого времени у них не будет.
Поддержание тайминга – также задача модератора. Он должен регулярно озвучивать группе количество оставшегося времени и при необходимости прерывать текущее обсуждение, чтобы перейти к следующей части.
Для базового разбора одного инструмента понадобится от 3 до 5 часов, включая регулярные (один раз в час) десяти минутные перерывы. За это время команда сможет сгенерировать и обсудить достаточное количество идей, которые впоследствии станут основой для гипотез.
5. Спланировать генерацию гипотез
На встрече команда не ставит перед собой задачу по генерации гипотез, основанных на инструментах. Эту часть работы лучше вынести за пределы встречи, оставив разобранный инструмент в виде постера, висящего в офисе или схемы в электронном виде, доступной всем участникам разбора.
Следующие пару дней после встречи каждый участник может вернуться к инструменту и добавить свои гипотезы о том, что можно изменить в продукте или маркетинговой коммуникации для роста метрик.
Гипотезы должны быть сформулированы в едином виде, чтобы в последующем их можно было корректно оценить, отсортировать по приоритету и лучшие взять в проверку.
Такой подход позволяет всем участником команды одинаково понимать задачи и повышает качество гипотез роста.
В поиске точек роста нет ничего лучше аналитики и общения с реальными пользователями. Но на какие цифры смотреть, какие связи искать, какие вопросы задавать пользователям?
Чтобы направить усилия в правильное русло, команда может использовать фреймворки и концепции, применяемые в продуктовом менеджменте, маркетинге и дизайне. С их помощью процесс поиска точек роста станет более осмысленным и управляемым.
Но прежде, чем приступить к хаотичному перебору всех известных инструментов, следует провести подготовительную работу.
1. Сформулировать задачи и выбрать инструменты
Подбор подходящего инструмента определяется задачей, которую команда хочет решить. Анализ воронки и петель, декомпозиция NSM и другая работа с метриками, направлена на то, чтобы выделить наиболее существенные для роста участки и определить стартовые задачи команды.
Если анализ показывает, что текущие показатели удержания недостаточны и у этого этапа воронки наибольший потенциал, то задачей будет рост удержания, для решения которой команда может использовать The Hook Model – фреймворк создания привычки пользоваться продуктом.
Если никто в компании ранее не занимался виральностью при том, что у продукта есть виральный потенциал, то задачей команды станет рост через виральность. Помочь в ее решении может Viral Loop – логика описания процесса привлечения новых пользователей теми, кто уже использует продукт.
2. Собрать группу участников разбора
Разбор инструментов – командная работа. Все участники команды роста должны принимать в нем участие, чтобы видеть картину одинаково.
Также, к проработке инструментов могут привлекаться и другие сотрудники компании, если они обладают компетенциями, отсутствующими в команде.
При этом очень важно, чтобы состав группы был сбалансирован по компетенциям и она не была слишком большой. Чем больше участников, тем сложнее модерировать процесс.
Оптимальный размер группы разбора – от 5 до 9 участников. Такая группа будет достаточно активна, но при этом ее активность можно держать под контролем.
3. Назначить модератора
Работу группы, занятой исследованием инструментов обязательно нужно модерировать.
Главная задача модератора: поддерживать встречу в конструктивном русле. Вести группу по процессу, инициировать обсуждения, давать высказаться всем участникам разбора, а не только самым активным и громким.
Как правило эту роль на себя берет Growth Manager, который должен предварительно изучить инструменты и спланировать ход встречи.
4. Лимитировать время
Встречи по разбору инструментов могут затянуться, а нужные решения так и не будут найдены. Чтобы этого не произошло, еще до начала встречи все участники команды должны знать ее длительность и понимать, что за это время они должны выжать из инструмента максимум и другого времени у них не будет.
Поддержание тайминга – также задача модератора. Он должен регулярно озвучивать группе количество оставшегося времени и при необходимости прерывать текущее обсуждение, чтобы перейти к следующей части.
Для базового разбора одного инструмента понадобится от 3 до 5 часов, включая регулярные (один раз в час) десяти минутные перерывы. За это время команда сможет сгенерировать и обсудить достаточное количество идей, которые впоследствии станут основой для гипотез.
5. Спланировать генерацию гипотез
На встрече команда не ставит перед собой задачу по генерации гипотез, основанных на инструментах. Эту часть работы лучше вынести за пределы встречи, оставив разобранный инструмент в виде постера, висящего в офисе или схемы в электронном виде, доступной всем участникам разбора.
Следующие пару дней после встречи каждый участник может вернуться к инструменту и добавить свои гипотезы о том, что можно изменить в продукте или маркетинговой коммуникации для роста метрик.
Гипотезы должны быть сформулированы в едином виде, чтобы в последующем их можно было корректно оценить, отсортировать по приоритету и лучшие взять в проверку.
Такой подход позволяет всем участником команды одинаково понимать задачи и повышает качество гипотез роста.
Forwarded from Про BI, DWH, DE
В повседневной деятельности аналитикам приходится извлекать и работать с данными из различных систем. Чтобы облегчить эту задачу можно использовать специальные сервисы, которые берут на себя часть задач по автоматизации таких процессов. Сегодня я расскажу об одном из них. https://bit.ly/2TW9luU
via @prometriki
via @prometriki
ProMetriki
ETL система для импорта данных из рекламных систем и систем веб-аналитики
Обзор ETL сервиса для импорта данных во внешнее хранилище на примере выгрузки из Google Analytics
Forwarded from Krasinsky: growth, marketing & product, analytics via @CommentsBot
Про ассоциированные конверсии в Google Analytics
В комьюнити очень просили ликбез про ассоциированные конверсии в Google Analytics — первое видео сделали на эту тему. Краткий спойлер: ассоциированные конверсии завышают заказы и продажи и использовать их нельзя, да и не нужно — есть другие способы.
Смотрите видео и пишите в комментариях обратную связь: вопросы, запросы, что хотите, чтобы я разобрал и разложил по полочкам.
https://www.youtube.com/watch?v=2eoW3LGmJLE
PS. — делитесь, если вам кажется это полезным и разумным 🔥
В комьюнити очень просили ликбез про ассоциированные конверсии в Google Analytics — первое видео сделали на эту тему. Краткий спойлер: ассоциированные конверсии завышают заказы и продажи и использовать их нельзя, да и не нужно — есть другие способы.
Смотрите видео и пишите в комментариях обратную связь: вопросы, запросы, что хотите, чтобы я разобрал и разложил по полочкам.
https://www.youtube.com/watch?v=2eoW3LGmJLE
PS. — делитесь, если вам кажется это полезным и разумным 🔥
YouTube
Красинский: ассоциированные конверсии Google Analytics — зло
11-го ноября 2025 стартует курс Product Heroes 24 сезон.
👉 За местом и программой курса приходи на https://heroes.camp/
👉 На все вопросы ответит ботик https://news.1rj.ru/str/RuleThem_bot
---------------------------------------
Про ассоциированные конверсии в Google…
👉 За местом и программой курса приходи на https://heroes.camp/
👉 На все вопросы ответит ботик https://news.1rj.ru/str/RuleThem_bot
---------------------------------------
Про ассоциированные конверсии в Google…
Forwarded from BigQuery Insights
Материалы по BigQuery ML
• Инструкция построения модели классификаци в BigQuery ML для прогноза покупок пользователей,
• Использование возможностей BigQuery ML для анализа в Tableau (видео с примерами + статья),
• BigQuery ML + Looker (видео),
• BigQuery ML на Kaggle (видео 1, видео 2).
via @BigQuery
• Инструкция построения модели классификаци в BigQuery ML для прогноза покупок пользователей,
• Использование возможностей BigQuery ML для анализа в Tableau (видео с примерами + статья),
• BigQuery ML + Looker (видео),
• BigQuery ML на Kaggle (видео 1, видео 2).
via @BigQuery
Forwarded from Библиотека питониста | Python, Django, Flask
Топ-10 библиотек и фреймворков Python для машинного обучения.
https://www.activestate.com/blog/top-10-python-machine-learning-packages/
https://www.activestate.com/blog/top-10-python-machine-learning-packages/
ActiveState
Top 10 Python Packages for Machine Learning
Understand the top 10 Python packages for machine learning in detail and download 'Top 10 ML Packages runtime environment', pre-built and ready to use.
Forwarded from A/B testing
Появились видеозаписи с Experiment Fest x Яндекс.Практикум:
https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1
via @ABtesting
https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1
via @ABtesting
YouTube
001. Методы сокращения дисперсии, и зачем это нужно — Анатолий Карпов
Доклад с совместного митапа Expfest x Яндекс.Практикум. Про эксперименты