Третья грань

YCombinator говорит, что нет волшебного набора метрик, которые наколдуют вам успех в раунде А. В первую очередь, нужно очень хорошо знать свой проект, чтобы понимать, какие именно показатели докажут инвестору, что у вас есть необходимый прогресс. Если инвестор заподозрит, что вы не шарите за product-market fit, пиши пропало.

Показатели должны быть целостными и подробными. Так, если ваш график показывает стабильный рост на 25% в месяц в течение 6 месяцев — все супер, все прогнозируемо. Если ваш график — пила со взлетами и падениями, которая в среднем дает рост в 25% за 6 месяцев, и эта картина не объясняется разумно (например, сезонностью) — вам скажут идти работать дальше.

Три главных косяка с данными, которые помешают взять раунд:
— недостаточность (если вы запустились 2 месяца назад, нет смысла показывать тренд инвестору, даже если там экспонента, т.к. два месяца — это ничто),
— противоречивость (в среднем рост показателя высокий, а в действительности сильные колебания),
— ошибки прошлого (за несколько лет существования стартапа график дернулся вверх только в последние несколько месяцев).

Инвесторы не любят графики с накоплением и не любят подмены понятий (например, представления GMV как прибыли).

Инвесторы любят видеть изменения показателей последовательно по месяцам, кварталам и годам.

Убедитесь, что помните, как считали каждую метрику и какие принимали допущения, а главное, знаете, как изменятся показатели, если эти допущения не брать. Например, если "пользователь" это человек, который логинится раз в месяц, прикиньте изменения метрик в случае, если за "пользователя" принять человека с ежедневным логином.

@internetanalytics

Вот такие метрики YCombinator предлагает отслеживать и демонстрировать инвесторам при поднятии раунда серии А для следующих категорий компаний:

Enterprise

Total customers
Bookings
Revenue
Revenue CMGR
Gross margin
Customer LTV / paid CAC
Burn rate / runway

(Пример компании: Scale)


SaaS

Total customers
Bookings
Monthly recurring revenue (MRR)
Revenue CMGR
Gross margin
Gross account churn
Net dollar churn
Customer LTV / paid CAC
Quick ratio: a measure of a company’s short term liquidity
Секретная метрика: эффективность продаж, то есть какой объем годового роста дохода приходится на каждый доллар, потраченный на продажи и маркетинг
Burn rate / runway

(Пример компании: Slack)


Usage-Based

Monthly revenue
Revenue CMGR
Gross margin
Dollar-based net expansion
Customer LTV / paid CAC
Burn rate / runway

(Пример компании: Twilio)


Subnoscription

Total subscribers
Trial conversion (if applicable)
Monthly recurring revenue (MRR)
Revenue CMGR
Gross margin
Gross user churn
Customer LTV / paid CAC
Burn rate / runway

(Пример компании: Netflix)


Transactional

Gross transaction volume (GTV)
Net revenue
Net revenue CMGR
Take rate (net revenue as % of GTV)
Gross margin
User retention
User transaction frequency
Customer LTV / paid CAC
Burn rate / runway

(Пример компании: PayPal)


Marketplace

Gross merchandise value (GMV)
Net revenue
Net revenue CMGR
Take rate (net revenue as % of GMV)
Gross margin
Contribution margin per order
Customer retention
Seller retention
Transactions frequency
Average transaction value
Customer LTV / paid CAC
Seller LTV / paid SAC
Burn rate / runway

(Пример компании: Airbnb)


E-Commerce

Total visits
Total unique visitors
Total customers
Conversion rate
Total registered accounts
Revenue
Revenue CMGR
Gross margin
Customer retention
Order frequency
Average order value
Customer LTV / paid CAC
Net working capital as % of change sales
Burn rate / runway

(Пример компании: Bonobos)


Advertising

Total visits (if applicable)
Page views (if applicable)
Unique visitors (if applicable)
Minutes per session
Daily active users (DAU)
Monthly active users (MAU)
Percent logged-in
Downloads / installs (if applicable)
Mobile usage share
Impressions per user
Average cost-per-impression (CPM)
Average click-through-rate (CTR)
Revenue
Revenue CMGR
User retention
User LTV / paid CAC
Burn rate / runway

(Пример компании: Twitter)


Hardware

Total units sold
Average unit price
Revenue
Revenue CMGR
Gross margin
Average transaction value
Customer LTV / paid CAC
Net working capital as % of change in sales
Burn rate / runway

(Пример компании: GoPro)


Moonshots / Hard Tech / Biotech

Technical milestones accomplished
Total subject matter experts (FTEs)
Net working capital as % of change sales
Burn rate / runway

(Пример компании: Boom Supersonic)


@internetanalytics

Доброе утро.
Очень интересная статья как для маркетологов так и для аналитиков

Решаем проблему атрибуции в digital-маркетинге при помощи машинного обучения
https://clc.to/PM0Vdw

via @webmagic

100 полезных приёмов и хаков в Pandas от Kevin Markham, собранные в одном ноутбуке.

https://www.kaggle.com/python10pm/pandas-100-tricks

#процессы #развитие_продукта
Как менять ядро продукта и зачем.
💁‍♂️ Интервью и аналитика показали, что Aha-момент в Badoo — первый match в приложении («да» в ответ на «да»). Retention людей, получивших match на первый же день использования, значительно превышает Retention других.

🙅‍♀️ Команда стала исследовать тех, кто не получают матча в первый день, и работу алгоритма match (который предлагает кандидатов) с этими людьми.

👴🏻 Алгоритм match существовал уже 12 лет. Он совершенствовался разными людьми, на основе тенденций и гипотез 12-ти лет (таргетируем студентов, а теперь молодых специалистов, теперь людей с детьми и с машинами). Естественно, обрастал костылями и неполной документацией. Вносить изменения в алгоритм было сложно — никогда не знаешь, что именно получится🤞.

⚒Пришли к решению, что алгоритм надо переписать целиком, чтобы достигнуть эффективных результатов и прозрачности его работы. Но как протестировать, что новый алгоритм лучше старого? Badoo — социальное приложение, где есть масса связей между людьми. Значит, невозможно выделить обособленную контрольную и тестовую группы для A/B теста, не влияющие друг на друга.

💊На помощь пришел алгоритм casual impact (https://google.github.io/CausalImpact/CausalImpact.html). Он строит модель предсказания, как будет себя вести метрика, если б изменений не было. Сравнили новый и старый алгоритмы — увидели прирост на 5% в матчинге людей.

📊Чтобы случайно не оптимизировать поведение только под одну группу, Badoo поделилил аудиторию на группы: male/female ratio, платежеспособность, среднего возраста, % пользования предложения и т.п. Группы выделялись в рамках страны, изменения тестили в странах из каждой группы и раскатывали на 100%, только если во всех группах не наблюдали проблем.

⚙️Теперь вносить изменения в алгоритм и тестировать гипотезы легче. Каждый шаг задокументирован, а статистикой обвязано по максимуму все, что можно. Например, в какой-то момент сделали анализ фотографий, и выяснили:
😉 улыбающийся мужчина круче (больше матчей) не улыбающегося,
🤓очки тоже прибавляют мужчине привлекательности,
🧔🏻а вот бороды вышли из моды (!)

📈 Работа с новой версией уже принесла на 50% больше матчей в первый день у пользователей.

По скромным подсчетам, в 2018 году Badoo сгенерил такую воронку:
⁃ 2 700 000 000 матчей,
⁃ 2 295 000 000 чатов,
⁃ (предполжительно) 22 950 000 свиданий
⁃ (предположительно) 1 147 500 свадеб
⁃ (уж совсем приблизительно) 573 750 детей, рожденных благодаря встречам на Badoo.
Вот так. Не бойтесь рисковать, делайте классные продукты (и детей).
Видео, 19 минут без вопросов: tgclick.click/urdiUN8x

​​Мы любим общаться с аналитиками и с удовольствием собираем наши разговоры в статьи.
Подборка интервью с самыми крутыми специалистами в области аналитики: Стин Расмуссен, Джимом Стерн, Симо Ахава, Тим Вилсон и другие.

Сохраняйте пост😊

- Почему никто не хочет дать «пять» аналитику? Ответы Стина Расмуссена https://www.owox.com/c/4fg
- Исследование маркетинг-аналитики от OWOX BI: интервью с Джимом Стерном https://www.owox.com/c/4js
- Интервью с Дэмионом Брауном, основателем Data Runs Deep https://www.owox.com/c/4fl
- Исследование маркетинг-аналитики от OWOX BI: интервью с Тимом Вилсоном https://www.owox.com/c/4jt
- Исследование маркетинг-аналитики от OWOX BI: интервью с Симо Ахава https://www.owox.com/c/4ju

Небольшая шпаргалка по веб-скрапингу с помощью BeautifulSoup

https://www.banjocode.com/web-scraping/

#ML #attribution #marketing #ROAS
Наконец нашел в себе силы для оформления статьи по мотивам моего выступления на MateMarketing
Будет интересно всем, кто ищет новые точки роста и увеличения эффективности рекламы в 2020! ;)
Like, share, Алишер, если было полезно!

https://vc.ru/marketing/108652-reshaem-problemu-atribucii-v-digital-marketinge-pri-pomoshchi-mashinnogo-obucheniya

Онлайн-самоучитель по экосистеме Python для научных вычислений. Множество хорошо детализированных уроков освещают вопросы использования пакетов NumPy, SciPy. На последок немного рассказывается про Sympy и Sklearn

https://scipy-lectures.org/index.html

​​Материалы по BigQuery ML

• Инструкция построения модели классификаци в BigQuery ML для прогноза покупок пользователей,
• Использование возможностей BigQuery ML для анализа в Tableau (видео с примерами + статья),
• BigQuery ML + Looker (видео),
• BigQuery ML на Kaggle (видео 1, видео 2).

via @BigQuery

Блокнот про анализ данных в E-commerce с примером использования ассоциативных правил (алгоритм Apriori) для создания товарных рекомендаций

https://www.kaggle.com/ostrowski/market-basket-analysis-exploring-e-commerce-data

Работа с инструментами поиска точек роста

В поиске точек роста нет ничего лучше аналитики и общения с реальными пользователями. Но на какие цифры смотреть, какие связи искать, какие вопросы задавать пользователям?

Чтобы направить усилия в правильное русло, команда может использовать фреймворки и концепции, применяемые в продуктовом менеджменте, маркетинге и дизайне. С их помощью процесс поиска точек роста станет более осмысленным и управляемым.

Но прежде, чем приступить к хаотичному перебору всех известных инструментов, следует провести подготовительную работу.

1. Сформулировать задачи и выбрать инструменты

Подбор подходящего инструмента определяется задачей, которую команда хочет решить. Анализ воронки и петель, декомпозиция NSM и другая работа с метриками, направлена на то, чтобы выделить наиболее существенные для роста участки и определить стартовые задачи команды.

Если анализ показывает, что текущие показатели удержания недостаточны и у этого этапа воронки наибольший потенциал, то задачей будет рост удержания, для решения которой команда может использовать The Hook Model – фреймворк создания привычки пользоваться продуктом.

Если никто в компании ранее не занимался виральностью при том, что у продукта есть виральный потенциал, то задачей команды станет рост через виральность. Помочь в ее решении может Viral Loop – логика описания процесса привлечения новых пользователей теми, кто уже использует продукт.

2. Собрать группу участников разбора

Разбор инструментов – командная работа. Все участники команды роста должны принимать в нем участие, чтобы видеть картину одинаково.

Также, к проработке инструментов могут привлекаться и другие сотрудники компании, если они обладают компетенциями, отсутствующими в команде.

При этом очень важно, чтобы состав группы был сбалансирован по компетенциям и она не была слишком большой. Чем больше участников, тем сложнее модерировать процесс.

Оптимальный размер группы разбора – от 5 до 9 участников. Такая группа будет достаточно активна, но при этом ее активность можно держать под контролем.

3. Назначить модератора

Работу группы, занятой исследованием инструментов обязательно нужно модерировать.

Главная задача модератора: поддерживать встречу в конструктивном русле. Вести группу по процессу, инициировать обсуждения, давать высказаться всем участникам разбора, а не только самым активным и громким.

Как правило эту роль на себя берет Growth Manager, который должен предварительно изучить инструменты и спланировать ход встречи.

4. Лимитировать время

Встречи по разбору инструментов могут затянуться, а нужные решения так и не будут найдены. Чтобы этого не произошло, еще до начала встречи все участники команды должны знать ее длительность и понимать, что за это время они должны выжать из инструмента максимум и другого времени у них не будет.

Поддержание тайминга – также задача модератора. Он должен регулярно озвучивать группе количество оставшегося времени и при необходимости прерывать текущее обсуждение, чтобы перейти к следующей части.

Для базового разбора одного инструмента понадобится от 3 до 5 часов, включая регулярные (один раз в час) десяти минутные перерывы. За это время команда сможет сгенерировать и обсудить достаточное количество идей, которые впоследствии станут основой для гипотез.

5. Спланировать генерацию гипотез

На встрече команда не ставит перед собой задачу по генерации гипотез, основанных на инструментах. Эту часть работы лучше вынести за пределы встречи, оставив разобранный инструмент в виде постера, висящего в офисе или схемы в электронном виде, доступной всем участникам разбора.

Следующие пару дней после встречи каждый участник может вернуться к инструменту и добавить свои гипотезы о том, что можно изменить в продукте или маркетинговой коммуникации для роста метрик.

Гипотезы должны быть сформулированы в едином виде, чтобы в последующем их можно было корректно оценить, отсортировать по приоритету и лучшие взять в проверку.

Такой подход позволяет всем участником команды одинаково понимать задачи и повышает качество гипотез роста.

В повседневной деятельности аналитикам приходится извлекать и работать с данными из различных систем. Чтобы облегчить эту задачу можно использовать специальные сервисы, которые берут на себя часть задач по автоматизации таких процессов. Сегодня я расскажу об одном из них. https://bit.ly/2TW9luU

via @prometriki

Про ассоциированные конверсии в Google Analytics

В комьюнити очень просили ликбез про ассоциированные конверсии в Google Analytics — первое видео сделали на эту тему. Краткий спойлер: ассоциированные конверсии завышают заказы и продажи и использовать их нельзя, да и не нужно — есть другие способы.

Смотрите видео и пишите в комментариях обратную связь: вопросы, запросы, что хотите, чтобы я разобрал и разложил по полочкам.

https://www.youtube.com/watch?v=2eoW3LGmJLE

PS. — делитесь, если вам кажется это полезным и разумным 🔥

​​Материалы по BigQuery ML

• Инструкция построения модели классификаци в BigQuery ML для прогноза покупок пользователей,
• Использование возможностей BigQuery ML для анализа в Tableau (видео с примерами + статья),
• BigQuery ML + Looker (видео),
• BigQuery ML на Kaggle (видео 1, видео 2).

via @BigQuery

Топ-10 библиотек и фреймворков Python для машинного обучения.

https://www.activestate.com/blog/top-10-python-machine-learning-packages/

Появились видеозаписи с Experiment Fest x Яндекс.Практикум:

https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1

via @ABtesting

​​Маркетинг ― это про оперативность. Но если ваши маркетинговые отчеты обновляются вручную раз в неделю, то о быстрой реакции на изменения метрик говорить не приходится.

Выход ― автоматизация отчетов и настройка уведомлений об изменениях.
Выбирайте подходящую инструкцию ⬇️

- Автоматизация отчетов в Google Data Studio на данных из Google BigQuery https://www.owox.com/c/4e0
- Автоматизация отчетов в Google Sheets на данных из Google BigQuery https://www.owox.com/c/49k
- Автоматизация отчетов в Google Sheets на данных из Google Analytics https://www.owox.com/c/4k6
- Автоматизация отчетов в Google Analytics https://www.owox.com/c/464

Несколько месяцев назад совместно с Median School мы запустили мою обучающую программу «Google Tag Manager 1.0. Основы»! 🎉

Это новый формат практических образовательных программ, в центре которых - приобретение опыта. Поэтому помимо очень детализированного теоретического обучения, студентов ждут десятки различных практических задач, которые они решают в процессе обучения, получая не только знания, но и опыт.

Курс «Google Tag Manager 1.0. Основы» научит эффективно работать с тегами, триггерами и переменными, DataLayer, CSS селекторами, тестировать собственные наработки в Debugger, передавать данные в Facebook, Google Analytics, Яндекс Метрика, VK, MyTarget и другие системы. А персональные консультации и практическая работа со мной помогут найти ответы на все вопросы. 😉

Тебя ждет:
• 44 занятия
• 45 ситуативных тестирований
• 566 минуты обучения
• 1 попытка сдать экзамен и получить сертификат соответствующего уровня знаний

👉 Приобретай доступ и начинай обучение уже сейчас! https://m-s.li/gtm

И мясорубка посередине

1. Часто в ответ на вопрос «чем ваш продукт лучше?» отвечают — «по соотношению цена/качество». Я не очень понимаю, что это значит.

2. Я понимаю, что такое «качество». Это значит, что у нас есть возможность ставить на наш продукт премиальную цену. Вот Эппл хорошо устроился — у него 10% рынка сотовых телефонов в штуках, 50% по выручке и 70% по прибыли. Если за качество не платят премию — значит, это не качество с точки зрения потребителя, а просто наши иллюзии.

3. Я понимаю, что такое «цена». Продаем говно, но по низкой цене. Или намеренно демпингуем, чтобы выжить с рынка конкурентов — если только у нас в запасе есть о-о-очень глубокий карман с деньгами.

4. А что такое «соотношение цена/качество»? Среднего качества товар по средней цене? Чем тогда мы собираемся отличиться от конкурентов? Ничем? Тогда добро пожаловать в сегмент средних товаров для среднего класса от средних производителей, где столпились все, у кого не хватает фантазии на большее. Там как раз и спрятана самая большая конкурентная мясорубка, выжимающая последние копейки из маржинальности.

5. Могу только повторить канонический пример виски Джонни Уокер, производители которого когда-то давным-давно вышли на рынок виски с двумя продуктами. Красная этикетка была дешевле среднего, черная — дороже. А среднего как раз и не было.

6. Хотите отличаться от конкурентов? Берите либо ценой, либо качеством. Третьего не дано.