Я твой продукт анализировал – Telegram
Я твой продукт анализировал
1.69K subscribers
103 photos
9 videos
2 files
51 links
Про продуктовую аналитику в IT, мысли, методы анализа и алгоритмы. Всё, что ты хотел знать, но стеснялся спросить.

ЛС тут: @de_kn
Download Telegram
Приветики, я тут пока затих, майские, сами понимаете 🙂

Махнули в автотрип по Черногории, 550км до побережья, и вдоль по всем интересным городкам.

Проехали заповедник, Херцег-нови и Пераст, сегодня Порто Монтенегро, Котор и Будва.

Шашлыков пока не обнаружено 😐
👍198🔥5😁1
📌 Когортный анализ

Многие из вас слышали про когортный анализ, а кто-то даже его проводил. Но не все понимают как его использовать для управлением обновлениями.

Как мы уже ранее разобраликогорты это группы аудитории с привязкой к какому-то временному интервалу. Например к месяцу установки приложения. Период лучше выбирать исходя из длительности спринта разработки. Спринт, по классическому определению, завершается релизом, а значит каждая когорта будет стартовать с какой-то своей версии продукта.

Что мы хотим отслеживать? Часто в когортный анализ засовывают метрики роста, типа MAU, но на практике это применимо, разве что, в маркетинговом анализе. Мы же сейчас поговорим о продуктовом.

Немного лирического отступления — у каждого приложения есть какая-то задача, которая ведёт к верхнеуровневым целям (например, заработать денег). Этой задачей обычно является формирование привычки пользоваться приложением у юзера и, как следствие, мотивировать его совершать много последовательных платежей.


Давай разберём эту задачу на составные продуктовые шаги:

Первым шагом после установки может быть прохождение онбординга ➡️ Потом схватывание a-ha момента ➡️ Первая оплата ➡️ Последующая оплата.

Успешность этих шагов очень сильно привязана к UX (user experience), который даёт приложение. А именно UX нам и интересен в первую очередь, так как даже незначительные изменения в дизайне могут сильно упростить или усложнить жизнь юзеров.

Отслеживание этих шагов уже даст много информации — переделали онбординг, изменили главную страницу, сломали воронку — всё это быстро отслеживается на новой когорте.

В отличии от анализа метрик в динамике, когортный анализ помогает смотреть свежим взглядом на каждую новую версию продукта без привязки к истории. Вот на прошлой неделе всё было хорошо с прохождением каталога, а сейчас плохо — что сделали? Увеличили количество категорий. Окей, это нам не надо, откатываем.

Для полноты картины, в список метрик можно добавить продуктовый набор типа retention, ARPU, LTV или среднй чек.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍132🔥2
Набросал тут небольшую памятку для начинающих изучать SQL. Без совсем уж основных основ, но в целом уровень аналитический, а не инженерный.

Про структуру запроса, порядок его выполнения и простые практики по базовой оптимизации.

🍿

https://telegra.ph/Pamyatka-po-SQL-05-15
Please open Telegram to view this post
VIEW IN TELEGRAM
👍30🔥9
Вопрос может показаться странным, учитывая специфику группы, но всё же) Если представить, что вы можете пойти в любое направление аналитики, куда больше душа лежит?
Anonymous Poll
19%
Аналитика данных
44%
Продуктовая аналитика
5%
Маркетинговая аналитика
8%
BI-аналитика
16%
ML-инженерия и Data science
8%
Дата инженерия
📌 Задача предсказания UX

Если подумать, какая задача в моей карьере была самой популярной и желанной для заказчиков, то сразу вспоминаются попытки предикта поведения юзера. Серьёзно, она была почти во всех командах 🙂

Это просто золотой грааль для компаний. Все мечтают на ранних этапах предсказывать в какой сегмент попадёт юзер (хотя бы на уровне "отвалится или будет платящим"). В идеале сразу при регистрации. Имея эту информацию, можно уже много чего наворотить в UX пользователя, в зависимости от ожиданий.

И мы даже много раз пытались такое провернуть силами продуктовой аналитики (естественно, не всегда удачно). К слову, у нас никогда не было классного ML-спеца, поэтому сильно глубоко мы никогда не копали.

А нет, вру, один раз была команда DS, которая занималась этой задачей основательно, но они начали её делать до моего прихода в компанию, и не закончили когда я ушёл, так что не считается 🙂

😅 Сложно (особенно заказчику) принять факт, что с первого запуска, не имея никаких поведенческих показателей юзера, сложно как-то магическим образом предсказывать его будущее. Ни гео, ни времени суток регистрации, ни даже источника траффика никогда не достаточно. А жаль, конечно.

Проблему мы частично решали простым сдвигом точки анализа хотя бы на недельку. Обычно за это время у юзера происходит или ранний отток, или какая-то движуха, по которой можно пытаться планировать его жизнь наперёд. Предикторы типа наличия первого платежа, его суммы, времени на “подумать”, а так же всякие триггеры посещения отдельных разделов — уже раскрывают юзера намного детальнее.


Это конечно не даёт ответ на вопрос “а что делать-то в первый день с ними, кого активнее пушить а на кого не давить и просто дать время?”, но в целом, иметь какие-никакие прогнозы по юзеру через неделю выглядит всё ещё полезнее, чем не иметь никаких.

Это одна из тех задач, где нет какого-то единого алгоритма решения. На хабре все подходы отличаются диаметрально, т.к. всё ещё и сильно зависит от конкретного бизнеса.

Сталкивались с такими задачами? Как решали? 🙂
👍9
📌 Откуда удобно заходить в ПА

В продуктовую аналитику я пришёл веб-студии, в которой занимался много чем, от верстки до дизайна. Но больше времени моим делом было, наверное проектирование интерфейсов.

Эта работа не просто про рисование квадратиков. Проект включает в себя много исследовательских моментов — построение всяких CJM / JTBD, персонажей, воронок, карточных сортировок, проведение интервью, построение карт метрик и иногда даже разметку событий и т.д. Такое углубленное изучение UX / экономики проекта.

Многие вещи оттуда отлично вписываются в продуктовую аналитику.

Из каких ещё сфер можно относительно легко зайти в ПА?

🔵Маркетинг (web). Как и проектирование, маркетинг сначала досконально изучает пользователей, их привычки, желания, цели и особенности поведения. А ещё бонусом опыт работы с инструментами веб-аналитики и понимание подкапотного устройства сайта на уровне HTML-CSS-JS.

🔵Социология. Социологи хорошо знакомы со статистикой и умеют изучать людей, проводить исследования и делать выводы. Аналитическое мышление развивается очень хорошо. Знал бы я в универе, что мне эта специальность в будущем подойдёт, забил бы на энергофак не думая 🙂

🔵Экономика. Как по мне, немного дальше социологии, но всё ещё формирует очень много полезных навыков, особенно для работы с будущей юнит-экономикой проекта.

🔵Психология. У этих ребят имеется глубокое понимание поведения и мотивации людей, что очень ценно для анализа поведения юзеров и понимания почему юзеры ведут себя именно так.

🔵Ну и, конечно же, смежная аналитика (например, дата-). Хороший набор хардов, аналитическое мышление и умение работать с данными и делать выводы.

И это только то, что на поверхности 🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
👍152
Вот такие уведомления из календаря уважаю 😎
👍8🔥8😎4
Ох, ну что тут сказать, было очень круто 😅

Атмосфера то ли Готэма, в котором Бэтмэн проиграл, то ли Мордора, где Саурон собрал себе все кольца. Мрачно, мощно, лампово. Звук отличный, шоу вообще отвал всего. Дым, огонь, фейрверки — со всех сторон.

Сначала не понял почему трибуны так далеко, а потом как понял. Сама группа тут скорее как бонус, главный герой — сцена. Этот монстр размером этажей с 10, весь обвешан прожекторами и огнемётами 🙂

p.s. Передвижение по толпе в лодках и прожарка чувака в котле из огнепушки на месте 👌

p.p. s. Закину в чатик пару видосиков
🔥18👍2
📌 Data Driven vs Data Informed

Мне нравится наблюдать за развитием аналитической культуры на рынке, и очень радует тенденция перехода от Data Driven к Data Informed подходу.

Для тех, кто пропустил, так образно называют стиль управления продуктом.

🔵Data Driven (DD) — это подход к принятию решений, завязанный исключительно на данные, цифры и результаты исследований. Если ты уверен что решение А будет правильным, но решение Б выглядит лучше на цифрах, то компания принимает решение Б без обсуждений.

🔵Data Informed (DI) — более лояльный подход к идеям, тут данные это просто хорошая точка опоры, но не истина в последней инстанции.

И вот значит, когда аналитика только начинала активно развиваться в продуктовых командах, все придерживались DI подхода. Вероятно, так было потому что ресурс аналитики был не особо развит и мониторить вообще всё было затруднительно или просто долго. Ещё одной причиной был страх — данные данными, но эта ваша аналитика какой-то неведомый зверь.

С ростом аналитических мощностей, все массово переключились на DD. Где-то в 15-20 годах это был прям золотой грааль, все хотели сильный аналитический отдел и ни шагу в сторону, без подтверждённых экспериментами, идей. Золотое время для вкатывания было, вакансии летели со всех сторон, а свободных спецов с мало-мальским опытом почти не было.

В геймдеве тот же Ubisoft со своими ассасинами — типичный пример 100%-ного DD. Делаем то, что работает, а инновации оставим господинам Винке и Кодзиме. Не в геймдеве чистый DD (до недавнего времени) это, пожалуй Netflix.

И вот теперь опять прослеживается тенденция переката от DD обратно к DI (что не может не радовать). Но в этот раз не от страха, а от осознания, что кроме цифр есть ещё и эмоции юзеров. Если раньше катили успешный, но не самый этичный тест, не думая, то теперь цифры противопоставляют потенциальной реакции пользователей и работают больше в сторону хорошего UX. Что очень правильно, так как успешный UX в первую очередь формирует привычку и лояльность.

А это самые дорогие метрики в перспективе.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27
На вебе всю жизнь для быстрого поиска по аналитическому стриму использую DataSlayer и меня в нём всё устраивает. Ты просто прокликиваешь нужные элементы и смотришь логи где как что отправилось. Удобно.

А встречал ли кто такие аналоги для приложений? Я пол интернета перевернул, протестил кучу отладчиков — и нифига. Инфу про фронт пожалуйста — структуру разбирают легко, а вот чё там по аналитике никто не знает. Вроде ж не то чтобы это слишком секьюрная инфа (учитывая что браузеры отдают её бесплатно, без смс и регистрации), но как будто вот эта магазинная политика изоляции приложений прям всё глушит.

Есть тут разработчики? Без SDK никак не получится, да? 🥲
🤔31👍1
Ля чё нашёл 😃 Я это написал в апреле и забыл запостить сюда. Мои мысли на бесконечную тему универсализации метрик для оценки различных продуктовых фичей. Предлагаю свой вариант решения, с объяснением почему я сделал так и зачем вообще это всё.

Не истина в последней инстанции, но как один из вариантов 🍿

https://habr.com/ru/articles/807585/
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥15👍81
📌 График плотности для оценки распределения

Сейчас в очередной раз перечитываю статистику и заметил, что часто для визуальной оценки распределения используют гистограммы.

Как-то так получилось, что я не особо люблю их. Там нужно настраивать бины, а это не всегда удобно на слишком больших или слишком маленьких данных. Или всё очень мельчает или наоборот очень сильно съёживается. Не то чтобы это большая проблема, да и решается просто, но исторически так сложилось, что для первичной оценки распределения я пересел с гистограмм на графики плотности (density plot).

Смысл у них такой же как у гистограмм, кроме одного нюанса. В то время, как гистограмма представляет данные в виде бинов, где каждый показывает частоту значений в диапазоне, график плотности даёт сглаженную оценку распределения данных в виде непрерывной линии.

Технически вся разница в оси Y — график плотности соответствует отображению гистограммы как доли, а не количеств и вычисляется через ядерную оценку плотности, а не через подсчёт наблюдений.

Сама ядерная оценка плотности — это непараметрический способ оценки плотности вероятности случайной величины. Она используется для построения гладкой аппроксимации распределения данных на основе выборки. Но это отдельная тема. Смысл тут как раз в сглаживании.

Такие графики помогают лучше оценить общую форму распределения и они менее чувствительны к выбору параметров. Да и выглядят они просто круче, особенно когда их несколько сразу 🙂
👍201