📌 Задача предсказания UX

Если подумать, какая задача в моей карьере была самой популярной и желанной для заказчиков, то сразу вспоминаются попытки предикта поведения юзера. Серьёзно, она была почти во всех командах 🙂

Это просто золотой грааль для компаний. Все мечтают на ранних этапах предсказывать в какой сегмент попадёт юзер (хотя бы на уровне "отвалится или будет платящим"). В идеале сразу при регистрации. Имея эту информацию, можно уже много чего наворотить в UX пользователя, в зависимости от ожиданий.

И мы даже много раз пытались такое провернуть силами продуктовой аналитики (естественно, не всегда удачно). К слову, у нас никогда не было классного ML-спеца, поэтому сильно глубоко мы никогда не копали.

А нет, вру, один раз была команда DS, которая занималась этой задачей основательно, но они начали её делать до моего прихода в компанию, и не закончили когда я ушёл, так что не считается 🙂

😅 Сложно (особенно заказчику) принять факт, что с первого запуска, не имея никаких поведенческих показателей юзера, сложно как-то магическим образом предсказывать его будущее. Ни гео, ни времени суток регистрации, ни даже источника траффика никогда не достаточно. А жаль, конечно.

Проблему мы частично решали простым сдвигом точки анализа хотя бы на недельку. Обычно за это время у юзера происходит или ранний отток, или какая-то движуха, по которой можно пытаться планировать его жизнь наперёд. Предикторы типа наличия первого платежа, его суммы, времени на “подумать”, а так же всякие триггеры посещения отдельных разделов — уже раскрывают юзера намного детальнее.

Это конечно не даёт ответ на вопрос “а что делать-то в первый день с ними, кого активнее пушить а на кого не давить и просто дать время?”, но в целом, иметь какие-никакие прогнозы по юзеру через неделю выглядит всё ещё полезнее, чем не иметь никаких.

Это одна из тех задач, где нет какого-то единого алгоритма решения. На хабре все подходы отличаются диаметрально, т.к. всё ещё и сильно зависит от конкретного бизнеса.

Сталкивались с такими задачами? Как решали? 🙂

Вот такие уведомления из календаря уважаю 😎

Ох, ну что тут сказать, было очень круто 😅

Атмосфера то ли Готэма, в котором Бэтмэн проиграл, то ли Мордора, где Саурон собрал себе все кольца. Мрачно, мощно, лампово. Звук отличный, шоу вообще отвал всего. Дым, огонь, фейрверки — со всех сторон.

Сначала не понял почему трибуны так далеко, а потом как понял. Сама группа тут скорее как бонус, главный герой — сцена. Этот монстр размером этажей с 10, весь обвешан прожекторами и огнемётами 🙂

p.s. Передвижение по толпе в лодках и прожарка чувака в котле из огнепушки на месте 👌

p.p. s. Закину в чатик пару видосиков

Так и живём

На вебе всю жизнь для быстрого поиска по аналитическому стриму использую DataSlayer и меня в нём всё устраивает. Ты просто прокликиваешь нужные элементы и смотришь логи где как что отправилось. Удобно.

А встречал ли кто такие аналоги для приложений? Я пол интернета перевернул, протестил кучу отладчиков — и нифига. Инфу про фронт пожалуйста — структуру разбирают легко, а вот чё там по аналитике никто не знает. Вроде ж не то чтобы это слишком секьюрная инфа (учитывая что браузеры отдают её бесплатно, без смс и регистрации), но как будто вот эта магазинная политика изоляции приложений прям всё глушит.

Есть тут разработчики? Без SDK никак не получится, да? 🥲

📌 График плотности для оценки распределения

Сейчас в очередной раз перечитываю статистику и заметил, что часто для визуальной оценки распределения используют гистограммы.

Как-то так получилось, что я не особо люблю их. Там нужно настраивать бины, а это не всегда удобно на слишком больших или слишком маленьких данных. Или всё очень мельчает или наоборот очень сильно съёживается. Не то чтобы это большая проблема, да и решается просто, но исторически так сложилось, что для первичной оценки распределения я пересел с гистограмм на графики плотности (density plot).

Смысл у них такой же как у гистограмм, кроме одного нюанса. В то время, как гистограмма представляет данные в виде бинов, где каждый показывает частоту значений в диапазоне, график плотности даёт сглаженную оценку распределения данных в виде непрерывной линии.

Технически вся разница в оси Y — график плотности соответствует отображению гистограммы как доли, а не количеств и вычисляется через ядерную оценку плотности, а не через подсчёт наблюдений.

Сама ядерная оценка плотности — это непараметрический способ оценки плотности вероятности случайной величины. Она используется для построения гладкой аппроксимации распределения данных на основе выборки. Но это отдельная тема. Смысл тут как раз в сглаживании.

Такие графики помогают лучше оценить общую форму распределения и они менее чувствительны к выбору параметров. Да и выглядят они просто круче, особенно когда их несколько сразу 🙂

🔗 Популярные виды распределений

Я вообще тут не просто так про распределения начал. Читал тут статейку одну про распределения и решил собрать такую небольшую шпаргалку по популярным видам распределений.

Не то чтобы при анализе ты прям ходишь такой “о, это распределение Вейбулла” (на практике чаще классифицируешь их по форме, симметричные или скошенные) но хотя бы названия и форму их знать полезно, особенно на вопросах типа “какие распределения ты знаешь?”. 🙂

Добавил основные характеристики и пример использования, чтобы это была более полноценная шпаргалка.

Функции плотности вероятности не добавил, телеграф не умеет в Latex, а в строку эти и без того жуткие формулы превращаются в мясо. Загуглите если надо.

Бонусом в конце добавил ссылку на гигантскую карту распределений.

https://telegra.ph/Populyarnye-vidy-raspredelenij-06-12

#собесы #инструменты

В Белграде последние деньки прохлады (+28), все гуляют. На низком старте неделя в +36 🌡️

Ходили сегодня на пикник, организованный местным IT-комьюнити, 0 разговоров о работе, уважаемо 🙂

📌 Про SQL в обучении и в жизни, путь самурая

Знаете вот это чувство, когда ты что-то делаешь, у тебя не получается или получается со скрипом, и это действие требует повышенной концентрации. А потом в один момент хоба — и ты его делаешь случайно, очень легко и даже получается не ужасно.

В этот момент в голове что-то щёлкает, типа “а, вот как надо было” — и всё, ты научился, дальше так же легко повторяется снова и снова. И потом даже смешно становится, что раньше ты тут прикладывал максимум усилий, а сейчас делаешь одной рукой с закрытыми глазами.

У меня такое было с SQL, правда в начале я и сам не знал что получается плохо 🙂

Когда я учил SQL, затронул наверное все форматы — были и курсы, которые накинули теории, и сайты с задачками и даже книжку по постгре купил (правда даже не дочитал её до середины, настолько душной она была).

Но судя по задачкам с сайтов, я был уверен, что в принципе, понимаю что это такое и как оно устроено. Да у меня даже работа уже была (я был там первым и единственным аналитиком), где помимо всего прочего надо было вести борды в редаше (а это SQL-based BI). Ну там в основном мелочи всякие надо было писать, типа один запрос — один график, а это часто 5-10 строк кода. Что-то сложнее могло пойти на стаковерфлоу, но в целом было норм.

Это подпитывало мою уверенность что да, вот так обычно все и делают. Ну и в учёбе задачки такого же уровня были, на крайняк хитрая функция, но задача всегда линейна.

А потом я попал в компанию с развитой аналитической командой, где мне в первый же день скинули на изучение скрипт витрины для гигаборда, который считал огромную пачку ключевых метрик. Это была не какая-то красивая и удобная витринка для менеджеров, а прям официальная документация аналитиков — зацеплены все основные метрики (штук 50 точно было) и бОльшая часть популярных структур данных. Тонны джоинов и обращений к словарям, чтобы максимально всё нужное захватить.

Стоит ли говорить что он был реально огромный, чтобы просто докрутить этот скрипт до конца, скроллить нужно было секунд 10. Порог в 1000 строк он там явно перешагнул.

Первые дни я сидел с мыслями: "это вообще что такое, это что sql? Ну вот и смерть моя пришла, земля прощай, нас такому не учили и жизнь не готовила". На мой немой ахуй, лид только улыбался и говорил что-то типа “да он лёгкий, просто… ну большой получился))0)”.

Я там недели две наверное вдуплял что к чему, медленно, но уверенно, как Рокки Бальбоа, впитывал структуру и фиксировал интересные моменты, которые не сложные, а скорее хитрые, и до которых я сам не додумался. Радовался что даже что-то начинаю понимать.

И вот когда я с ним разобрался — оно щёлкнуло — я понял как работает SQL. Реально, всего за одну задачку (пусть и через все стадии принятия) мой уровень запросов сменился от подсчёта количества строк (”воу, 20 строк, вот это я машина”) к ощущению задачи и поискам путей решения, к пониманию структуры запроса и планированию скрипта сильно наперёд.

#кулстори