В SQL с регулярками тоже очень типичная история 😀
(сорс: https://twitter.com/rita_codes)

Привет, слушайте, вопрос такой к активно изучающим Python. Я тут расписываю схемку для вот этого, и было бы классно туда блок про Python засунуть.

Но т.к. я не питонист и в своё время его как-то не системно учил, порекомендуйте плз куда сейчас за ним ходят? Только чтобы бесплатно или около того, и желательно разных уровней, спасибо 🙂

🔗 План самообразования в ПА

Приветики, допилил план по самообразованию в продуктовой аналитике, как бы я сам учился. На самом деле, я почти так и учился, но порядок был другой, за счёт чего я много страдал 🙂 Тут постарался расположить всё по логическому, на мой взгляд, плану.

Запасайтесь попкорном и приятного чтения 🍿

https://telegra.ph/Plan-samoobrazovaniya-po-professii-produktovogo-analitika-02-04

Обновил пост в закрепе, вынес туда навигацию. Чтобы новоприбывшим было проще сориентироваться что тут вообще у нас происходит 🙂

Наткнулся в твиттере. Copilot воткнул комментарий в генерацию кода. А почему бы и нет)

У агентства NewHR от Киры Кузьменко выкатился список 500 популярных ресурсов, которые читают аналитики. ТГ каналов там 253 из которых 83 про аналитику.

Я думаю, там учитывались вообще все упоминания (методологию они не раскрывали), но всё равно приятно быть в списке с @borzilo_y. Тем более что данные за 23-й год, когда каналу был месяц всего. Это ж кто-то из вас был, спасибо 🙂

Сегодня постов не будет, сами понимаете 🙂

📌 Про Макса

Хочу рассказать вам историю про самого значимого, в моей карьере, менеджера.

Работал я тогда ещё не очень много, но кое-что уже умел и был на позиции миддла классической ПА (метрики, рисерчи, тесты). Был я, значит, в одном из продуктов компании единственным аналитиком. Сам по себе дата-отдел был не большой, человек может 5.

Мой проект был тестовый, никто особо на него не ставил. В дальнейшем он и не взлетел — какие-то деньги, конечно, приносил, но с точки зрения бизнеса был не очень интересен. Но у нас была классная команда продукта, поэтому после решения о сворачивании, нас перекинули в другие проекты компании.

Всех, кроме меня. У меня были хорошие отзывы, всем всё нравилось, поэтому просто отпускать меня никто не хотел, но и закрепить в новый проект не могли — тупо не было куда. Я стал таким “подвешенным” продуктовым аналитиком без продукта (но с зарплатой).

А потом пришёл Макс, менеджер из какого-то мутного отдела (я даже сейчас не уверен чем они занимались), и говорит, а гоу наши задачки делать. “Ну, мне-то всё равно, гоу” — тогда подумал я, не подозревая как это перевенёт мой будущий подход в работе.

Первым же проектом, после пары вводных задач, была разработка, внимание, “искусственного байера”. Деталей не помню, но в плане Макса было классифицировать качество траффика катбустом, а потом эта модель ложилась в алгоритм бандитов. На входе мы давали этому боту денег и список сорсов, а он в риалтайме должен был перераспределять деньги на лучший, по его предиктам, траф.

Напомню, я тогда был прям олдскульный ПА, и про эти ваши алгоритмы разве что слышал краем уха. Говорю ему: “я чёт не уверен что вообще понимаю хотя бы половину из того что ты сейчас сказал”. И тут, к моему удивлению, он просто начал мне всё объяснять. Показал как вообще этот ваш DS устроен, познакомил с SHAP (в сердечке) и ещё всякой магией.

Оказалось, Макс не просто менеджер, а чел, глубоко увлекающийся анализом в целом и DS в частности. И в менеджмент он пришёл как раз из этой сферы.

Проект мы в итоге реализовали где-то за пол года. Не скажу что он получился прорывной, но по всем показателям не уступал реальным людям. Не лучше, но и не хуже. И зарплату не просил.

Зато после этой истории я всерьёз заинтересовался ML, много читал и смотрел, и в итоге стал использовать алгоритмы довольно часто в своей работе.

#кулстори

Приветики, хотите вам задачку сгенерю на продуктовое мышление? Там надо будет датасет покрутить ответить на простой вопрос «и чё теперь?» 🙂

Мини-тренажёр по оценке ситуации и умению мыслить от продукта без регистрации и смс!

Выгрузка к задаче. Она синтетическая, поэтому там могут встречаться артефакты в виде странной логики поведения, но в жизни тоже система аналитики легко может не довезти какую-то часть, так что реализм +100

Приветики, хочу спойлернуть вам мини проект, который, планирую релизнуть на выходных. С кодом на гитхабе, с описанием на хабре, вот это вот всё.

Кароч, 3Д-экшон суть такова как-то у меня был проект рабочий, где нужно было выпилить часть фичей из продукта, которые не выгодно обслуживать. Какие — не уточнялось, но что-нибудь надо снести. Чтобы вычислить аутсайдеров, логично сравнить все фичи между собой. Это понятно. Не понятно как сравнить и по каким критериям. Потому что начиная в этом всём копаться, осознаёшь что у каждой части свои приколы и как будто стандартизировать шкалу оценок нельзя. И так то оно так, но немножко, всё таки, можно.

В той задаче была другая цель, но сама по себе идея прикладного фича-анализатора мне нравилась.

В итоге это должна быть некая system, в которую ты грузишь свой датасет, а она раскидывает это всё красиво, чтоб ты обзорно понимал характер фичей и их импакт. А потом уже, с этой инфой шёл рыть те, которые выглядят перспективнее.

Сейчас я уже вывел набор из 5-ти параметров-метрик, которые относительно равномерно ложатся в большинство интерфейсных фичей и глобально покрывают и UX и экономику. Закончил тесты на разные типы фичей, чтобы убедиться что всё ложится равномерненько. Пока не придумал как оптимизировать структуру данных на вход, чтобы это была не таблица на 146 млн строк, но и чтобы запрос был не на 5 листов формата а4, и чтобы всё это было применимо к разным проектам, естественно.

В идеале ещё сделать автоматическое распознавание фичей и их ключевых точек. Но тут пока ноль идей, в какой-нибудь другой версии потом может придумаю.

📌 Про DataLore и DataSpell

Почти неделю ничего не писал, а теперь врываюсь сразу с рекламой. Ладно, это просто рекомендация классных штук 🙂

Как-то кто-то мне с воодушевлением рассказывал про новый продукт JetBrains, который DataSpell, я послушал, покивал и благополучно забил. А на днях у меня появилось желание завести Jupyter в облаке под R. С юпитером я не работал толком, когда-то давно под это дело ставил Anaconda, потом немножко смотрел на блокноты через VSCode и PyCharm, но мне не понравилось.

А тут ради интереса пошёл посмотреть на DataSpell. Там я конечно вообще не понял как работать с блокнотами в R, но это и не важно стало потом 🙂

Когда я его ставил, JB любезно предложили мне попробовать ещё их облачный сервис DataLore. И вот это уже оказалось офигенно. Это простое корпоративное облако, к которому можно затянуть предустановленные коннекторы к базам данных (выбор по джетбрейновски огромный) или накидать файлами в проекты. Проект там это блокнот Jupyter с поддержкой R в том числе, все базовые приколы типа обновлений по расписанию и репортов — в наличии. А ещё блокнот можно компилировать в отчёт для не-аналитиков, скрыв код. За это отвечает отдельный интерфейс а-ля конструктор отчётов.

Секьюрность настраивается гибко. По дефолту в домене компании, но можно и раздавать отдельно на конкретных юзеров. В общем — моё почтение.

Как инструмент синхронизации аналитических артефактов — пока видится мне единственным завершённым на рынке, с удобным хранением скриптов R/Python/SQL и документации, например к тестам. Единственный минус для меня — не умеет запускать реактивные приложения Shiny. Но это было бы уже совсем круто 🙂

Кароч выглядит как конкурент Google Collab, только убивает последнего за счет гибкости.

А DataSpell, с которого всё началось, в целом выглядит как удобная комбинация DataGrip + PyCharm + R Studio + DBT. Всё в одном месте, всё удобно и красиво. Но я пока не готов переходить на него, R Studio всё-таки имеет много мелких приколов, от которых я не готов отказаться пока.

#инструменты

Интересно, зайдут тут SQL-сниппеты, или не нужны никому, потестим 🙂

Вот довольно популярный сниппет, когда нужно найти что-то наиболее частое, например с каких девайсов обычно сидит юзер, или какой язык использует чаще и т.д.

Я это делаю через подсчёт строк и отбора топ-1 по каждому юзеру. Для примера, нужно найти самый популярный девайс юзера:

select user_id,
       device as most_used_device
from (select user_id,
             device,
             row_number() as over(partition by user_id order by user_id, count(*) desc) as rn
      from database
      group by 1, 2) as t1
where rn = 1

Логика простая, сначала выстраиваем поюзерный список девайсов с сортировкой по бОльшему количеству чего-нибудь, нумеруем строки, а потом отрезаем все строки, что не 1.

Тут весь прикол в count(*), сюда засовывать нужно то, что логически подойдёт, если это ивенты, то лучше их на дни попилить, чтобы мы не девайсы по количеству ивентов тащили 🙂

#сниппеты