Что делать, если в датасете понадобилось трансформировать данные в реляционный вид, но он построен на Custom SQL Query из базы данных, у которой в арсенале нет подходящей функции, а конструкций с множеством UNION ALL и повторяющимися подзапросами хочется избежать? Делимся в новом материале найденным рецептом, который делает UNPIVOT данных при помощи CROSS JOIN:

https://leftjoin.ru/all/unpivot-with-cross-join/

Статья про то, как управлять временем, работая удаленно. Как находить время на свою семью, хобби, и полезные дела, как организовать свой день, используя простейшее приложение Календарь.
В целом, все довольно известно, но актуально напомнить себе о такой опции.

В прошлом году я делал подборку хороших бесплатных курсов фундаментального математического образования доступного бесплатно и онлайн (на английском языке).

А вчера наткнулся на очень интересную подборку полной программы бесплатного образования в Computer Science. Программа разбита на годы и семестры и состоит из видео и плейлистов на Youtube.

Диаграмма в виде воронки позволяет визуализировать достижение целей по ряду этапов: например, конверсию пользователей. В новом материале блога рассказываем, как построить такую воронку в Tableau:

https://leftjoin.ru/all/funnel-chart-v-tableau/

Запись моего первого выступления на Матемаркетинг в прошлом году (всего выступлений было два)

Какой он - современный облачный data-стек?

Николай Валиотти ( @leftjoin) объясняет подход к проектированию аналитической инфраструктуры, обосновывает использование Clickhouse при построении облачной аналитики и рассказывает о его же нюансах и говорит про Redash с точки зрения инструмента для визуализации.

Смотреть видео - YouTube, ~20 минут

@internetanalytics

На днях Денис Соловьев (@ds_im) из канала Smart Data взял мини-интервью о том, чем и как занимается наша компания, какие роли в нашей команде. Рассказываю об этом Денису и его подписчикам в соответствующем посте (ниже сделаю репост).

А вообще у Дениса аж три мини-интервью получилось сразу, поэтому можно их все и прочитать.

Вот тут рассказываю:

Николай Валиотти:
"В основном мы работаем с различными digital и мобильными стартапами, помогаем им выстроить end-to-end аналитику.
Другими словами, мы работаем со спектром задач от проектирования хранилища / озера данных, построения процессов инжиниринга данных до построения отчетности и иногда даже некоторых моделей машинного обучения.
Персонально я успел поработать в ряде крупных организаций и занимался анализом данных с разнообразным стеком решений, однако в последние годы перед стартом своей компании работал в стартапе, который уже тогда начал работать с так называемым modern data stack. Меня это невероятно увлекло и вдохновило на то, чтобы и другие компании могли компетентно использовать современные облачные решения и получать максимальную пользу от собственных данных.
Мы в некотором смысле стартап (по духу), хотя, конечно, больше развиваемся как традиционная консалтинговая компания. У нас небольшой штат сотрудников и соответствующих ролей, о которых речь пойдет дальше.
Поскольку работаем параллельно с несколькими проектами одновременно бОльшая часть команд кросс-функциональна, что означает, что в каждом проекте есть выделенный сотрудник, который лидирует по проекту, а другие коллеги функционально помогают ему в достижении поставленной цели.

Среди наших сотрудников имеются:
Data Engineer - работы с построением архитектуры хранилища, среди инструментов Kafka, Airflow, среди СУБД: BigQuery, Redshift, Clickhouse, Redshift, Vertica, MySQL, разумеется, SQL и Pythoh.
Analytics Engineer - работы с инструментов dbt, построение моделей данных в Looker, работа с Python для обработки данных, естественно, SQL
2x Data Analyst - мы используем ряд инструментов в зависимости от потребностей и возможностей заказчика: Tableau, Looker, Redash, PowerBI и Metabase, ребята умеют работать в этих инструментах и естественно используют SQL. Ряд задач, например, построение классификационных моделей мы строим с использованием Python, используем Jupyter, в некоторых случаях Collab.
2x Junior Data Analyst - помогают более старшим аналитикам и решают более маленькие кусочки задач с тем же стеком технологий.

В будущем планирую выстраивать организационную структуру, поскольку найм сотрудников горизонтально все-таки невозможен бесконечно и система из более 7 человек будет работать неэффективно"

Интересный тул для любителей PowerBI

В рамках задач self-service возможности Tableau, на мой субъективный взгляд, выше Power BI, но ненадолго. Charticulator позволяет создавать практически любой шаблон диаграммы, который затем можно импортировать в PowerBI.
https://charticulator.com/
Видеоуроки:
https://charticulator.com/docs/video-tutorials.html
Практический пример:
https://youtu.be/xS6GyVpt7lY

Интересное комбо в статье по ссылке: построение моделей машинного обучения на движке BigQuery с использованием dbt

​​Пошаговое руководство запуска моделей машинного обучения в dbt и BigQuery ML без проблем, связанных с управлением инфраструктурой.

@BigQuery

Как-то раз на YouTube мы нашли гайд по Radial Pie Gauge Chart в Tableau. Нам он очень понравился — диаграмма сильно напоминает кольца активности Apple Watch. Но по задумке автора кольца графика останавливаются на 270 градусах, а все цели сравниваются только между собой. Мы доработали график — показываем, как сделать масимально приближенную к кольцам активности реализацию в Tableau:

https://leftjoin.ru/all/radial-pie-v-tableau/

Среди резюме иногда можно встретить совершенно любопытные названия должностей у кандидатов. Вот, например, интересный образец.

Недавно мы завели аккаунт в Instagram (подпишитесь!). В новом материале расскажем о том, как с использованием Python и Selenium можно автоматизировать часть действий в социальной сети.

Что с этим делать — на усмотрение читателя. Решения для масслайкинга и массфоловинга решили не описывать в силу их сомнительной легитимности и эффективности.

https://leftjoin.ru/all/instagram-python-selenium-bot/

Один из самых популярных и известных алгоритмов кластеризации — k-means, его знает каждый, кто хоть как-то начинал работу с методами машинного обучения.
Совершенно понятно, что про k-means уже написано огромное количество материалов, что на R, что на Python, но мне попалась интересная ссылка-визуализация того, как работает алгоритм.

Если только начинаете знакомиться, то можно довольно быстро понять принцип обновления центроидов в кластерах.

Из поста особенно понравилась табличка сравнения (отправлю ниже). Но, кажется, что ошиблись c Redash и not query centric.

Кейс Dropbox по использованию Apache Superset: https://dropbox.tech/application/why-we-chose-apache-superset-as-our-data-exploration-platform

Для планирования своих ежедневных дел я использую приложение Хаос-контроль, которое доступно как на мобильных устройствах, так и на десктопе.
Недавно я давал интервью создателю приложения о том, что такое тайм-менеджмент для меня, как я управляю своими делами и проектами и как использую приложение автора.

Рекомендую само приложение и делюсь своими соображениями в интервью.

#ссылка #интервью