Вместо итогов года

Очень скоро настанет момент, когда салат Оливье уже не лезет, все выпуски ЧБД пересмотрены, Дудь надоел, пить не хочется и вот эти все комедии по ТВ дико утомили. Есть предложение! Го учиться и развиваться в 2021ом году?

📺 ЧТО ПОСМОТРЕТЬ?
Моя небольшая подборка профессионального контента из нашего аналитического коммьюнити, которое рекомендую посмотреть на новогодних каникулах:
• Интервью Толи Карпова, реально классный контент с интересными людьми из рынка
• Видеоподкасты Ромы Бунина, эксперты рынка разговаривают о визуализации данных, об аналитике
• Бесплатный видеокурс DataLearn Димы Аношина, зачастую встречаются интересные темы и эксперты рынка, да и сам Дима в формате модулей рассказывает довольно много об инжиниринге данных и об инструментах
• Записи с Матемаркетинга — постепенно появляется контент 2020го года, а также доступен более старый контент
• Рома Нестер, с которым мы достаточно давно знакомы еще по Юлмарту, берет интервью у экспертов индустрии в рамках магистерской программы ВШЭ
• Наш YouTube-канал LEFTJOIN, в рамках которого обозреваем сейчас BI-инструменты

🇺🇸 Если все хорошо с английским, то можно еще изучить:
◦ Видео с конференции FutureData, рассказывал о ней в отдельном посте блога
◦ Записи с недавней конференции Coalesce о dbt, о которой писал отдельный пост с саммари
◦ В конце концов, я писал отдельный пост на тему бесплатного англоязычного фундаментального образования.

🎧 ЧТО ПОСЛУШАТЬ?
Если смотреть не хочется, но хочется послушать, то:
• Аудиоверсии видеоподкастов Ромы Бунина
• Подкаст про технологии «Запуск завтра»
• Подкаст от Geekbrains «Выхожу с понедельника» — несколько раз натыкался на этот подкаст, но, к сожалению, прослушать еще не успел, поэтому не знаю можно ли рекомендовать 🤷‍♂️

🇺🇸 Если хочется послушать на английском языке, то:
◦ Data Engineering podcast
◦ Digital Analytics Powerhour

@leftjoin

Что делать, если в датасете понадобилось трансформировать данные в реляционный вид, но он построен на Custom SQL Query из базы данных, у которой в арсенале нет подходящей функции, а конструкций с множеством UNION ALL и повторяющимися подзапросами хочется избежать? Делимся в новом материале найденным рецептом, который делает UNPIVOT данных при помощи CROSS JOIN:

https://leftjoin.ru/all/unpivot-with-cross-join/

Статья про то, как управлять временем, работая удаленно. Как находить время на свою семью, хобби, и полезные дела, как организовать свой день, используя простейшее приложение Календарь.
В целом, все довольно известно, но актуально напомнить себе о такой опции.

В прошлом году я делал подборку хороших бесплатных курсов фундаментального математического образования доступного бесплатно и онлайн (на английском языке).

А вчера наткнулся на очень интересную подборку полной программы бесплатного образования в Computer Science. Программа разбита на годы и семестры и состоит из видео и плейлистов на Youtube.

Диаграмма в виде воронки позволяет визуализировать достижение целей по ряду этапов: например, конверсию пользователей. В новом материале блога рассказываем, как построить такую воронку в Tableau:

https://leftjoin.ru/all/funnel-chart-v-tableau/

Запись моего первого выступления на Матемаркетинг в прошлом году (всего выступлений было два)

Какой он - современный облачный data-стек?

Николай Валиотти ( @leftjoin) объясняет подход к проектированию аналитической инфраструктуры, обосновывает использование Clickhouse при построении облачной аналитики и рассказывает о его же нюансах и говорит про Redash с точки зрения инструмента для визуализации.

Смотреть видео - YouTube, ~20 минут

@internetanalytics

На днях Денис Соловьев (@ds_im) из канала Smart Data взял мини-интервью о том, чем и как занимается наша компания, какие роли в нашей команде. Рассказываю об этом Денису и его подписчикам в соответствующем посте (ниже сделаю репост).

А вообще у Дениса аж три мини-интервью получилось сразу, поэтому можно их все и прочитать.

Вот тут рассказываю:

Николай Валиотти:
"В основном мы работаем с различными digital и мобильными стартапами, помогаем им выстроить end-to-end аналитику.
Другими словами, мы работаем со спектром задач от проектирования хранилища / озера данных, построения процессов инжиниринга данных до построения отчетности и иногда даже некоторых моделей машинного обучения.
Персонально я успел поработать в ряде крупных организаций и занимался анализом данных с разнообразным стеком решений, однако в последние годы перед стартом своей компании работал в стартапе, который уже тогда начал работать с так называемым modern data stack. Меня это невероятно увлекло и вдохновило на то, чтобы и другие компании могли компетентно использовать современные облачные решения и получать максимальную пользу от собственных данных.
Мы в некотором смысле стартап (по духу), хотя, конечно, больше развиваемся как традиционная консалтинговая компания. У нас небольшой штат сотрудников и соответствующих ролей, о которых речь пойдет дальше.
Поскольку работаем параллельно с несколькими проектами одновременно бОльшая часть команд кросс-функциональна, что означает, что в каждом проекте есть выделенный сотрудник, который лидирует по проекту, а другие коллеги функционально помогают ему в достижении поставленной цели.

Среди наших сотрудников имеются:
Data Engineer - работы с построением архитектуры хранилища, среди инструментов Kafka, Airflow, среди СУБД: BigQuery, Redshift, Clickhouse, Redshift, Vertica, MySQL, разумеется, SQL и Pythoh.
Analytics Engineer - работы с инструментов dbt, построение моделей данных в Looker, работа с Python для обработки данных, естественно, SQL
2x Data Analyst - мы используем ряд инструментов в зависимости от потребностей и возможностей заказчика: Tableau, Looker, Redash, PowerBI и Metabase, ребята умеют работать в этих инструментах и естественно используют SQL. Ряд задач, например, построение классификационных моделей мы строим с использованием Python, используем Jupyter, в некоторых случаях Collab.
2x Junior Data Analyst - помогают более старшим аналитикам и решают более маленькие кусочки задач с тем же стеком технологий.

В будущем планирую выстраивать организационную структуру, поскольку найм сотрудников горизонтально все-таки невозможен бесконечно и система из более 7 человек будет работать неэффективно"

Интересный тул для любителей PowerBI

В рамках задач self-service возможности Tableau, на мой субъективный взгляд, выше Power BI, но ненадолго. Charticulator позволяет создавать практически любой шаблон диаграммы, который затем можно импортировать в PowerBI.
https://charticulator.com/
Видеоуроки:
https://charticulator.com/docs/video-tutorials.html
Практический пример:
https://youtu.be/xS6GyVpt7lY

Интересное комбо в статье по ссылке: построение моделей машинного обучения на движке BigQuery с использованием dbt

​​Пошаговое руководство запуска моделей машинного обучения в dbt и BigQuery ML без проблем, связанных с управлением инфраструктурой.

@BigQuery

Как-то раз на YouTube мы нашли гайд по Radial Pie Gauge Chart в Tableau. Нам он очень понравился — диаграмма сильно напоминает кольца активности Apple Watch. Но по задумке автора кольца графика останавливаются на 270 градусах, а все цели сравниваются только между собой. Мы доработали график — показываем, как сделать масимально приближенную к кольцам активности реализацию в Tableau:

https://leftjoin.ru/all/radial-pie-v-tableau/

Среди резюме иногда можно встретить совершенно любопытные названия должностей у кандидатов. Вот, например, интересный образец.

Недавно мы завели аккаунт в Instagram (подпишитесь!). В новом материале расскажем о том, как с использованием Python и Selenium можно автоматизировать часть действий в социальной сети.

Что с этим делать — на усмотрение читателя. Решения для масслайкинга и массфоловинга решили не описывать в силу их сомнительной легитимности и эффективности.

https://leftjoin.ru/all/instagram-python-selenium-bot/

Один из самых популярных и известных алгоритмов кластеризации — k-means, его знает каждый, кто хоть как-то начинал работу с методами машинного обучения.
Совершенно понятно, что про k-means уже написано огромное количество материалов, что на R, что на Python, но мне попалась интересная ссылка-визуализация того, как работает алгоритм.

Если только начинаете знакомиться, то можно довольно быстро понять принцип обновления центроидов в кластерах.

Из поста особенно понравилась табличка сравнения (отправлю ниже). Но, кажется, что ошиблись c Redash и not query centric.

Кейс Dropbox по использованию Apache Superset: https://dropbox.tech/application/why-we-chose-apache-superset-as-our-data-exploration-platform