Большая подборка материалов, посвященных машинному обучению, анализу данных и применению алгоритмов ML в бизнесе

https://habr.com/ru/article/533242/

Наш зритель на YouTube (кстати, подписывайтесь на канал) Людмила Курьянова предложила модифицировать формирование графика «Динамика прибыли», чтобы отказаться от макросов.

Вот её комментарий:
Добрый день!
Хороший дашборд, спасибо за идеи.
Мои рекомендации для Графика «Динамика прибыли» (не используя макрос) -
Рядом с построенной сводной создать таблицу с данными, ссылающимися на сводную. Получить таким образом Поля год, месяц, месяц-год, прибыль. Для столбцов текущее значение и значение прошлого периода использовать формулу с условием (проверять на равенство ячейку с месяцем-год ‘Pivot tables’$A$4, и, соответственно, будут подтягиваться либо значение, либо НД()). То есть, если будет меняться значение на срезе Месяц-Год, значения в столбцах Текущее значение и Прош. значение будут пересчитаны. Далее построить 3 графика- Прибыль без маркеров, для текущ. и прош.значений выбрать график с маркерами и далее настроить внешний вид маркера. Исходную сводную оставить подключенной только к срезу Регион.

Мне персонально не очень хотелось отходить от концепции «все на сводных таблицах», но такой сценарий, конечно, имеет право на жизнь. Выкладываем обновленную версию Excel-книги на GitHub.

Классное пособие! ❤️

33 Tableau Tips от Tableau Zen Master Ryan Sleeper (это его книги по табло доступны в русском переводе)

Вместо итогов года

Очень скоро настанет момент, когда салат Оливье уже не лезет, все выпуски ЧБД пересмотрены, Дудь надоел, пить не хочется и вот эти все комедии по ТВ дико утомили. Есть предложение! Го учиться и развиваться в 2021ом году?

📺 ЧТО ПОСМОТРЕТЬ?
Моя небольшая подборка профессионального контента из нашего аналитического коммьюнити, которое рекомендую посмотреть на новогодних каникулах:
• Интервью Толи Карпова, реально классный контент с интересными людьми из рынка
• Видеоподкасты Ромы Бунина, эксперты рынка разговаривают о визуализации данных, об аналитике
• Бесплатный видеокурс DataLearn Димы Аношина, зачастую встречаются интересные темы и эксперты рынка, да и сам Дима в формате модулей рассказывает довольно много об инжиниринге данных и об инструментах
• Записи с Матемаркетинга — постепенно появляется контент 2020го года, а также доступен более старый контент
• Рома Нестер, с которым мы достаточно давно знакомы еще по Юлмарту, берет интервью у экспертов индустрии в рамках магистерской программы ВШЭ
• Наш YouTube-канал LEFTJOIN, в рамках которого обозреваем сейчас BI-инструменты

🇺🇸 Если все хорошо с английским, то можно еще изучить:
◦ Видео с конференции FutureData, рассказывал о ней в отдельном посте блога
◦ Записи с недавней конференции Coalesce о dbt, о которой писал отдельный пост с саммари
◦ В конце концов, я писал отдельный пост на тему бесплатного англоязычного фундаментального образования.

🎧 ЧТО ПОСЛУШАТЬ?
Если смотреть не хочется, но хочется послушать, то:
• Аудиоверсии видеоподкастов Ромы Бунина
• Подкаст про технологии «Запуск завтра»
• Подкаст от Geekbrains «Выхожу с понедельника» — несколько раз натыкался на этот подкаст, но, к сожалению, прослушать еще не успел, поэтому не знаю можно ли рекомендовать 🤷‍♂️

🇺🇸 Если хочется послушать на английском языке, то:
◦ Data Engineering podcast
◦ Digital Analytics Powerhour

@leftjoin

Что делать, если в датасете понадобилось трансформировать данные в реляционный вид, но он построен на Custom SQL Query из базы данных, у которой в арсенале нет подходящей функции, а конструкций с множеством UNION ALL и повторяющимися подзапросами хочется избежать? Делимся в новом материале найденным рецептом, который делает UNPIVOT данных при помощи CROSS JOIN:

https://leftjoin.ru/all/unpivot-with-cross-join/

Статья про то, как управлять временем, работая удаленно. Как находить время на свою семью, хобби, и полезные дела, как организовать свой день, используя простейшее приложение Календарь.
В целом, все довольно известно, но актуально напомнить себе о такой опции.

В прошлом году я делал подборку хороших бесплатных курсов фундаментального математического образования доступного бесплатно и онлайн (на английском языке).

А вчера наткнулся на очень интересную подборку полной программы бесплатного образования в Computer Science. Программа разбита на годы и семестры и состоит из видео и плейлистов на Youtube.

Диаграмма в виде воронки позволяет визуализировать достижение целей по ряду этапов: например, конверсию пользователей. В новом материале блога рассказываем, как построить такую воронку в Tableau:

https://leftjoin.ru/all/funnel-chart-v-tableau/

Запись моего первого выступления на Матемаркетинг в прошлом году (всего выступлений было два)

Какой он - современный облачный data-стек?

Николай Валиотти ( @leftjoin) объясняет подход к проектированию аналитической инфраструктуры, обосновывает использование Clickhouse при построении облачной аналитики и рассказывает о его же нюансах и говорит про Redash с точки зрения инструмента для визуализации.

Смотреть видео - YouTube, ~20 минут

@internetanalytics

На днях Денис Соловьев (@ds_im) из канала Smart Data взял мини-интервью о том, чем и как занимается наша компания, какие роли в нашей команде. Рассказываю об этом Денису и его подписчикам в соответствующем посте (ниже сделаю репост).

А вообще у Дениса аж три мини-интервью получилось сразу, поэтому можно их все и прочитать.

Вот тут рассказываю:

Николай Валиотти:
"В основном мы работаем с различными digital и мобильными стартапами, помогаем им выстроить end-to-end аналитику.
Другими словами, мы работаем со спектром задач от проектирования хранилища / озера данных, построения процессов инжиниринга данных до построения отчетности и иногда даже некоторых моделей машинного обучения.
Персонально я успел поработать в ряде крупных организаций и занимался анализом данных с разнообразным стеком решений, однако в последние годы перед стартом своей компании работал в стартапе, который уже тогда начал работать с так называемым modern data stack. Меня это невероятно увлекло и вдохновило на то, чтобы и другие компании могли компетентно использовать современные облачные решения и получать максимальную пользу от собственных данных.
Мы в некотором смысле стартап (по духу), хотя, конечно, больше развиваемся как традиционная консалтинговая компания. У нас небольшой штат сотрудников и соответствующих ролей, о которых речь пойдет дальше.
Поскольку работаем параллельно с несколькими проектами одновременно бОльшая часть команд кросс-функциональна, что означает, что в каждом проекте есть выделенный сотрудник, который лидирует по проекту, а другие коллеги функционально помогают ему в достижении поставленной цели.

Среди наших сотрудников имеются:
Data Engineer - работы с построением архитектуры хранилища, среди инструментов Kafka, Airflow, среди СУБД: BigQuery, Redshift, Clickhouse, Redshift, Vertica, MySQL, разумеется, SQL и Pythoh.
Analytics Engineer - работы с инструментов dbt, построение моделей данных в Looker, работа с Python для обработки данных, естественно, SQL
2x Data Analyst - мы используем ряд инструментов в зависимости от потребностей и возможностей заказчика: Tableau, Looker, Redash, PowerBI и Metabase, ребята умеют работать в этих инструментах и естественно используют SQL. Ряд задач, например, построение классификационных моделей мы строим с использованием Python, используем Jupyter, в некоторых случаях Collab.
2x Junior Data Analyst - помогают более старшим аналитикам и решают более маленькие кусочки задач с тем же стеком технологий.

В будущем планирую выстраивать организационную структуру, поскольку найм сотрудников горизонтально все-таки невозможен бесконечно и система из более 7 человек будет работать неэффективно"

Интересный тул для любителей PowerBI

В рамках задач self-service возможности Tableau, на мой субъективный взгляд, выше Power BI, но ненадолго. Charticulator позволяет создавать практически любой шаблон диаграммы, который затем можно импортировать в PowerBI.
https://charticulator.com/
Видеоуроки:
https://charticulator.com/docs/video-tutorials.html
Практический пример:
https://youtu.be/xS6GyVpt7lY

Интересное комбо в статье по ссылке: построение моделей машинного обучения на движке BigQuery с использованием dbt

​​Пошаговое руководство запуска моделей машинного обучения в dbt и BigQuery ML без проблем, связанных с управлением инфраструктурой.

@BigQuery

Как-то раз на YouTube мы нашли гайд по Radial Pie Gauge Chart в Tableau. Нам он очень понравился — диаграмма сильно напоминает кольца активности Apple Watch. Но по задумке автора кольца графика останавливаются на 270 градусах, а все цели сравниваются только между собой. Мы доработали график — показываем, как сделать масимально приближенную к кольцам активности реализацию в Tableau:

https://leftjoin.ru/all/radial-pie-v-tableau/

Среди резюме иногда можно встретить совершенно любопытные названия должностей у кандидатов. Вот, например, интересный образец.