Инжиниринг Данных – Telegram
Инжиниринг Данных
23.4K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Я бы ещё посмотрел все keynote сессии, там всегда крутые спикеры и интересные доклады!
Вчера я скинул ссылку про Azure. Потом я внимательно изучил, что они предлагают, и понял насколько это полезно и круто.

Во-первых видно, что Azure развивает российский рынок больше чем AWS и GCP.

Во-2х, после основ Azure - можно сдать бесплатный экзамен! Такого нам еще не предлагали. Не важно, что вы делаете и с чем работаете. Лет через 3-5 точно будете с облаками работать, начните сейчас, сдайте этот экзамен. На datalearn мы тоже будем про облака говорить в модуле 5.

В 3-х, на английском с русскими субтитрами, вы узнаете про облачное хранилище данных (datalearn модуль 6 похож будет про Redshift, Snowflake, Synapse). Узнаете про Azure Data Factory (cloud etl/elt), Databricks (spark), Synapse Analytics (DW).

В 4-х, вы получите кредиты, то есть ваше обучение будет бесплатно.

Опционально вы можете еще посмотреть другие сессии.
Когда я учил английский, я учил его через Ted Talks. Это такие презентации по 10-15 минут на разные темы, как правило очень качественные спикеры, где можно учиться у них, как выступать.

Сегодня я увидел absolutely amazing ted talk, что значит очень хороший и главное полезный для всех. У всех у нас есть большие цели, и мы слышали про

-"как съесть слона? - по частям"
-"как съесть самолет? - по частям" (и это реальная история)

В этом Ted Talk Dr. Stephen показывает на своем примере, как с помощью marginal adjustment (инкрементальных действий) можно добиться серьезные результатов. В общем очень inspiring ted talk все рекомендую.

Примеров marginal adjustment может быть много. Вот мои примеры:
-каждый день читать 10-20 страниц
-практиковать python (30мин, так как на работе мало его пока использую)
-15-20 минут спорт💪
-10-15 минут писать и читать по русски/английски со старшим сыном

К сожалению мой список маленький и надо над ним работать, начав с того, что не брать с собой телефон в комнату, где работаю и удалить все лишние приложения с рабочего компа🤦‍♂️ Отчасти поэтому удалил facebook, чтобы не тратить на него время.
Если вам нужно сделать резюме или просто обновить, то не нужно изобретать велосипед, просто посмотрите в Google Doc шаблоны резюме, любой берете и готово.
А это прям для всех must have! SQL Style guide. Если у вас неразбериха с именами таблиц, полей и тп, то просто внедрите подход Симона, там все по делу!
Я еще не понял насколько удасться избежать Scala для инжиниринга данных. Если что, вот новая книга по Scala 3, пока доступны 6 глав.
Forwarded from Дашбордец
Вакансия Архитектор/Аналитик данных.
Куда:
Управления корпоративными данными СИБУР, данные функции эффективности производства.

Чем заниматься:
Анализировать источники данных и ставить задачу инженеру данных на загрузку новых источников;
Проектировать ETL потоки и правила загрузки данных внутри для сборки витрин данных;
Формировать и защищать логическую модель данных, описывать требования к проверке данных по всем слоям хранилища;
Проводить функциональное тестирование результатов разработки;
Взаимодействовать с BI инструментами;
Общаться с пользователями, формировать и фиксировать требования пользователей к аналитической отчетности и алгоритмам;
Как участники большой команды Data Office принимать участие в построении платформы данных.

От вас обязательно:
Хорошо знать Python, SQL;
Иметь опыт бизнес-анализа или анализа данных в разных отраслях, примеры проектов или продуктов;
Высшее техническое образование (программирование, математика, физика) профильных вузов

Желательно:
Уметь строить хранилище данных;
Иметь опыт работы с Vertica или любой другой колоночной СУБД.;
Работали с Tableau или другим BI инструментом.

От нас:
Конкурентная заработная плата, премии, ДМС, страховка, работа в опытной команде, крупной компании, возможность удаленки в том числе после короны.

Резюме сюда: mashkovtsevaae@sibur.ru
Вопросы сюда: @Dddv_2705

Подробнее:
Архитектура нашей цифровой платформы (с чем предстоит работать): https://m.habr.com/ru/company/sibur_official/blog/436632/
Немного о нас как IT-подразделении СИБУР: https://sibur.digital/
Недавно я скинул информацию про SQL стилю. Оказывается это доступно на русском языке.

Так же коллеги в Амазон расшарили гид по стилю для Python. Точнее это утилитка, которая автоматически форматирует код - Black.
В ближайшие 2 недели я планирую сдать экзамены по AWS:
- AWS Certified Cloud Practitioner
- AWS Big Data Specialization, теперь называется AWS Data Analytics.
- Snowflake Pro (так как я являюсь Super Data Hero для Snowflake - это что-то вроде топ award для community и его развития, они мне прислали купон на бесплатный экзамен).
Проблемы? Вот отличная книга для их решения!)
После недавнего случая утери COVID случаев - очень актуальная картинка.
Облачный ETL Matillion наконец собрался силами и выпустил обучающие видео по ETL. То что надо для новичков! Я его тоже буду использовать в модуле 6 datalearn. Если вы знаете английский и учите современные аналитические решения, обязательно посмотрите Building a Data Warehouse using Matillion
InterWorks один из лучших мировых консалтинг компаний по Tableau, можете послушать про их основателя, он был иммигрантом из Ирана и создал компанию мирового масштаба. Мне кажется они одни из первых, кто внедрял Табло и публиковал много интересных вещей и обучали других основам.

Interwork's mantra: "Best Work, Best People, Best Clients" - what it means and how it works out in the real world
Добавил новое видео про Tableau Server. В качестве демонстрации показал как можно установить сервер на виртуальную машину, как ее создать и как настроить сетевой доступ.
Forwarded from Reveal the Data
Дима Аношин выложил запись моего выступления для Tableau User Group в Амазоне. По сравнению с прошлым докладом я учел ошибки и прокачал доклад: использовал live voting для взаимодействия с аудиторией, рассказал кейс в виде истории от первого лица и укоротил доклад.

Если ещё не смотрели мои идеи про алгоритм разработки дашборда, то эта версия рассказа пока самая удачная. Miro доска тут. Русская версия доклада тут.
Если Tableau дашборды мы шарим через Tableau Public, то работы в Python мы шарим через https://nbviewer.jupyter.org/ (A simple way to share Jupyter Notebooks)
Мы уже изучили достаточно, чтобы перейти к более серьезным шагам. То есть 3х модулей, который вы могли пройти будет достаточно, чтобы найти работу BI разработчика. Мы говорили про много вещей - BI, SQL, базы данных, задачи аналитики и BI разработчика, посмотрели примеры решений. Так же я вам давал много вспомогательных материалов, чтобы у вас нарисовалась картинка - кто такой BI разработчик и какие у него обязанности. Инструмент BI это уже 2ой приоритет. В этом видео я поделюсь с вами очень ценной и полезной информацией, на базе своего 10ти летнего опыта в индустрии. Сам я проходил много собеседований по всему миру и так же собеседовал много людей для Амазона. В этом видео я расскажу:

📌 О требованиях к BI разработчикам
📌 О критериях (измерениях) развития карьеры в Amazon
📌 Необходимых навыках для успешного поиска работы и развития внутри компании (на основе своих ошибок)
📌 О необходимости знания статистики, программирования и BigData для BI разработчика
📌 ТОП 10 кейсов для собеседования
📌 О том, как и где начать искать работу и где не надо этого делать
📌 О том, как выйти на тропу поиска работы и что для этого нужно кроме четкого резюме и красивых историй

По сути это инструкция к действию. Если вы хорошо занимались и следовали всем советам и много учились, то самое время начать дейстовать. Если вы уже в индустрии, то вы точно узнаете что-то новое и полезное для развития собственной карьеры.