Мои будни проходят в databricks, каждый день открываю что-то новое. Довольно сложно перестроиться из классического мира DW/ETL в мир notebooks и Delta Lake. Но зато потом буду умничать😎 Вот можете просмотреть записи вебинаров про Azure Databricks:
-Data engineering your Azure Databricks lakehouse — In this training, we’ll guide you through ingesting event data to build a lakehouse for analyzing customer product usage.
-Querying your Azure Databricks lakehouse — In this training, we’ll demonstrate how to engineer data marts in your Azure Databricks lakehouse for your data analyst team.
-Training an ML customer model using your Azure Databricks lakehouse — In this training, we’ll demonstrate how your data science team can use data marts in your Azure Databricks lakehouse to design and train an ML customer model on customer product usage data.

Через пару минут начинаем вебинар:
https://youtu.be/SoOcvYPSm7o

Я уже довольно давно занимаюсь Community, и один из главных +, это возможность учиться от профессионалов. То есть можно найти любого человека опытного и пригласить его выступить и поделиться опытом. Сейчас такая возможность есть у меня, но я с радостью ей поделюсь с вами, если вы хотите кого-то послушать, дайте знать, и мы попробуем пригласить человека выступить.

Кто-то заморочился:

So I wrote a 5400-word lecture note on the basics of data engineering for my students, covering:

* data formats (row- vs. column-based, text vs. binary)
* ETL
* batch processing vs. stream processing
* training datasets

This is a work in progress.

https://docs.google.com/document/d/1b9iuZiDEGVLHyMmnf6w2y1aN6yWQhAyqk3GHlpI9q6M/edit

#вакансия #москва #snowflake #dataengineer

Крутая вакансия и солидное вознаграждение!🔥

Архитектор данных (Snowflake❄️) в «ФИНАМ» (крупнейший брокер Восточной Европы).
Мы ищем сотрудника, который организует автоматизированный сбор данных из различных источников в единое централизованное хранилище Snowflake. Опыт работы со Snowflake – обязателен.
Локация - Москва, гибридный формат работы (удаленно и в офисе)
Компенсация по вакансии обсуждается индивидуально – от 300К+ net.
Отклики и вопросы в @baibakova или ebaybakova@corp.finam.ru

PS как обычно хорошо поддержали vsevsevmeste☺️

По вакансии выше, хочу добавить от себя. Я пообщался с ними, и возможно можно добавить, что важен следующий опыт:
- опыт с AWS или Azure или сертификация Solution Architect, ну или опыт, чтобы можно было создать решение в облаке, обеспечить безопасность, настройки сети и тп
- понимание как работать с DW и ELT в облаке, например опыт с Redshift/BigQuery/Synapse и Glue/Data Factory
- знать как развернуть BI и подключить все это дело вместе (end to end ELT, DW, BI)
- понимать как построить DW с точки зрения создания модели данных
- инструменты обеспечения качества данных и документации
- умение использовать элементы DevOps для кода (CI/CD, Git)

То есть опыт со Snowflake это хорошо, но сам продукт не сложный, важно знать принципы создания облачного решения по аналитики и иметь подходящий опыт. Про Python я тоже особо ничего не сказал, так как можно и без него обойтись, например использовать dbt (будет шикарно и на SQL + CI/CD).

А вот и видео новое по курсу ML&DS 101 от Анастасии Риццо.

В этом уроке мы:
1) Пройдем весь Exploratory Data Analysis, который включает в себя:
📌 Denoscriptive Statistic
📌 Observation of target variable
📌 Missing Data
📌 Numerical and Categorical features

2) Рассмотрим Data Wrangling and Transformation:
📌 Multicollinearity
📌 Standard Scaler
📌 Creating datasets for ML part
📌 'Train\Test' splitting method

https://youtu.be/S-ZBb4yvxAQ

А вот новый урок по курсу Job Hunting 101 от Анастасии Дробышевой!

- 3 основных составляющих цели, полезных для резюме;
- 2 дополнительных составляющих цели;
- причём тут популярная марка автомобиля.

https://youtu.be/_vd69ekKwk4

Классная статья про галстуки. Мне нравятся галстуки, потому что я одеваю его раз в год. А вот когда заставляют носить его, это уже перебор. С работой из дома дресс код совсем пропал. У меня была одна история в Канаде, когда я только приехал в Виннипег и устроился в страховую Sr BI developer, я не очень сработался с коллегами женского пола, потому что я не знал про особенности и имел опыт несколько раз неудачно пошутить… Один раз меня вызвали к начальнику, за то что я был в темных джинсах а не штанах, кто-то доложил куда следует. Хотя мы работали в кубиках, меньше вообще не видно было. И я там бегал как будто в стартапе работал (за это тоже я не очень им подходил). И он меня отправил домой пересевать штаны! Смех сквозь слезы)) Зимой в -30 на 2х автобусах домой и обратно. За что я им чрезмерно благодарен, так я попал в Амазон.

Ну можно считать Mission completed! Присягнули королеве👸 и стали Канадцами🇨🇦 (онлайн). Хорошо, что РФ позволяет иметь два гражданство. От идеи до реализации где-то 7 лет. Если еще не читали, на хабре было про переезд в Канадуl

Дело говорят!

Интересная статья от бывшего коллеги из Черногории “I AM A PROFESSIONAL IMPOSTOR”. Как раз как мы любим - fake it till you make it😜

PS Imposter - самозванец.

Инверсная статья про сравнения Amazon и Microsoft. https://vc.ru/hr/207322-amazon-protiv-microsoft-otlichiya-intervyu-v-it-gigantah

Пример текущей задачки по Databricks, которую не знал как решить, но потом осилил и сам написал ответ на свой вопрос). https://stackoverflow.com/questions/66107803/azure-databricks-external-hive-metastore/66128066#66128066

Кто работает в качестве “Button”))

Kaggle State of Machine Learning and Data Science 2020

Метрики наших сообществ:
- 2000 человек в нашем Slack DataLearn, и видно как все больше людей начинают активно общаться и решать рабочие вопросы
- 6000 человек в телеграм канале (вчера перевалило)
- 60000 рублей собрали на благотворительность
- 3 активных курса (DE-101,JH-101,DS&ML-101)
- 2 курса в разработке (SQL-101, DevOps для Data Engineering)
- 16 вебинаров с экспертами и еще много вебинаров готовиться