Ещё один отличный фидбек от Ивана. Получается у всех опыт отличается и пути разные, но если цель понятно, ее относительно легко добиться, все необходимое есть.

Хотел бы так же поблагодарить Дмитрия за курс!

Во многом благодаря курсу и тому направлению которое задал Дмитрий, я получил оффер на позицию ETL разработчика в крупный банк.

Основной стэк:
Informatica, Oracle, Python, Power BI.

До этого конечно был опыт работы в техподдержке 0,5 года.

И как уже говорили Дмитрий, нужно проходить собеседования.
Я прошёл около 15 собеседований и уже в дальнейшем знал, что будут спрашивать.
Были очень странные собеседования, когда просили написать API на Python,спрашивали декораторы и итераторы, отличия *args и **kwargs(это уже advanced уровень).
Спрашивали advanced вопросы по Oracle(партиционирование, индексы, PL/SQL).
Один раз спросили про теорию сетей(в общих чертах понимать нужно).
Иногда просили подготовить
набор тестовых данных из 10-15 таблиц.
Спрашивали, а вы знаете как в SQL работает where😃
Так же плюс собеседований, дают тестовые задания, на которых можно прокачаться.
Кстати, по образованию я учитель физической культуры)

На всех собеседованиях, удивлялись, что я знаю архитектуру DWH и могу объяснить какую пользу могут принести Data/Engineer/Analyst для компании, опять же все благодаря курсу)
Какие то моменты углубленно сам изучал.
Достаточно подробно изучил Talend даже записал пару видео на YouTube, ознакомился с Luigi, постоянно работаю с Docker и Linux.
Есть пробелы в BI и статистике, но стараюсь наверстать.

Так же хотел бы поблагодарить Анатолия за курс по SQL, лучшего объяснения оконных функций я не встречал)

Так же в подготовке мне помогли курсы Глеба Михайлова.
У него есть крутой курс на udemy и он ведёт телеграм канал.

Не пропустите следующий офигенно полезный вебинар про Apache Spark, SparkSQL и Pyspark https://youtu.be/OfS5o8vz-O8

Буквально неделю назад закончил обучение Clickhouse от Altinity (101 Series Training). Мне очень понравилось погружение в Clickhouse со стороны команды, которая по праву считается экспертами в CH, искренне рекомендую это обучение всем, кто заинтересован в расширении знаний о Clickhouse.

Написал заметку о том, что происходит в четырех днях тренинга и делюсь своим конспектом ✍️.

через пару минут начинаем https://youtu.be/OfS5o8vz-O8

Вводная статья про использование git для SQL - зачем и как. И даётся описание как использовать плагин для dbeaver, который синхронизирует с гит (у нас в даталерн dbeaver основной инструмент, может кто захочет на русском написать туториал и мы в гит добавим?)

Отличная статья про лидерство без авторитета в дата командах и техники для завоевания доверия у коллег и руководителей. https://eugeneyan.com/writing/influencing-without-authority/

Data & AI tools 2020 🤯

На картинке лишь малая часть инструментов за 2020 год для работы с данными. "Растут как грибы" - это реально про них. Да еще и мой прошлый пост про 0 ROI от внедрения аналитического решения. Так же без него тоже никуда, поэтому народ время не теряет и пилит свой "табло" или "аирфло" или еще чего-нибудь, что хорошо стрельнуло.

Проблема тут, что из-за такого обилия инструментов, новичок просто утонет и никогда не найдет выхода из лабиринта иснтрументов. Если 10 лет назад было по 3 инструмента в каждой категории, а категорий было максимум 5, то теперь просто "жопа". Одно из преимуществ datalearn для меня, что я хочу сделать такой мостик между сегодняшним хаусом инструментов и пониманием основ. Но я не про datalearn сейчас.

Сегодня попался еще один интересный пост, про What is the right level of specialization? For data teams and anyone else. идея в том, что "Specialization is probably driven a lot by bad tools", и если раньше было несколько специализаций, то сегодня их расползлось. Теперь стало сложно понять какой специалист нужен, какие требования, что учить, что писать в описание вакансии и тп. Часто это опять же набор - tools.

Так что если вы знаете и понимаете основы, то вы справитесь с любым tool, а если вы учите tool ради специализации, то вы идете по ложному пути. А как вы думаете?

Если вы работает с Python для дата аналитики, то вы точно используете ноутбуки, и если вы не software engineer, то вы их обожаете (как я). НУ И ЗРЯ! Это не я сказал I don't like notebooks.- Joel Grus

В целом вся это история с naming conventions все больше и больше меня мучает на работе, и каждый мой commit исправляется, обычно ошибки это название переменной, или большая буква заменяется на маленькую, или маленькая на большую, а иногда CamelCase на camelCase или на camel_case. Короче 😖😡

В целом мне моя проблема понятна - я далек от software engineering, и в данный момент это мой минус, приходится подстраиваться, что конечно ранит мою самоценку сейчас, но полезно на долгую перспективу.

А вот к чему опрос - Why GitHub renamed its master branch to main

The computer industry's use of the terms master and slave caught everyone's attention in the summer of 2020. Amid the many protests and the growing social unrest, these harmful and antiquated terms were no longer considered appropriate.

"Both Conservancy and the Git project are aware that the initial branch name, 'master,' is offensive to some people and we empathize with those hurt by the use of that term," said the Software Freedom Conservancy.

PS в целях diversity&inclusion это считается хорошей практикой переименовать master в main, перестать использовать слова типа divide and conquer, by the way, и даже слово picnic.

Про PySpark

Первые 3 недели в роли менеджера Data Engineering https://tiffanyjachja.medium.com/my-first-three-weeks-a-data-engineering-manager-8b0be08da7a5

Forbes опубликовал Cloud 100 - список лучших компаний, которые работаю в облаке. (Databricks - на 2м месте). Там много data компаний.

Идея создания школы для запада, взяв за основу datalearn не оставляет, очень хочется проверить гипотезу на запад. На русско говорящем рынке подход и контент зарекомендовал себя, почему не сделать такое же на весь мир.

Можете пока follow на Linkedin

Черновик описания:

Data is everywhere. But do you know how to make it work? Do you know where to start? The analytics market is growing for the last 20 years and new tools pop up every week. Which one to learn? Do I want to be a data analyst or data scientist? Who is a data engineer and what is about Big Data Engineer? Data Visualisation is a big thing? We can continue this list over and over.

This is the modern challenge in data space. Thousands of tools, dozens of coding languages, lots of data roles, data slang, technical complexity, business domains, and so on.

West Coast Analytics is here to help you to solve these challenges and help you to boost your career in the data field and land a job. Our coaches are experts with years of experience in FAANG companies who share the love for data and the Pacific Ocean, mountains, and rain forest.

We are building training intending to train you foundations of analytics. You will start with basics and move towards a modern data stack. You wouldn't care about the tooling, you will learn business intelligence and data engineering principles.

Our school will help you
1. Transfer in analytics space and land data job in 5-6 months with 0 prior experience.
2. Close the gaps in data analytics and data engineering
3. Get knowledge about North America and European market demand
4. Learn best practices
5. Join data community with people from all over the world
6. Participate in offline intensive Surf+Data

Our school will help you
1. Transfer in analytics space and land data job in 5-6 months with 0 prior experience.
2. Close the gaps in data analytics and data engineering
3. Get knowledge about North America and European market demand
4. Learn best practices
5. Join data community with people from all over the world
6. Participate in offline intensive Surf+Data - surf camp with data workshops