Я все больше замечаю Data Engineering программ в западных университетах, уже встречал курсы в MIT и UC Berkley. Я даже хочу записать обзор курсов по дата инжинирингу западных и отчественных. Разница в цене колосальная, на западе курс стоит от 8т до 15т долларов, в РФ он стоит 60-150т рублей. Самое интересно, что курс за доллары не намного лучше, чем курс за рубли. Ни за доллары, ни за рубли вас на работу не устроят и вы не получите практического опыта. Если 100т рублей потерять не так жалко, то вот 15т долларов это вообще печаль. Зато будет хороший нетворкинг (а будет ли он в наше время?), но практика английского точно будет!

UC Berkley выложили слайды в открытый доступ: https://cal-data-eng.github.io/

This new class on Data Engineering will cover the principles and practices of managing data at scale, with a focus on use cases in data analysis and machine learning. We will cover the entire life cycle of data management and science, ranging from data preparation to exploration, visualization and analysis, to machine learning and collaboration.

Посмотрел сейчас hh, позиции дата инженера, зарплаты в 300-450т рублей в месяц меня удивили. Неужели и правда столько платят?

Сегодня думал про то, что "окно возможностей" в дата позиции скоро закроется. Сейчас есть реальный шанс попасть в эту индустрию и как мой товарищ с 0, выучился за 5 месяцев, пришел на 120т, и проработав меньше года, ушел на 200+и рублей.

Головокружительный успех, но мне кажется, скоро (не знаю насколько скоро, рынок переполнится дата профессионалами), такие вещи не пройдут и datalearn превратится в тыкву. И мой опыт будет устаревшим. Так что, если вы задумываетесь получить профессию в дате, зарабатывать хорошо, не теряйте время! Как говориться, куй железо, пока оно горячо!!Всем успехов!

Недавно у меня случился конфуз с каналом Инжиниринг данных. У канала есть "чат", в который попадают все комментарии. Я по незнанию назвал это "Чат инжиниринг данных" и более 90 человек туда подписались. Получилось, что вокруг комментариев создался чат, и некоторые воспринимали его как чат.

Поэтому я его переименовал в "Комментарии к каналу Инжиниринг данных", то есть эта функциональность работает замечательно, если мы заходим в комментарии под постом и читаем их. В случае, когда мы подписаны на это чат, мы видим все вподряд в хаотичном порядке.

Поэтому я вчера удалил из него всех людей, но оказалась, что они заблочились на комментарии. 🙈 и не могли читать комментарии.

Сейчас я исправил, чтобы у всех вернулась возможность читать комментарии. Но на всякий случай сделал публичный чат "Инжиниринг Данных", куда вы можете подписаться.

Правила чата:
Можно🟢:
- Обсуждаем аналитику, вакансии, инжиниринг и рабочие вопросы
- Постить вакансии
- Можно скидывать интересный контент, книги и статьи, которые посвящены data и развитию карьеры
- Спрашивать о помощи или совета

Нельзя🔴:
- Постить рекламу курсов платных😡
- Постить про политику, прививки и другие популярные вещи не по теме (оставим это только в канале Инжиниринг Данных😅)
- Матом не ругаемся☺️

В нем я могу сделать несколько админов. Не знаю, нужен этот чат или нет, но попробуем.

25 сентября приглашаем на первый в этом году офлайн-митап от Яндекс.Дзена.

Будем говорить про объяснимость рекомендаций, общаться и готовить бургеры!
Количество мест ограничено.
Все зарегистрировавшиеся получат видеозаписи с мероприятия.


Продробности и регистрация по ссылке: https://events.yandex.ru/events/zen-meetup-exploration/?from=tg_cpc_rockyourdata

PS реклама поддержала приют для собак в Москве.

Статья про Airflow и DBT

Хорошая вводная статья про типы СУБД

Обожаю этого чувака

This free GitHub course is sorted into multiple tutorials which were actually delivered using O'Reilly Katacoda during the live training (which is totally ah-mazing 🤩 )

To avoid any legal issues - all of the SQL live training material is available directly here on GitHub as a companion course which you can learn from at your leisure 👌
https://github.com/DataWithDanny/sql-masterclass

PS Новый день, новый SQL курс))

В Канаде тоже много курсов, вагон и маленькая тележка. Но оказывается, если курс больше 40 часов и стоит больше 4000 долларов, то необходимо получать разрашение у государства.

Недавно я проверял программу курса Applied Data Science and Big Data Diploma. 120 дней (5 дней в неделю) за 16000$ (можно в кредит). Это требование государства, чтобы человек из индустрии ознакомился с программой, помещением и написал заключение. Главная задача это чтобы learning outcome cоответствовал программе, материалам, лабам и тп.

Конечно, трудоустройство никто не обещает. И как я понимаю, любой желайющий может арендовать помещение и продавать курсы за свою стоимость и у вас будут все шансы получить лицензию "accredited college". Просто нужно немного первоначального взноса приготовить. Нанять консультанта, который знает как подавать документы, он за вас все заполнит и подсат заявку. Затем вам нужен человек из индустрии с резюме, в данном случае нашли меня. И вот уже в декабря они начнут косить бабло. И конечно вам нужно уметь продавать свои курсы и конкурировать с другими "accredited college".


Вот такой интерсный опыт.

Кстати, для вас я могу расшарить список литературы:
Deep Learning Publisher
The Elements of Statistical Learning: Data Mining, Inference, and Prediction
OpenIntro Statistics
Hadoop: The Definitive Guide Paperback
Learning Spark: Lightning-Fast Big Data Analysis
Mastering Apache Cassandra
The Elements of Statistical Learning: Data Mining, Inference, and Prediction
Open Intro Statistics: Third Edition
Learning SQL: Master SQL Fundamentals Publisher
Learn Python The Hard Way
Effective Data Visualization: The Right Chart for the Right Data
Python Data Science Handbook: Essential Tools for Working with Data

В теории, за 3 месяца курс должен научить всему, что я учу на datalearn + курс Анастасии по ML&DS + курс Анатолия по SQL. Так же надо будет прочитать и главное понять эти книги и еще много чего. Прям утопия. Мое дело маленькое, посмотреть на программу, дать им рекомендации и взять 500$😎

Как я понял ни государству, ни школе качество прям не очень критично, главное, чтобы состав программы соответствовал заявленным целям, как миниму ключевые слова люди будут знать за 15к (кстати, можно купить в Канаде honda или mazda suv в очень хорошем качестве за эти деньги, ну или еще найти много применений, а курсы пройти бесплатно на курсере)

Слышали вы про Code Review? Это когда в команде несколько человек пишут код в своем branch, например SQL, PySpark и потом делают commit.

Дальше, нужно создать Pull Request, и начинается Code Review, коллеги смотрят ваш код и оставляют комментарии по улучшению. И когда всего будет ок, после множества итераций, ваш branch сделает merge в MAIN (заметьте, MASTER уже не комильфо!).

Сегодня после очередного code review, я чувствую, что я прошел 5 стадий реагирования на изменения по Э. Кюблер-Росс.

Все 5 ключевых стадий эмоционального реагирования:

-Отрицание🙅‍♂️
-Гнев🤬
-Торг🙄
-Депрессия☹
-Принятие🤗

Статья про ETL, но на react и rails и так тоже можно. "Extract, Transform and Load with React & Rails - DEV Community" https://dev.to/erinfoox/extract-transform-and-load-with-react-rails-ggp

The First Rule of Machine Learning: Start without Machine Learning
Если в кратце:


"When you have a problem, build two solutions - a deep Bayesian transformer running on multicloud Kubernetes and a SQL query built on a stack of egregiously oversimplifying assumptions. Put one on your resume, the other in production. Everyone goes home happy."

То есть всякие кубернетисы, эмлфло(не путать с ммм), глубокие обучения это конечно прекрасно, но давайте сначала сделаем простую модельку, чтобы принести value для stakeholders.

Если работаете с AWS или учитего его, то это хорошее место для доп знаний - AWS вебинары. https://pages.awscloud.com/AWS-Online-Tech-Talks_September-2021.html

Хорошая картинка, должна быть многим знакома, у кого огромный backlog по задачам в BI делах. Именно для этого хорошо иметь self-service BI, чтобы такого не было, но его же не существует?))

Как у обстоят дела с эмпатией? Я услышал это слово впервые, когда началась эра смены bad ass CEO в штатах и на их место приходили тихий и спокойные ребята, фокус переходил на сотрудников и культуру. Bro culture уже начала идти на спад.

Когда у Microsoft появился новый СЕО - Сатя, то я познакомился со словом эмпатия - Microsoft CEO Satya Nadella: How Empathy Sparks Innovation.

Это напомнилу мне истороия из лицея 1501, кстати символ лицея - яйцо, его памятник прям перед входом. Наш учитель английского был большим шутником и проказником. Каждый раз когда он давал нам контрольную работу, он включал классическую музыку и аргументировал, что согласно исследованиям, коровы дают больше молоко под классическую музыку.

Возможно эмпатия - это как классическая музыка для коров, чтобы сотрудники больше давали "молока".

Согласно википедии эмпатия это осознанное сопереживание текущему эмоциональному состоянию другого человека без потери ощущения происхождения этого переживания.

Мне запомнилась одна фраза, когда я слушал аудио книгу про Стива Джобса, он сказал, что у молодого Билл Гейтса напрочь отсутствует эмпатия, так что для ценителей конспиралогии это явно знак;)

А сегодня попалась статья про Empathy Is The Most Important Leadership Skill According To Research. Так что, не одним лишь SQL и Python, надо заниматься, но обязательно иметь empathy и развивать эмоциональный интелект.

The Art of Collaborative Data Science at Scale

A unified approach that boosts data science agility and productivity

Красивая брошюрка от Databricks

В Амазоне был большой плюс за счет email group по всем напрвлениям. Можно считать, что это как community. Можно писать в группу про Табло, DE, DS, и много других. За счет этого работая в одной команде, можно общаться со всеми. Эти группы еще часто использовались для не совсем легального переманивания сотрудников HRами. Но главное правило Амазона - никаких повышений при переходе, так что внутренний переход, это обычно почти как понижение. Я сделал таких аж 3, зато повышение опыта в геометрической прогрессии.

В Майкрософт все наоборот, групп нет. Есть Yammer, это продукт Microsoft Office, смесь форума и SharePoint. В общем, нет возможности общаться с другими. Я даже создал страницу по аналитике на ямере, но за год пришло 10 человек.

Но потом я нашел другое мероприятие - Azure Bootcamp, это внутренние тренинги для новичков всего Azure и всех других желающих, вот для них я и сделаю презентацию, буду рассказывать в Azure про AWS и GCP😎

Getting started with Modern Data Stack: from Database to Lake House

Learn about key milestones in analytics and data engineering space starting from simple reporting solutions on top of SMP databases, moving towards MPP data warehouses, rise and fall of Hadoop ecosystem. Finally, will shift towards modern data stack with rise of cloud computing. Then I will explain the key concepts of Lake house architecture and review the data analytics market including AWS, Azure and GCP solutions, as well as third parties’ solutions like Databricks and Snowflake and popular data integrations tools. Finally, I will show couple reference architectures built on top of AWS and Azure for data warehousing, big data and ML use cases.