Еще один перевод статьи от участника нашего сообщества, Евгения, - The Rise of the Data Engineer. Это статья одна из самых популярных в мире на тему инжиниринга данных. Maxime Beauchemin знал о чем писал, он же создавал Airflow и Superset.

Евгений работает DA/DE в Сбер Первом над развитием аналитики маркетинговых кампаний для премиальных клиентов в различных каналах коммуникации.

Дополнительно опубликована статья на Яндекс.Дзене:
https://zen.yandex.ru/media/id/61706aa4298d6612db1752e5/karera-injenera-dannyh-61706ab241503a44655e7d01

С вас лайки для автора, чтобы еще переводили😇

Предисловие

Я присоединился к FAANG в 2011 году как BI-инженер. К моменту переезда в 2013 я был инженером данных.

Я не получал повышения и не менял должность, вместо этого руководство осознало, что наша работа выходит за рамки классического бизнес-анализа. Роль, которую мы создали сами для себя, была совершенно новым направлением.

Моя команда была на передовой этой трансформации. Мы развивали новые компетенции, новые пути решения задач, новые инструменты, и, чаще всего, отвергали традиционные подходы.

Мы были первопроходцами, мы были Инженерами Данных!

Мы добавили в slack новый канал #data_news_from_the_world которые будет вас сам кормить новостями Databricks, snowflake, Tableau и другими. А вы просто выбирайте, что вам нравится.

Недавно полистал эту книжку, вышла недавно. Книга не фонтан, подойдет для тех кто планирует работать в облаке Azure и никогда не работал там, но есть уже опыт в data engineering.

Книга вышла в августе 2021 и в ней 600+ страниц.

Вот ее содержание:
Part I. Getting Started
Part II. Azure Data Factory For ELT
Part III. Real-Time Analytics In Azure
Part IV. DevOps For Continuous
Part V. Advanced Analytics
Part VI. Data Governance

В книге вы узнаете про SSIS, ADF, Synapse Analytics, DevOpse, Azure Stream, и много других ключевых слов, даже есть Purview.


Как вы видите есть вообще все, что только возможно. Но и без глубокого погружения.

Возможно тоже будет интересно перевести😜https://haseebq.com/my-ten-rules-for-negotiating-a-job-offer/

Анилитическое хранилище данных Snowflake появилось в 2015 году и порвало всех конкурентов - on-premise (Oracle, Teradata, Netezza и др) и облачных (Redshift, Azure SQL DW, BigQuery).

https://youtu.be/CzrOa15QbWk

Продукт был создан с 0я выходцами и Оракл и они понимали проблемы индустрии и знали о возможностях облачных вычислений. И подарили нам замечательный продукт, где при помощи SQL, мы можем обрабатывать терабайты данных и не думать слишком много об организации данных.

Snowflake одноверменно SMP и MPP, если вы смотрели другие уроки этого модуля, то вы должны знать, что это!;) Огромное спасибо команде снежинки за то, что они дали огромный пинок всей индустрии и заставили других вендоров шевелиться и улучшать их продукты. В Северной Америки снежинка в топе хранилищ данных среди организций и больше половины организаций от мало до велика использую снежинку как свое хранилище данных.

Кстати, а вы знали, что Snowflake - это Lakehouse - смесь хранилища данных и озера данных? Теперь точно знаете!:)

В этом уроке вы узнаете про:
📌 Историю Snowflake
📌 Материалы по изучения продукта
📌 Выход на IPO
📌 Кейсы миграции
📌 Архитектуру и особенности снежинки
📌 О продукта экосистемы снежники - SnowCLI, SnowPipe, SnowSight, SnowPark
📌 Ключевые фичи - Time Travel, Data Sharing, Zero Cloning
📌 Экосистему партнеров и конкурентов снежинки

На лабораорной работе:
📌 Я вам покажу как создать бесплатный кластер снежинки
📌 Загрузить данные SuperStore в хранилище данных
📌 Создать Database, Stage, IAM user (AWS)

Дополнительные материалы:
📌 The Snowflake Elastic Data Warehouse Paper
📌 Snowflake, Anchor Model, ELT и как с этим жить
📌 Обзор первого эластичного хранилища данных Snowflake Elastic Data Warehouse
📌 Пример архитектуры аналитического решения с использованием платформы Snowflake
📌 Руководство по аналитике для основателя стартапа
📌 Вебинар ДатаЛерн SNOWFLAKE ИЛИ КАК БД ВЫБИРАЛИ / НИКОЛАЙ ГОЛОВ / MANYCHAT

В качестве лабораторной работы вы можете:
📌 Выполнить оффициальные tutorial Snowflake
📌 Сделать близкий к реальному кейс с SalesForce, Fivetran, Snowflake, Tableau - Zero To Snowflake
📌 Сделать упражнения модуля 4 datalearn DE-101 при помощи SQL и Pentaho DI и заодно понять почему ETL это плохо для Cloud DW;)
📌 Зарегистрироваться и пройти бесплатные курсы Snowflake Data Academy

Hype Cycle for Data Management, 2021 где Lake House на взлете! https://databricks.com/p/ebook/gartner-hype-cycle-for-data-management-2021

Учите Data Engineering и Data Science? Сейчас и потом….

Когда цель оправдывает средства🤪 https://www.examtopics.com/
Знакомый скинул, сдавал экзамены по Azure успешно

Татьяна выложила свою крутую статья про Амазон на хабр, и конечно сразу же нашлись умники, которые ее уже видели на VC, и поспешили об этом написать🤣

Пожалуйста, лайкните и оставьте коммент, если вы на хабр.

Я заметил, что зарплаты меняются очень быстро. Например в Канаде за последние 6 лет базовая зарплата меняется каждый год на 10т канадских. Все hr имеет доступ к одинаковым данных о цене специалистов и все предлагают одинаковую зарплату. Faang в Канаде может лишь сверху предложить сумму стока (акций) на 4 года, что эквивалентно живым деньгам с конским налогом. Компании, которые частные, дадут вам маленькую долю, которую можно потратить только в случае успешного IPO.

Другой интересный момент, что в Канаде зарплата имеет корреляцию со стоимостью рынка жилья. Это только в ИТ. Все остальные получают столько же, сколько и 5 лет назад.

Но самая главная мысль, которая свойственна не только Канаде, а вообще всем - это то, что ваша входная зарплата будет ровно такая, на какую вы пришли. Очень редко компании будут повышать вас, обычно это индексация. Но всеми силами буду рассказывать вам басни о ценности, миссии и видении и о вашем прогрессе, и что вы молодец, но ещё не совсем молодец, чтобы получить лишнюю денюшку.

Пройдет какое-то время пока молодой специалист снимет розовые очки и поймет, что к чему и побежит искать работу, поменяет работу и получит минимум 50% прибавки.

Поэтому все красивые слова про миссию компании, печеньки и кофе в офисе вас должны мало волновать. Как я скидывал в статье выше, вы предлагаете свои услуги рынку, рынок как на аукционе предлагает вознаграждение, за ваше время. А не наоборот.

Цените себя и свой труд и почаще снимайте "лапшу с ушей". Делайте так как удобно вам и вашей семье. Ну и конечно, если вы что-то делаете, делайте это максимально круто и качественно!

Собрался силами и опубликовал свой курс "Введение в Облачные Вычисления для всех" на хабр.

Хотел на степик, но там столько заморочек и ограничений, что решил так. Для всех всех, кто хочет знать больше про облака, будет теперь идеальный контент на русском.

Еще до Microsoft я перешел на VSCode, а теперь он доступен в браузере! https://vscode.dev/

Сейчас я в библиотеке University of British Columbia, мне попался энциклопедический словарь, в нем я нашел слово, data(множественное для datum), и вот его значение(я)

Придумал как объяснить SMP vs MPP. Вы же знаете, что ресурсы можно масштабировать вертикально, как у SMP баз данных, и горизонтально, как у MPP баз данных. Карьерный рост - это вертикальное масштабирование, и оно не дает значительного прироста в деньгах, а вот горизонтальное масштабирование может - удвоение, утроение работ и тп. 😇

Идеи публикаций подходят к концу. Можно сказать, что это почти research work. Сначала я проводил "эксперименты", а потом описал их. Все про все заняло месяц.

Есть ли жизнь после FAANG компании или мой опыт собеседований в Северной Америке, 20+ компаний за 3 недели

Возможно будет интересно вам как дела обстоят на западе. Хорошо, что все онлайн происходит, а представляете ходить по несколько раз в офис чужой. Хотя у меня давно была идея бесплатных путешествий по Северной Америке, такой вот интервью тур.

Самое ценное это выводы, но можете посмотреть детали "эксперимента", буду ошибки, а их много отмечайте в хабр.

Обязательно лайк. Вот прошлая статья про облака вообще не двигается, а там такая большая работа проведена на создание контента 🙄

Ура, сегодня воскресенье!

Кто-то отдыхает и попивает раф с банановым молоком, кто-то с утра выпил двойной эспрессо и работает над свалившейся внезапно задачей. Ну а ещё кто-то не может усидеть на месте и думает — куда же ему развиваться в целом в IT и в области данных в частности. Один из таких людей обратился к нам с просьбой помочь.

Наш постоянный слушатель пришёл за советом в области образования, а это вопрос очень серьёзный. Мы не могли просто так в паре слов упомянуть об этом в новостном выпуске, от образования ведь зависит будущее человека! Мы решили помочь нашему слушателю и сотням других людей, которые тоже сейчас сомневаются и не могут выбрать дальнейший образовательный путь, для чего обратились к нескольким data-экспертам и попросили их ответить на поставленный вопрос.

Представляем вашему вниманию специальный бонусный эпизод подкаста Data Coffee🎙и приглашаем к прослушиванию!

#datacoffee #data #podcast #данные #подкаст

https://anchor.fm/data-coffee/episodes/23-bonus-e197nft

Карьера как продукт.

Мой недавний пост про горизонтальное/вертикальное масштабирование вызвал резонанс. Мой поинт бы не в том, чтобы работать 16 часов в день. И саморазвитие это очень важно.

Главное воспринимать свою карьеру как продукт. У вас должны появляться продуктовые гипотезы и вы должны их проверять. Чем больше гипотез проверили, тем лучше для вашего продукта.

Другой важный аспект в саморазвитии - это ограниченность временных рамок. Я не хочу в 50 лет учить какой-то новый тул с 0 или новый язык программирования. Поэтому после 10 лет усиленного саморазвития я осознаю пределы своих способностей и возможностей. Поэтому пока есть силы нужно крутиться и вертеться, неважно какое развитие (вертикальное или горизонтальное), главное понимать где вы будете через 5,10,15 лет.

Больше гипотез и экспериментов - лучше продукт.

Кто-то скинул в комментарий к статье на хабр - про необходимость прибыли в стартапе. Сразу становится понятно про современных единорогов. https://youtu.be/f1h76GSQtKg

Продолжаем нашу серию переводов про ценность измерения показателей для бизнеса на примере Амазон.

Татьяна сделала еще один перевод статьи про Amazon подход - Одержимость контролируемыми входными метриками

Поставьте лайки и поддержите комментом.

Таня сейчас бизнес/продуктовый аналитик в ДомКлике от Сбербанка, планирует развиваться в продуктовой аналитике и data science. Верит в большой потенциал у этого направления.

Она из химической технологии и науки перешла в Анализ данных, любит математику!! Но не Олимпиадница)))

Вот ее прошлая статья - Как Амазон измеряет эффективность. Обе эти статья помогут вам лучше понять роль аналитики в эффективности бизнеса и принятии бизнес решений.

В среду 27 октября в 20:00 по мск вебинар.
Тема: Введение в Airflow
Ссылка: https://youtu.be/cVDIbEsCTow