https://blog.pragmaticengineer.com/what-is-data-engineering-2/

Продолжение предыдущей части про DE от The Pragmatic Engineer.
Все также основные базовые понятия, сама статья даже маловата, если честно, но для ознакомления, что же такое DE - все еще прекрасно подходит.

@ohmydataengineer

Хех,💩 под постом говорят о том, что кому-то не понравился мой пост про донаты. И я даже догадываюсь, почему.

Хочу чуть пояснить свою позицию:

В этом канале никогда не будет платной рекламы. И этим постом я не хотел “вымогать” деньги из подписчиков, в стиле “или задонатьте, или я начну брать рекламу”.
Ее не будет здесь, если я что-то буду постить, это будет потому, что это понравилось мне и я посчитал нужным и полезным этим с вами поделиться.
Донат - это способ для вас сказать мне “спасибо” за то, что я делаю. Даже если мне никто не будет больше донатить (спасибо большое тем, кто закинул), я все равно продолжу вести этот канал в том же стиле, что и раньше.
Поэтому 4 человека, кто поставил какашонки, вернитесь пожалуйста, я вас всех очень люблю. ❤️

P.S. Первое сообщение с сомнительным текстом (который можно было прочитать двояко) я удалю, сделаю новое. Прошу прощение за уведомление!

P.S.S. Та реклама, что появляется в виде отдельного сообщения под самым последним моим постом - я не вижу в своей ленте, не контролирую и с него ничего не получаю. Это ерунда от Дурова и как ее убрать, я хз пока.

Важное объявление!
Думаю, по скриншоту все понятно 🤪

Хочется немного порефлексировать: уехать я хотел очень давно. Потому что работа моей мечты не в РФ.

И в целом план по релокации был сначала на 4-5 лет. И сразу в США.

Потом он сократился до 1.5 лет, а список стран изменился и стали были болота (так мы называем Нидерланды).

А потом снова обстоятельства изменились и 1.5 года превратились в 6 месяцев и Сербию. А затем 6 месяцев в 2. И Кипр.

Обстоятельства меняются, страны меняются, сроки меняются. Цель 🎯 остается.

Спасибо Gett что не смотря на все сложности, он делает все, чтобы было хорошо.

Тем, кто остается: это ваш выбор, я его уважаю и вне зависимости от причин, желаю вам сил и побольше возможностей. ❤️

Тем, кто уехал: мы с вами обязательно увидимся где-то на новом месте!

https://www.youtube.com/watch?v=-EbDGTXEsz4

Seattle Data Guy рассказывает про то, какие “плюшки” в работе DE в FAANG есть, чего нет в других компаниях. У меня оч странное ощущение от видоса, такое ощущение, что как будто какой-то другой пузырь (и по классике, кликбейтный заголовок и превьюха). Давайте разберем по пунктам:

- “Мне приходилось делать джойны из разных источников и там, о боже, не совпадали ключи. А в Facebook не надо было, там все было одинаково”.
Мне казалось, что все давным давно уже научились и переболели этой болезнью называть одну и ту же сущность по разному и в разных форматах класть ее. А даже если у вас есть еще такое (что тоже норм), у вас есть этап очистки и подготовки.

- “Вам придется самим управлять вашей инфрой и вообще у нас были Ops команды, которые все проблемы решали, мы просто даги пушили”
Ну тут мне даже нечего сказать, свою поделку через забор перекинули, а дальше пусть остальные поддерживают.

- Onboarding у нас был великолепный
Ну ок, а в остальных всех компаниях он ужасный? Оч сильное натягивание одного удачного и неудачного опыта на всю индустрию.

- В Фаанге понятно как вырасти дальше
Тож самое. Как будто в других компаниях правила игры неизвестны. Иногда, конечно, нет, но чаще всего все можно прояснить в обычном разговоре с TL. Да и в целом, когда у тебя заявлены общие метрики (а не индивидуальные), как перейти на следующий уровень (а там TC больше), люди начинают жульничать вокруг метрик и забывают про продукт. Получается не очень.


В общем, очередное напоминание про различные пузыри и про то, что люди могут не знать, как происходит в другом месте.

Вот так, ты планируешь и готовишься к одному, а приходится адаптироваться под изменившиеся обстоятельства. Pun intended.😄

Потому что я планировал выступать на SmartData со своим докладом, но обстоятельства изменились.
Однако жизнь подкинула других возможностей, за которые я решил ухватиться.
Поэтому завтра буду учавствовать в одной из активностей на SmartData - “Своя Игра”.
Буду самым глупым, заработаю 0 баллов, зато умных людей послушаю 😊

А вы приходите слушать меня, потому что второй день конференции, Community Day, будет бесплатным.
Зарегистрироваться по ссылке выше.


@ohmydataengineer

Это было очень забавный и интересный опыт на конференции: я уже был зрителем, я работал на стенде, я был организатором, я был в программном комитете и выбирал доклады, а вот наконец-то, я в телеэкране.

Это пока лишь panel talk & quiz game, но все же. Медленно, но верно идем к собественному докладу.

Посмотреть повтор можно тут:

https://smartdataconf.ru/schedule/video?v=MTAwMTQwwooyMDAwMTE0OMKKMA

Ну и проголосовать за меня в голосовалке 😊

https://benn.substack.com/p/how-dbt-fails

“На небесах только и разговоров, что о море о dbt”.
Если вы хоть немного смотрите ютуб и читаете профессиональные статьи, вы могли слышать о dbt. Он был создан, чтобы спасти нас с нашими огромными трансформациями в ETL, навесить проверки качества и чуть ли не линедж делать и документация автоматическая.

Однако не все так очевидно и замечательно, и вот у меня наконец дошли руки до того, чтобы прочитать критику про этот тул.
Но даже при всем этом, пока у него больше плюсов, чем минусов. Хотя мб потому что мы не платим за него и пока его использование только в самом начале?)

Но если вы вдруг хотите его использовать, то в телеграме есть сообщество на русском языке @dbt_users и у самого dbt есть Slack - https://www.getdbt.com/community/join-the-community/

@ohmydataengineer

https://www.starburst.io/info/trinosummit/

Для тех, у кого Trino / Presto в продакшене, 10 ноября будет конференция от Starburst (это одни из главных контрибьюторов / внедренцев Trino).

Самое интересное для меня - Iceberg, а там аж целых два доклада на эту тему.

Онлайн и бесплатно.

@ohmydataengineer

Тут прошел недавно Coalese - конференция по DE и Аналитике.
Видеозаписи, конечно же, доступны на Youtube (на минуточку, 183 записи).

Но мне понравились парочка докладов не связанных напрямую с инжинирингом, а с карьерным развитием.

1. Excel at nothing: How to be an effective generalist
Это как раз про тех специалистов, которые не T-shape, а как расческа, перевернутое Ш 😄

2. Clearing the path: a career progression for individual growth
Про карьерное планирование и как фокусироваться на том, что поможет вам расти.

@ohmydataengineer

https://www.deepchannel.com/posts/bringing-autocomplete-to-analytics-engineers


Для всех фанатов dbt: тут вот делают IDE для него, в которой обещают не только автокомплит, но и еще кучку всяких функций прикольных.


@ohmydataengineer

SmartData 2022

Я скучал по оффлайн конференциям. И пусть сегодня нас не так много, все равно рад всех видеть.

Если вы тут, подходите, дергайте за рукав, давайте знакомиться и общаться!

@ohmydataengineer

https://www.wsj.com/articles/meta-is-preparing-to-notify-employees-of-large-scale-layoffs-this-week-11667767794


Кажется, неделя будет очень непростой. Даже Венгр подтверждает, что данное событие случится, Мета впервые за 18 лет проведет сокращения.


@ohmydataengineer

Все хотят быть Analytics Engineer!

https://benn.substack.com/p/why-do-people-want-to-be-analytics

Вот наткнулся я на такую вот статью. И сходу там такое заявление:

So naturally, ten years later, the new sexiest job of the twenty-first century, the job that analysts want to graduate into, is…the analytics engineer, whose primary responsibility is cleaning and modeling messy data.

For an analytics engineer, success is a humming system, a clean codebase, and the satisfying tick of dbt jobs completing in your terminal.

Сижу и чешу репу, ведь это очень похоже на Data Engineers. Или я окончательно запутался, кто и чем занимается, или наоборот, я еще сильней прав в том, что DWH Engineer, ETL Engineer, Analytics Engineer, DataOps Engineer это все наследование от базового класса Data Engineer, поэтому стоит тратить время на усиление базовых навыков и расширения фунционала. Отсюда, в общем, два вопроса к вам:

- Кто для вас Analytics Engineer?
- I-shape или T-shape, специализация или генерализация навыков? Какой позиции вы придерживаетесь сейчас?


@ohmydataengineer