Важное объявление!
Думаю, по скриншоту все понятно 🤪

Хочется немного порефлексировать: уехать я хотел очень давно. Потому что работа моей мечты не в РФ.

И в целом план по релокации был сначала на 4-5 лет. И сразу в США.

Потом он сократился до 1.5 лет, а список стран изменился и стали были болота (так мы называем Нидерланды).

А потом снова обстоятельства изменились и 1.5 года превратились в 6 месяцев и Сербию. А затем 6 месяцев в 2. И Кипр.

Обстоятельства меняются, страны меняются, сроки меняются. Цель 🎯 остается.

Спасибо Gett что не смотря на все сложности, он делает все, чтобы было хорошо.

Тем, кто остается: это ваш выбор, я его уважаю и вне зависимости от причин, желаю вам сил и побольше возможностей. ❤️

Тем, кто уехал: мы с вами обязательно увидимся где-то на новом месте!

https://www.youtube.com/watch?v=-EbDGTXEsz4

Seattle Data Guy рассказывает про то, какие “плюшки” в работе DE в FAANG есть, чего нет в других компаниях. У меня оч странное ощущение от видоса, такое ощущение, что как будто какой-то другой пузырь (и по классике, кликбейтный заголовок и превьюха). Давайте разберем по пунктам:

- “Мне приходилось делать джойны из разных источников и там, о боже, не совпадали ключи. А в Facebook не надо было, там все было одинаково”.
Мне казалось, что все давным давно уже научились и переболели этой болезнью называть одну и ту же сущность по разному и в разных форматах класть ее. А даже если у вас есть еще такое (что тоже норм), у вас есть этап очистки и подготовки.

- “Вам придется самим управлять вашей инфрой и вообще у нас были Ops команды, которые все проблемы решали, мы просто даги пушили”
Ну тут мне даже нечего сказать, свою поделку через забор перекинули, а дальше пусть остальные поддерживают.

- Onboarding у нас был великолепный
Ну ок, а в остальных всех компаниях он ужасный? Оч сильное натягивание одного удачного и неудачного опыта на всю индустрию.

- В Фаанге понятно как вырасти дальше
Тож самое. Как будто в других компаниях правила игры неизвестны. Иногда, конечно, нет, но чаще всего все можно прояснить в обычном разговоре с TL. Да и в целом, когда у тебя заявлены общие метрики (а не индивидуальные), как перейти на следующий уровень (а там TC больше), люди начинают жульничать вокруг метрик и забывают про продукт. Получается не очень.


В общем, очередное напоминание про различные пузыри и про то, что люди могут не знать, как происходит в другом месте.

Вот так, ты планируешь и готовишься к одному, а приходится адаптироваться под изменившиеся обстоятельства. Pun intended.😄

Потому что я планировал выступать на SmartData со своим докладом, но обстоятельства изменились.
Однако жизнь подкинула других возможностей, за которые я решил ухватиться.
Поэтому завтра буду учавствовать в одной из активностей на SmartData - “Своя Игра”.
Буду самым глупым, заработаю 0 баллов, зато умных людей послушаю 😊

А вы приходите слушать меня, потому что второй день конференции, Community Day, будет бесплатным.
Зарегистрироваться по ссылке выше.


@ohmydataengineer

Это было очень забавный и интересный опыт на конференции: я уже был зрителем, я работал на стенде, я был организатором, я был в программном комитете и выбирал доклады, а вот наконец-то, я в телеэкране.

Это пока лишь panel talk & quiz game, но все же. Медленно, но верно идем к собественному докладу.

Посмотреть повтор можно тут:

https://smartdataconf.ru/schedule/video?v=MTAwMTQwwooyMDAwMTE0OMKKMA

Ну и проголосовать за меня в голосовалке 😊

https://benn.substack.com/p/how-dbt-fails

“На небесах только и разговоров, что о море о dbt”.
Если вы хоть немного смотрите ютуб и читаете профессиональные статьи, вы могли слышать о dbt. Он был создан, чтобы спасти нас с нашими огромными трансформациями в ETL, навесить проверки качества и чуть ли не линедж делать и документация автоматическая.

Однако не все так очевидно и замечательно, и вот у меня наконец дошли руки до того, чтобы прочитать критику про этот тул.
Но даже при всем этом, пока у него больше плюсов, чем минусов. Хотя мб потому что мы не платим за него и пока его использование только в самом начале?)

Но если вы вдруг хотите его использовать, то в телеграме есть сообщество на русском языке @dbt_users и у самого dbt есть Slack - https://www.getdbt.com/community/join-the-community/

@ohmydataengineer

https://www.starburst.io/info/trinosummit/

Для тех, у кого Trino / Presto в продакшене, 10 ноября будет конференция от Starburst (это одни из главных контрибьюторов / внедренцев Trino).

Самое интересное для меня - Iceberg, а там аж целых два доклада на эту тему.

Онлайн и бесплатно.

@ohmydataengineer

Тут прошел недавно Coalese - конференция по DE и Аналитике.
Видеозаписи, конечно же, доступны на Youtube (на минуточку, 183 записи).

Но мне понравились парочка докладов не связанных напрямую с инжинирингом, а с карьерным развитием.

1. Excel at nothing: How to be an effective generalist
Это как раз про тех специалистов, которые не T-shape, а как расческа, перевернутое Ш 😄

2. Clearing the path: a career progression for individual growth
Про карьерное планирование и как фокусироваться на том, что поможет вам расти.

@ohmydataengineer

https://www.deepchannel.com/posts/bringing-autocomplete-to-analytics-engineers


Для всех фанатов dbt: тут вот делают IDE для него, в которой обещают не только автокомплит, но и еще кучку всяких функций прикольных.


@ohmydataengineer

SmartData 2022

Я скучал по оффлайн конференциям. И пусть сегодня нас не так много, все равно рад всех видеть.

Если вы тут, подходите, дергайте за рукав, давайте знакомиться и общаться!

@ohmydataengineer

https://www.wsj.com/articles/meta-is-preparing-to-notify-employees-of-large-scale-layoffs-this-week-11667767794


Кажется, неделя будет очень непростой. Даже Венгр подтверждает, что данное событие случится, Мета впервые за 18 лет проведет сокращения.


@ohmydataengineer

Все хотят быть Analytics Engineer!

https://benn.substack.com/p/why-do-people-want-to-be-analytics

Вот наткнулся я на такую вот статью. И сходу там такое заявление:

So naturally, ten years later, the new sexiest job of the twenty-first century, the job that analysts want to graduate into, is…the analytics engineer, whose primary responsibility is cleaning and modeling messy data.

For an analytics engineer, success is a humming system, a clean codebase, and the satisfying tick of dbt jobs completing in your terminal.

Сижу и чешу репу, ведь это очень похоже на Data Engineers. Или я окончательно запутался, кто и чем занимается, или наоборот, я еще сильней прав в том, что DWH Engineer, ETL Engineer, Analytics Engineer, DataOps Engineer это все наследование от базового класса Data Engineer, поэтому стоит тратить время на усиление базовых навыков и расширения фунционала. Отсюда, в общем, два вопроса к вам:

- Кто для вас Analytics Engineer?
- I-shape или T-shape, специализация или генерализация навыков? Какой позиции вы придерживаетесь сейчас?


@ohmydataengineer

Я тут в подкаст сходил, в очередной раз рассказать свою историю 😄

Приходите послушать (чтобы послушать, переходите в канал LEFT JOIN, там отдельным сообщением аудио) =)

Дата инжиниринг – одна из самых сложных и востребованных профессий в области данных. В новом выпуске подкаста Data Heroes мы поговорим с инженерами данных и наконец-то узнаем, чем именно они занимаются 🚀

В этом эпизоде мы поговорим о важности роли дата инженера в бизнес-процессах, а также сложностях и нюансах специализации.
Наши эксперты поделятся своим бесценным опытом и расскажут о:

▪️Своем извилистом пути в профессию
▪️Современном дата инжиниринге и о том, как он отличается от компании к компании
▪️Сходствах и различиях в ролях аналитика и дата инженера и о том, когда эти роли можно совмещать
▪️Важности софт-скиллов для дата инженера

БОНУС: Как и всегда, наши спикеры дадут полезные рекомендации и советы для новичков в специализации 🧑‍🎓

Включайте подкаст и погружайтесь вместе с нами в загадочный мир дата инжиниринга!

СПИКЕРЫ: Семен Осипов, Ксения Томак, Сергей Бойцов, Александр Михайлов

Слушайте подкаст на платформах: Spotify, Anchor, Apple Podcasts, Yandex, Overcast, Mave, Castbox, Telegram (↓)

#подкаст #DataHeroes

https://www.youtube.com/watch?v=-DVyjdw4t9I

Кто тут пожаловал в гости к Лексу Фридману, уже второй раз оказывается, сам Гвидо Ван Россум!

Для начала, кто такой Lex Fridman. Чел из MIT, эксперт в ML, AI, Deep Learning и вот этом всем, но не на уровне PowerPoint презентаций, а прям лекций в университетах.
Вот его сайт - https://lexfridman.com/
У него есть подкаст, в который приходят поговорить умные люди из индустрии, немного рядом или вообще далеко. Но всегда слушать интересно. Например, Цукерберг, Маск, Дорси, Карпати, Карлсен (который гроссмейстер), Кармак, Роган, даже Канье Вест залетал.

Так вот, в свежем выпуске создатель Питончика размышляет про будущее программирования. Оч советую послушать и вообще подписаться на челика, у него оч много интересного контента.

@ohmydataengineer

https://habr.com/ru/company/habr_career/blog/702558/

Очередная статистика по зарплатам в РФ от Хабр Карьеры.
Как ее воспринимать, это решение каждого. Помните, что на карьеро-зарплатные вопросы отвечают люди, которые а) читают этот ресурс и видели пост про опрос (или получили рассылку), б) есть время и желание это заполнять.

Если ваша з/п сильно выбивается из описанных, помните, что вы, возможно, совсем в другом пузыре находитесь и это полезно помнить при любых спорах.

Конкретно про методологию сборки данных для этого исследования - в конце статьи.

@ohmydataengineer