Вот так, ты планируешь и готовишься к одному, а приходится адаптироваться под изменившиеся обстоятельства. Pun intended.😄

Потому что я планировал выступать на SmartData со своим докладом, но обстоятельства изменились.
Однако жизнь подкинула других возможностей, за которые я решил ухватиться.
Поэтому завтра буду учавствовать в одной из активностей на SmartData - “Своя Игра”.
Буду самым глупым, заработаю 0 баллов, зато умных людей послушаю 😊

А вы приходите слушать меня, потому что второй день конференции, Community Day, будет бесплатным.
Зарегистрироваться по ссылке выше.


@ohmydataengineer

Это было очень забавный и интересный опыт на конференции: я уже был зрителем, я работал на стенде, я был организатором, я был в программном комитете и выбирал доклады, а вот наконец-то, я в телеэкране.

Это пока лишь panel talk & quiz game, но все же. Медленно, но верно идем к собественному докладу.

Посмотреть повтор можно тут:

https://smartdataconf.ru/schedule/video?v=MTAwMTQwwooyMDAwMTE0OMKKMA

Ну и проголосовать за меня в голосовалке 😊

https://benn.substack.com/p/how-dbt-fails

“На небесах только и разговоров, что о море о dbt”.
Если вы хоть немного смотрите ютуб и читаете профессиональные статьи, вы могли слышать о dbt. Он был создан, чтобы спасти нас с нашими огромными трансформациями в ETL, навесить проверки качества и чуть ли не линедж делать и документация автоматическая.

Однако не все так очевидно и замечательно, и вот у меня наконец дошли руки до того, чтобы прочитать критику про этот тул.
Но даже при всем этом, пока у него больше плюсов, чем минусов. Хотя мб потому что мы не платим за него и пока его использование только в самом начале?)

Но если вы вдруг хотите его использовать, то в телеграме есть сообщество на русском языке @dbt_users и у самого dbt есть Slack - https://www.getdbt.com/community/join-the-community/

@ohmydataengineer

https://www.starburst.io/info/trinosummit/

Для тех, у кого Trino / Presto в продакшене, 10 ноября будет конференция от Starburst (это одни из главных контрибьюторов / внедренцев Trino).

Самое интересное для меня - Iceberg, а там аж целых два доклада на эту тему.

Онлайн и бесплатно.

@ohmydataengineer

Тут прошел недавно Coalese - конференция по DE и Аналитике.
Видеозаписи, конечно же, доступны на Youtube (на минуточку, 183 записи).

Но мне понравились парочка докладов не связанных напрямую с инжинирингом, а с карьерным развитием.

1. Excel at nothing: How to be an effective generalist
Это как раз про тех специалистов, которые не T-shape, а как расческа, перевернутое Ш 😄

2. Clearing the path: a career progression for individual growth
Про карьерное планирование и как фокусироваться на том, что поможет вам расти.

@ohmydataengineer

https://www.deepchannel.com/posts/bringing-autocomplete-to-analytics-engineers


Для всех фанатов dbt: тут вот делают IDE для него, в которой обещают не только автокомплит, но и еще кучку всяких функций прикольных.


@ohmydataengineer

SmartData 2022

Я скучал по оффлайн конференциям. И пусть сегодня нас не так много, все равно рад всех видеть.

Если вы тут, подходите, дергайте за рукав, давайте знакомиться и общаться!

@ohmydataengineer

https://www.wsj.com/articles/meta-is-preparing-to-notify-employees-of-large-scale-layoffs-this-week-11667767794


Кажется, неделя будет очень непростой. Даже Венгр подтверждает, что данное событие случится, Мета впервые за 18 лет проведет сокращения.


@ohmydataengineer

Все хотят быть Analytics Engineer!

https://benn.substack.com/p/why-do-people-want-to-be-analytics

Вот наткнулся я на такую вот статью. И сходу там такое заявление:

So naturally, ten years later, the new sexiest job of the twenty-first century, the job that analysts want to graduate into, is…the analytics engineer, whose primary responsibility is cleaning and modeling messy data.

For an analytics engineer, success is a humming system, a clean codebase, and the satisfying tick of dbt jobs completing in your terminal.

Сижу и чешу репу, ведь это очень похоже на Data Engineers. Или я окончательно запутался, кто и чем занимается, или наоборот, я еще сильней прав в том, что DWH Engineer, ETL Engineer, Analytics Engineer, DataOps Engineer это все наследование от базового класса Data Engineer, поэтому стоит тратить время на усиление базовых навыков и расширения фунционала. Отсюда, в общем, два вопроса к вам:

- Кто для вас Analytics Engineer?
- I-shape или T-shape, специализация или генерализация навыков? Какой позиции вы придерживаетесь сейчас?


@ohmydataengineer

Я тут в подкаст сходил, в очередной раз рассказать свою историю 😄

Приходите послушать (чтобы послушать, переходите в канал LEFT JOIN, там отдельным сообщением аудио) =)

Дата инжиниринг – одна из самых сложных и востребованных профессий в области данных. В новом выпуске подкаста Data Heroes мы поговорим с инженерами данных и наконец-то узнаем, чем именно они занимаются 🚀

В этом эпизоде мы поговорим о важности роли дата инженера в бизнес-процессах, а также сложностях и нюансах специализации.
Наши эксперты поделятся своим бесценным опытом и расскажут о:

▪️Своем извилистом пути в профессию
▪️Современном дата инжиниринге и о том, как он отличается от компании к компании
▪️Сходствах и различиях в ролях аналитика и дата инженера и о том, когда эти роли можно совмещать
▪️Важности софт-скиллов для дата инженера

БОНУС: Как и всегда, наши спикеры дадут полезные рекомендации и советы для новичков в специализации 🧑‍🎓

Включайте подкаст и погружайтесь вместе с нами в загадочный мир дата инжиниринга!

СПИКЕРЫ: Семен Осипов, Ксения Томак, Сергей Бойцов, Александр Михайлов

Слушайте подкаст на платформах: Spotify, Anchor, Apple Podcasts, Yandex, Overcast, Mave, Castbox, Telegram (↓)

#подкаст #DataHeroes

https://www.youtube.com/watch?v=-DVyjdw4t9I

Кто тут пожаловал в гости к Лексу Фридману, уже второй раз оказывается, сам Гвидо Ван Россум!

Для начала, кто такой Lex Fridman. Чел из MIT, эксперт в ML, AI, Deep Learning и вот этом всем, но не на уровне PowerPoint презентаций, а прям лекций в университетах.
Вот его сайт - https://lexfridman.com/
У него есть подкаст, в который приходят поговорить умные люди из индустрии, немного рядом или вообще далеко. Но всегда слушать интересно. Например, Цукерберг, Маск, Дорси, Карпати, Карлсен (который гроссмейстер), Кармак, Роган, даже Канье Вест залетал.

Так вот, в свежем выпуске создатель Питончика размышляет про будущее программирования. Оч советую послушать и вообще подписаться на челика, у него оч много интересного контента.

@ohmydataengineer

https://habr.com/ru/company/habr_career/blog/702558/

Очередная статистика по зарплатам в РФ от Хабр Карьеры.
Как ее воспринимать, это решение каждого. Помните, что на карьеро-зарплатные вопросы отвечают люди, которые а) читают этот ресурс и видели пост про опрос (или получили рассылку), б) есть время и желание это заполнять.

Если ваша з/п сильно выбивается из описанных, помните, что вы, возможно, совсем в другом пузыре находитесь и это полезно помнить при любых спорах.

Конкретно про методологию сборки данных для этого исследования - в конце статьи.

@ohmydataengineer

Пост очередного подгорания жопки!

https://towardsdatascience.com/whats-next-for-data-engineering-in-2023-7-predictions-b57e3c1bf2d3

Меня немножко кидает из стороны в сторону, то я ругаюсь на капитанский и откровенно булшитный контент, то наоборот защищаю, потому что у всех разные пузыри и не оч понятно, для кого это очевидно, а для кого нет.
Вот в очередной рассылке про данные, прилетела статья. Автор - Co-Founder and CEO, Monte Carlo, Barr Moses, то есть вроде бы вопросиков к автору не должно быть, человечек знает, что пишет.

Но открываешь статью и видишь следующее:

…
Currently, data team roles are segmented primarily by data processing stage:

1 )Data engineers pipe the data in,
2) Analytical engineers clean it up, and
3) Data analysts/scientists visualize and glean insights from it.
…

…
Most machine learning models (>51%) will successfully make it to production
…

…
Predicting data teams will continue to transition toward a data mesh
…

…
Data reliability engineers will ensure data quality
…

…
As a result, next year’s hottest trends will be less about optimizing or scaling infrastructure, but instead processes for making this enlarged universe more organized, reliable, and accessible.
…


Заголовок то кликбейтный, типа “Эксперт предсказал тренды в дата инженеринге в 2023”, а потом вот такое. Сижу, и не понимаю, как реагировать на это. То ли лыжи не едут, то ли я… Ну вы поняли.
Поэтому у меня предложение - напишите в комментарии к этому посту 1-2 ваших предположения на ближайшие пару лет касательно DE и вообще “датки” =)
Вы у меня клевые, классные и умные, уверен, что булшита у нас в комментах не будет! 😄

@ohmydataengineer

https://beeline.jugru.org/?utm_source=jrg_info_partner&utm_medium=ohmydataengineer&utm_campaign=announce_meetup_beeline

Давно у меня не было материала на канале, переезд в другую страну сбил все графики.
Но ничего, вроде все вопросики уладили, поэтому возвращаемся в ритм.

Начем с анонса онлайн-митапа от JUG и Билайна.
В списке тем:
- Как настроить ETL с JSON’ами в Apache NiFi
- Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow
- Apache Flink: Flink Table API & SQL

Доклад в середине - то, чего мне не хватало года полтора/два назад, поэтому мы что-то придумывали сами. Теперь интересно узнать, как это делают в других местах.

@ohmydataengineer