Так, напоминаю, что сегодня я выступаю на SmartData, приду поговорить про найм дата инженеров и что происходит на рынке DE. Тут и не тут.
А еще, оказывается, ребята сделали второй день (7 сентября) бесплатным и можно прийти в онлайн послушать доклады и пообщаться. Как всегда, выбор за вами, за уши вас никто тянуть не будет, но networking is king 😄
Сommunity Day такой же насыщенный, как и другие дни конференции:
— Доклады об архитектуре дата-платформ, устройстве баз данных и инструментах работы с данными.
— Дискуссии со спикерами и участниками после докладов.
— Обсуждение трендов Data Engineering.
— Интеллектуальная викторина.
Чтобы получить билет, зарегаться надо тут
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
А еще, оказывается, ребята сделали второй день (7 сентября) бесплатным и можно прийти в онлайн послушать доклады и пообщаться. Как всегда, выбор за вами, за уши вас никто тянуть не будет, но networking is king 😄
Сommunity Day такой же насыщенный, как и другие дни конференции:
— Доклады об архитектуре дата-платформ, устройстве баз данных и инструментах работы с данными.
— Дискуссии со спикерами и участниками после докладов.
— Обсуждение трендов Data Engineering.
— Интеллектуальная викторина.
Чтобы получить билет, зарегаться надо тут
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
🔥8💩6👍3❤2
Вопрос подписчика
Среди бонусов на Бусти уровня “Сеньор” есть такой перк - задать вопрос. Автор задает очень интересующий его вопрос и получает на него мое развернутое мнение-ответ. Итак, вот тут появился первый такой вот вопрос:
На чьи плечи ложится процесс моделирования данных при построении хранилища в европейских\американских компаниях? Аналитик, инженер или дата архитектор? Кто обычно этим занимается?
Честный ответ доступен подписчикам по ссылке тут.
В открытый доступ на разных платформах отформатированная и более нейтральная версия выйдет через 2 недели.
P.S. На Patreon такая опция доступна всем подписчикам (потому что там один уровень 😂)
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
Среди бонусов на Бусти уровня “Сеньор” есть такой перк - задать вопрос. Автор задает очень интересующий его вопрос и получает на него мое развернутое мнение-ответ. Итак, вот тут появился первый такой вот вопрос:
На чьи плечи ложится процесс моделирования данных при построении хранилища в европейских\американских компаниях? Аналитик, инженер или дата архитектор? Кто обычно этим занимается?
Честный ответ доступен подписчикам по ссылке тут.
В открытый доступ на разных платформах отформатированная и более нейтральная версия выйдет через 2 недели.
P.S. На Patreon такая опция доступна всем подписчикам (потому что там один уровень 😂)
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
boosty.to
Simon Osipov - "Труба Данных" / "Осторожно, карьерные работы!"
Привет!
Меня зовут Семён и меня вы, скорее всего, знаете как автора канала "Труба Данных" https://news.1rj.ru/str/ohmydataengineer
В первом пишу про все, что связано с хранением и обработкой данных, более узко-профессиональный. Прошел путь от джуна до тимлида платформы…
Меня зовут Семён и меня вы, скорее всего, знаете как автора канала "Труба Данных" https://news.1rj.ru/str/ohmydataengineer
В первом пишу про все, что связано с хранением и обработкой данных, более узко-профессиональный. Прошел путь от джуна до тимлида платформы…
💩27🥱9👍3👎1
Понты паруса наши
Я тут во втором канале "Осторожно, карьерные работы" https://news.1rj.ru/str/career_works/21 писал про то, что очень важно записывать свои достижения и писать про них в резюме.
Вот, я например, бейджик на LinkedIn заработал 😝😝😝
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
Я тут во втором канале "Осторожно, карьерные работы" https://news.1rj.ru/str/career_works/21 писал про то, что очень важно записывать свои достижения и писать про них в резюме.
Вот, я например, бейджик на LinkedIn заработал 😝😝😝
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
👍22💩7🔥3
https://news.1rj.ru/str/ohmydataengineer?boost
Тут Телеграм форсит вот такую штуку, сторис от имени канала.
Оно нам надо? Вы вообще смотрите сторис в Телеграме?
Или, например, видео-кружочки, как вам такой контент?
Лично мне кажется, что это все ерунда какая-то, но буду рад вашему мнению в комментариях.
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
Тут Телеграм форсит вот такую штуку, сторис от имени канала.
Оно нам надо? Вы вообще смотрите сторис в Телеграме?
Или, например, видео-кружочки, как вам такой контент?
Лично мне кажется, что это все ерунда какая-то, но буду рад вашему мнению в комментариях.
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
🥱26👎18💩3👍1
Шо там по стандартам?
Если вы не знаете, как начать внедрять Data Contracts, то вот наткнулся на open source Data Contract Specification.
Прекрасно поясняется на базовом примере, как должен выглядеть контракт на данные. Доступно по ссылке https://datacontract.com/
Погодите, вот же еще стандарт ребят делали, другой, тоже с примерами https://github.com/AIDAUserGroup/open-data-contract-standard,
Или вот https://dpds.opendatamesh.org/
Да не, вот же хороший... или нет? https://github.com/agile-lab-dev/Data-Product-Specification
А не, вот правильная ссылка https://opendataproducts.org/
В общем, вы поняли 😂
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
Если вы не знаете, как начать внедрять Data Contracts, то вот наткнулся на open source Data Contract Specification.
Прекрасно поясняется на базовом примере, как должен выглядеть контракт на данные. Доступно по ссылке https://datacontract.com/
Погодите, вот же еще стандарт ребят делали, другой, тоже с примерами https://github.com/AIDAUserGroup/open-data-contract-standard,
Или вот https://dpds.opendatamesh.org/
Да не, вот же хороший... или нет? https://github.com/agile-lab-dev/Data-Product-Specification
А не, вот правильная ссылка https://opendataproducts.org/
В общем, вы поняли 😂
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
👍16💩2
Нужно больше OpenSource!
Видя счет за Tableau внутри компании, иногда мне хочется плакать. Или притащить и заменить это каким-нибудь OpenSource тулом (нежно намекаю на это тимлиду визуализации, которая читает мой канал ❤️). Но потом я останавливаюсь, взвешиваю текущие факторы "за" и "против" и пока откладываю эту идею.
Разнообразие OpenSource тулов это хорошо, ведь каждый может себе подобрать то, что ему подходит. И пусть меня, как всегда, закидают 💩 в реакциях, факт того, что Яндекс сделал открытым DataLens - не может не радовать. Возможно, кому-то этот инструмент тоже подойдет.
https://github.com/datalens-tech/datalens и https://datalens.tech/ и @YandexDataLens
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
Видя счет за Tableau внутри компании, иногда мне хочется плакать. Или притащить и заменить это каким-нибудь OpenSource тулом (нежно намекаю на это тимлиду визуализации, которая читает мой канал ❤️). Но потом я останавливаюсь, взвешиваю текущие факторы "за" и "против" и пока откладываю эту идею.
Разнообразие OpenSource тулов это хорошо, ведь каждый может себе подобрать то, что ему подходит. И пусть меня, как всегда, закидают 💩 в реакциях, факт того, что Яндекс сделал открытым DataLens - не может не радовать. Возможно, кому-то этот инструмент тоже подойдет.
https://github.com/datalens-tech/datalens и https://datalens.tech/ и @YandexDataLens
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
🔥22💩9👍8
Колесо Сансары, не иначе.
Дагстер, как один из бенефициаров всей этой багадельни под названием Modern Data Stack, теперь будет рассказывать о том, сколько же проблем у MDS и как нам всем избежать этой ловушки. На отдельном эвенте!
How to escape this Modern Data Trap, get back to the initial intent: to deliver a developer experience that is unified, streamlined, collaborative, and where you are in control of costs.
Еще одно прекрасное подтверждение тому, что стоит переживать лишь о фундаментальных навыках, а всю мишуру вокруг в виде фреймворков и тулов - тщательно фильтровать.
https://dagster.io/events/dagster-launch-week-oct-2023
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
Дагстер, как один из бенефициаров всей этой багадельни под названием Modern Data Stack, теперь будет рассказывать о том, сколько же проблем у MDS и как нам всем избежать этой ловушки. На отдельном эвенте!
How to escape this Modern Data Trap, get back to the initial intent: to deliver a developer experience that is unified, streamlined, collaborative, and where you are in control of costs.
Еще одно прекрасное подтверждение тому, что стоит переживать лишь о фундаментальных навыках, а всю мишуру вокруг в виде фреймворков и тулов - тщательно фильтровать.
https://dagster.io/events/dagster-launch-week-oct-2023
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
👍13💩3
https://x.com/aliafonzy43/status/1705548273233109076
Если вы когда-нибудь переживали про качество своего кода, про баги, которые ваш код генерирует или ваши косяки на проде, сходите в ответы и репосты к твиту, вам станет сильно легче: народ рассказывает как роняли базы, убивали кластеры и вгоняли продакшен на много сотен тысяч юзеров в 50* ошибки на несколько часов.
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
Если вы когда-нибудь переживали про качество своего кода, про баги, которые ваш код генерирует или ваши косяки на проде, сходите в ответы и репосты к твиту, вам станет сильно легче: народ рассказывает как роняли базы, убивали кластеры и вгоняли продакшен на много сотен тысяч юзеров в 50* ошибки на несколько часов.
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
💩7👍3❤1
Статистика канала: Сентябрь 2023
Пост саморефлексии, не ожидайте тут откровений про пайплайны и хранилища, скоре это просто возможность для меня посмотреть на прогресс этого канала в количестве подписчиков, количестве 💩 что вы мне накидываете и в целом просто быть более открытым с вами про то, сколько это времени занимает, какие идеи дальше у меня в голове и вот это все.
Что мы имеем:
- Всего 11 сообщений я запостил в канал
- Канал вырос примерно на 3% человек
- В среднем 1800 людей видят посты (что же с остальными 800 😂)
- Самый топовый пост был анонс про статью на Бусти (на этой неделе уже будет в открытом доступе)
- Сам Бусти и Патрен пока в стартовом состоянии (5 платных подписчиков),
Не самые плохие результаты, но есть куда двигаться. Эпизодически в комментах прилетают хорошие мысли и идеи, которые надо воплощать.
Спасибо большое, что читаете меня, всегда буду рад и благодарен вашей поддержке - https://boosty.to/datapipeline и https://www.patreon.com/DataPipeline (это всего лишь 100 рублей в месяц или 4 евро, если вы с иностранной картой).
"Труба Данных" @ohmydataengineer | Поддержать автора на Patreon | на Бусти
Пост саморефлексии, не ожидайте тут откровений про пайплайны и хранилища, скоре это просто возможность для меня посмотреть на прогресс этого канала в количестве подписчиков, количестве 💩 что вы мне накидываете и в целом просто быть более открытым с вами про то, сколько это времени занимает, какие идеи дальше у меня в голове и вот это все.
Что мы имеем:
- Всего 11 сообщений я запостил в канал
- Канал вырос примерно на 3% человек
- В среднем 1800 людей видят посты (что же с остальными 800 😂)
- Самый топовый пост был анонс про статью на Бусти (на этой неделе уже будет в открытом доступе)
- Сам Бусти и Патрен пока в стартовом состоянии (5 платных подписчиков),
Не самые плохие результаты, но есть куда двигаться. Эпизодически в комментах прилетают хорошие мысли и идеи, которые надо воплощать.
Спасибо большое, что читаете меня, всегда буду рад и благодарен вашей поддержке - https://boosty.to/datapipeline и https://www.patreon.com/DataPipeline (это всего лишь 100 рублей в месяц или 4 евро, если вы с иностранной картой).
"Труба Данных" @ohmydataengineer | Поддержать автора на Patreon | на Бусти
👍12💩12❤3🥱2🔥1
https://aws.amazon.com/certification/certified-data-engineer-associate/
У AWS появилась сертификация по Data Engineering.
Пока только Associate, думаю, Professional / Specialist тоже появится плюс-минус в скором времени.
Наличие сертификата у вас может как и добавить вам плюсов в резюме, а может и вообще никак не повлиять.
Возможно, вы и так уже все знаете, а мб при подготовке узнаете что-то интересное.
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
У AWS появилась сертификация по Data Engineering.
Пока только Associate, думаю, Professional / Specialist тоже появится плюс-минус в скором времени.
Наличие сертификата у вас может как и добавить вам плюсов в резюме, а может и вообще никак не повлиять.
Возможно, вы и так уже все знаете, а мб при подготовке узнаете что-то интересное.
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
👍8💩8
New Generative AI Infra Stack
Не знаю, что с этим roadmap делать. Предлагаю просто взглянуть на него, запомнить пару рандомных тулов и сервисов и отложить на годик. Можно еще посмотреть на тулмап от Sequoia - https://www.sequoiacap.com/article/generative-ai-act-two/
Потом принесут на поддержку и интеграцию. А пока можно не тратить на это времени.
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
Не знаю, что с этим roadmap делать. Предлагаю просто взглянуть на него, запомнить пару рандомных тулов и сервисов и отложить на годик. Можно еще посмотреть на тулмап от Sequoia - https://www.sequoiacap.com/article/generative-ai-act-two/
Потом принесут на поддержку и интеграцию. А пока можно не тратить на это времени.
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
💩6👍5👎1🔥1
Airflow Summit
https://www.youtube.com/playlist?list=PLGudixcDaxY29qXIXhd90htHp_BFk-Bqf
Выложили видосики с прошедшего Airflow Summit. 36 докладов и выступлений про текущее и будущее Airflow.
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
https://www.youtube.com/playlist?list=PLGudixcDaxY29qXIXhd90htHp_BFk-Bqf
Выложили видосики с прошедшего Airflow Summit. 36 докладов и выступлений про текущее и будущее Airflow.
@ohmydataengineer | Поддержать автора на Patreon | на Бусти
💩9🔥6👍2
How it started (~2012) VS How it is going (2023)
Кстати, текущую карту можно интерактивно покликать вот тут https://mad.firstmark.com/
@ohmydataengineer
Кстати, текущую карту можно интерактивно покликать вот тут https://mad.firstmark.com/
@ohmydataengineer
😢19🥱9💩7👍4