🔋 Труба данных – Telegram
🔋 Труба данных
3.99K subscribers
330 photos
5 videos
9 files
449 links
Авторский канал обо всем, что происходит в мире работы с данными: хранение, обработка, визуализация, как мы принимаем решения и как мы становимся профессионалами в работе с данными.

Автора канала - @SimonOsipov
Download Telegram
Итак, у меня, конечно же, есть контент план, согласно которому у меня по расписанию выходят посты. И один из типов контента, который я хотел постить - это делать подборки каких-то релевантных каналов. Конечно, лентяй внутри меня побеждал и я не постил это. И, естественно, мне кучку раз предлагали "А хотите заплатить за место в подборке?", на что я любезно отказывался. Но вот ребята из @datacoffee собрали подборку сами (походив по группам и каналам) и предложили закинуть в канал. А мне и не жалко =)

Каналы:
@datacoffee — Подкаст про данные. Кстати, ребят вы могли видеть, например, на последней SmartData

@datavizcomics — Комиксы по датавизу, дата-арт и интересные визуализации. Никогда не знал про этот канал, но материал выглядит приятным и свежим, незамызганным.

@enthusiastech - Analytics Engineering. Небольшой канал как раз про тот стык между аналитикой, DE и тот самый MDS. Буду сам поглядывать, возможно я просто глупый и не понимаю, как там на самом деле клево.

Парочка групп:
@dbt_users — DBT users group. Можно задать вопрос на английском в Slack, а можно на русскому тут, в телеграме.

@ruairflow — Эйрплов! Apache Airflow. Вторая группа, в которую я вступил, когда стал дата-инженером (первая была про Спарк)

@ohmydataengineer - ну это собственно я.

Киллерфича этого сообщения: добавить как папку в Telegram https://news.1rj.ru/str/addlist/B5NbcluX5AJiMTFi
👍10💩95🔥2🥱2
Ко мне в личку заглянул Саша @Aleron Миленькин из @datafeeling и DoDo, говорит "Тебе нужно сменить аватарку на LinkedIn!"

Вот так вот видит меня нейросеточки, мне нравится 😄
Потыкать, кстати, можно тут » @avatar_resume_bot «
А почитать всякое простым языком про ML тут » @datafeeling «

Поболтали чуток за общие боли и темы в DE и рядышком (ML), очень радует, что в индустрии есть люди с совпадающими со мной взглядами. Значит я не совсем "того". Надо бы спросить у моей команды анонимно 😂

P.S. как всегда, преследуя цели прозрачности, за этот "рекламный" пост мной была получена оплата в виде трех сгенерированных фотографий 🤑
💩26👍8🔥52
Вас стало почти на тысячу больше, вы оставили 1.2к комментариев и почти 4 тысячи раз кому-то переслали мои посты!

Спасибо большое, что читаете, что приносите свой взгляд на мир работы с данными!

@ohmydataengineer 💩
🔥28💩6👍43
Итоги года

Куда же публичный канал без итогов года? Все подводят, вот и я тоже! Год получился очень интересным со всех точек зрения, рефлексируя о прошедшем, я могу назвать, что он был успешен:

✔️ Каналы "Труба Данных" @ohmydataengineer и "Осторожно, карьерные работы" @career_works
Тут все замечательно: я продолжал делиться своими мыслями и наблюдениями и люди читали/комментили/спорили. Почти тысяча человек пришла в Трубу и еще 600 -> в Карьерные работы. Я никому не платил за рекламу, ни одно платного рекламного поста я не разместил. Да, были взаимовыгодные посты, но моя совесть и репутация - чисты ❤️

✔️ Работа в Gett
В мае наступающего года у меня будет 2 года, как я руковожу командой дата инженеров. Мы прошли через многое и это просто бесценный опыт. Я очень люблю свою команду, штуки которые мы делаем, одновременно принося пользу бизнесу и получая кайф от того, что мы делаем!
Отдельно хочу сказать спасибо моему начальнику, который дает этот уровень свободы и верит в нас. Ну и 💸 не обижает.

✔️ Релокация на Кипр
Вот уже год я на этом замечательном острове. За весь 2023 я несколько раз себя спрашивал: "Правильный ли это шаг?", пытался понять, куда, как, когда, зачем и так далее. За этот год множество раз убеждался, что все сделал правильно.
Отдельное спасибо Tech-сообществу здесь, за то, что продвигало идеи в правительстве Кипра. Ну а правительству Кипра отдельное спасибо за налоговый рулинг и новый закон об натурализации! Καλη Χρονια!

Отмотал на год назад свои достижения и там было все те же темы: канал, тимлидство, релокация (я тогда только переехал). Задаю себе вопрос: стабильность - признак мастерства или что-то сломалось в датском королевстве?

Проваленные цели:
Невозможно подвести итоге без факапов. Их немного, но они были:

🚫 Начать писать на английском языке.
Черновик статьи лежит (чтобы разместить в корпоративном блоге и у себя), но так и не доходят руки до публикации.

🚫Митапы, конференции и подкасты.
Наверное, скорее провал года, чем достижение. Main stage конференции не попал, митап - тоже нет. Да и подкастов был только один. Уважаемый подкаст "Подлодка", вы же помните, что вам досталось за прошлый выпуск по DE? Я все еще жду =)


@ohmydataengineer
Please open Telegram to view this post
VIEW IN TELEGRAM
18💩8👍2
Цели на 2024 год

Проснулись? Опохмелились? Как всегда, в начале года ставим себе цели на 2024. И в этот раз тоже без исключений =)

⬆️ Рост каналов @ohmydataengineer и @career_works
Для "Карьерных работ" цели поменьше 1000/1500/2000, а для "Труба Данных" -> 3500/4000/5000 подписчиков. Конечно же, без какой-либо платной рекламы как от меня, так и в моих каналах, обычный органический рост.
Продолжить писать стабильно - самое главное.

⬆️ Substack и материалы на английском языке
Очередная попытка начать писать на английском языке. Хочется расширять аудиторию и англоязычная аудитория - это очень большой пласт

⬆️ Выступление на конференции
Как и в прошлом году, цель осталась той же. Однако на этот раз хочется попробовать податься (уже есть наметки) не только на русскоговорящую конференцию, но и англо-говорящую. Начальник сказал, что поддерживает🥰

⬆️ Карьерные консультации
Если в прошлом году это просто шло само по себе, то в этом году уже хочется уделить этому сильно больше времени. На этот год поставим цель 30/50/80 консультаций за год.

⬆️Полноценный релиз Data Catalog, Data Contracts и удалить Jenkins
Это уже чисто рабочая цель - убрать немного легаси, добавить немного полезных штук. Задачи, требующие огромного вовлечения в работу многих команд и межкомандного взаимодействия.

Ну и всякое по мелочи в виде денег, путешествий и здоровья. А вы ставите себе цели на год?

@ohmydataengineer
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14💩8👍6
🔋 Труба данных
Белград: Call for Papers Meet! Предлагаю собраться и потрещать за всякое в Белграде на этих новогодних праздниках! Перепись желающих собраться в комментариях к посту 🍻
Так, я в Белграде и все еще хочу пообщаться с коммьюнити!

Предлагаю завтра собраться где-нибудь днем, ну, или наоборот, часиков в 21.

В общем, 🇷🇸Белградские - предлагаю обсудить план в комментах
🔥7💩4👎1🥱1
https://dedp.online/about-this-book.html и https://practicaldatamodeling.substack.com/

С тем фактом, что теперь LLM у нас из каждого утюга, проблема нахождения нормальных материалов, статей, и новых годных книг (!) стала очень острой. Народ начал заниматься вот такой фигней: скармливать книжку в LLM, получать "переделанную" и продавать на Amazon! Тревожно настолько, что Amazon выставил лимит, что автор не может выставить на продажу больше 3 книг в день =)

Чтобы не бороться с кучей фейков, авторы стали использовать другие методы поставки контента. Например, выкладывать по главе своей книги каждые N недель, так сказать, делиться прогрессом по книге. А если вы хотите все сразу - вот ссылка купить.
Кто-то делает так с новой книгой, кто-то - уже с существующими.

Из подобных книг, которые мне попались Data Engineering Design Patterns (на автора наткнулся в LinkedIn) и автор Data Engineering Fundamentals (Joe Reis) пишет свою новую книгу Practical Data Modelling, выкладывая ее на Substack. Ссылки на обе книги - в начале поста.

@ohmydataengineer
👍14💩103🔥1
https://databasedesignbook.com/ и https://minimalmodeling.substack.com/

После поста в понедельник со мной связался Алексей @squadette и рассказал, что он тоже пишет книгу про проектирование и моделирование данных.

Взглянув на материал, который он постит, мне показалось это достаточно релевантным и интересным (например, про про то, как множество объяснений джойнов сбивают людей с толку - https://minimalmodeling.substack.com/p/many-explanations-of-join-are-wrong), поэтому будет честным, что я поделюсь и этими ссылками ☺️

@ohmydataengineer
👍24💩2
Пятничный юмор или как мы деплоим новые аттрибуты для проекта с аэропортом ☺️

@ohmydataengineer
21😢3💩2👍1
Инженерные блоги

Несколько постов назад кидал ссылки на <Company Name> Engineering - блог компании про то, как они решают технические проблемы. Кажется, такие посты вам зашли, поэтому вот вам список таких блогов, чтобы вы сами могли следить за постами:

- Meta
- AWS
- Netflix
- LinkedIn
- Uber
- Quora (правда, ребята уже давно не пишут, если честно)
- Pinterest
- Lyft
- Twitter (тоже с приходом Маска перестали писать почти)
- Dropbox
- Spotify
- Github
- Instagram (еще одни забросили)
- Booking
- AirBnB
- Stripe
- Discord
- Microsoft
- Reddit
- Slack
- Cloudflare

И, конечно же, советую подписаться на наш технический блог - Gett Tech - мы там тоже пишем много разного про то, как мы работаем. Скоро и моя статья там будем!

@ohmydataengineer
🔥26💩8👍21
Пятничное промо

Запросов на рекламу стало сильно больше и предложений на "взаимный пиар" тоже во много раз больше. Но большинство таких каналов, которые предлагают ВП - это какие-то бездушевные подборки материалов и оч коммерциализированные штуки. Промоутить такое мне не очень нравится, поэтому в большистве случаев я отказываю.
Конечно, и у больших блогов бывают исключения, или вот недавный пост от ребят с Data Coffee.

А вот маленькие блоги от коллег, поддержать их начинания - это с удовольствием, тут мне совершенно не жалко. По себе знаю, что это очень приятно , когда аудитория блога растет и люди комментят то, что ты постишь.

На неделе мне написала Айгуль @aigul_sea, попросила рассказать про ее небольшой блог дата инженеретта @data_engineerette. А почему бы и нет? Подкупил стиль написания материала, живой и непринужденный ☺️

За этот промо-пост уплочено 0 рублей, подписывайтесь на канал только если вам действительно это зайдет то, о чем пишет автор.

@ohmydataengineer
👍20💩62🔥1
https://twitter.com/TimMeggs/status/1749182862522306862

Как всегда, твиттер приносит что-то. И об это что-то разбиваются мои взгляды на индустрию 👷‍♂️

Хотя, конечно, я уже привык к тому, что Excel рулит миром, но в комментах и цитатах столько историй про компании из S&P500 и крупные банки и вот это все, где еще дофига всего написано на каком-нибудь Python2 или Delphi, а половина финансовой отчетности сводится руками через эксельки...

Интересные истории людей по ссылке выше.

@ohmydataengineer
👍15💩4🔥31
https://medium.com/@laurengreerbalik/the-modern-data-stack-through-the-gervais-principle-bfd4b4e33ac7

Статейке, на самом деле, 1.5 годика, но она капец какая актуальная.
Вообще, в целом, Лорен пишет прикольно и ее взгляды на текущие data problems совпадают с моими.
А в статье все как обычно: раздули штат data pushers из-за халявных денег, забросали проблемы ресурсами, а нормально кто делать будет?

@ohmydataengineer
💩9👍8🔥31
https://hbr.org/2021/08/why-do-chief-data-officers-have-such-short-tenures

Кстати, в статье от вчера была прекрасная ссылка на HBR, в которой рассказывалось, почему CDO так долго не живут в компаниях: средний срок на должности от 18 до 30 месяцев (что для C-level, конечно же, плохая метка в CV).
А все потому же, что и выше: найм кучи людей для забрасывания проблем ресурсами, огромные счета за облака и сноуфлейки, потому что никто не думал про то, кто и как это будет использовать и так далее.

Индустрия изменилась, выживут только профессионалы.

@ohmydataengineer
💩8👍51🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Видосик с трансляции Чемпионата Мира по Excel ☺️

Напоминаю, что мы все умрем, а Excel будет править анализом данных.

Оцените уровень организации и трансляции: сцена, зрители, трансляция, запись нажатия клавиш, комментаторы...

(помнится, я когда-то уже постил, но там народ просто на созвоне сидел)


@ohmydataengineer
🔥20💩6👍52
Напоминаю, что поддержать автора сего канала, чтобы он меньше постил 💩 и больше 🔥 можно тут https://boosty.to/datapipeline, всего 100 рублей, зато как приятно!

А за символические 1000 рублей в месяц - можно даже получить менторскую сессию (1 сессия в месяц).

@ohmydataengineer и @career_works
💩38🔥12👍51
Не устану повторять, что если ваш CTO / CDO смотрит в квадранты и хайп циклы Gartner, бегите подальше от него.

Абсолютно оторванная от реальности шляпа

@ohmydataengineer
💩13🔥5🥱2
Пятничный юмор или как мы с командой пытались разобраться, откуда у нас данные в fact_orders берутся 😂

@ohmydataengineer
😢41👍10💩7🔥5
Forwarded from DataEng
Привет! В рамках возобновления работы над своим старым проектом по агрегации вакансий с удалённым форматом работы, я запустил отдельный телеграм-канал, где в автоматическом режиме публикуются вакансии из категории Data Engineering и DataOps: https://news.1rj.ru/str/dataeng_jobs

Попадают они туда в процессе сбора и анализа вакансий с различных профильных сайтов типа Хабр Карьера, VC, DevBy и т.д. Классифицируются они через API сервиса OpenAI, проще говоря GPT4.

Если вы в поиске работы, то моя инициатива вероятно поможет вам найти нужный оффер быстрее 🚀

Подписывайтесь
💩17👍8🔥42