🔋 Труба данных – Telegram
🔋 Труба данных
3.99K subscribers
330 photos
5 videos
9 files
449 links
Авторский канал обо всем, что происходит в мире работы с данными: хранение, обработка, визуализация, как мы принимаем решения и как мы становимся профессионалами в работе с данными.

Автора канала - @SimonOsipov
Download Telegram
Я завел OnlyFans Патреон...

За последнюю неделю мне в личку написало 10+ желающих разместить рекламу. Как вы видите, ни одна из них не вышла на канале, потому что это все грустно, скучно и неинтересно. Мне не хочется брать рекламу, правда. Если я что-то размещаю, я это делаю потому, что мне кажется это актуальным для меня и для вас.

Однако вы также могли заметить, что и количество контента на канале немного упало. Это тоже довольно просто пояснить: мне приходится перелопачивать огромное количество шлака, чтобы запостить что-то актуальное. Потому что постить пост в стиле "Топ-10 команд SQL которые я использую в работе каждый день" мне не хочется.

Кажется, что я дошел до этапа, когда появление Патреона / Бусти является уместным. Поэтому встречайте:

Patreon (для иностранных карт) | Бусти (для российских карт)

5 долларов и 100 рублей - минимальные уровни (не спрашивайте, почему такая разница😄), на Патреоне пока только он один, а вот на Бусти есть еще 2 уровня - 300 рублей (это если вам очень хочется выразить свою поддержку) и 1000 рублей. За вот это уровень ежемесячно готов вас поменторить / поконсультировать.

Естественно, это все будет развиваться, меняться, где-то появится какой-то закрытый контент и все такое. Но это только планы, пока я просто буду безумно рад вашей поддержке. Буду держать вас в курсе 😘

Первая цель: 10 платных подписчиков!

@ohmydataengineer
👍35💩9🥱83
🔋 Труба данных pinned «Я завел OnlyFans Патреон... За последнюю неделю мне в личку написало 10+ желающих разместить рекламу. Как вы видите, ни одна из них не вышла на канале, потому что это все грустно, скучно и неинтересно. Мне не хочется брать рекламу, правда. Если я что-то размещаю…»
Вопрос к залу

Вот у меня назрел материал, небольшой, но больше чем классическое сообщение в канале, небольшая статья, на русском языке.
Где ее размещать, на каком ресурсе?
Habr? Дзен? Пикабу? Telegraph?

Посоветуйте в комментариях, пожалуйста!
Новая роль на конференции

Итак, я был админом при организации конференций, я был организатором конференции, я был в ПК конференции, я принимал участие на конференции в развлекательном формате, вот теперь я на конференции в качестве эксперта. До собственного выступления - 1 шаг.

6 сентября в онлайне поговорим на SmartData про рынок найма, приходите послушать!

@ohmydataengineer | Поддержать автора на Patreon |на Бусти
💩10👍76
В продолжении разговора про рынок РФ

Вы же знаете наш чат Датажопс (@datajobs)? Так вот там можно всегда перетереть за аниме, самоходные камазы и в целом про работу DE, вилки и то, что Booking хайрит. И рынок вакансий РФ мы там тоже обсуждаем и в хвост и в гриву.
Так вот в процессе подготовки к выступлению, про которое писал в предыдущем посте, вбил я как-то в браузер название чатика, а получил кое-что интересное:

http://datajobs.pro/

Аггрегатор информации по вакансиям по работе с данными с HH, по технологиям, языкам программирования и т.п. По графикам видно, например, что ходуб не умер 😂, Airflow требуется все чаще, а что-то все меньше и меньше ввиду санкций и ухода вендоров.

Покликать, полазить можете сами и создателю тоже написать.

@ohmydataengineer | Поддержать автора на Patreon |на Бусти
🔥11💩41👍1
Так, напоминаю, что сегодня я выступаю на SmartData, приду поговорить про найм дата инженеров и что происходит на рынке DE. Тут и не тут.
А еще, оказывается, ребята сделали второй день (7 сентября) бесплатным и можно прийти в онлайн послушать доклады и пообщаться. Как всегда, выбор за вами, за уши вас никто тянуть не будет, но networking is king 😄

Сommunity Day такой же насыщенный, как и другие дни конференции:
— Доклады об архитектуре дата-платформ, устройстве баз данных и инструментах работы с данными.
— Дискуссии со спикерами и участниками после докладов.
— Обсуждение трендов Data Engineering.
— Интеллектуальная викторина.

Чтобы получить билет, зарегаться надо тут

@ohmydataengineer | Поддержать автора на Patreon | на Бусти
🔥8💩6👍32
Пятничный юмор 🙄

@ohmydataengineer | Поддержать автора на Patreon | на Бусти
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥38👍7💩4
Вопрос подписчика

Среди бонусов на Бусти уровня “Сеньор” есть такой перк - задать вопрос. Автор задает очень интересующий его вопрос и получает на него мое развернутое мнение-ответ. Итак, вот тут появился первый такой вот вопрос:

На чьи плечи ложится процесс моделирования данных при построении хранилища в европейских\американских компаниях? Аналитик, инженер или дата архитектор? Кто обычно этим занимается?

Честный ответ доступен подписчикам по ссылке тут.
В открытый доступ на разных платформах отформатированная и более нейтральная версия выйдет через 2 недели.

P.S. На Patreon такая опция доступна всем подписчикам (потому что там один уровень 😂)


@ohmydataengineer | Поддержать автора на Patreon | на Бусти
💩27🥱9👍3👎1
Пятничный юмор 😂

@ohmydataengineer | Поддержать автора на Patreon | на Бусти
🔥21💩4🥱3👍2👎1
Понты паруса наши

Я тут во втором канале "Осторожно, карьерные работы" https://news.1rj.ru/str/career_works/21 писал про то, что очень важно записывать свои достижения и писать про них в резюме.

Вот, я например, бейджик на LinkedIn заработал 😝😝😝

@ohmydataengineer | Поддержать автора на Patreon | на Бусти
👍22💩7🔥3
Пятничный юмор и никакой рекламы!

@ohmydataengineer | Поддержать автора на Patreon | на Бусти
👍22🥱4👎2
https://news.1rj.ru/str/ohmydataengineer?boost

Тут Телеграм форсит вот такую штуку, сторис от имени канала.
Оно нам надо? Вы вообще смотрите сторис в Телеграме?

Или, например, видео-кружочки, как вам такой контент?

Лично мне кажется, что это все ерунда какая-то, но буду рад вашему мнению в комментариях.

@ohmydataengineer | Поддержать автора на Patreon | на Бусти
🥱26👎18💩3👍1
Шо там по стандартам?

Если вы не знаете, как начать внедрять Data Contracts, то вот наткнулся на open source Data Contract Specification.
Прекрасно поясняется на базовом примере, как должен выглядеть контракт на данные. Доступно по ссылке https://datacontract.com/

Погодите, вот же еще стандарт ребят делали, другой, тоже с примерами https://github.com/AIDAUserGroup/open-data-contract-standard,

Или вот https://dpds.opendatamesh.org/

Да не, вот же хороший... или нет? https://github.com/agile-lab-dev/Data-Product-Specification

А не, вот правильная ссылка https://opendataproducts.org/

В общем, вы поняли 😂


@ohmydataengineer | Поддержать автора на Patreon | на Бусти
👍16💩2
Нужно больше OpenSource!

Видя счет за Tableau внутри компании, иногда мне хочется плакать. Или притащить и заменить это каким-нибудь OpenSource тулом (нежно намекаю на это тимлиду визуализации, которая читает мой канал ❤️). Но потом я останавливаюсь, взвешиваю текущие факторы "за" и "против" и пока откладываю эту идею.

Разнообразие OpenSource тулов это хорошо, ведь каждый может себе подобрать то, что ему подходит. И пусть меня, как всегда, закидают 💩 в реакциях, факт того, что Яндекс сделал открытым DataLens - не может не радовать. Возможно, кому-то этот инструмент тоже подойдет.

https://github.com/datalens-tech/datalens и https://datalens.tech/ и @YandexDataLens

@ohmydataengineer | Поддержать автора на Patreon | на Бусти
🔥22💩9👍8
Колесо Сансары, не иначе.

Дагстер, как один из бенефициаров всей этой багадельни под названием Modern Data Stack, теперь будет рассказывать о том, сколько же проблем у MDS и как нам всем избежать этой ловушки. На отдельном эвенте!

How to escape this Modern Data Trap, get back to the initial intent: to deliver a developer experience that is unified, streamlined, collaborative, and where you are in control of costs.

Еще одно прекрасное подтверждение тому, что стоит переживать лишь о фундаментальных навыках, а всю мишуру вокруг в виде фреймворков и тулов - тщательно фильтровать.

https://dagster.io/events/dagster-launch-week-oct-2023

@ohmydataengineer | Поддержать автора на Patreon | на Бусти
👍13💩3
https://x.com/aliafonzy43/status/1705548273233109076

Если вы когда-нибудь переживали про качество своего кода, про баги, которые ваш код генерирует или ваши косяки на проде, сходите в ответы и репосты к твиту, вам станет сильно легче: народ рассказывает как роняли базы, убивали кластеры и вгоняли продакшен на много сотен тысяч юзеров в 50* ошибки на несколько часов.

@ohmydataengineer | Поддержать автора на Patreon | на Бусти
💩7👍31
Статистика канала: Сентябрь 2023

Пост саморефлексии, не ожидайте тут откровений про пайплайны и хранилища, скоре это просто возможность для меня посмотреть на прогресс этого канала в количестве подписчиков, количестве 💩 что вы мне накидываете и в целом просто быть более открытым с вами про то, сколько это времени занимает, какие идеи дальше у меня в голове и вот это все.

Что мы имеем:
- Всего 11 сообщений я запостил в канал
- Канал вырос примерно на 3% человек
- В среднем 1800 людей видят посты (что же с остальными 800 😂)
- Самый топовый пост был анонс про статью на Бусти (на этой неделе уже будет в открытом доступе)
- Сам Бусти и Патрен пока в стартовом состоянии (5 платных подписчиков),

Не самые плохие результаты, но есть куда двигаться. Эпизодически в комментах прилетают хорошие мысли и идеи, которые надо воплощать.
Спасибо большое, что читаете меня, всегда буду рад и благодарен вашей поддержке - https://boosty.to/datapipeline и https://www.patreon.com/DataPipeline (это всего лишь 100 рублей в месяц или 4 евро, если вы с иностранной картой).

"Труба Данных" @ohmydataengineer | Поддержать автора на Patreon | на Бусти
👍12💩123🥱2🔥1