Object Storage (Amazon S3, Yandex OS...) и Hadoop (но он уже мертв, а рок-н-ролл нет) - в целом, "те же яйца только в профиль". Предназначены для больших объемов данных всех мастей.

Исходя из того, что главный тренд 2023 - small data, реально нужны только 1% компаний.

Легенда инженерии данных Maxime Beauchemin в статье о будущем профессии (мой вольный перевод):

"Инженер данных становится хранителем дата-культуры. Он является "смотрящим", ответственным за обучение коллег передовым методам, эффективным способам работы с данными, моделированию данных, стандартам разработки и, полагаясь на качество данных и прозрачность процессов, следит, чтобы все относились к данным с одинаковым прилежанием"

То есть, выживут не те, кто научится при помощи ChatGPT строчить по 100к строк кода в наносекунду (хоть и говорят, что тараканы - самые живучие), а те, кто сможет выстраивать доверительные человеческие отношения с коллегами, будет им помогать и терпеливо обучать для достижения синергетического эффекта в средне- и долгосрочной перспективе.

https://www.montecarlodata.com/blog-the-future-of-the-data-engineer/

Лирическое отступление №3.

Самая главная причина выгорания, на мой взгляд, заключается в том, что наши внутренние установки не совпадают с мотивацией, навязываемой извне, как-то: материальные блага, социальный статус, перспективы роста...

Рано или поздно такой конфликт "доведет до цугундера". Поэтому определение своей внутренней мотивации гораздо важнее изучения "правильных" технологий.

После долгих размышлений я пришел к выводу, что, помимо самих данных, меня вдохновляют люди. И всегда по итогам собеседования я выбирал именно тех, кто меня собеседовал, а не компании, технологии, деньги или перспективы.

Поэтому сейчас мне хочется сказать огромное спасибо всем, кто был или продолжает быть рядом со мной, кто помогал и обучал, мотивировал и вдохновлял, решал со мной вместе различные задачи и преодолевал сложные жизненные ситуации, бежал марафон и ходил на концерты, рушил догмы и строил светлое будущее…

Без вас моя жизнь была бы похожа на барьерный бег: короткий спринт от выгорания к выгоранию.

Продолжаем с хранением: Rowstore vs Columnstore.

Rowstore - данные хранятся в виде строк (все поля одной строки "уложены" друг за другом (ну, почти).
➕ Проще вставлять/изменять данные
➕ Подходят для выборки всех полей
➖С выборкой числа полей, отличного от "все", особенно на больших объемах, жди беды.

Columnstore - данные хранятся в виде колонок (строки одной колонки "уложены" друг за другом).
➕ Хорошо подходят для выборки небольшого числа полей
➕ Обычно занимает меньше места за счет сжатия
➖ Вставка, а, особенно изменение/удаление, могут стать причиной боли, сравнимой разве что с укусом "внезапно" взбесившегося бойцового пса из культового фильма "Trainspotting"
➖ Выборка числа полей, приближающегося к "все",- тоже удовольствие не из приятных.

Много ли человеку нужно для счастья?

Мне вот достаточно развернуть Apache Airflow в Яндекс.Облаке, запилить даг, собирающий данные из REST-апишки и сохраняющий их в Object Storage. А затем, откинувшись на мягкую спинку стула с бокалом белого вина из северных регионов Италии, смотреть на появляющиеся из ниоткуда зелененькие кружочки и квадратики, свидетельствующие об успешном выполнении.

Всем хорошего рабочего дня!😀

Тут в одной запрещенной в РФ сети товарищ утверждает, что он книжку написал по dbt. Жду с нетерпением. Ибо так и не приучил себя за долгие годы обучаться при помощи иных способов, нежели чтение книг.

I’m thrilled to announce that Dustin Dorsey and myself are writing a book on dbt that is going to be published by Apress!(We're talking about the popular open-source data transformation tool, not the therapy practice 😉)

Я уже писал, что для меня очень важно получать удовольствие от того, чем я занимаюсь, чтобы моя работа имела смысл, чтоб меня окружали профессионалы, вместе с которыми можно расти и развиваться, создавать что-то новое…
И я безумно счастлив, что мне повезло быть частью такой команды. В Softline Digital собраны эксперты в различных областях: AI, ML, CV, IoT, Big Data, VR/AR.

Если интересно узнать, чем мы тут занимаемся или просто почитать про передовые решения, присоединяйтесь и давайте расти вместе!

Италия - топ😃

https://www.gazzetta.it/attualita/31-03-2023/chatgpt-a-rischio-in-italia-la-decisione-del-garante-della-privacy.shtml

Оптимизируем NiFi Flow. Настройка Load Balancing, подходы к Scheduling и выбор метода merge https://habr.com/p/726616/

Я очень люблю читать, читаю много, иногда даже техническую литературу. Поэтому периодически буду оставлять свои рекомендации #напочитать, касающиеся тематики данного канала. Numero uno в данном списке пусть будет "97 things every Data Engineer should know".

Книга представляет собой сборник эссе на тему того, что каждый автор для себя считает важным в профессии, чем ему хочется поделиться с коллегами. Развлекательное чтиво на ночь, авторы ухитряются объяснять сложные вещи простым языком без помощи этих ваших “чатов гопоты”. Для опытных инженеров может показаться пустой тратой времени, разве что в английском попрактиковаться.

Мое любимое:

Chapter 84. Bob Geerdink - Tools Don’t Matter, Patterns and Practices Do.

Отличный совет для тех, кто не знает, как построить свое обучение.

Chapter 85. Ami Levin – What is Big Data?

Тут лучше дать слово автору (в моем вольном переводе)

"Гонка за "большими данными" напоминает преследование собственной тени. Это отвлекает организации от того, что реально необходимо для получения пользы от данных, подталкивает их на вложения в технологии для хранения и обработки, вместо улучшения качества данных и процесса принятия решений, что может быть достигнуто лишь благодаря знанию предметной области, умению строить модели данных, критическому мышлению и навыкам общения. Это требует обучения, практики и времени. Что не так легко и привлекательно, как фальшивое обещание "больших данных" стать "серебряной пулей", одним махом решающей все ваши проблемы."

Chapter 95 - Why Data Science Teams Need Generalists, Not Specialists.

Для меня инженер, утверждающий, что настоящим специалистом может быть признан только тот, кто познал Spark, Hadoop, Kafka или любую другую технологию, подобен футболисту, который умеет забивать голы только "в падении пяткой через себя". Да, красиво и эффектно, но побеждают чаще те, кто умеет лучше других использовать сложившиеся обстоятельства и протолкнуть мяч в ворота из любой позиции.

https://www.amazon.com/Things-Every-Data-Engineer-Should/dp/1492062413

Еще #напочитать - "Fundamentals of Data Engineering".

На мой взгляд, главная настольная книга инженера данных, первая книга, которую я бы хотел перевести на русский. Основное достоинство состоит в том, что авторы, переосмыслив годы развития профессии от ее корней до наших дней, обобщают накопленный опыт и приходят к простому и понятному, но вместе с тем и всеобъемлющему определению, из которого, в свою очередь, можно сделать логичный вывод:

Инженер данных – это не про технологии и даже не про объемы, это просто про перемещение данных из одной точки в другую.

Авторы проводят читателя через весь жизненный цикл данных от их появления в системе-источнике до превращения в красивые картинки и рекомендации для лиц, принимающих решения. И именно в этом контексте они объясняют функционал, поясняя, как инженер может быть полезен на данном конкретном этапе, с кем и как нужно выстраивать рабочие отношения, какие "подводные течения" его ожидают.

Новичкам эта книга поможет выстроить карьерный трек, опытным специалистам - систематизировать свои знания, а различного рода руководителям – понять своих инженеров.

https://www.oreilly.com/library/view/fundamentals-of-data/9781098108298/

The Next One

Главное, чего не понимают адепты секты "свидетелей новой прорывной технологии ChatGPT", состоит в том, что в человеческой истории все это уже было. И не раз. Значит, результат можно попробовать предсказать.

Сейчас все радуются, что стали "высокоэффективнее на 20 процентов", избавились от рутины, получили время на отдых, снова полюбили свою работу... Забывая, что для изучения данной технологии достаточно посмотреть часовое видео на YouTube. Это даже не Excel. Следовательно, новые возможности очень скоро станут доступны чуть менее, чем всем, превратившись в рутину.

Как с допингом в спорте. Кто-то один нашел неуловимую субстанцию, стал бить рекорды. Спустя время его раскусили, употребляют почти все, планка высокоэффективности загнана на новый уровень, который бывшему "рекордсмену" держать сложно.

И вот уже работа снова нелюбимая.

"Колеса Сансары другой оборот…" (ВИА "Элизиум")

P.S. Пинту пива тому, кто без поисковиков опознает товарища на фото.

Пятничное настроение🤣

Привет 🖐

Исходя из их популярности, вот несколько книг о программировании, которые могут оказаться для вас полезными:

👉 «Чистый код: руководство по Agile-мастерству разработки программного обеспечения» Роберта К. Мартина.
👉 «Прагматичный программист: от подмастерья до мастера» Эндрю Ханта и Дэвида Томаса.
👉 «Шаблоны проектирования: элементы многоразового объектно-ориентированного программного обеспечения» Эриха Гаммы, Ричарда Хелма, Ральфа Джонсона и Джона Влиссидеса.
👉 «Code Complete: Практическое руководство по созданию программного обеспечения» Стива МакКоннелла.

Эти книги содержат информацию о лучших практиках, шаблонах проектирования и принципах, которые помогут вам улучшить свои навыки программирования и создавать высококачественное программное обеспечение.

#книганавечер

Запомните мудрость. То, что страшно релизнуть в пятницу вечером, релизить вообще нельзя.©