На одном проекте мы уже год обсуждаем о возможностях мигрировать с serverless Amazon Athena на нормально решение типа Snowflake и Dabaricks. Идеи про open source даже не хочу рассматривать, у нас и так там open source на опен сорсе и все трещит по швам🫠

Вообще считаю, если у компании есть деньги надо брать лучший инструмент на рынке. Отрытое ПО вроде бесплатное, а если посчитать усилия большой команды, то это еще спорный вопрос. И даже открытое ПО надо где-то хостить.

Как и с вопросом по зарплате, так и с ПО люди разделятся на 2 лагеря за и против😆

Это очень круто уметь работать с опенсорсом и кодить много, но тут возникает обратная ситуация, когда коллеги начинают на каждый чих создавать новые shell скриптики и изобретать велосипед в питоне.

В общем у нас дискуссия идет, директор по инжинирингу как страус спрятал голову в песок, команда каждый день фиксит упавшие пайплайны, а пользователи все жду. VP аналитики не технический и строит космические корабли в отрыве от команды. Придумывает OKR без нас, но для нас:)

Из последнего предложили сделать on-call 24/7, вместо того чтобы решить проблему кардинально (то есть скзазать, Дима был прав - наше решение гавно)и взять ответственность на себя, чтобы исправить ситуацию, мы сидим и ждём, прям очень интересно, чем все закончится. Пару идей было про миграцию на редшифт, но это шило на мыло.

Это была предыстория к статье про миграцию redshift на snowflake.

В следующей статье я расскажу про build trap и outcome lead organisation. Будет в тему этого поста.

Миграция с SAP BW/4HANA на платформу данных Arenadata

Какой подход к миграции на платформу Arenadata выбрать? Как загружать данные из SAP систем? Как не потерять разработки, мигрировать данные и сохранить отчеты пользователей?

Об этих и других темах команда Sapiens solutions поговорит на вебинаре 15 марта в 11:00 с коллегами из Arenadata и Sapland.

Содержание вебинара

• Знакомство с платформой, ее компонентами, архитектурой, преимуществами и особенностями работы
• Демонстрация, как с помощью Airflow организовать загрузки из SAP ERP, используя экстракторы.
• Особенности загрузки данных в MPP базу данных.
• Возможность снижения трудозатрат на перенос модели данных.
• Обеспечение необходимой скорости обработки данных и эффективного их хранения.
• Ответы на интересующие вас вопросы.

Регистрация по ссылке. До встречи на вебинаре!

🗓 15 марта, 11:00 мск • Онлайн

#реклама

1988: Учителя по математики бастуют против калькулятора.

2023: Учителя против использования ChatGPT.

Бесплатная книга по Airflow - Data Pipelines with Apache Airflow

Бесплатная книга по Snowflake - SNOWFLAKE:THE DEFINITIVE GUIDE

Бесплатная книга от Databricks - Get up to speed with Apache Spark

А вообще, как я понимаю все книги тут бесплатно и так - https://libgen.is/

Рассказал Валерию про иммиграцию в Канаду - Работа в Канаде. Дмитрий – дата-инженер из России.

Дмитрий, айтишник из Москвы не ищет лёгких путей. Он планировал эмигрировать в Австралию, но в итоге оказался в Канаде. Послушайте удивительную историю о трудном пути дата-инженера из России в Канаду.

Год релокации в Канаду 2015.

Музыка: Herr Fischer | Звук: MT | Графика: Sasha

Ведущий: Valery

Если вы хотите стать героем подкаста, рассказать свою историю, напишите нам на электронную почту: emigrationpodcast@gmail.com

У автора уже много стран и историй связанных с миграцией.

«У меня есть идея на минус миллион» (c)

Недавно меня посетила интересная мысль относительно мотивации. Я уже достаточно долго работу работаю и меня потрепала "корпоративная" жизнь. Были и взлеты и падения, было и выгорание и апатия к работе, близкая к отвращению.

Вот сейчас снова, есть силы работать (много), учиться ежедневно, да еще успевать писать сюда.

Теперь я точно осознал, что мной движет, что дает мотивацию.

И тут я вдруг подумал, почему бы не написать ответ завтра в отдельном посте. Вы пока подумайте, что вам дает сил для мотивации а потом сравним.😎

PS всего одно слово👻 (не 💸)

Спасибо за комментарии, в принципе все что вы написали все верно и все может дать мотивацию. Но для меня это слово - перспективы, местные называют это opportunities.

Вот возьму несколько примеров.
1. Давным давно у меня была перспектива поехать заграницу, работать в иностранной компании. это давало мне сил учить английский и технологии.
2. В Канаде у меня была перспектива работать в FAANG, и это давала мне мотивации учиться дальше и искать там работу.

И в том самом FAANG спустя несколько лет, я стал понимать, что у меня нет перспектив. Я достиг потолка по зарплате внутри корпорации (что было далеко от рынка), у меня не было особо перспектив на карьерный рост, а если и было, то это "кот наплакал". Поэтому в отсутствии каких-либо перспектив стало пропадать желание что-то делать, и появилось чувство выгорания. Потом был другой другой FAAMNG, где вроде и были перспективы, в вроде и нет. Оказалось, больше нет, чем да.

В целом стало понятно что перспективы серьезных изменений по карьере можно не ожидать. И что в Канаде очень консерватиные зарплаты и взгляды на карьерный рост. Быть менеджером или директором, чтобы получать немного больше, но при этом быть на митингах 10 часов в день, мне было не интересно.

И вот спустя какое время, когда я полностью отказался от идей карьерного роста внутри компании, о погоне за повышением, мне стали безразлична критика менеджеров во время встреч 1:1, то сразу дела пошли в гору и появились перспективы. (сразу отвечу на ваш вопрос - я просто могу работать на нескольких проектах, вместо одной фулл тайм работы).

Извиняюсь за разрыв мысли между 2мя сообщениям, было интересно почитать ваши ответы. Для меня самое важное это перспективы (не путать со словом надежда). Это то что реально можно получить и сделать. Поэтому часто иммиграция или смена работы дает вам сил и мотивации, потому что у вас появляются перспективы.

Например, вы начали изучать новый стек или новую профессию, и у вас появилась перспектива найти новую работу и изменить свою жизнь.

Осталось понять, что раньше "курица или яйцо" (нужно что-то сделать сначала, чтобы появились перспективы или сначала появятся перспективы, а потом можно начинать делать).

Теперь будем еще быстрей писать код и искать ответы на свои вопросы с chatgpt4 🤖 (ссылка на запись с developer livestream open ai)

В ближайшее время я отключу комментарии. Я очень их люблю, но это для меня самой большой источник прокрастинации. Думаю для вас тоже:) Прошу понять и простить.😊

У нас остался для общения чат Инжиниринг Данных, где можно все это дело обсуждать по необходимости и чат Datalearn.

Alfa Cloud Day Meetup: облачные технологии в финтехе

На митапе вы узнаете, как в Альфе внедряли новый облачный подход, как перенесли 200 сервисов и не останавливали их работу и что важно учесть при миграции

Когда: 22 марта в 18:30
Где: офлайн в Москве, Андропова пр-т, 18, к. 3, Альфа-Банк, Конгресс-холл или онлайн

Что вас ждет:

🌦 Максим Чернухин, Senior Software Architect, расскажет о положительных и отрицательных сторонах использования облака, а также о нюансах, которые стоит учесть

🌦 Дмитрий Кузнецов, Head of Application Security, расскажет о безопасной миграции в облако

🌦 Дмитрий Гадеев, Site Reliability Engineer, и Максим Малыгин, Head of IT Infrastructure Support Department, поделятся своим опытом внедрения «облачного» подхода в Альфе

🌦 Светлана Вагнер, Cloud Product Owner, расскажет, как бизнесу показать преимущества cloud-технологий, как использовать их для ускорения бизнес-процессов

Зарегистрироваться

#реклама

Смеюсь с треда. Оказывается, слово дэшборд идет от такой панели в лошадиных повозках, которые защищали сидящих в ней от грязи.

The word "Dashboard" comes from the board on the front of a horse carriage which prevents mud from kicking up on the passengers as the horses are "dashing" through the dirt.

> So I guess today, we can call a dashboard an overview of dirty data that is being kicked up from the database.

>> It's the only thing separating the user from the horse's backend.

Лежит в этимологии на Википедии, оказывается Рома уже даже про это рассказывал, с шуткой про horse’s backend точно запомню))

Amazon таки выпустил свой спутниковый интернет - Project Kuiper. Возможно скоро удаленная работа будет более удаленная с Amazon и Starlink.

Как актуально! Я бы еще добавил несколько кнопок, “купить золото/серебро”, купить недвижку и далее по списку. Как не крути, конечный пользователь всегда будет должен. А некоторым, еще надо - “сначала найти работы после недавнего layoff”

2 анекдота, которые идеально подходят, чтобы

А) описать подход к поиску работы, особенно это касается застенчивых, неуверенных в себе кандидатах.

Б) описать попытки руководства повысить эффективность команды и нежелание этого самого руководства признать, что они не очень шарят, что делают. Я бы еще добавил цитату Масяни «Директор? Да пошел ты в жопу директор… не до тебя»

А вот и анекдоты, какой А, а какой Б, вы догадаетесь сами😂

Офис, в отделе продаж все суетятся, переставляют мебель с места на место, посреди всего этого хаоса стоит бабушка уборщица и бормочет про то что "она только что все вытерла, а они опять натоптали". Менеджеры начинают расставлять мебель, вымерять ее положение каждого стула и стола по линейке, компасу, теодолиту... Бабушка не выдерживает и спрашивает: "Ребята, а что вы делаете то?" Один из менеджеров объясняет: "Да вот, бабуль, у нас что то в последнее время обороты упали, но мы сейчас мебель по фэншую расставим - и все у нас будет замечательно". Знаешь, милок, говорит бабка, до Революции, вот в этом самом доме был бордель, так когда у них доходы падали, они кровати не двигали. Они блядей меняли."


Молодой гусар спрашивает у поручика Ржевского, как это ему удается пользоваться таким успехом у женщин.
- Очень просто, - отвечает он, - нужно пойти к женщине и сказать:
"Мадам, позвольте вам вдуть!"
- Поручик! Но ведь за такое можно и по морде!
- Можно и по морде. Но можно и вдуть.

Вы можете относится к chatGPT как угодно, но это прорывная технология. Возможно, я не первый кто расшарит эту статью (скорей последний), но прям обязательно прочитайте и покажите вашим родителями, и бабушкам и все будут в теме:)

Как работает ChatGPT: объясняем на простом русском эволюцию языковых моделей начиная от T9

Все просто и понятно, авторам респект. 👏

Сегодня смотрел, что выходило в последнее время про корпоративную культуру в разных компаниях. С интересом послушал подкаст о том, зачем инженеру вникать в эту лирику огромных корпораций. Обычно принято считать, что тема культуры компании максимально далека от кодеров и системных аналитиков. Однако, она помогает лучше понимать профессиональную среду, коллег и даже самих себя.

Рекомендую ознакомиться всем, кому эта тема также интересна. То, что зацепило меня, так это кейсы, из которых ясно, что оценка performance review не решает долгосрочные задачи и почему важно думать про рост сотрудников на любой позиции — от рядового инженера до тимлида.

Подкаст интересный. По данной теме таких докладов мало, а здесь подробно разобраны кейсы из практики.

Известный в data engineering кругах товарищ - Zach Wilson, делает свой bootcamp по Data Engineering:
Week 1: Data Modeling
Week 2: Data efficiency and privacy
Week 3: Batch Pipelines with Apache Spark
Week 4: Streaming Pipelines with Apache Flink
Week 5: Data Quality
Week 6: Data storytelling

И даже цены есть:
For 30 students, there's the $987 tier.
For 5 students, there's the $1487 tier.

Скажу вас свое экспертное мнение, можете конечно не согласиться, но придется протест выражать emoji😂

Чувак бесспорно шарит и цена вроде демократичная для мерок Северной Америки, но реально программка меня совсем не воодушевляет. Я уверен, он будет вас учить "нажимать кнопки", но вряд ли будет понимание зачем это делается. Хотите разобраться? Купите на 200 долларов несколько книг O'Reilly где все это подробно расписано.

Я лично подписался на него, думал он такой "душка" будет бесплатно людей учить.

PS Ну как не упомянуть datalearn, там контент намного солидней (просто я еще не доделал Spark/Streaming), не добавил dbt, aiflow, prefect, docker. Но для начала вам это и не нужно, а если вы решили уже докер крутить и запускать там Airflow или Spark, то у вас уже достаточно опыта, чтобы прочитать правильную книгу и выбрать ее среди сотен неправильных🍩

И datalearn бесплатный! Почему бесплатный было в подкасте. Но Зак не верит в карму, он живет в Калифорнии, там все дорого😝

PPS я могу ошибаться, если кто-то пройдет курс его, приходите с вебинаром к @rspon (вообще с любим вебинаром) у нас 15к почти на ютубе, аудитория большая, расскажите о себе и своем проекте.