https://github.com/Netflix/maestro
Нетфликс выложил свой Workflow as as Service (или просто оркестратор) в open source.
Как, зачем, почему, и другие ответы на вопросы доступны в их статье - https://netflixtechblog.com/maestro-netflixs-workflow-orchestrator-ee13a06f9c78
@ohmydataengineer
Нетфликс выложил свой Workflow as as Service (или просто оркестратор) в open source.
Как, зачем, почему, и другие ответы на вопросы доступны в их статье - https://netflixtechblog.com/maestro-netflixs-workflow-orchestrator-ee13a06f9c78
@ohmydataengineer
GitHub
GitHub - Netflix/maestro: Maestro: Netflix’s Workflow Orchestrator
Maestro: Netflix’s Workflow Orchestrator. Contribute to Netflix/maestro development by creating an account on GitHub.
🔥12💩4❤1
Smart Data 2024
В этом году, к моему сожалению, не попадаю ни на оффлайн часть, нет возможности и поработать в ПК. Поэтому в этом году я - простой зритель.
За 2 года вне РФ пока не натыкался на хорошо организованную конференцию по DE, зато маркетинговых около-MDS - тонна.
Поэтому рад из чего выбирать: из интересующих меня докладов выбрал вот эти 6 как самые знакомые больные темы, но вроде бы должно еще появиться что-то в программе. Программа тут https://smartdataconf.ru/schedule/days/, билеты там же.
Еще из забавного: когда у BestDoctor не было никаких DWH и вообще ничего, я помогал их CTO и Head of Dev с DE роадмапом и первой вакансией дата-инженера. Как давно это было... 😂
P.S. как вы видите - у ссылок нет никаких UTM меток, меня никто не просит ничего рекламировать и ничего мне не платит (я знаю, что вы накидаете 💩 все равно). Промокоды - не знаю, есть ли, но если очень надо - я могу спросить, контакты остались. Пишите в личку тогда, но ничего гарантировать не могу.
@ohmydataengineer
В этом году, к моему сожалению, не попадаю ни на оффлайн часть, нет возможности и поработать в ПК. Поэтому в этом году я - простой зритель.
За 2 года вне РФ пока не натыкался на хорошо организованную конференцию по DE, зато маркетинговых около-MDS - тонна.
Поэтому рад из чего выбирать: из интересующих меня докладов выбрал вот эти 6 как самые знакомые больные темы, но вроде бы должно еще появиться что-то в программе. Программа тут https://smartdataconf.ru/schedule/days/, билеты там же.
Еще из забавного: когда у BestDoctor не было никаких DWH и вообще ничего, я помогал их CTO и Head of Dev с DE роадмапом и первой вакансией дата-инженера. Как давно это было... 😂
P.S. как вы видите - у ссылок нет никаких UTM меток, меня никто не просит ничего рекламировать и ничего мне не платит (я знаю, что вы накидаете 💩 все равно). Промокоды - не знаю, есть ли, но если очень надо - я могу спросить, контакты остались. Пишите в личку тогда, но ничего гарантировать не могу.
@ohmydataengineer
💩38❤17👍13🔥4
https://db.cs.cmu.edu/papers/2024/whatgoesaround-sigmodrec2024.pdf
What Goes Around Comes Around... And Around... или SQL Forever.
Удивительно, но я давно не читал пейперов, а тут вывалился случайно в ленте и я с удовольствием прочитал.
Как вы могли догадаться из названия, исследование касается того, что происходило с SQL / NoSQL и как первый так и не помер, не смотря на все попытки сделать no-code / low-code штуки, а второй не сильно прижился и почти все инструменты заимели поддержку SQL в том или ином виде.
В итоге:
- это либо выпиливают как MapReduce
- или это получило поддержку транзакций как у Mongo
- или можно писать как SQL запрос, например, у DynamoDB или Mongo
- было заменено на Redis и подобное
В общем, почитайте, чтиво небольшое, но оч прикольное.
@ohmydataengineer
What Goes Around Comes Around... And Around... или SQL Forever.
Удивительно, но я давно не читал пейперов, а тут вывалился случайно в ленте и я с удовольствием прочитал.
Как вы могли догадаться из названия, исследование касается того, что происходило с SQL / NoSQL и как первый так и не помер, не смотря на все попытки сделать no-code / low-code штуки, а второй не сильно прижился и почти все инструменты заимели поддержку SQL в том или ином виде.
В итоге:
- это либо выпиливают как MapReduce
- или это получило поддержку транзакций как у Mongo
- или можно писать как SQL запрос, например, у DynamoDB или Mongo
- было заменено на Redis и подобное
В общем, почитайте, чтиво небольшое, но оч прикольное.
@ohmydataengineer
👍9🔥5❤4💩4👎1🥱1
Начнем неделю со слухов!
(пост для сбора 💩)
Мб это просто ошибка фронтендеров, но насколько я успел почитать расследования твиттер-журналистов, CEO Snowflake посрался с CEO dbt labs (их чуть ли не главным revenue driver) и теперь dbt labs больше не технологический партнер Snowflake. Какие последствия - ну вы поняли 😂
Ну а акции Snowflake продолжают лететь на дно.
@ohmydataengineer
(пост для сбора 💩)
Мб это просто ошибка фронтендеров, но насколько я успел почитать расследования твиттер-журналистов, CEO Snowflake посрался с CEO dbt labs (их чуть ли не главным revenue driver) и теперь dbt labs больше не технологический партнер Snowflake. Какие последствия - ну вы поняли 😂
Ну а акции Snowflake продолжают лететь на дно.
@ohmydataengineer
👍17💩9😢6🔥3
https://xuanwo.io/2024/07-rewrite-bigdata-in-rust
Тред "Rust все заменит в DE" продолжает существовать и если ну уж очень интересно, вот небольшая подборка DE-related тулзов и библиотек, написанных на Rust.
Из самого интересного это Apache DataFusion и daft
@ohmydataengineer
Тред "Rust все заменит в DE" продолжает существовать и если ну уж очень интересно, вот небольшая подборка DE-related тулзов и библиотек, написанных на Rust.
Из самого интересного это Apache DataFusion и daft
@ohmydataengineer
xuanwo.io
Rewrite Bigdata in Rust
Achieving Data Freedom Through Open Source and Rust
👍16💩9👎2