Smart Data 2024
В этом году, к моему сожалению, не попадаю ни на оффлайн часть, нет возможности и поработать в ПК. Поэтому в этом году я - простой зритель.
За 2 года вне РФ пока не натыкался на хорошо организованную конференцию по DE, зато маркетинговых около-MDS - тонна.
Поэтому рад из чего выбирать: из интересующих меня докладов выбрал вот эти 6 как самые знакомые больные темы, но вроде бы должно еще появиться что-то в программе. Программа тут https://smartdataconf.ru/schedule/days/, билеты там же.
Еще из забавного: когда у BestDoctor не было никаких DWH и вообще ничего, я помогал их CTO и Head of Dev с DE роадмапом и первой вакансией дата-инженера. Как давно это было... 😂
P.S. как вы видите - у ссылок нет никаких UTM меток, меня никто не просит ничего рекламировать и ничего мне не платит (я знаю, что вы накидаете 💩 все равно). Промокоды - не знаю, есть ли, но если очень надо - я могу спросить, контакты остались. Пишите в личку тогда, но ничего гарантировать не могу.
@ohmydataengineer
В этом году, к моему сожалению, не попадаю ни на оффлайн часть, нет возможности и поработать в ПК. Поэтому в этом году я - простой зритель.
За 2 года вне РФ пока не натыкался на хорошо организованную конференцию по DE, зато маркетинговых около-MDS - тонна.
Поэтому рад из чего выбирать: из интересующих меня докладов выбрал вот эти 6 как самые знакомые больные темы, но вроде бы должно еще появиться что-то в программе. Программа тут https://smartdataconf.ru/schedule/days/, билеты там же.
Еще из забавного: когда у BestDoctor не было никаких DWH и вообще ничего, я помогал их CTO и Head of Dev с DE роадмапом и первой вакансией дата-инженера. Как давно это было... 😂
P.S. как вы видите - у ссылок нет никаких UTM меток, меня никто не просит ничего рекламировать и ничего мне не платит (я знаю, что вы накидаете 💩 все равно). Промокоды - не знаю, есть ли, но если очень надо - я могу спросить, контакты остались. Пишите в личку тогда, но ничего гарантировать не могу.
@ohmydataengineer
💩38❤17👍13🔥4
https://db.cs.cmu.edu/papers/2024/whatgoesaround-sigmodrec2024.pdf
What Goes Around Comes Around... And Around... или SQL Forever.
Удивительно, но я давно не читал пейперов, а тут вывалился случайно в ленте и я с удовольствием прочитал.
Как вы могли догадаться из названия, исследование касается того, что происходило с SQL / NoSQL и как первый так и не помер, не смотря на все попытки сделать no-code / low-code штуки, а второй не сильно прижился и почти все инструменты заимели поддержку SQL в том или ином виде.
В итоге:
- это либо выпиливают как MapReduce
- или это получило поддержку транзакций как у Mongo
- или можно писать как SQL запрос, например, у DynamoDB или Mongo
- было заменено на Redis и подобное
В общем, почитайте, чтиво небольшое, но оч прикольное.
@ohmydataengineer
What Goes Around Comes Around... And Around... или SQL Forever.
Удивительно, но я давно не читал пейперов, а тут вывалился случайно в ленте и я с удовольствием прочитал.
Как вы могли догадаться из названия, исследование касается того, что происходило с SQL / NoSQL и как первый так и не помер, не смотря на все попытки сделать no-code / low-code штуки, а второй не сильно прижился и почти все инструменты заимели поддержку SQL в том или ином виде.
В итоге:
- это либо выпиливают как MapReduce
- или это получило поддержку транзакций как у Mongo
- или можно писать как SQL запрос, например, у DynamoDB или Mongo
- было заменено на Redis и подобное
В общем, почитайте, чтиво небольшое, но оч прикольное.
@ohmydataengineer
👍9🔥5❤4💩4👎1🥱1
Начнем неделю со слухов!
(пост для сбора 💩)
Мб это просто ошибка фронтендеров, но насколько я успел почитать расследования твиттер-журналистов, CEO Snowflake посрался с CEO dbt labs (их чуть ли не главным revenue driver) и теперь dbt labs больше не технологический партнер Snowflake. Какие последствия - ну вы поняли 😂
Ну а акции Snowflake продолжают лететь на дно.
@ohmydataengineer
(пост для сбора 💩)
Мб это просто ошибка фронтендеров, но насколько я успел почитать расследования твиттер-журналистов, CEO Snowflake посрался с CEO dbt labs (их чуть ли не главным revenue driver) и теперь dbt labs больше не технологический партнер Snowflake. Какие последствия - ну вы поняли 😂
Ну а акции Snowflake продолжают лететь на дно.
@ohmydataengineer
👍17💩9😢6🔥3
https://xuanwo.io/2024/07-rewrite-bigdata-in-rust
Тред "Rust все заменит в DE" продолжает существовать и если ну уж очень интересно, вот небольшая подборка DE-related тулзов и библиотек, написанных на Rust.
Из самого интересного это Apache DataFusion и daft
@ohmydataengineer
Тред "Rust все заменит в DE" продолжает существовать и если ну уж очень интересно, вот небольшая подборка DE-related тулзов и библиотек, написанных на Rust.
Из самого интересного это Apache DataFusion и daft
@ohmydataengineer
xuanwo.io
Rewrite Bigdata in Rust
Achieving Data Freedom Through Open Source and Rust
👍16💩9👎2
https://vutr.substack.com/p/how-clickhouse-built-their-internal
Одна из технологий, с которой я очень люблю работать - Clickhouse. О том, как сам Clickhouse строит у себя DWH - по ссылке в статье.
Все очень просто: CH, S3, Airflow, Superset и никаких дата волтов.
@ohmydataengineer - канал "🕯 Труба Данных" про работу с данными
Одна из технологий, с которой я очень люблю работать - Clickhouse. О том, как сам Clickhouse строит у себя DWH - по ссылке в статье.
Все очень просто: CH, S3, Airflow, Superset и никаких дата волтов.
@ohmydataengineer - канал "
Please open Telegram to view this post
VIEW IN TELEGRAM
Substack
I spent 5 hours learning how ClickHouse built their internal data warehouse.
19 data sources and a total of 470 TB of compressed data.
🔥25❤10💩6👍2👎1
https://clickhouse.com/blog/clickhouse-release-24-08
И в продолжении темы Clickhouse, последний релиз принес прям очень хорошую фичу - JSON as native type.
По ссылке - релиз-ноуты с примерами
@ohmydataengineer - канал "🕯 Труба Данных" про работу с данными
И в продолжении темы Clickhouse, последний релиз принес прям очень хорошую фичу - JSON as native type.
По ссылке - релиз-ноуты с примерами
@ohmydataengineer - канал "
Please open Telegram to view this post
VIEW IN TELEGRAM
ClickHouse
ClickHouse Release 24.8 LTS
ClickHouse 24.8 LTS is available. In this post, you will learn about the new JOIN datatype and TimeSeries table engine.
🔥13❤5👍2💩1