Что там по Apache Iceberg?
Несколько новостей, связанных с этим популярным форматом:
- Dremio и REST Catalog - https://www.youtube.com/watch?v=Bkpj7M6yVdQ&list=PL-gIUf9e9CCtmCcXDWkZJob7SLdgEm3ia&index=5
- Snowflake и Polaris Catalog - https://www.snowflake.com/blog/introducing-polaris-catalog/
- Databrics купили Tabular - https://tabular.io/blog/tabular-is-joining-databricks (писал про это ранее)
- Microsoft Fabric добавят Iceberg Support в рамках партнерства с Snowflake - https://www.microsoft.com/en-us/microsoft-fabric/blog/2024/05/22/snowflake-and-microsoft-announce-expansion-of-their-partnership
Собственно, если вы все пропустили и не поняли, а что этот Iceberg такое, то вот прекрасная книжка от O'Reilly, еще и бесплатно - https://hello.dremio.com/wp-apache-iceberg-the-definitive-guide-reg.html
@ohmydataengineer
Несколько новостей, связанных с этим популярным форматом:
- Dremio и REST Catalog - https://www.youtube.com/watch?v=Bkpj7M6yVdQ&list=PL-gIUf9e9CCtmCcXDWkZJob7SLdgEm3ia&index=5
- Snowflake и Polaris Catalog - https://www.snowflake.com/blog/introducing-polaris-catalog/
- Databrics купили Tabular - https://tabular.io/blog/tabular-is-joining-databricks (писал про это ранее)
- Microsoft Fabric добавят Iceberg Support в рамках партнерства с Snowflake - https://www.microsoft.com/en-us/microsoft-fabric/blog/2024/05/22/snowflake-and-microsoft-announce-expansion-of-their-partnership
Собственно, если вы все пропустили и не поняли, а что этот Iceberg такое, то вот прекрасная книжка от O'Reilly, еще и бесплатно - https://hello.dremio.com/wp-apache-iceberg-the-definitive-guide-reg.html
@ohmydataengineer
❤7💩5🔥2👍1
https://medium.com/@kywe665/unity-catalog-oss-with-hudi-delta-iceberg-and-emr-duckdb-710ab8f8a7dc
Databricks выложил свой Unity Catalog в open-source (https://www.databricks.com/blog/open-sourcing-unity-catalog) и народ уже начал к нему всякое подключать.
@ohmydataengineer
Databricks выложил свой Unity Catalog в open-source (https://www.databricks.com/blog/open-sourcing-unity-catalog) и народ уже начал к нему всякое подключать.
@ohmydataengineer
Medium
Unity Catalog OSS with Hudi, Delta, Iceberg, and EMR + DuckDB
The Data + AI summit 2024 was jam packed with many exhilarating announcements including AI/BI, Clean Rooms, Serverless everything, and one…
🔥9💩1
https://www.wired.com/story/epam-snowflake-ticketmaster-breach-shinyhunters/
Тут подкинули деталей про утечку у Snowflake. Все просто и банально, установил малварь себе на компуктер.
@ohmydataengineer
Тут подкинули деталей про утечку у Snowflake. Все просто и банально, установил малварь себе на компуктер.
@ohmydataengineer
WIRED
Hackers Detail How They Allegedly Stole Ticketmaster Data From Snowflake
A ShinyHunters hacker tells WIRED that they gained access to Ticketmaster’s Snowflake cloud account—and others—by first breaching a third-party contractor.
😢7💩2🥱1
https://medium.com/walmartglobaltech/reliably-processing-trillions-of-kafka-messages-per-day-23494f553ef9
Неплохая статья из инженерного блога Wallmart о том, как они процессят over9000 сообщений в Kafka.
@ohmydataengineer
Неплохая статья из инженерного блога Wallmart о том, как они процессят over9000 сообщений в Kafka.
@ohmydataengineer
Medium
Reliably Processing Trillions of Kafka Messages Per Day
Authors: Vilas Athavale, Ravinder Matte, Sid Anand, Shrity Verma, Naresh Gopalani, Bhaven Avalani
👍5💩4
Сколько их уже было: Pandas, Dask, Ray, Polars. Вот еще прибыло - Daft
https://www.getdaft.io/
@ohmydataengineer
https://www.getdaft.io/
@ohmydataengineer
🥱21👍7💩4🔥2
Журнал "Зарплатник" @zarplatnik_media
Вот это название, конечно 😄
Ко мне пришел Тагир с канала @tagir_analyzes, попросил рассказать про его канал "Зарплатник" @zarplatnik_media
И раз уж у меня канал на русскоговорящую аудиторию, знания про рынок РФ (условия работы, зарплаты и так далее) - штука актуальная. В канале описываются анонимно позиции в компаниях, бенефиты, условия работы и так далее. Какое-то представление о текущем рынке можно составить.
НО помните, что любая смена работы - штука индивидуальная и ваша компенсация может сильно отличаться (в обе стороны).
@ohmydataengineer
Вот это название, конечно 😄
Ко мне пришел Тагир с канала @tagir_analyzes, попросил рассказать про его канал "Зарплатник" @zarplatnik_media
И раз уж у меня канал на русскоговорящую аудиторию, знания про рынок РФ (условия работы, зарплаты и так далее) - штука актуальная. В канале описываются анонимно позиции в компаниях, бенефиты, условия работы и так далее. Какое-то представление о текущем рынке можно составить.
НО помните, что любая смена работы - штука индивидуальная и ваша компенсация может сильно отличаться (в обе стороны).
@ohmydataengineer
❤18💩8👍7👎2🔥2
https://medium.com/@fengruohang/database-in-kubernetes-is-that-a-good-idea-daf5775b5c1f
Оч большое внятное чтиво про то, хорошо ли пихать базы данных в кубирнетис (с) или нет.
@ohmydataengineer
Оч большое внятное чтиво про то, хорошо ли пихать базы данных в кубирнетис (с) или нет.
@ohmydataengineer
Medium
Database in Kubernetes: Is that a good idea?
WeChat Column
👍7💩5❤1🔥1
https://www.notion.so/blog/building-and-scaling-notions-data-lake
О том как Notion стоил свой data lake. Спойлер: начинали также, как Figma, с одного большого Postgres. Потом много шардов Postgres, и только потом Snowflake.
А потом их он заколебал 💩
@ohmydataengineer
О том как Notion стоил свой data lake. Спойлер: начинали также, как Figma, с одного большого Postgres. Потом много шардов Postgres, и только потом Snowflake.
А потом их он заколебал 💩
@ohmydataengineer
Notion
How Notion build and grew our data lake to keep up with rapid growth
🔥15💩4
https://www.canva.dev/blog/engineering/product-analytics-event-collection/
Небольшая статья с поверхностным описанием того, как у Canva (ага, той самой которая жила с одним большим кликом) ведется работа с эвентами.
@ohmydataengineer
Небольшая статья с поверхностным описанием того, как у Canva (ага, той самой которая жила с одним большим кликом) ведется работа с эвентами.
@ohmydataengineer
canva.dev
How Canva collects 25 billion events per day - Canva Engineering Blog
The architecture of our product analytics event delivery pipeline.
💩5👍1
https://discord.com/blog/how-discord-uses-open-source-tools-for-scalable-data-orchestration-transformation
А тут о том, как Discord съезжал с своего собственного оркестратора на Dagster
@ohmydataengineer
А тут о том, как Discord съезжал с своего собственного оркестратора на Dagster
@ohmydataengineer
Discord
How Discord Uses Open-Source Tools for Scalable Data Orchestration & Transformation
To continue delivering seamless service and insightful data analytics, Discord needed to overhaul its data orchestration infrastructure using modern, open-source tools. Read on to learn how we embarked on this journey!
🔥11💩2
https://www.checklyhq.com/blog/300ms-from-every-pod-startup-with-a-single-grafana-query
Статья не про data engineering, но удивительная борьба за 300ms и savings в $5.5к.
Напомнило историю про бекдор через ssh, когда один из инженеров заметил, что команда выполняется на 0.1 сек дольше
@ohmydataengineer
Статья не про data engineering, но удивительная борьба за 300ms и savings в $5.5к.
Напомнило историю про бекдор через ssh, когда один из инженеров заметил, что команда выполняется на 0.1 сек дольше
@ohmydataengineer
Checkly
How Checkly saved $5k a month with a single Grafana Query
Learn how Checkly saved 300ms from every pod startup, improving check efficiency and saving on compute costs. Discover our optimization tricks.
💩5👍2🔥2
https://github.com/Netflix/maestro
Нетфликс выложил свой Workflow as as Service (или просто оркестратор) в open source.
Как, зачем, почему, и другие ответы на вопросы доступны в их статье - https://netflixtechblog.com/maestro-netflixs-workflow-orchestrator-ee13a06f9c78
@ohmydataengineer
Нетфликс выложил свой Workflow as as Service (или просто оркестратор) в open source.
Как, зачем, почему, и другие ответы на вопросы доступны в их статье - https://netflixtechblog.com/maestro-netflixs-workflow-orchestrator-ee13a06f9c78
@ohmydataengineer
GitHub
GitHub - Netflix/maestro: Maestro: Netflix’s Workflow Orchestrator
Maestro: Netflix’s Workflow Orchestrator. Contribute to Netflix/maestro development by creating an account on GitHub.
🔥12💩4❤1
Smart Data 2024
В этом году, к моему сожалению, не попадаю ни на оффлайн часть, нет возможности и поработать в ПК. Поэтому в этом году я - простой зритель.
За 2 года вне РФ пока не натыкался на хорошо организованную конференцию по DE, зато маркетинговых около-MDS - тонна.
Поэтому рад из чего выбирать: из интересующих меня докладов выбрал вот эти 6 как самые знакомые больные темы, но вроде бы должно еще появиться что-то в программе. Программа тут https://smartdataconf.ru/schedule/days/, билеты там же.
Еще из забавного: когда у BestDoctor не было никаких DWH и вообще ничего, я помогал их CTO и Head of Dev с DE роадмапом и первой вакансией дата-инженера. Как давно это было... 😂
P.S. как вы видите - у ссылок нет никаких UTM меток, меня никто не просит ничего рекламировать и ничего мне не платит (я знаю, что вы накидаете 💩 все равно). Промокоды - не знаю, есть ли, но если очень надо - я могу спросить, контакты остались. Пишите в личку тогда, но ничего гарантировать не могу.
@ohmydataengineer
В этом году, к моему сожалению, не попадаю ни на оффлайн часть, нет возможности и поработать в ПК. Поэтому в этом году я - простой зритель.
За 2 года вне РФ пока не натыкался на хорошо организованную конференцию по DE, зато маркетинговых около-MDS - тонна.
Поэтому рад из чего выбирать: из интересующих меня докладов выбрал вот эти 6 как самые знакомые больные темы, но вроде бы должно еще появиться что-то в программе. Программа тут https://smartdataconf.ru/schedule/days/, билеты там же.
Еще из забавного: когда у BestDoctor не было никаких DWH и вообще ничего, я помогал их CTO и Head of Dev с DE роадмапом и первой вакансией дата-инженера. Как давно это было... 😂
P.S. как вы видите - у ссылок нет никаких UTM меток, меня никто не просит ничего рекламировать и ничего мне не платит (я знаю, что вы накидаете 💩 все равно). Промокоды - не знаю, есть ли, но если очень надо - я могу спросить, контакты остались. Пишите в личку тогда, но ничего гарантировать не могу.
@ohmydataengineer
💩38❤17👍13🔥4