https://vutr.substack.com/p/how-clickhouse-built-their-internal

Одна из технологий, с которой я очень люблю работать - Clickhouse. О том, как сам Clickhouse строит у себя DWH - по ссылке в статье.
Все очень просто: CH, S3, Airflow, Superset и никаких дата волтов.

@ohmydataengineer - канал "🕯Труба Данных" про работу с данными

https://clickhouse.com/blog/clickhouse-release-24-08

И в продолжении темы Clickhouse, последний релиз принес прям очень хорошую фичу - JSON as native type.
По ссылке - релиз-ноуты с примерами

@ohmydataengineer - канал "🕯Труба Данных" про работу с данными

"ТУТ ДАННЫЕ НЕПРАВИЛЬНЫЕ!"

@ohmydataengineer - канал "🕯Труба Данных" про работу с данными

https://archive.apache.org/dist/spark/spark-4.0.0-preview2/

А я помню времена, когда мы всем селом переезжали с Spark 2 на Spark 3, а оно вон как уже - Spark 4 на подходе!

Все новые фичи:
- видос от Databricks https://www.youtube.com/watch?v=WwVE_be2JuA
- их же слайды (много слайдов) https://drive.google.com/viewerng/viewer?url=https://microsites.databricks.com/sites/default/files/dais/2024/D242404B_2024.06.17.What%25E2%2580%2599s%2520Next%2520for%2520the%2520Upcoming%2520Apache%2520Spark%25204.0_1718511032810001JGNS.pdf


@ohmydataengineer - канал "🕯Труба Данных" про ток, как мигрировать данные!

https://new.mta.info/article/mta-open-data-challenge

Если вы в поисках какого-нибудь пет-проекта или датасета, который можно покрутить, то MTA (Metropolitan Transportation Authority в USA), проводит свой первый Open Data Challenge.

Participants will develop a project that creatively utilizes at least one MTA open dataset.
Whether you're passionate about transportation, technology, or urban planning, this is your chance to dig deeper into MTA’s open data and make a meaningful impact.

Без каких-либо супер огромных денежных призов, ручка/кружка и пост в блоге☺️ Но датасеты клевые, покрутить можно всякое.


@ohmydataengineer - канал "🕯Труба Данных", который расскажет про публичные датасеты интересно

Пришло время обновлять Airbyte!

https://www.youtube.com/watch?v=cy6S14zv4qo

Еще один крупный инструмент на рынке перемещения данных туда-сюда Airbyte получил свою первую мажорную версию 1.0! По ссылке выше - видео-трансляция дня релиза, а все новые фичи описаны тут https://airbyte.com/v1

Штук много всяких интересных привезли, но самое интересное для меня - https://airbyte.com/blog/supporting-very-large-cdc-syncs-with-wass Large CDC with WASS и чекпоинты - https://airbyte.com/blog/checkpointing


@ohmydataengineer - канал "🕯Труба Данных" который продолжает обновлять инструменты!

https://craftingdataproducts.substack.com/p/the-data-death-cycle

О том, как помирают дата проекты.

В основе статьи лежит довольно простой, но обухом бьющий по голове, список ошибок:
- The Tech Trap: когда мы задаем вопрос "Какую проблему может решить эта технология?" вместо поиска проблемы и затем двигаться к технологии
- The Doing Trap: когда мы сразу как лего-ниндзяга прыгаем кодить решение, когда на деле нужно было посидеть и сделать дизайн / планирование. Так как кодинг - знакомая нам территория.
- The Project Trap: когда мы запланировали "проект" и совершенно не следим за тем, что окружение и задачи могли смениться и нам тоже нужно меняться. Но нет, мы будем дальше долбить спринты на то, что для нас уже не очень актуально
- The Silo Trap: мы сейчас все у себя нафигачим и всем дадим. А то, что всем это уже возможно не нужно, или они ожидают это иначе - не важно. Коммуникация важней чем кранчи.
- The Performance-First Trap: важные, но не актуальные или сложно-достижимые метрики становятся во главу угла и идет мастурбирование на них (100% DATA QUALITY!!?!?!)

В итоге получается как на картинке.


@ohmydataengineer - канал "🕯Труба Данных" про то, как работать с данными нормально.

https://www.timescale.com/blog/scaling-postgresql-to-petabyte-scale

Ожидал побольше мяготки и деталей от самих TimeScale, но внутри без графиков, к сожалению. Что очень странно, ведь ребята в прямом смысле делали dogfooding.

Однако в целом очень жирное заявление: 1 (!!) инстанс, 800 миллиардов метрик в день. Ничего себе так разогнали Postgres ⬆️


@ohmydataengineer - канал "🕯Труба Данных" про то, как не сходить с ума от очень большой даты.

https://juhache.substack.com/p/rip-iceberg-catalogs

Ложка дегтя о модном Iceberg

Если вы собираетесь пересаживаться на Iceberg формат табличке (модная сейчас тема), полезно знать и возможные проблемки, с которыми вы столкнетесь и пути их решения. Небольшая статья с картинками. Пригодится в споре с закисшими архитекторами.


@ohmydataengineer - канал "🕯Труба Данных" разрушает фантазии о модных технологиях.

https://www.uber.com/en-DE/blog/preon/


Как Uber написал свой анализатор запросов (оптимизатор, улучшатор) для Presto

В общем, классика - стандартные инструменты не справлялись с нагрузкой / задачами / итд, поэтому мы написали свою - Preon. Потому что нужно и потому что можем.
Но под капотом там интересные штуки, например, если они понимают, что запрос один и тот же, то зачем его исполнять, если у тебя есть TTL в 24 часа и этот запрос закеширован? 😃


@ohmydataengineer - канал "🕯Труба Данных" рассказывает про проблемы 1% компаний.

https://prestodb.io/blog/2024/09/26/query-optimization-with-historical-based-optimization-framework-in-presto/

Ну и далеко чтобы далеко не ходить, вот еще больше деталей про HBO (Historical-Based Optimization) в Мете, на том же Presto.
Чтиво по ссылке выше, а вот видео со скриншотов (и весь плейлист с одного из митапов Presto) - вот тут https://www.youtube.com/watch?v=C1LVg7VOWwg&list=PLJVeO1NMmyqUO07nUAbu7RyG1AM36iCGS&index=10


@ohmydataengineer - канал "🕯Труба Данных" решающий теорему Эскобара для Trino и Presto