Рекрутеры используют AI, чтобы отсеивать нерелевантные отклики.

А можно просто фильтровать по словам и сразу всех "автоматизаторов откликов" выявить 😂

@ohmydataengineer - канал "🕯Труба Данных" и пятничный юмор!

https://www.astronomer.io/ebooks/apache-airflow-best-practices-etl-elt-pipelines/

Астрономер (главный контрибьютор Airflow) раздает книжку по best practices в Airflow. Ничего сверхестественного, но кажется вполне себе годным чтивом, обновить знания.

@ohmydataengineer - канал "🕯Труба Данных" любит Airflow, как бы его не хейтили

https://www.warpstream.com

Warpstream
Кстати, забыл рассказать, что я наткнулся на прикольный продукт от Confluent: Kafka, только вместо памяти на машинах - датка лежит в бакетах.
Да, скорость будет поменьше, но и ценник сильно меньше 😏

@ohmydataengineer - канал "🕯Труба Данных" радуется прикольным незнакомым инструментам!

https://medium.com/strava-engineering/rain-a-key-value-store-for-stravas-scale-7f580f5b4848

У меня love / hate relationships с бегом: когда-то я его любил, бегал марафоны, потом ненавидел, потом снова любил, потом снова ненавидел, ну вы поняли =)
И каждый раз я продолжал загружать свои пробежки в Strava.

Наткнулся тут на их инженерный блог и прикольную статью о том, что они там изобрели в качестве хранилищ для определенного типа данных и вообще как там у них устроено.

@ohmydataengineer - канал "🕯Труба Данных" про технологии в продуктах, которыми пользуемся ежедневно!

https://clickhouse.com/blog/json-bench-clickhouse-vs-mongodb-elasticsearch-duckdb-postgresql

Вы будете кидать 💩, но я опять про Clickhouse
Огромная статья с технической мяготкой про 1 Billion JSON Challenge и насколько новый нативный тип JSON в клике работает быстрей и эффективней по памяти и стораджу по сравнению с другими базами данных.


@ohmydataengineer - канал "🕯Труба Данных" в очередной раз про одно и то же!

Нам тут обещают, что скоро AI agents нас всех заменят.

Так вроде бы уже такие системы работают....

@ohmydataengineer - канал "🕯Труба Данных" и пятничный юмор!

https://www.gable.ai/data-contracts-book

ГигаЧад и O'Reilly выкатывают в открытый доступ (правда надо оставить емейл) первую версию книжки про дата контракты.
Как по мне, хайп на эту штуку прошел и чет даже не сильно зудит это применять. Но, возможно, вы что-то подчерпнете для себя!

@ohmydataengineer - канал "🕯Труба Данных" в сомнения про дата контракты

https://vutr.substack.com/p/8-minutes-to-understand-presto

Большая пояснительная статья про работу Presto (ну и в целом Trino работает похожим образом). Все еще сильно советую подписаться на этого парня, он хорошие статьи пишет

@ohmydataengineer - канал "🕯Труба Данных", который ничего умного в этот раз не придумал.

https://www.latent.space/p/2025-papers

Если вы угораете по white-papers и хорошим техническим статьям и публикациям (а не постам в блогах), вот отличный список из 50 статей пол AI Engineering.
Читать не перечитать!

@ohmydataengineer - канал "🕯Труба Данных" набрал себе чтива на недели вперед!

@ohmydataengineer - канал "🕯Труба Данных" и пятничный юмор!

https://www.pracdata.io/p/open-source-data-engineering-landscape-2025

Все вы помните огромные картинки, на которых 17 миллионов логотипов сервисов для данных. Вот эта статья - одна из таких, но тут главная особенность - здесь ТОЛЬКО open source решения, и причем в адекватном количестве. С понятными пояснениями, почему тот или иной инструмент попал в список.

Как всегда, читать эту картинку нужно следующим образом "А что еще есть на рынке в этой сфере кроме X?"


@ohmydataengineer - канал "🕯Труба Данных" и ставшие уже классическими landscapes картинки!

Когда я отправлял в календарь этот пост, DeepSeek и Mistral еще не взрывали пуканы обычных обывателей интернета.

@ohmydataengineer - канал "🕯Труба Данных" и пятничный юмор!

Всегда рад помочь хорошим и интересным проектам, чтобы про них узнала аудитория. Сегодня - один из таких случаев!

Привет, это Артемий @onepx, я создатель rushdb.com - передовой базы данных, построенной на базе Neo4j, не требующей конфигурации, моделирования данных и какой-либо нормализации данных.

Это позволяет использовать ее для быстрого прототипирования и разработки agentic решений и приложений без привлечения дорогостоящей backend экспертизы. Вы просто отправляете любые JSON / CSV данные, а RushDB берет на себя всю рутину по нормализации, лэйблингу, установке связей между сущностями и типизации входных данных.

Сегодня у нас случился публичный запуск и мы опубликовали краткий анонс всех возможностей и преимуществ нашего решения.

https://rushdb.com/blog/rushdb-the-zero-config-database-for-modern-apps-and-ai-solutions

RushDB доступен в open-source и в cloud managed варианте.

@ohmydataengineer - канал "🕯Труба Данных" рассказывает про новые базы данных!

А помните нашумевшую историю, в которой Klarna сократила на 80% штат customer support, потому что заменила всех своим AI?

Все инфлюенсеры предрекали смерть customer support позиций, каждый сервис на своем сайте чат-ботов повнедрял, вся фигня.

Так вот Klarna откатывает это решение и снова набирает персонал🐻‍❄️

(скриншот и новость подсмотрел у сами знаете кого)

@ohmydataengineer - канал "🕯Труба Данных" все еще не заменен на AI

@ohmydataengineer - канал "🕯Труба Данных" и Вьетнамские флешбеки!

Жаба, гадюка, литкод...

Следите за руками:

- Челик сделал тулзу, чтобы хакать литкод интервью (на самом деле таких много уже, отличаются подходами, где-то опираются на голос и распознавание речи, где-то на видео-поток или скриншоты)

- Прошел с ее помощью в Амазон, снял всё на видео и выложил в Ютуб.

- Амазон обиделся и требует отчисления чувака из универа


Ссылку на конкретно эту тулзу увидите на скриншоте.
Еще пара похожих: ParakeetAI и Final Round AI

Что с этим делать - решать вам =)


А еще…
https://x.com/im_roy_lee/status/1895726775185129555
Правда чел говорит, что получил еще кучку офферов, но не планирует ни один принимать и вообще планировал это все давно и литкод интервью это зло. И так как история взорвала твиттур, тут же начали отзывать свои офферы все остальные компании.


@ohmydataengineer - канал "🕯Труба Данных" верил, что время литкода пройдет!

https://debezium.io/blog/2025/02/01/real-time-data-replication-with-debezium-and-python/

Говорим Debezium, подразумеваем Kafka как точка, в которую у нас льются эвенты CDC. Казалось бы, самое стандартное и классическое решение, проверенное сотнями разных сетапов.
А вот нет, оказывается можно и без Kafka.

Debezium + CDC + Python + dlt → Real-time PostgreSQL replication

@ohmydataengineer - канал "🕯Труба Данных" удивлен новым подходам!