@ohmydataengineer - канал "🕯Труба Данных" и Вьетнамские флешбеки!

Жаба, гадюка, литкод...

Следите за руками:

- Челик сделал тулзу, чтобы хакать литкод интервью (на самом деле таких много уже, отличаются подходами, где-то опираются на голос и распознавание речи, где-то на видео-поток или скриншоты)

- Прошел с ее помощью в Амазон, снял всё на видео и выложил в Ютуб.

- Амазон обиделся и требует отчисления чувака из универа


Ссылку на конкретно эту тулзу увидите на скриншоте.
Еще пара похожих: ParakeetAI и Final Round AI

Что с этим делать - решать вам =)


А еще…
https://x.com/im_roy_lee/status/1895726775185129555
Правда чел говорит, что получил еще кучку офферов, но не планирует ни один принимать и вообще планировал это все давно и литкод интервью это зло. И так как история взорвала твиттур, тут же начали отзывать свои офферы все остальные компании.


@ohmydataengineer - канал "🕯Труба Данных" верил, что время литкода пройдет!

https://debezium.io/blog/2025/02/01/real-time-data-replication-with-debezium-and-python/

Говорим Debezium, подразумеваем Kafka как точка, в которую у нас льются эвенты CDC. Казалось бы, самое стандартное и классическое решение, проверенное сотнями разных сетапов.
А вот нет, оказывается можно и без Kafka.

Debezium + CDC + Python + dlt → Real-time PostgreSQL replication

@ohmydataengineer - канал "🕯Труба Данных" удивлен новым подходам!

https://stackoverflow.blog/2025/02/27/our-next-phase-q-and-a-was-just-the-beginning/

SO, хоть и был источником ответов на вопросы (я прекрасно помню что буквально 3 года назад мы первым делом делали поиск в нем, когда пытались исправить баг), но медленно помирал из-за токсичности, gate-keeping и налета элитизма местных бородачей.
А с появлением LLM траффик туда вообще упал до минимума.

Так вот ребята затеяли изменение своей модели и вообще смысла в своем проекте:

The new Stack Overflow will be one built to feel like a personalized homepage—your own technical aggregator. It might collect videos, blogs, Q&A, war stories, jokes, educational materials, jobs, all these formats (or maybe others, we would love to hear your ideas!), and fold them together into one personalized destination. We want this place to be your “third screen”—your entry point to your own neighborhood on the internet.

Что из этого получится?

@ohmydataengineer - канал "🕯Труба Данных", который чуть не забанили за первый вопрос на SO!

https://newsletter.pragmaticengineer.com/p/trimodal

Обновленная версия той самой известной статьи про три-модальную категоризацию компаний и зарплат в них.
Теперь дополнена данными из levels.fyi

Огромное и наглядное чтиво!

@ohmydataengineer - канал "🕯Труба Данных" подсказывает про зарплаты!

Мы выяснили много классных инсайтов, например:
👉 Главные выводы
👉 Какие задачи решают аналитики
👉 Что с релокацией у аналитиков
👉 Где работают и как работают (удалёнка/офис)
👉 ЗАРПЛАТЫ: как менялись за год и сколько получают аналитики + мы дополнили исследование нашей экспертизой: что повышает или снижает стоимость аналитиков
👉 Откуда пришли в профессию и куда идут дальше
👉 Как ищут работу
👉 ТОП и Анти-ТОП компаний для аналитиков
👉 Что ценят в аналитической культуре
👉 Каких экспертов котируют и за кем следят


Вот такое вот большое исследование у NewHR вышло по аналитикам данных, которое я когда-то вас давно просил помочь заполнить.

▶️ Ссылка на сайт с полными результатами
https://newhr.org/data/research-analysts-2024

С удовольствием делюсь всеми результатами (и безбожно скопировав текст, который мне ребята прислали с важными фактами) 😁


@ohmydataengineer - канал "🕯Труба Данных" сегодня про аналитиков!

Это что за новый зверь?

Были Data Engineers, потом MDS популяризировал лычку Analytics Engineer. А это что за зверь?

https://efds.fa.em5.oraclecloud.com/hcmUI/CandidateExperience/en/sites/CX_1/job/42523

@ohmydataengineer - канал "🕯Труба Данных" говорит об Data Software Developers!

https://github.com/deepseek-ai/smallpond

Там из каждого утюга уже написали про новый фреймворк который использовал DeepSeek для себя, где они сделали мультинодовый DuckDB и какие-то фантастические цифры якобы показали по обработке (https://github.com/deepseek-ai/3FS?tab=readme-ov-file#2-graysort)

Ну и я тоже напишу об этом 😁

@ohmydataengineer - канал "🕯Труба Данных" почти вовремя пишет новости!

https://arrow.apache.org/blog/2025/01/10/arrow-result-transfer/. и https://arrow.apache.org/blog/2025/02/28/data-wants-to-be-free/

Хорошая парочка технических статей (и будет потом еще несколько) про Apache Arrow и вообще как оно там под капотом.

@ohmydataengineer - канал "🕯Труба Данных" про Apache, но не Airflow!

@ohmydataengineer - канал "🕯Труба Данных" и очередной пятничный юмор!

ZooKeeper Deprecation

With the release of Apache Kafka 3.5, Zookeeper is now marked deprecated. Removal of ZooKeeper is planned in the next major release of Apache Kafka (version 4.0), which is scheduled to happen no sooner than April 2024. During the deprecation phase, ZooKeeper is still supported for metadata management of Kafka clusters, but it is not recommended for new deployments.

Пересаживаемся на KRaft. И слава богу. https://kafka.apache.org/documentation/#kraft

P.S. Зукипер был главнюком 14(!!) лет в деплойментах Кафки.

@ohmydataengineer - канал "🕯Труба Данных" никогда не любил зукипер!

https://blog.2minutestreaming.com/p/apache-kafka-4-0-release

Что касается изменений в 4.0 у Кафки (релиз состоялся), уход на покой Zookeeper не самый горячий пирожочек.
А вот это - да.

KIP-932: Queues (EA) 🚇
Perhaps the hottest new feature, Queues introduces a new type of consumer group - the Share Consumer - that gives you queue-like semantics:
1. per-message acknowledgement/retries
2. ability to have many consumers collaboratively share progress reading from the same partition (previously, only one consumer per consumer group could read a partition at any time)

@ohmydataengineer - канал "🕯Труба Данных"

https://x-x.codes/posts/100-tips-on-how-to-use-me/

Если вам удалось попробовать заниматься разработкой с агентами, то вот прекрасный набор советов о том, как этот процесс ускорить и улучшить.
По себе могу заметить, как изменился flow разработки, в очень интересном мире мы живем 🤪

@ohmydataengineer - канал "🕯Труба Данных"

Стараемся не пропускать все-таки пятничный юмор!

@ohmydataengineer - канал "🕯Труба Данных"

Astronomer (это который главный контрибуток в Airflow) заопенсорсил новые декораторы:

➡️ @task.llm: Define a task that calls an LLM
➡️ @task.agent: Define a task that calls an agent
➡️ @task.llm_branch: Control flow of a DAG based on LLM outputs.

По ссылке в репе https://github.com/astronomer/airflow-ai-sdk есть примеры
1️⃣ Deep research: Use duckdb to generate a research report
2️⃣ Email generation: Generates personalized email prospects
3️⃣ Github changelog: Summarize the commits to the Airflow project
4️⃣ Product Feedback Summarization: The project's name says it all
5️⃣ Support Ticket Routing: Routes support tickets to the correct department


@ohmydataengineer - канал "🕯Труба Данных"

https://news.1rj.ru/str/ohmydataengineer/636

Помните, недавно рассказывал про парня, который сделал тулзу чтобы хакать литкод интервью и все завиралилось?
По его словам, Амазон пригрозил университету "Или исключайте челика, или мы больше не нанимаем из вашего вуза". И его исключили.

https://www.linkedin.com/posts/roy-lee-goat_i-just-got-kicked-out-of-columbia-for-taking-activity-7310834407433453568-tqAm

@ohmydataengineer - канал "🕯Труба Данных"

https://buf.build/product/bufstream

Какое-то время назад говорил про "немного медленней и сильно дешевле" альтернативу Kafka - Warpstream. Потому что данные в объектном хранилище.

Так вот еще одно похожее решение, еще и с Iceberg - Bufstream.

@ohmydataengineer - канал "🕯Труба Данных" опять радуется прикольным незнакомым инструментам!

Две важные новости в канале:
- с сегодняшнего дня в нем появится реклама, мне надо ипотеку в России закрыть
- это последний пост, на который можно будет поставить 💩