Пришло мне тут такое письмо от автора самой популярной платной новостной рассылки для айтишников:

Hi - this is Gergely, author of The Pragmatic Engineer Newsletter.

Last year, in April 2023, you shared details in the Tech Leader Compensation survey, conducted by The Pragmatic Engineer and VC firm Creandum. Creandum has since published their report, and today I'm publishing an in-depth look at these numbers. You can view details of this report here.

Делюсь c вами зарплатой лидов в этих ваших Европах.

@career_works

https://www.youtube.com/watch?v=QSui0KQ2rE4

Пока гуглил по платформы для A/B тестов, наткнулся на вот такой хороший доклад от ребят из Flo про их Data Platform.
Оказалось оч полезно и ознакомительно

@ohmydataengineer

Пятничный юмор или как совет директоров попросил AI внедрить 😂 (true story)

@ohmydataengineer

https://boehs.org/node/everything-i-know-about-the-xz-backdoor

Всю прошлую неделю (и скорее всего, текущую тоже), Tech часть интернета будет бухтеть про XZ уязвимость, или, как ее прозвали "Бекдор для всего интернета". 2 года подготовки и ребятам почти удалось, но один из специалистов заметил проблемки с перформансом ssh (работал на 500 ms дольше), пошел разбираться и наткнулся на очень много интересного.

@ohmydataengineer

https://mattturck.com/landscape/mad2024.pdf

Стабильный гость этого канала - MAD 2024 - Machine Learning, AI & Data Landscape.

@ohmydataengineer

https://clickhouse.com/blog/building-a-logging-platform-with-clickhouse-and-saving-millions-over-datadog

Занимательное чтиво про Кликхаус и как он используется для логов. Мяготка, с деталями и схемами.
Не без налета саморекламы, конечно 😂

@ohmydataengineer

https://www.astronomer.io/state-of-airflow/

Астрономер выкатил репорт про текущее состояние Airflow. Если кратко - все хорошо у него, по скорость развития и контрибьюшенов опережает Spark и Kafka.

Ссылку сначала увидел у @dataexplorers, а потом у себя в почте.

@ohmydataengineer

Очень долго смеялся и плакал 😳

(ибо это все до боли знакомо)

Тема недели в #it_memes

https://medium.com/intuit-engineering/how-intuit-data-analysts-write-sql-2x-faster-with-internal-genai-tool-c3b9d482208a

В продолжении прошлого пятничного мема, количество платформ и сервисов, которые за денюжку, подключиться к DWH и делать там запросики - увеличилось в 10 раз. И стоит это много, а вот поднять простенький https://huggingface.co/tsdocode/text-to-sql и натравить на мету - не, спасибо.

В статье, кстати, описан второй подход и оч даже хорошие результаты.

@ohmydataengineer

https://github.com/airbnb/chronon

Airbnb выложил в открытый доступ то ли фичастор, то ли аггрегатор семантического слоя, то ли что то для AI 😂

Chronon is a platform that abstracts away the complexity of data computation and serving for AI/ML applications. Users define features as transformation of raw data, then Chronon can perform batch and streaming computation, scalable backfills, low-latency serving, guaranteed correctness and consistency, as well as a host of observability and monitoring tools.

It allows you to utilize all of the data within your organization, from batch tables, event streams or services to power your AI/ML projects, without needing to worry about all the complex orchestration that this would usually entail.

More information about Chronon can be found at chronon.ai.

@ohmydataengineer

Коллеги делятся прекрасным из IL рынка бихдаты!


@ohmydataengineer

Пятничный юмор!

Не постил ничего почти месяц. А вас стало только больше 😱
Пора возвращаться в ритм.

@ohmydataengineer

https://blog.picnic.nl/7-antifragile-principles-for-a-successful-data-warehouse-574b655f0bc6

В последнее время приходится много делать архитектурных задач, поэтому вытаскиваю из списка "Прочитать позже" всякие статейки про архитектуру и подходы в проектировании.

@ohmydataengineer

https://mattermost.com/blog/making-a-postgres-query-1000-times-faster/

Обычно мне кидают какашонков на то, что статьи оч поверхностные или, еще хуже, не релевантные.
Сегодня, надеюсь, не такая 😂

На деле, конечно, ничего необычного и без серебрянных пуль, просто было приятно и полезно читать ход чужих мыслей, когда люди дебажат долгие запросы.

@ohmydataengineer

https://habr.com/ru/companies/lamoda/articles/810705/

К сожалению, в России инженерные блоги компаний ведутся на Хабре, а не на stand-alone ресурсах.
Однако это не мешает появлению там интересных статей с деталями и разборами.

Например, у Lamoda про Spark & Airflow.

@ohmydataengineer

https://www.thdpth.com/p/whats-wrong-with-bi

Достаточно простой, но очень верный текст про текущее состояние BI. Главные пункты из статьи:

- Self-serve это красивая идея с очень фиговой реализацией
- BI используется теми, кто умеет им пользоваться, а не теми, кто должен (привет, эксельки для C-level)
- BI это дашборды и репорты, а должно быть support in decision making. Дашборды ради дашбордов, минимальное понимание зачем появляется на экране та или иная метрика и что с ней делать, если она изменяется.

@ohmydataengineer

https://tech.instacart.com/real-time-fraud-detection-with-yoda-and-clickhouse-bd08e9dbe3f4

Чем больше я смотрю и читаю про Clickhouse, тем больше я впечатляюсь его скоростью и работоспособностью прожевывать все и вся на гигантских объемах.

@ohmydataengineer