Видео Airflow Summit 2024

— Optimizing Airflow Performance: Strategies, Techniques, and Best Practices
— Airflow Datasets and Pub/Sub for Dynamic DAG Triggering
— Optimize Your DAGs: Embrace Dag Params for Efficiency and Simplicity
— Event-driven Data Pipelines with Apache Airflow
— LLMs for Software Development & Apache Airflow
— The road ahead: What’s coming in Airflow 3 and beyond?
— 10 years of Airflow: history, insights, and looking forward

Остальные доклады можно найти на официальном Ютуб-канале Apache Airflow

Как говориться - "как корабль назовешь" (не на правах рекламы, за название - пятерка)

Закрома – передовое российское ПО для хранения и управления корпоративными данными

Гибридное хранилище, предназначенное для безопасного и экономичного хранения и управления корпоративными данными произвольного формата в крупных организациях.
ЗАКРОМА обеспечивает быстрый поиск, предоставляет API для удобного взаимодействия и обладает мощным контролем доступа. В основе ЗАКРОМА лежит современный стандарт S3, который позволяет создавать высоконадежное хранилище для эффективного хранения больших объемов данных.

https://zakroma.ru/

Если вам кажется, что поиск Google за последние лет 5 испортился, то так оно и есть. В этой истории прекрасно всё 🤦‍♂️

- найм менеджера, который уже облажался в подобном проекте
- перекладывание вины с низкопробного менеджера на высококвалифицированного технаря
- индийские касты в сердце Калифорнии
- слом миссии инструмента с естественным ухудшением качества
- зацикленность на некорректных метриках

Эта история хорошо показывает, что у каждого инструмента должна быть миссия. У молотка - забивать; у холодильника - поддерживать определённую температуру (а не хранить продукты, ха-ха); у трансформатора - преобразовывать напряжение. А для оценки их эффективности мы должны использовать корректные метрики. Будет ли такой у молотка количество забитых гвоздей (MAU)? Или как часто мы его достаём (retention)? Скорее нет, чем да.

И что будет, если мы будем развивать продукт в альтернативном направлении в ущерб основному? Например, пытаться сделать трансформатор тише за счёт качества? В итоге мы потеряем как продукт, так и пользователей. Так что для каждой новой фичи стоит задаваться вопросом "а это действительно то, что должно делать приложение?". Feature creep ближе, чем вы думаете :)

P.S. А тем временем наш герой пошёл дальше https://www.interfax.ru/world/987355

https://habr.com/ru/companies/ruvds/articles/851280/ #менеджмент

Мигель Гринберг, известный своим мега-туториалом по Flask написал большой пост про обработку ошибок в python. Вопросы "когда и какие эксепшены обрабатывать" и "откуда мне узнать, какие эксепшены тут могут возникнуть" особенно актуальны у новичков, я даже у мидлов видел с этим затруднения. Статья довольно длинная, но я очень рекомендую потратить время и почитать https://blog.miguelgrinberg.com/post/the-ultimate-guide-to-error-handling-in-python

Оказывается, на хабре опубликовали перевод статьи https://habr.com/ru/articles/853056/

На 2025 год нам обещают волну компьютерных атак класса data poison. Отравление данных — это когда кто-то специально изменяет датасеты, которые используются для обучения систем искусственного интеллекта (ИИ), ML, чтобы заставить эти системы работать неправильно или выдавать неверные результаты.

Что может быть:
1. Неправильная маркировка. Атакующий может изменить метки данных.
2. Добавление вредоносных данных: В обучающие данные можно добавить специально созданные примеры, которые заставят систему принимать неверные решения.

Т.е. не DROP DATABASE, а добавляем в датасет несколько тысяч строчек, меняем чуток классы и опа, на наш паспорт бомжа выдают кредит в несколько миллионов рублей. Ну или прогнозные модели по погоде, транспорту начнут давать неверные результаты. Или ПО для автоматического выявления угроз в сети компании начнёт не замечать наш троянчик. Или копилот в IDE будет выдавать заведомо дырявый код. Чем дальше пойдёт внедрение AI/ML, тем больше будет таких атак.

Как защититься ? Хранить статистики, контрольные суммы, сличать, смотреть выбросы. Думать.

Как с помощью grep, cut, awk, sort сделать базу данных. Но зачем? 😂

Но я утащил эту статью в закладки, т.к. здесь собраны самые популярные комнды для работы с текстом. Надеюсь, никогда не понадобится 😰

https://habr.com/ru/articles/857756/ #linux