Во время лекции о сборе данных на курсе по ML System Design зашёл разговор о data governance. Пришли к неожиданным выводам:

1. Нормального определения нет, даже Data Management Institute не даёт чёткого ответа.
2. Попробовали сформулировать своё: Data Governance — это связка между процессами и политиками (policy), с одной стороны, и контролем + внедрением(policy enforcement), с другой, направленная на реализацию стратегии данных компании. (Часто стратегия сводится к обеспечению быстрого и бесшовного доступа к актуальным, полным и качественным данным с учётом контроля доступа и соблюдения комплаенса. Но, как известно по Румельту, это не совсем стратегия, поэтому требуется стратегия достижения, и data governance ближе к таковой.)

Проблема в том, что вторая часть связки — контроль и внедрение — часто отсутствует. Это приводит к тому, что через X лет после утверждения стратегии участники начинают перекладывать ответственность друг на друга, тыкать пальцем , и побеждает тот, у кого «палец длиннее».

Потенциальным решением видится направление в продуктовые/бизнес команды людей, который будет делать эту неблагодарную и важную работу, но и это непросто

Ученые смогли в мечту алхимиков

Вот это я понимаю инженеры. Перекладывают не json-ы, а сразу материю

https://4pda.to/2025/05/11/441908/vnutri_bolshogo_adronnogo_kollajdera_svinets_prevratili_v_zoloto/

Open source кунг-фу

Когда вышел фильм "карате-пацан" мы с другом смотрели его в кинотеатре, я был настолько вдохновлен этими крутыми приемами из кино и захотел заниматься единоборствами, друга в тот день побить не получилось, он был на 2 головы выше меня.
Я ходил на айкидо, учил приемы, нам показывали, как можно отбирать оружие у соперника. Сейчас я знаю, что если напротив вас стоит человек с оружием, никакие приемы не помогут, надо просто выполнять все его требования. Но тогда знание, что я могу отобрать у человека пистолет, как настоящий шпион вызывало восторг.
Однако бюджет на оплату тренировок кончился раньше, чем я успел отхватить на первых соревнованиях.

Но я узнал, что существует open source кунг-фу и даже есть своего рода "пояса":

1. Наличие github аккаунта
2. Ваш pull request кто-то смержит
3. Вы сделали релиз публичного пакета
4. Вам прислали pull request
5. Вам присылают такой pull request, который вы сами написать не могли
6. Вам присылают 100 багов
7. Компания предложит вам деньги за поддержку продукта
8. Github предлагает вам large runners
9. Спонсоры на github принесут вам 100 000$ в год

Девять ступеней Open Source кунг-фу | НЕЙМАРК

За майские праздники rafailmdzdv и Loki-Astari меня подняли на 4 уровень. Большое спасибо!
У меня даже есть коммит от core разработчика python, чем я очень горжусь.

Здорово, что вырастая, мы можем осуществлять свои детские мечты, хотя и не совсем в той форме, как мечтали🥋

Недавно ребята из astral (ruff, uv) выложили на github ty - свой тайпчекер (аналог mypy) https://github.com/astral-sh/ty. Никита Соболев пощупал его и записал небольшое видео с разбором. Если вам интересен тулинг для питона - посмотрите https://www.youtube.com/watch?v=5PCP4ICoirg

Находки в опенсорсе: ty (red-knot)

https://www.youtube.com/watch?v=5PCP4ICoirg

Вышло видео про новый тайпчекер и lsp: ty (старое название red-knot) от авторов ruff и uv.
Пока по первым впечатлениям – бомба! Не смотря на версию 0.0.0a8 🌚

Из плюсов:
- Быстрый
- На расте
- Куча новых фичей для типов
- Полная спецификация
- Интеграция с ruff и IDEшками

Из минусов:
- Пока есть баги (но их поправят, конечно же)
- Нет плагинов (и скорее всего никогда не будет)
- Софт от молодой и маленькой компании
- Как сделать поддержку ty и mypy вместе? Если использовались ty_extensions 🤷‍♂️

Обсуждение: а как вам проект? Успели попробовать?

| Поддержать | YouTube | GitHub | Чат |

Релиз Apache Airflow 2.11.0

Я уже не думал, что будут обновления для 2-й ветки Airflow, а тут релиз 2.11.0: https://github.com/apache/airflow/releases/tag/2.11.0

Причем это не какой-то релиз с багфиксами, там есть новые фишки:

— DeltaTriggerTimetable (trigger-based scheduling)
— Consistent timing metrics across all backends
— Более плавная подготовка к миграции на Airflow 3.0 (добавили команды airflow config lint и airflow config update)

Gemini diffusions от DeepMind.

Записываемся в вэйтлист.

Новая эра в GenAI?

Эра DiffusionLM is coming?

Быстрее, меньше (?), лучше.

https://deepmind.google/models/gemini-diffusion/#capabilities

Как отправить жопу мейнтейнера в космос. Краткий гайд от вайбкодеров.

У нас тут first-time-contributor притащил в FastStream прикольную фичу – поддержку HTTP в AsyncAPI.

Сначала код выглядел достаточно чистенько, но с косяками. Я подробно описывал, что поправить – в несколько итераций. В общем, обычный процесс ревью. В итоге пришли к финальной версии, где все норм. Я пошел проверять и кое-что править (а то я и так чувака заебал своими правками) – и оказалось, что его правки в AsyncAPI схему тупо не соответствуют спецификации – он их сам придумал. Схема не валидна и не рисуется...

А вероятнее даже их придумал не он, а LLM. У меня сейчас складывается картинка, что чувак просто закинул кодбазу + Issue в LLM, а вывод закинул как PR. Я же ревьюил код нейронки, а он просто кидал мои комменты обратно в LLM. А в итоге все вообще превратилось в тыкву, которая с самого начала была чьими-то галлюцинациями.

Ебаные блять вайб-фармеры-коммитов-в-OpenSource. Я трачу свое время на сопровождение PR, а он тупо в LLM все закидывает

https://github.com/ag2ai/faststream/pull/2142

Удивился второй раз в жизни при работе над инфрой. Первый раз был, когда переезд с Postgres на BigQuery в Blockchain com ускорил (на самом деле!) запросы в 100 раз и снизил стоимость в 10.

Тестировали Iceberg поверх Parquet

AWS Glue + Iceberg: стоимость ↓2.3x, скорость ↑3x
AWS EMR Serverless + Iceberg: стоимость ↓31x, скорость ↑6x
Databricks Serverless on Delta Lake: стоимость ↓3.5x, скорость ↑12x

Полез разбираться, как алгоритмически работает Iceberg поверх Parquet, и в очередной раз убедился, как же приятно читать/смотреть такие инженерные вещи, когда ребята садятся решать человеческие проблемы и находят простые решения.

Умные метаданные: знает статистики каждого файла без его чтения
Убирает дорогие LIST операции в S3 (экономия I/O)
Predicate pushdown: исключает файлы еще на этапе планирования
Hidden partitioning: автоматически находит нужные данные по любым колонкам ( У паркета тоже есть, но не так хорошо)
Snapshot isolation: читает консистентное состояние без блокировок

Главное - важность проверки разных платформ под конкретные бенчмарки. То, что работает для одного типа нагрузок, может быть неоптимально для другого.

P.S. Databricks показал отличные результаты с Delta Lake, но это уже другая история

Я достаточно давно знал о существовании сервиса context7.com, но добрался до тестов только сегодня.

На сайте опубликована актуальная документация по большому количеству (более 13000, ага) библиотек и языков.

Но дело не в сайте. Кого интересуют веб-морды во времена AI? 🙂

У них есть MCP-сервер. Код тут. Он решает извечную боль при написании кода через LLM. Когда библиотека обновилась, а база знаний о ней в LLM – нет. И AI-агент пытается использовать устаревшие интерфейсы в новых библиотеках. Потом ещё и версию пакета пытается понизить, "подогнав" под свой код.

Чтобы поставить MCP-сервер от context7 в Cursor, достаточно добавить в настройки mcp-серверов следующее:

"context7": {
      "command": "npx",
      "args": ["-y", "@upstash/context7-mcp"]
    }

Готово. MCP-сервер установлен и готов к работе.

Самое крутое – у него всего два инструмента. То есть он не забивает, как многие другие, весь контекст LLM всеми возможными инструментами, 90% из которых никогда не будут использованы.

Можно в инструкции для AI-агента сразу прописать, что валидность любого используемого интерфейса библиотек обязательно проверять через Tools.

В общем, ещё один MCP-сервер, который сразу можно брать в работу без переделывания "под себя".

Load balancer - необходимый элемент любой высоконагруженной системы. Кроме функций распределения входящих запросов по рабочим нодам, балансировщик может решать задачи service discovery, шифрования трафика, кеширования ответов, ограничения частоты запросов и т.д.

Еще это необходимый элемент пазла любого system design interview. Load balancer обычно является частью инфраструктуры, в которую разработчик деплоит написанный код. Это настолько обычная фоновая (относительно разработчика) часть инфраструктуры, что на собесе по проектированию ее легко забыть. Тогда архитектуры будет неполной, так как останется под вопросом решение ряда важных задач.

https://youtu.be/0bAo4ncU-YI

Формально у меня сегодня последний день в Neon, потому что я оказался среди поглощенных кирпичным заводом, на котором - пока столь же формально - начинаю работать завтра.

Поэтому символично, что сегодня успели зарелизить app.build - продукт, над которым мы небольшой командой работали с февраля. Это just another end2end генератор CRUD веб-приложений от промпта до деплоя.

Он полностью опенсорсный (можно покопаться в истории и увидеть все мои коммиты в стиле “maybe fix a lot of things”), работает как CLI и обычно генерит скорее работающие приложения. Можно сгенерить на наших серверах, можно развернуть у себя (все равно понадобится gemini и claude API, но можете прислать PR с поддержкой любимого LLM-провайдера). Шероховатостей еще много, но уже скорее работает, чем нет, так что пробуйте и присылайте баг-репорты!

Установили новую версию Airflow 3.0 вместе со слушателями подкаста🎧, посмотрели на новый модный интерфейс📊, и даже запустили пару DAGs в прямом эфире😱

В свежем видео от Data Coffee рассказываем:
• о новых фичах Airflow в версии 3.0
• как установить себе Airflow локально через Docker Compose
• достучаться до небес интерфейса
• и другое

#datacoffee #airflow #установка #прямойэфир

https://youtu.be/SVJRb9zf9SA?feature=shared