Lakehouse 1.0 vs 2.0

🚀 Lakehouse 1.0 - попытка починить склад

Первая версия Lakehouse решала боль Data Warehouse, но делала это по-старому:

💾 Закрытая логика: Метрики и схемы жили в силосах BI-систем. Любая миграция - боль.

🔄 Одна сущность - три версии правды: Отчёт маркетинга ≠ отчёт продаж ≠ отчёт ops.

⚙️ Тесно связанные компоненты: compute + storage = монолит.

🔒 Vendor lock: Форматы, метаданные, даже governance принадлежали платформе-вендору.

🧩 Нет нативной семантики: Каждый инструмент крутил свои метрики вручную.

Результат - дорого, фрагментированно и очень трудно масштабировать без потери доверия к данным.

〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️

🏄‍♂️ Lakehouse 2.0 - построить систему, как работают команды

Второе поколение решает ключевую проблему - делает данные живыми, гибкими и нативными для разных стеков:

🧠 Semantic / Metrics Layer: Единый слой правды. Метрики, онтологии и контракты данных живут вместе.

🌐 Децентрализованные операции: Каждая команда (Sales, Mkt, Ops) может обновлять общую истину через свои доменные API.

🧩 Composable Compute: Можно выбирать движок: Spark, Trino, Dremio - без зависимости от формата.

🪶 Open Formats & Metadata: Никаких "запертых" схем. Метаданные - общие, интероперабельные.

🗂️ Catalog beyond data: Каталог объединяет логику, политику, lineage и ресурсы - мультиинструментальная, не моновендорная экосистема.

Lakehouse 1.0 - это инфраструктура.
Lakehouse 2.0 - это культура данных.

#de #dwh #lakehouse

🤖 Робот по цене смартфона 🙂

Китайский стартап Noetix Robotics показал гуманоида Bumi за ¥9 998 (~$1.4k).

Детский рост 94 см, вес ~12 кг. Умеет ходить/бегать/танцевать, понимает голос и поддерживает блочное программирование для учебы и игр.

Предзаказ уже открыт в Китае (JD и оф. каналы) в окне 23.10 🔜 12.12.
Цена смартфона за домашнего гуманоида - потребительский сегмент реально стартовал.

#Bumi #Noetix #robotics #гуманоиды #роботы

🤔 Почему у агентов текут секреты и как это остановить

Самая частая уязвимость в AI-агентах - не хакинг, а обычный лог.
Промпт, трейсбек, tool-вызов - всё это может случайно засветить токен или пароль.

Обычно утечка выглядит так:
➡️ агент пишет всё подряд в debug-лог;
➡️ system-prompt с ключами сохраняется в истории;
➡️ при ошибке фреймворк выводит traceback с параметрами;
➡️ кто-то забывает выключить print() в проде.

🧱 Как держать секреты в секрете

1️⃣ Не вставляй ключи в промпт - агенту они не нужны.
2️⃣ Передавай токены только внутри tool, а не через LLM-контекст.
3️⃣ Маскируй логи - sk-1234****abcd.
4️⃣ Отключай DEBUG в продакшене.
5️⃣ Не сохраняй историю диалога с system-prompt.
6️⃣ Ротируй ключи регулярно и автоматически.

🔐 Принцип минимального доверия

🔘Агент должен знать ровно столько, сколько нужно для задачи.
Ни больше, ни меньше.
🔘Каждый print() - потенциальный инцидент.
🔘Каждый лишний токен в prompt - потенциальная утечка.


#AI #AgentSecurity #AIAgents #CyberSecurity #DevSecOps #PromptEngineering #DataLeak #AIDev #Security #MLOps #LLM #OpenSource #TechSafety #AIпрактика #Инфобез #AIутечки #БЯМ

*️⃣OpenAI 21 октября 2025 года представила свой новый веб‑браузер под названием ChatGPT Atlas - браузер, построенный вокруг интерфейса ChatGPT.

Что умеет Atlas

🔜 Atlas встроил чат‑панель (sidebar), где ты можешь задавать вопросы прямо по содержимому текущей страницы - например:
🔘"Напиши саммари этого текста"
🔘"Сравни два товара"
🔘"Проанализируй данные"

🔜 Есть опциональный режим "Agent mode" (для подписчиков Plus/Pro) - браузер позволяет ИИ выполнять задачи вместо тебя:
🔘бронировать
🔘искать
🔘анализировать
🔘переходить между вкладками
🔘делать пулл-реквесты и т.д.

🔜 Контроль приватности и данных, или как минимум обещания - ты можешь управлять тем, что месси­нор браузера "запоминает". Atlas предлагает "browser memories"‑функцию, которая позволит ИИ хранить инсайты и факты о прошлых действиях, если ты разрешил.

⚡️ Почему это важно

🔜 Браузер - одна из ключевых точек взаимодействия с интернетом, и OpenAI явно стремится не только предложить чат, но изменить способ навигации.

🔜 Это сигнал: конкуренция с такими гигантами, как Google Chrome, выходит на новый уровень, когда ИИ‑интеграция становится не добавкой, а фундаментом браузера.

🔜 Но есть и вопросы: приватность, безопасность данных, сколько доверия стоит давать агентам, которые могут "действовать за тебя".

#Atlas #OpenAI #ChatGPT #AI #LLM #AIAgent #agents #ИИ #БЯМ #агенты

Внезапная новость: по результатам обсуждений разработчиков Apache Airflow решено отменить выпуск версии 3.1.1 RC1 и вместо него подготовить RC2.

Что произошло

🟢 23 октября 2025 года в рассылке разработчиков проекта был опубликован заголовок "[CANCELLED][VOTE] Release Airflow 3.1.1 from RC1".
🟢 Причина: связанная с выпуском ошибка зарегистрирована в GitHub‑issue #57145.
🟢 В письме указано, что голосование отменяется до устранения проблемы - после чего будет подготовлен релиз‑кандидат RC2.

Почему важно

🟡 Если ты планировал переход на Airflow 3.1.1 - стоит отложить обновление до выхода стабильного варианта после RC2.
🟡 Это демонстрирует, что команда проекта работает ответственно: пока ключевой баг не закрыт - релиз не будет утверждён.

#airflow #bug #release #de #dev

👍 Выкатили Airflow 3.1.1

Maintenance‑релиз поверх 3.1: "Significant changes" нет, зато много стабильности и UX‑правок. Если ты уже на 3.1.0 - апдейт пройдёт без сюрпризов.

😎 Что почувствуешь в проде:

✔️ Execution API: появился конфигурируемый таймаут запросов - проще управлять зависаниями/ретраями интеграций.
✔️ API × mapped tasks: можно очищать TI с указанием map‑индексов - точечно дёргать нужные ретраи, а не чистить все подряд.
✔️ UI/observability:
🔘 viewer логов теперь понимает ANSI‑форматирование;
🔘 гриды быстрее и аккуратнее рендерят большие DAG’и;
🔘 на странице Task Instances видны executor/hostname/queue - дебаг меньше ныряет в базы/логи.
✔️ Стабильность и багфиксы, которые закрывают острые кейсы:
🔘 Починили крэши scheduler’а (email‑нотификации; миграция 3.0 🔜 3.1 с retry_delay=None).
🔘 Починили падения DAG‑процессора при оптимизациях pre‑import.
🔘 Фикс утечки памяти в remote logging cache. ⚡️⚡️⚡️
🔘 Ряд точечных фиксов ретраев/deferred и контекста (mapped операторы, max_retry_delay, dag_run.conf=None, пр.). Полный список в релиз‑ноутах.
✔️ Интернационализация и UX‑детали: добавлены новые переводы (греческий, тайский и др.), fallback‑локаль на английский, улучшены подсветка логов, алерты в UI, авто‑refresh, мелкие визуальные правки.

И да, рядом поехал и Task SDK 1.1.1 - если выносишь таски за пределы core‑рантайма, это тоже к обновлению.

#airflow #de #data #dataengineering

🚀 Новости воздушной мобильности

✈️ Korean Air и Archer Aviation подписали соглашение о совместном выводе eVTOL-самолётов Midnight в Южную Корею.

Авиакомпания планирует закупить до 100 машин, начиная с гос-применений (экстренные службы, инфраструктура) и далее - пассажирские перевозки.
Midnight рассчитан на пилота + 4 пассажиров, полёт 10–20 мин заменяет часовую поездку по земле.

🇰🇷 Это серьёзный шаг к реальной воздушной мобильности в Азии - с флотом eVTOL у национального перевозчика и подготовкой инфраструктуры под вертикальные площадки.

📦 Параллельно в США стартап DEXA (Drone Express) получил полный набор сертификатов FAA — Part 135 Air Carrier и BVLOS-разрешение на полёты за пределами видимости по всей стране. Теперь компания готова к масштабным коммерческим доставкам.

🤔 Тренд: воздушные технологии из стадии "демо" переходят в режим реальной эксплуатации - от дронов-курьеров до городских аэротакси.

#future #cars #drones #drone #aerotaxi #аэротакси #дроны

🙄 Албанский ИИ‑министр "беременна" - 83 "детей" для депутатов

Премьер Эди Рама в Берлине объявил: виртуальный министр Diella ждёт 83 цифровых помощников - по одному на каждого депутата правящей партии.

"Дети" будут участвовать в заседаниях, вести запись всего, что происходит, и подсказывать, как реагировать - даже если вы ушли на кофе

Что это значит: каждому депутату выдадут ИИ‑ассистента, который будет фиксировать повестку, присылать конспекты и уведомления о пропущенных обсуждениях и событиях.

Контекст: в сентябре 2025 Албания стала первой страной, где ИИ получил кабинетный пост. Diella курирует госзакупки - заявленная цель: сделать тендеры на 100% прозрачными и свободными от коррупции. Diella выросла из помощника на портале e‑Albania (с января 2025).

Не все в восторге: первое выступление Diella в парламенте сорвалось криком оппозиции- скандал и бойкот заседания.

Сроки: пилот идёт; полная готовность - конец 2026.

Как тебе такой govtech? 😵‍💫

🇦🇱 #ИИ #Албания #AI #LLM #agents

GitHub выкатывают Agent HQ - по сути, "дом" для код‑агентов прямо внутри GitHub. Не только Copilot, но и ребята от OpenAI, Anthropic, Google (Jules), xAI, Cognition и др. - всё в одном месте. И да: это будет частью платной подписки Copilot. Добро пожаловать в эпоху "пастухов агентов", а не переключений между вкладками.

Что это по факту:

⭐️ Хаб агентов в GitHub: запускаешь сторонних coding‑агентов рядом с Copilot и смотришь, кто справится лучше. Можно гнать несколько агентов параллельно на одну задачу и выбрать лучший результат.

⭐️ Mission Control: единая панель, где ты управляешь, мониторишь и трекаешь все агентские задачи (GitHub, VS Code, CLI, даже с мобилы - единый опыт). Для админов завезли control plane: политики доступа и аудит‑логи - нормальная управляемость в энтерпрайзе, а не зоопарк.

⭐️ План 🔜 выполнение 🔜 проверка: в VS Code появится Plan Mode - Copilot сначала строит план, потом агент исполняет по шагам. Плюс код‑ревью шаг с доступом к инструментам уровня CodeQL, чтобы агент не тащил тебе сырой код.

Кому и когда:

⚡️ Подписчики Copilot получат доступ к Agent HQ "в ближайшие месяцы". Часть фич идёт как превью (логично для Universe).

⚡️ Отдельный бонус: ранний доступ к OpenAI Codex для Copilot Pro Plus в VS Code Insiders. Если следишь за моделями - любопытный поворот.

Зачем это тебе (без воды):

🔥 Больше не нужно гадать какой агент лучше: запускай несколько, сравнивай артефакты и оставляй то, что проходит твои тесты/линтеры.

🔥 Наконец‑то governance: политики, аудит, метрики - меньше серых зон для секьюрити и комплаенса.

🔥 Меньше контекст‑свитчинга: план ➡️ автозадачи ➡️ автоматизированное ревью - всё в одном потоке вместо "IDE 🔜 браузер 🔜 чат 🔜 тул".

Мой дев‑тэйк:

✏️ Это шаг от подсказывающего автокомплита к оркестрации агентов как полноценным участникам процесса - с контролями, логами и метриками. Главное - оставить у себя право финального мерджа и держать тесты & CodeQL включёнными по умолчанию.