DE – Telegram
522 subscribers
312 photos
81 videos
15 files
405 links
Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt, LLM agentic systems, AI, robots, drones etc.

Boost channel - https://news.1rj.ru/str/boost/data_engi
Download Telegram
DE
🤔 Почему у агентов текут секреты и как это остановить Самая частая уязвимость в AI-агентах - не хакинг, а обычный лог. Промпт, трейсбек, tool-вызов - всё это может случайно засветить токен или пароль. Обычно утечка выглядит так: ➡️ агент пишет всё подряд…
Санитайзер для гигиены секретов:

import logging, os, re

SECRET_PATTERNS = [re.compile(r'(sk-[A-Za-z0-9]{10,})'),
re.compile(r'(?i)api[_-]?key\s*=\s*([A-Za-z0-9\-_.]+)')]


def sanitize(s: str) -> str:
if not s:
return s
for p in SECRET_PATTERNS:
s = p.sub(lambda m: m.group(0)[:4] + '****' + m.group(0)[-4:], s)
return s


class RedactingFormatter(logging.Formatter):
def format(self, record):
record.msg = sanitize(str(record.msg))
if record.args:
record.args = tuple(sanitize(str(a)) for a in record.args)
return super().format(record)


logger = logging.getLogger("agent")
logger.setLevel(logging.INFO) # не DEBUG
h = logging.StreamHandler()
h.setFormatter(RedactingFormatter("%(levelname)s %(message)s"))
logger.addHandler(h)


#code #py #helper #AIsecurity
3👏63❤‍🔥1😁1
*️⃣OpenAI 21 октября 2025 года представила свой новый веб‑браузер под названием ChatGPT Atlas - браузер, построенный вокруг интерфейса ChatGPT.

Что умеет Atlas

🔜 Atlas встроил чат‑панель (sidebar), где ты можешь задавать вопросы прямо по содержимому текущей страницы - например:
🔘"Напиши саммари этого текста"
🔘"Сравни два товара"
🔘"Проанализируй данные"

🔜 Есть опциональный режим "Agent mode" (для подписчиков Plus/Pro) - браузер позволяет ИИ выполнять задачи вместо тебя:
🔘бронировать
🔘искать
🔘анализировать
🔘переходить между вкладками
🔘делать пулл-реквесты и т.д.

🔜 Контроль приватности и данных, или как минимум обещания - ты можешь управлять тем, что месси­нор браузера "запоминает". Atlas предлагает "browser memories"‑функцию, которая позволит ИИ хранить инсайты и факты о прошлых действиях, если ты разрешил.

⚡️ Почему это важно

🔜 Браузер - одна из ключевых точек взаимодействия с интернетом, и OpenAI явно стремится не только предложить чат, но изменить способ навигации.

🔜 Это сигнал: конкуренция с такими гигантами, как Google Chrome, выходит на новый уровень, когда ИИ‑интеграция становится не добавкой, а фундаментом браузера.

🔜 Но есть и вопросы: приватность, безопасность данных, сколько доверия стоит давать агентам, которые могут "действовать за тебя".

#Atlas #OpenAI #ChatGPT #AI #LLM #AIAgent #agents #ИИ #БЯМ #агенты
Please open Telegram to view this post
VIEW IN TELEGRAM
6😁1
Уже начал использовать Atlas? 👀
Anonymous Poll
13%
Да
87%
Нет
❤‍🔥5😁5
Внезапная новость: по результатам обсуждений разработчиков Apache Airflow решено отменить выпуск версии 3.1.1 RC1 и вместо него подготовить RC2.

Что произошло

🟢 23 октября 2025 года в рассылке разработчиков проекта был опубликован заголовок "[CANCELLED][VOTE] Release Airflow 3.1.1 from RC1".
🟢 Причина: связанная с выпуском ошибка зарегистрирована в GitHub‑issue #57145.
🟢 В письме указано, что голосование отменяется до устранения проблемы - после чего будет подготовлен релиз‑кандидат RC2.

Почему важно

🟡 Если ты планировал переход на Airflow 3.1.1 - стоит отложить обновление до выхода стабильного варианта после RC2.
🟡 Это демонстрирует, что команда проекта работает ответственно: пока ключевой баг не закрыт - релиз не будет утверждён.

#airflow #bug #release #de #dev
Please open Telegram to view this post
VIEW IN TELEGRAM
10😁1
DE pinned a photo
DE
Внезапная новость: по результатам обсуждений разработчиков Apache Airflow решено отменить выпуск версии 3.1.1 RC1 и вместо него подготовить RC2. Что произошло 🟢 23 октября 2025 года в рассылке разработчиков проекта был опубликован заголовок "[CANCELLED][VOTE]…
👍 Выкатили Airflow 3.1.1

Maintenance‑релиз поверх 3.1: "Significant changes" нет, зато много стабильности и UX‑правок. Если ты уже на 3.1.0 - апдейт пройдёт без сюрпризов.

😎 Что почувствуешь в проде:

✔️ Execution API: появился конфигурируемый таймаут запросов - проще управлять зависаниями/ретраями интеграций.
✔️ API × mapped tasks: можно очищать TI с указанием map‑индексов - точечно дёргать нужные ретраи, а не чистить все подряд.
✔️ UI/observability:
🔘 viewer логов теперь понимает ANSI‑форматирование;
🔘 гриды быстрее и аккуратнее рендерят большие DAG’и;
🔘 на странице Task Instances видны executor/hostname/queue - дебаг меньше ныряет в базы/логи.
✔️ Стабильность и багфиксы, которые закрывают острые кейсы:
🔘 Починили крэши scheduler’а (email‑нотификации; миграция 3.0 🔜 3.1 с retry_delay=None).
🔘 Починили падения DAG‑процессора при оптимизациях pre‑import.
🔘 Фикс утечки памяти в remote logging cache. ⚡️⚡️⚡️
🔘 Ряд точечных фиксов ретраев/deferred и контекста (mapped операторы, max_retry_delay, dag_run.conf=None, пр.). Полный список в релиз‑ноутах.
✔️ Интернационализация и UX‑детали: добавлены новые переводы (греческий, тайский и др.), fallback‑локаль на английский, улучшены подсветка логов, алерты в UI, авто‑refresh, мелкие визуальные правки.

И да, рядом поехал и Task SDK 1.1.1 - если выносишь таски за пределы core‑рантайма, это тоже к обновлению.

#airflow #de #data #dataengineering
Please open Telegram to view this post
VIEW IN TELEGRAM
8❤‍🔥1👏11
🚀 Новости воздушной мобильности

✈️ Korean Air и Archer Aviation подписали соглашение о совместном выводе eVTOL-самолётов Midnight в Южную Корею.

Авиакомпания планирует закупить до 100 машин, начиная с гос-применений (экстренные службы, инфраструктура) и далее - пассажирские перевозки.
Midnight рассчитан на пилота + 4 пассажиров, полёт 10–20 мин заменяет часовую поездку по земле.

🇰🇷 Это серьёзный шаг к реальной воздушной мобильности в Азии - с флотом eVTOL у национального перевозчика и подготовкой инфраструктуры под вертикальные площадки.

📦 Параллельно в США стартап DEXA (Drone Express) получил полный набор сертификатов FAA — Part 135 Air Carrier и BVLOS-разрешение на полёты за пределами видимости по всей стране. Теперь компания готова к масштабным коммерческим доставкам.

🤔 Тренд: воздушные технологии из стадии "демо" переходят в режим реальной эксплуатации - от дронов-курьеров до городских аэротакси.

#future #cars #drones #drone #aerotaxi #аэротакси #дроны
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥52👏1
😐 Nike запускает робо-кроссовки 😳

Nike представила технологию Project Amplify - первую в своём роде моторизованную систему для обуви, где лёгкий мотор, ременная передача и аккумулятор на голени помогают обычному человеку ходить и бегать легче.

Что интересно:
🔘Обувь оснащена углеродной пластиной и интегрированной моторной системой - экзоскелет для ног.
🔘Тестировщики сообщили: "подъёмы стали ощущаться как ровная поверхность, а темп бега улучшился с ~12 мин/милю до ~10 мин/милю".
🔘Nike акцентирует: эта история про каждодневное движение - время коммьютов, прогулок, лёгкого бега.
🔘Релиз пока не назначен - проект ещё в стадии разработки, но направление налицо: обувь становится технологическим устройством.

⭐️ Если идея захватит рынок - обувь перестанет быть просто модным аксессуаром и станет частью системы движения.

А ты бы надел такие кроссы? 🤔

#технологии #носимаятехника #Nike #robotics #спорт #sport #sneackers #кроссовки
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥4😁11
😁10
🙄 Албанский ИИ‑министр "беременна" - 83 "детей" для депутатов

Премьер Эди Рама в Берлине объявил: виртуальный министр Diella ждёт 83 цифровых помощников - по одному на каждого депутата правящей партии.
"Дети" будут участвовать в заседаниях, вести запись всего, что происходит, и подсказывать, как реагировать - даже если вы ушли на кофе


Что это значит: каждому депутату выдадут ИИ‑ассистента, который будет фиксировать повестку, присылать конспекты и уведомления о пропущенных обсуждениях и событиях.

Контекст: в сентябре 2025 Албания стала первой страной, где ИИ получил кабинетный пост. Diella курирует госзакупки - заявленная цель: сделать тендеры на 100% прозрачными и свободными от коррупции. Diella выросла из помощника на портале e‑Albania (с января 2025).

Не все в восторге: первое выступление Diella в парламенте сорвалось криком оппозиции- скандал и бойкот заседания.

Сроки: пилот идёт; полная готовность - конец 2026.

Как тебе такой govtech? 😵‍💫

🇦🇱 #ИИ #Албания #AI #LLM #agents
Please open Telegram to view this post
VIEW IN TELEGRAM
😁6❤‍🔥1👏1
GitHub выкатывают Agent HQ - по сути, "дом" для код‑агентов прямо внутри GitHub. Не только Copilot, но и ребята от OpenAI, Anthropic, Google (Jules), xAI, Cognition и др. - всё в одном месте. И да: это будет частью платной подписки Copilot. Добро пожаловать в эпоху "пастухов агентов", а не переключений между вкладками.

Что это по факту:

⭐️ Хаб агентов в GitHub: запускаешь сторонних coding‑агентов рядом с Copilot и смотришь, кто справится лучше. Можно гнать несколько агентов параллельно на одну задачу и выбрать лучший результат.

⭐️ Mission Control: единая панель, где ты управляешь, мониторишь и трекаешь все агентские задачи (GitHub, VS Code, CLI, даже с мобилы - единый опыт). Для админов завезли control plane: политики доступа и аудит‑логи - нормальная управляемость в энтерпрайзе, а не зоопарк.

⭐️ План 🔜 выполнение 🔜 проверка: в VS Code появится Plan Mode - Copilot сначала строит план, потом агент исполняет по шагам. Плюс код‑ревью шаг с доступом к инструментам уровня CodeQL, чтобы агент не тащил тебе сырой код.

Кому и когда:

⚡️ Подписчики Copilot получат доступ к Agent HQ "в ближайшие месяцы". Часть фич идёт как превью (логично для Universe).

⚡️ Отдельный бонус: ранний доступ к OpenAI Codex для Copilot Pro Plus в VS Code Insiders. Если следишь за моделями - любопытный поворот.

Зачем это тебе (без воды):

🔥 Больше не нужно гадать какой агент лучше: запускай несколько, сравнивай артефакты и оставляй то, что проходит твои тесты/линтеры.

🔥 Наконец‑то governance: политики, аудит, метрики - меньше серых зон для секьюрити и комплаенса.

🔥 Меньше контекст‑свитчинга: план ➡️ автозадачи ➡️ автоматизированное ревью - всё в одном потоке вместо "IDE 🔜 браузер 🔜 чат 🔜 тул".

Мой дев‑тэйк:

✏️ Это шаг от подсказывающего автокомплита к оркестрации агентов как полноценным участникам процесса - с контролями, логами и метриками. Главное - оставить у себя право финального мерджа и держать тесты & CodeQL включёнными по умолчанию.
Please open Telegram to view this post
VIEW IN TELEGRAM
1👏43😁2
😁7
DE_Cheatsheet.pdf
106.1 KB
Free Python Standard Library How-to
Cheatsheet for Data Engineers

#de #cheatsheet
❤‍🔥42👏1
Forwarded from Сиолошная
Вышел Cursor 2.0, и переход к новой мажорной версии сделан не просто так. Теперь вдобавок к режиму IDE (среде разработки) добавлен режим Agent.

Он сфокусирован и изначально задизайнен с акцентом на агентов, а не на файлы. Когда вам необходимо погрузиться глубже в код, вы можете легко открыть файлы в новом интерфейсе или переключиться обратно на классическую IDE.

Cursor 2.0 позволяет с легкостью запускать множество агентов впараллель, без взаимных пересечений. Можно запускать как одни и те же модели, так и разные — это новый паттен, возникший в последние полгода: люди работают в 3-4-5 копиях одного репозиториря, чтобы не просиживать штаны, пока агент гоняет код.

Но и параллельный запуск нескольких моделей для решения одной и той же задачи с последующим выбором наилучшего результата значительно улучшает итоговый результат.

В Cursor 2.0 мы теперь стало намного проще быстро просмотреть изменения, внесенные агентом, и при необходимости глубже изучить код. Кроме того, в инструмент внедрили специальный браузер, позволяющий Cursor-агенту тестировать свою работу и итерироваться, пока не будет получен корректный конечный результат. Плюс, если вам что-то не понравится — можно выделить элемент и дать обратную связь для исправления.

Вместе с этим компания запускает Composer, модель, обученную ими самими (вот блог, из интересного — используют свои MXFP8 kernels). Она не лучше закрытых проприетарных решений, зато сильно быстрее; но цена — как у GPT-5 (то есть ниже Sonnet 4.5 и тем более Opus).

С дизайна в ролике кайфанул 👇
Media is too big
VIEW IN TELEGRAM
8
🚁 Joby Aviation и NVIDIA: будущее автономного полёта уже рядом

28 октября Joby Aviation объявила о партнёрстве с NVIDIA - компания станет эксклюзивным авиационным партнёром новой платформы IGX Thor, созданной для систем реального времени и физического ИИ.

Эта технология ляжет в основу автономного полётного комплекса Superpilot, который позволит eVTOL-самолётам Joby адаптироваться к погоде, трафику и другим условиям в реальном времени.

💡 IGX Thor - первый шаг к сертифицированным системам автономного управления в авиации.

⚙️ NVIDIA получает идеальный "полевой" тест для своих решений, а Joby - технологическое преимущество на пути к полностью автономным полётам.

#Joby #NVIDIA #eVTOL #AI #авиация
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5