DE – Telegram
523 subscribers
313 photos
81 videos
15 files
407 links
Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt, LLM agentic systems, AI, robots, drones etc.

Boost channel - https://news.1rj.ru/str/boost/data_engi
Download Telegram
😁8
Media is too big
VIEW IN TELEGRAM
Кожаные опять пытаются показать превосходство над железякаи. Unitree G1 в режиме "антигравитация" не сдаётся.

#robotics
5❤‍🔥1😁1
Сегодня в условии задачи вижу строку:
Ограничение по памяти: 1024 мебибайта

и думаю: "Ну точно опечатка, наверняка хотели написать мегабайта, какие-то мебибайты смешные".

Оказалось - вовсе не опечатка.

✏️Мебибайт (MiB) - это не мегабайт (MB).
🔘1 MiB = 1 048 576 байт (2²⁰)
🔘1 MB = 1 000 000 байт (10⁶)

Соответственно, 1024 MiB = 1 GiB = 1 073 741 824 байта.

Просто в олимпиадных системах любят точность и всегда указывают именно мебибайты.
А я вот до сих пор привык думать в "мегабайтах".
Please open Telegram to view this post
VIEW IN TELEGRAM
7😁2❤‍🔥1
Как ты думаешь, что значит "GiB"? 🙃
Anonymous Quiz
15%
Гигабайт ❗️
17%
Гегибайт 😎
10%
Грибибайт 🍄
58%
Гибибайт 🙂
😁7
DE
Полезное применение железных гуманоидов. #ai #robotics
Media is too big
VIEW IN TELEGRAM
🤖 Figure показала Helix - новую VLA для гуманоидов. Одна модель и один набор весов: полный контроль верхней части тела на 200 Гц, коллаборация двух роботов и работа целиком "на борту". Команды на естественном языке 🔜 хват тысяч новых предметов. Будущее бытовых роботов стало ближе.

#robotics #ai #figure #helix #openai
Please open Telegram to view this post
VIEW IN TELEGRAM
5❤‍🔥1👏1
Media is too big
VIEW IN TELEGRAM
Эволюция прямохождения роботов Figure

#robotics #ai #figure #helix #openai
5❤‍🔥1
DE
Полезное применение железных гуманоидов. #ai #robotics
This media is not supported in your browser
VIEW IN TELEGRAM
Ох, он ещё и посудомойку умеет загружать, ну точно надо брать 🙂

#robotics #helix #figure
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5👏1
Airflow 3.1 делает ставку на "human‑in‑the‑loop" - человеко-центричные воркфлоу, возвращает удобные Calendar/Gantt в новую React‑UI, приносит Deadline Alerts для проактивного мониторинга, международную локализацию на 17 языков, плагинную систему React (AIP‑68) и поддержку Python 3.13. Это не просто "ещё одна минорка": релиз переосмысливает место человека в автоматизированных пайплайнах и упрощает жизнь авторам DAG-ов.

#airflow #3.1 #release
6👏22😁1
DE
Airflow 3.1 делает ставку на "human‑in‑the‑loop" - человеко-центричные воркфлоу, возвращает удобные Calendar/Gantt в новую React‑UI, приносит Deadline Alerts для проактивного мониторинга, международную локализацию на 17 языков, плагинную систему React (AIP‑68)…
Human‑in‑the‑Loop: когда автоматизация останавливается и ждёт твоего решения

Главная идея релиза - встроенная поддержка задач, которые осознанно ждут вмешательства человека: ревью вывода ML‑модели, модерация контента, апрувы риск‑чувствительных действий, валидация качества данных. Такие таски приостанавливаются (deferred), показывают в UI понятную форму с контекстом (включая XCom и параметры DAG) и продолжаются после решения. Это снижает риск "немых" автопроцессов и легализует человеческую экспертизу в критических точках.

Пример:

from airflow.sdk import DAG
from airflow.providers.standard.operators.hitl import HITLOperator


with DAG("ml_guardrails", schedule="@daily") as dag:
approve = HITLOperator(
task_id="human_review",
message="Проверь метрики модели перед выкладкой",
data_key="eval_report",
)

#airflow #release
42❤‍🔥1
DE
Airflow 3.1 делает ставку на "human‑in‑the‑loop" - человеко-центричные воркфлоу, возвращает удобные Calendar/Gantt в новую React‑UI, приносит Deadline Alerts для проактивного мониторинга, международную локализацию на 17 языков, плагинную систему React (AIP‑68)…
UI, за который не стыдно: Calendar и Gantt возвращаются

После переезда на React‑интерфейс в 3.0 сообщество вернуло Calendar и Gantt - уже в новом UI и с заметным ускорением. Появилось больше фильтров, можно пинить любимые DAG-и - вроде мелочь, но спасает при сотнях пайплайнов.

Визуальная тема стала аккуратнее и доступнее по контрастам. Показательно, что в 3.1 кратно вырос объём фич/PR‑ов в UI - ставка сделана на UX.

#airflow #release
4😁2❤‍🔥1
Deadline Alerts: не ждать падения, а предупреждать заранее

Новый механизм Deadline Alerts позволяет заранее сигнализировать, если DAG‑run "перерасходует" свой бюджет времени: указываешь опорную точку (например, время постановки в очередь), интервал, и способ оповещения (через Notifiers или свой callback). Это удобнее старых SLA‑подходов и лучше соответствует реальному SLO‑мониторингу.

Идея в коде:
from datetime import timedelta
from airflow.sdk.definitions.deadline import DeadlineAlert, DeadlineReference, AsyncCallback
from airflow.providers.slack.notifications.slack_webhook import SlackWebhookNotifier


with DAG(
"critical_etl",
deadline=DeadlineAlert(
reference=DeadlineReference.DAGRUN_QUEUED_AT,
interval=timedelta(hours=2),
callback=AsyncCallback(SlackWebhookNotifier, kwargs={"text": "ETL пропустил дедлайн"})
),
):
...

Гайд по миграции со старых SLA на Deadline Alerts 🔜 ссылка

#airflow #release
Please open Telegram to view this post
VIEW IN TELEGRAM
42👏1
DE
Airflow 3.1 делает ставку на "human‑in‑the‑loop" - человеко-центричные воркфлоу, возвращает удобные Calendar/Gantt в новую React‑UI, приносит Deadline Alerts для проактивного мониторинга, международную локализацию на 17 языков, плагинную систему React (AIP‑68)…
Собери свой Airflow: React‑плагины (AIP‑68), external views и FastAPI‑подприложения

Airflow 3.1 приносит новую плагинную систему для UI: можно встраивать свои React‑приложения и внешние представления (до iframes), добавлять внешние ссылки, а на стороне API‑сервера — регистрировать подприложения FastAPI и middleware. По сути это платформа, куда "пристёгиваются" инструменты компании: каталог датасетов, lineage, финтех‑аппрувалки, да хоть борт с KPI.

#airflow #release
42💯1
DE
Airflow 3.1 делает ставку на "human‑in‑the‑loop" - человеко-центричные воркфлоу, возвращает удобные Calendar/Gantt в новую React‑UI, приносит Deadline Alerts для проактивного мониторинга, международную локализацию на 17 языков, плагинную систему React (AIP‑68)…
Технические штрихи, на которые стоит обратить внимание

Task SDK продолжает "отстыковку' от core. Рекомендуемые импорты для авторов DAG-ов теперь через airflow.sdk, что готовит почву к более независимым апгрейдам и снижает связность с внутренностями Airflow. Документация Task SDK 1.1.0 это закрепляет. Полное разнесение имплементаций команда обещает в 3.2.

Python 3.13 поддерживается (3.9 - исключён). В 3.1 официально: 3.10/3.11/3.12/3.13. Это тянет за собой обновления окружений и CI.

Новые фичи из релиз‑ноутов, которые "стреляют" в проде:
▶️ Calendar/Gantt в новой UI (с фильтрами).
▶️ SQLAlchemy 2.0 совместимость и поддержка psycopg3.
▶️ В UI видно, кто запустил DAG‑run (аудит).
▶️ Новый триггер‑rule ALL_DONE_MIN_ONE_SUCCESS.
▶️ Экспонирование времени парсинга DAGов - удобно для охоты за "тяжёлыми" DAG-ами.

#airflow #release
Please open Telegram to view this post
VIEW IN TELEGRAM
52❤‍🔥1
Что это значит для ролей в команде

Data/ML инженеры.

HITL превращает "тёмные" места пайплайна в управляемые точки контроля: стоп‑краны для выкладки моделей, ручные апрувы сложных джоб. Deadline Alerts убирают "реактивность': меньше пост‑мортемов, больше проактивных пингов до того, как SLA сорван.

Платформенные команды.

React‑плагин‑система снимает извечную дилемму "форкнуть UI или жить с тем, что есть": теперь можно расширять интерфейс без форков и кастомных патчей. Плюс - 17 языков, что помогает поддержке и бизнес‑пользователям.

SRE/Observability.

Deadline Alerts и "возвращение" Gantt/Calendar дают более плотную картину времени и зависимостей. А ещё: в 3.1 добавили streaming‑endpoint /wait для отслеживания выполнения DAG‑run в реальном времени - удобно для интеграций и ChatOps.

Пример интеграции с асинхронным клиентом:

import httpx, json, asyncio


base, dag_id = "https://<airflow>", "daily_batch"

async def run_and_wait():
async with httpx.AsyncClient() as c:
r = await c.post(f"{base}/api/v2/dags/{dag_id}/dagRuns")
run_id = r.json()["dag_run_id"]
async with c.stream("GET", f"{base}/api/v2/dags/{dag_id}/dagRuns/{run_id}/wait") as s:
async for line in s.aiter_lines():
if line:
state = json.loads(line)["state"]
return state

asyncio.run(run_and_wait())

Эндпоинт /wait - новая фича в 3.1 для "реактивных" интеграций.
422
🚀Будущее неизбежно настигает тебя: Роботы выходят на улицы, а ИИ учится действовать в мире!

🦾 В Бостоне прошёл RoboBoston 2025 - крупнейший робототехнический праздник на Восточном побережье.

Более 50 компаний и университетов показывают дронов, робособак, подводных роботов, манипуляторы и массу интерактивных демо. Всё бесплатно и открыто для всех!

🤖А всего несколько дней назад DeepMind представил Gemini Robotics 1.5 — систему, которая не только планирует и рассуждает (ER 1.5), но и реально управляет роботами разных типов.
Она "думает перед действием", умеет объяснять свои шаги и переносить навыки между разными роботами - от манипуляторов до гуманоидов. Это шаг к ИИ, который может по-настоящему работать в физическом мире.

🌍Массовый фестиваль роботов и релиз передового embodied-AI за одну неделю - сигнал: робототехника и ИИ переходят из лабораторий в твою повседневность.

#robotics #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
4
🤖 Восемь наиболее заметных гуманоидных роботов, которые активно развиваются сегодня.

1️⃣ Optimus от Tesla

Робот Илона Маска. Цель - универсальный помощник для завода и дома. Активно демонстрируется, умеет ходить, манипулировать предметами, сейчас обучается простым рабочим задачам.

2️⃣ Atlas от Boston Dynamics

Один из самых известных гуманоидов. Отличается невероятной подвижностью: бегает, прыгает, делает акробатические элементы. Недавно компания показала электрическую версию, рассчитанную на реальные применения.

3️⃣ Digit от Agility Robotics

Робот для логистики и складов. Может брать коробки, переносить их, ориентироваться в пространстве. Amazon уже тестирует его для автоматизации складских процессов.

4️⃣ Helix от Figure AI

Стартап из Кремниевой долины, собравший сотни миллионов инвестиций. Ставка на интеграцию ИИ, чтобы робот мог общаться с человеком и выполнять задачи общего назначения. Сотрудничают с OpenAI.

5️⃣ Apollo от Apptronik

Американский гуманоид, созданный для индустриальных задач. Отличается модульным дизайном и надёжностью. Недавно Google DeepMind подтвердила, что их ИИ-модель Gemini будет работать на Apollo - это как раз про Gemini Robotics из постов выше.

6️⃣ Raise от AgiBot

Китайский игрок, делающий ставку на массовое производство гуманоидов. Уже заявляет о серийных партиях, активно демонстрирует роботов на выставках в Китае.

7️⃣ Walker X от UBTech

Ещё один китайский гуманоид, известный по презентациям на CES. Может ходить, распознавать лица, взаимодействовать с предметами. Ориентирован больше на сервис и коммуникацию.

8️⃣ Unitree G1

Более компактный и доступный китайский гуманоид. Известен демонстрациями с акробатикой и устойчивостью. Компания Unitree также популярна своими роботами-собаками.

#robotics #ai #llm #бям
Please open Telegram to view this post
VIEW IN TELEGRAM
💯6
Какой из этих роботов-гуманоидов тебе кажется самым перспективным
Anonymous Poll
38%
Tesla Optimus
46%
Atlas Boston Dynamics
8%
Digit Agility Robotics
31%
Helix Figure AI
15%
Appolo Apptronik
23%
Raise AgiBot
23%
Walker X UBTech
46%
Unitree G1
4👏1
⭐️ Чистые зависимости с помощью uv

Часто в проектах получается одна из двух крайностей:
🔘огромный requirements.txt, который тащит всё подряд,
🔘боль с поддержкой разных окружений для прода, CI и локалки.

⚡️ Решение - использовать uv и группы зависимостей прямо в pyproject.toml.

✏️ Пример pyproject.toml

[project]
name = "myapp"
version = "0.1.0"
requires-python = ">=3.12"
dependencies = [
"fastapi",
"httpx",
]

[tool.uv.group.dev]
dependencies = [
"ruff",
"ty",
"pytest",
"pytest-cov",
"ipython",
"types-requests",
]

[tool.uv.group.test]
dependencies = [
"pytest",
"pytest-xdist",
"pytest-randomly",
]

[tool.uv.group.docs]
dependencies = [
"mkdocs-material",
"mkdocstrings[python]",
]


📌Как устанавливать

Prod:

uv sync --frozen

Dev-окружение:

uv sync --group dev

Тесты:

uv sync --group test

Комбинированно (например, dev + доки):

uv sync --group dev --group docs


🙂Паттерны для CI/CD

Prod-образ:

uv sync --frozen минимум зависимостей, детерминированная сборка.

Тесты:

uv sync --group test --frozen && pytest -q


Линтеры:


uv sync --group dev --frozen && ruff check . && mypy .


☕️ Бонус: фичи как extras

[project.optional-dependencies]
s3 = ["boto3"]
clickhouse = ["clickhouse-connect"]

Установка:

uv sync --extras s3,clickhouse --group dev

🔥 В итоге: один pyproject.toml много сценариев чистые окружения быстрые билды.

#uv #pipelines #ci #tests
Please open Telegram to view this post
VIEW IN TELEGRAM
7😁1