Что это значит для ролей в команде
Data/ML инженеры.
HITL превращает "тёмные" места пайплайна в управляемые точки контроля: стоп‑краны для выкладки моделей, ручные апрувы сложных джоб. Deadline Alerts убирают "реактивность': меньше пост‑мортемов, больше проактивных пингов до того, как SLA сорван.
Платформенные команды.
React‑плагин‑система снимает извечную дилемму "форкнуть UI или жить с тем, что есть": теперь можно расширять интерфейс без форков и кастомных патчей. Плюс - 17 языков, что помогает поддержке и бизнес‑пользователям.
SRE/Observability.
Deadline Alerts и "возвращение" Gantt/Calendar дают более плотную картину времени и зависимостей. А ещё: в 3.1 добавили streaming‑endpoint
Пример интеграции с асинхронным клиентом:
Эндпоинт
Data/ML инженеры.
HITL превращает "тёмные" места пайплайна в управляемые точки контроля: стоп‑краны для выкладки моделей, ручные апрувы сложных джоб. Deadline Alerts убирают "реактивность': меньше пост‑мортемов, больше проактивных пингов до того, как SLA сорван.
Платформенные команды.
React‑плагин‑система снимает извечную дилемму "форкнуть UI или жить с тем, что есть": теперь можно расширять интерфейс без форков и кастомных патчей. Плюс - 17 языков, что помогает поддержке и бизнес‑пользователям.
SRE/Observability.
Deadline Alerts и "возвращение" Gantt/Calendar дают более плотную картину времени и зависимостей. А ещё: в 3.1 добавили streaming‑endpoint
/wait для отслеживания выполнения DAG‑run в реальном времени - удобно для интеграций и ChatOps. Пример интеграции с асинхронным клиентом:
import httpx, json, asyncio
base, dag_id = "https://<airflow>", "daily_batch"
async def run_and_wait():
async with httpx.AsyncClient() as c:
r = await c.post(f"{base}/api/v2/dags/{dag_id}/dagRuns")
run_id = r.json()["dag_run_id"]
async with c.stream("GET", f"{base}/api/v2/dags/{dag_id}/dagRuns/{run_id}/wait") as s:
async for line in s.aiter_lines():
if line:
state = json.loads(line)["state"]
return state
asyncio.run(run_and_wait())
Эндпоинт
/wait - новая фича в 3.1 для "реактивных" интеграций.
Константин Доронин
Codex CLI от OpenAI – скаковая лошадь без седла. Пару недель часть задач сгружал на Codex CLI, чтобы посмотреть, каково это – работать с данным инструментом. Делюсь наблюдениями. Codex CLI – это AI-Coding-агент от OpenAI, который вышел 5 месяцев назад. За…
Codex Launcher - маленький, но полезный плагин для JetBrains.
По сути это кнопка "запустить Codex" прямо в IDE: меньше alt‑tab, больше фокуса на коде.
Если гоняешь Codex из терминала - зайдёт на ура.
Маркетплейс: https://plugins.jetbrains.com/plugin/28264-codex-launcher (требует установленный Codex CLI)
#llm #ai #codex #pycharm #openai
Please open Telegram to view this post
VIEW IN TELEGRAM
JetBrains Marketplace
Codex Launcher - IntelliJ IDEs Plugin | Marketplace
Important: Install the OpenAI Codex CLI separately before using this plugin. For Windows users: Please select your terminal shell in the plugin settings (Settings...
❤🔥5😁2 2
Более 50 компаний и университетов показывают дронов, робособак, подводных роботов, манипуляторы и массу интерактивных демо. Всё бесплатно и открыто для всех!
Она "думает перед действием", умеет объяснять свои шаги и переносить навыки между разными роботами - от манипуляторов до гуманоидов. Это шаг к ИИ, который может по-настоящему работать в физическом мире.
#robotics #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Google DeepMind
Gemini Robotics 1.5 brings AI agents into the physical world
We’re powering an era of physical agents — enabling robots to perceive, plan, think, use tools and act to better solve complex multi-step tasks.
DE
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥4👏2
Робот Илона Маска. Цель - универсальный помощник для завода и дома. Активно демонстрируется, умеет ходить, манипулировать предметами, сейчас обучается простым рабочим задачам.
Один из самых известных гуманоидов. Отличается невероятной подвижностью: бегает, прыгает, делает акробатические элементы. Недавно компания показала электрическую версию, рассчитанную на реальные применения.
Робот для логистики и складов. Может брать коробки, переносить их, ориентироваться в пространстве. Amazon уже тестирует его для автоматизации складских процессов.
Стартап из Кремниевой долины, собравший сотни миллионов инвестиций. Ставка на интеграцию ИИ, чтобы робот мог общаться с человеком и выполнять задачи общего назначения. Сотрудничают с OpenAI.
Американский гуманоид, созданный для индустриальных задач. Отличается модульным дизайном и надёжностью. Недавно Google DeepMind подтвердила, что их ИИ-модель Gemini будет работать на Apollo - это как раз про Gemini Robotics из постов выше.
Китайский игрок, делающий ставку на массовое производство гуманоидов. Уже заявляет о серийных партиях, активно демонстрирует роботов на выставках в Китае.
Ещё один китайский гуманоид, известный по презентациям на CES. Может ходить, распознавать лица, взаимодействовать с предметами. Ориентирован больше на сервис и коммуникацию.
Более компактный и доступный китайский гуманоид. Известен демонстрациями с акробатикой и устойчивостью. Компания Unitree также популярна своими роботами-собаками.
#robotics #ai #llm #бям
Please open Telegram to view this post
VIEW IN TELEGRAM
💯6
Какой из этих роботов-гуманоидов тебе кажется самым перспективным ❓
Anonymous Poll
38%
Tesla Optimus
46%
Atlas Boston Dynamics
8%
Digit Agility Robotics
31%
Helix Figure AI
15%
Appolo Apptronik
23%
Raise AgiBot
23%
Walker X UBTech
46%
Unitree G1
Часто в проектах получается одна из двух крайностей:
uv и группы зависимостей прямо в pyproject.toml.pyproject.toml[project]
name = "myapp"
version = "0.1.0"
requires-python = ">=3.12"
dependencies = [
"fastapi",
"httpx",
]
[tool.uv.group.dev]
dependencies = [
"ruff",
"ty",
"pytest",
"pytest-cov",
"ipython",
"types-requests",
]
[tool.uv.group.test]
dependencies = [
"pytest",
"pytest-xdist",
"pytest-randomly",
]
[tool.uv.group.docs]
dependencies = [
"mkdocs-material",
"mkdocstrings[python]",
]
📌Как устанавливать
Prod:
uv sync --frozen
Dev-окружение:
uv sync --group dev
Тесты:
uv sync --group test
Комбинированно (например, dev + доки):
uv sync --group dev --group docs
Prod-образ:
uv sync --frozen Тесты:
uv sync --group test --frozen && pytest -q
Линтеры:
uv sync --group dev --frozen && ruff check . && mypy .
[project.optional-dependencies]
s3 = ["boto3"]
clickhouse = ["clickhouse-connect"]
Установка:
uv sync --extras s3,clickhouse --group dev
pyproject.toml #uv #pipelines #ci #tests
Please open Telegram to view this post
VIEW IN TELEGRAM
В последнем проекте я действительно сгенерировал с помощью ИИ более 90% кода: сервис на Go, SDK на Python и TypeScript, даже SQL и миграции. Но важно - я просматривал каждую строчку, переписывал архитектуру, чистил дубликаты.
ИИ идеально справляется с рутиной, но всё, что касается дизайна и общей целостности системы - пока ещё исключительно на человеке. Без этого код развалится.
Когда-то ты перестал писать ассемблер, сейчас перестаёшь писать рутину.
Звучит как новая ступень эволюции. Но ценность умения видеть систему целиком только растёт.
#ai #llm #dev #coding #agents #бям
Please open Telegram to view this post
VIEW IN TELEGRAM
Часто хочется выжать из Rust скорость, но остаться в Python-экосистеме. Самый удобный путь сейчас:
myext/
Cargo.toml
src/lib.rs
pyproject.toml
Cargo.toml[package]
name = "myext"
version = "0.1.0"
edition = "2021"
[lib]
name = "myext"
crate-type = ["cdylib"]
[dependencies]
pyo3 = { version = "0.22", features = ["extension-module"] }
src/lib.rs
use pyo3::prelude::*;
#[pyfunction]
fn add(a: i64, b: i64) -> i64 { a + b }
#[pymodule]
fn myext(m: &Bound<'_, PyModule>) -> PyResult<()> {
m.add_function(wrap_pyfunction!(add, m)?)?;
Ok(())
}
pyproject.toml
[build-system]
requires = ["maturin>=1.6"]
build-backend = "maturin"
[project]
name = "myext"
version = "0.1.0"
requires-python = ">=3.9"
Please open Telegram to view this post
VIEW IN TELEGRAM
Хочешь погонять модерн дата‑стек у себя на ноуте без облачных вычислений и лишней боли?
🔥 Лови Data Forge - аккуратная песочница, где всё уже скручено docker compose’ом.
Что внутри: MinIO+Hive (каталог), Trino и Spark, Kafka+Schema Registry+Debezium, Postgres🔜 ClickHouse, Airflow, Superset и JupyterLab.
Запуск профилями: core, airflow, explore, datagen.
Есть генератор реалистичных retail‑данных, плюс Learning Path с ноутбуками - можно пройтись end‑to‑end.
Из железа просят ~8+ ГБ RAM и ~20 ГБ диска. Лицензия MIT.
▶️ Репо: https://github.com/fortiql/data-forge
#sandbox #de #modenstack #dev
Что внутри: MinIO+Hive (каталог), Trino и Spark, Kafka+Schema Registry+Debezium, Postgres
Запуск профилями: core, airflow, explore, datagen.
Есть генератор реалистичных retail‑данных, плюс Learning Path с ноутбуками - можно пройтись end‑to‑end.
Из железа просят ~8+ ГБ RAM и ~20 ГБ диска. Лицензия MIT.
#sandbox #de #modenstack #dev
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - fortiql/data-forge: Data Forge — a modern data stack playground to practice flows and best practices, not just tools.…
Data Forge — a modern data stack playground to practice flows and best practices, not just tools. Spark, Trino, Kafka, Iceberg, ClickHouse, Airflow, MinIO, Superset — all wired together locally wit...
Свежий релиз принёс серьёзные улучшения:
• ⚙️ Асинхронный ввод-вывод (AIO) — теперь чтение данных может идти параллельно, ускоряя seq-scan и VACUUM.
• 🔍 Skip-scan в B-tree — индекс по нескольким полям теперь работает даже без фильтра по первому.
• 🔄 pg_upgrade без "холодного старта" — статистика сохраняется при апгрейде.
• 🔐 OAuth 2.0 аутентификация, плюс прощание с MD5.
• 🧮 Мелкие радости: uuidv7(), виртуальные столбцы, подробная статистика в EXPLAIN и включённые по умолчанию checksums.
💡 Если твои базёнки упираются в диск - самое время затестить.
#postgres #db #de #dev #sql
Please open Telegram to view this post
VIEW IN TELEGRAM
PostgreSQL Documentation
E.2. Release 18
E.2. Release 18 # E.2.1. Overview E.2.2. Migration to Version 18 E.2.3. Changes E.2.4. Acknowledgments Release date: 2025-09-25 E.2.1. Overview # PostgreSQL 18 …
Forwarded from Архитектор Данных
Кратко - основные инсайты с круглого стола «Хадуп мертв»
1️⃣ HDFS сам по себе мало кому нужен, если есть S3.
2️⃣ Даже YARN уже не так необходим.
3️⃣ Современная BigData признана начинающейся от 10 Петабайт. Эта планка постепенно растет.
4️⃣ Приходится делать много ухищрений, чтобы получить в он-преме S3. И принимать множество компромиссов.
5️⃣ Hadoop (HDFS) - все еще хороший, надежный, понятный и предсказуемый способ получить скалированное хранилище для бигдаты
6️⃣ Но с нуля Hadoop сейчас мало кто решится разворачивать для GreenField проектов
7️⃣ Apache Ozone - перспективный способ получить S3 (+HDFS) на сегодня - признано 60% участниками дискуссии.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁10 4 3 2
DE
Раньше, чтобы быть сильным инженером, достаточно было знать язык, предметную область и свой проект.
Теперь к этому добавилось новое измерение - понимание самой нейросети, с которой ты работаешь.
Ты должен знать:
🧠 как она "думает"
🧩 где у неё слепые зоны
📚 какая у неё внутренняя терминология
⚙️ и как подать задачу так, чтобы она дала не просто ответ, а нужное решение.
Фактически, ты уже не просто пишешь код - ты проектируешь мышление инструмента, который пишет код за тебя.
ИИ стал новым языком программирования. И чем лучше ты его понимаешь, тем мощнее твой код.
Please open Telegram to view this post
VIEW IN TELEGRAM
Автор статьи сравнивает асинхронность и многопоточность в Python на фоне свободнопоточности (No GIL) в Python 3.13.
Выводы:
🔘 при IO‑bound до ≈1000 одновременных задач скорости близки
🔘 асинхронность выигрывает по ресурсам и масштабируемости (10k+ соединений)
🔘 с No GIL классическая многопоточность начинает догонять и местами обгонять async на смешанных нагрузках (есть заметная доля CPU)
✏️ Что важно из статьи:
⏩ Для CPU‑bound задач по‑прежнему уместен multiprocessing; для IO‑bound многопоточность и асинхронность дают схожие времена, разница - в механике переключений (OS‑scheduler vs await) и сложности разработки: асинхронный код труднее писать и отлаживать.
⏩ Async нередко маскирует пулы потоков: aiofiles внутри зовёт
⏩ Микротесты ожидания: при 100–1000 задач разницы почти нет; при 10 000 - у threading "can’t start new thread". Память: ~4 МБ на поток против ~4 КБ на async‑задачу, поэтому на больших кардинальностях async существенно экономнее; у множества потоков растёт стоимость переключений и нагрузка на планировщик.
⏩ В реальных библиотеках возможен крупный выигрыш: у psycopg 3 асинхронный путь даёт ≈2200–2500 RPS против ≈700–800 RPS у синхронного.
⏩ Эксперимент с FastAPI: многопоточность с GIL - ~2800 RPS, async - ~3500 RPS. С No GIL: async остаётся примерно на том же уровне, а многопоточность поднимается до ~3540 RPS, местами обгоняя async. Итог автора: апгрейд на No GIL даёт прирост, сопоставимый с полной перепиской на async.
⚡️ Итог:
🟢 асинхронность - про экономию железа и экстремальную конкурентность (10k+)
🟢 No GIL усиливает многопоточность там, где в запросе есть заметная доля CPU (условно 20–40% и выше)
🟢 При чистом IO (например, LLM‑агенты 5/95) разумнее оставаться на async; при типичных нагрузках <1000 конкурентных запросов решающей разницы нет.
Все цифры - из измерений автора статьи, на твоих задачах результаты могут отличаться.
Выводы:
loop.run_in_executor, а Motor (async‑драйвер MongoDB) использует под капотом синхронный PyMongo через thread‑pool; часть Django‑стека вынужденно прыгает между sync/async, добавляя оверхед. Все цифры - из измерений автора статьи, на твоих задачах результаты могут отличаться.
Please open Telegram to view this post
VIEW IN TELEGRAM