Субагенты и мультиагенты, в чём разница.
Субагенты - это внутренние помощники одной модели. Мультиагенты - это полноценная экосистема отдельных моделей, взаимодействующих друг с другом.
Субагенты - это когда одна большая модель разбивает работу на своих "внутренних специалистов". Как мини-команда в голове одного ИИ: каждый субагент отвечает за кусок задачи, а итог собирает сама модель.
Мультиагенты - это уже реальная команда из разных моделей/агентов, у каждого свои цели, навыки и автономия. Они общаются, координируются и делают то, что одной модели сложно: планирование, распределение ролей, параллельные процессы.
Проще:
Субагенты🔜 внутренние роли одной модели.
Мультиагенты🔜 самостоятельные игроки, работающие вместе.
#agents #subagents #multiagents #AI #LLM #агенты #субагенты #мультиагенты #ИИ #БЯМ
Субагенты - это внутренние помощники одной модели. Мультиагенты - это полноценная экосистема отдельных моделей, взаимодействующих друг с другом.
Субагенты - это когда одна большая модель разбивает работу на своих "внутренних специалистов". Как мини-команда в голове одного ИИ: каждый субагент отвечает за кусок задачи, а итог собирает сама модель.
Мультиагенты - это уже реальная команда из разных моделей/агентов, у каждого свои цели, навыки и автономия. Они общаются, координируются и делают то, что одной модели сложно: планирование, распределение ролей, параллельные процессы.
Проще:
Субагенты
Мультиагенты
#agents #subagents #multiagents #AI #LLM #агенты #субагенты #мультиагенты #ИИ #БЯМ
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥5
TL;DR: 3.1.3 — это security+stability апдейт: безопаснее API‑сервер, корректная работа Connections/Variables в контекстах сервера, рывок по скорости UI/API и пачка важных фиксов планировщика и миграций. Обновляться стоит.
Главное в 3.1.3:
airflow dags report. #airflow #release #de #data
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
UBTECH показала массовую отгрузку человекоподобных Walker S2. На видео — строй роботов в цеху: синхронный марш. Снято так чисто, что интернет спорит, CGI это или нет — но именно такая синхронность и отличает хорошо отлаженное производство.
Почему это важно?
Как тебе такой марш будущего?
#robotics #AI #UBTECH #WalkerS2 #humanoids #automation #industry40 #роботы #гуманоиды #ИИ
Please open Telegram to view this post
VIEW IN TELEGRAM
Статья Data Warehouse, Data Lake, Data Lakehouse, Data Mesh: What They Are and How They Differ
⏩ Склад данных (DWH) — про централизованную чистую аналитику и жёсткие схемы
⏩ Озеро (Data Lake) — про гибкость и дешёвое хранение сырья
⏩ Лейкхаус (DLH) — пытается объединить их на объектном хранилище с ACID
⏩ Меш (DataMesh) — не технология, а оргмодель с доменным владением данными
Выбор зависит от типа данных, требований к скорости/качества и зрелости команды.
〰️ 〰️ 〰️ 〰️ 〰️ 〰️ 〰️ 〰️
🌙 Как отличаются подходы 🌙
1️⃣ Data Warehouse (DWH) — "чистая кухня" для BI
Централизованное, чтение-оптимизированное хранилище под OLAP‑аналитику и отчёты. Схема фиксируется на записи (schema‑on‑write), сильные гарантии качества и согласованности (ACID), быстрые агрегации. Лучше всего отвечает на "известные вопросы про известные данные".
✏️ Минусы: жёсткость к изменениям, дороговизна при росте, слабая работа с полуструктурой.
2️⃣ Data Lake — "сырьевой парк" для экспериментов
Складывает данные "как есть" (schema‑on‑read) — от логов и JSON до медиа, дёшево масштабируется на объектных сторах. Идеально для исследований и ML.
✏️ Риск: без управления качество деградирует в "болото", запросы часто медленнее, транзакционных гарантий нет.
3️⃣ Data Lakehouse — "самолёт‑гибрид"
Один слой поверх дешёвого объектного стора + "табличный формат" (Delta/Hudi/Iceberg), который приносит ACID, снапшоты, эволюцию схем и ускорение запросов. Цель — гибкость озера c надёжностью склада.
✏️ Ограничения: зрелость стеков, сложность внедрения, иногда уступает специализированному DWH по перформансу.
4️⃣ Data Mesh — "микросервисы для данных"
Это не новый стор, а операционная модель: доменные команды владеют данными как продуктами, есть самосервисная платформа и федеративная (программируемая) дата‑гавернанс.
✏️ Хорош в больших организациях с автономными командами; требует культуры и инвестиций в платформу.
〰️ 〰️ 〰️ 〰️ 〰️ 〰️ 〰️ 〰️
❓ Когда что выбирать — ориентиры
❗️ У тебя отчётность и стабильные метрики, много SQL‑пользователей, высокие требования к "единой правде": начни с DWH (или с легковесной его версии в облаке).
❗️ Много полуструктуры/неструктуры, активный ML/DS, дешёвое "историческое" хранение сырья критично: ставь Data Lake, но сразу добавляй управление качеством и метаданными, чтобы не получить "болото".
❗️ Нужно и то, и другое, а два стека — боль: бери Lakehouse на открытом табличном формате (Delta/Iceberg/Hudi) — один слой, ACID, time‑travel, апгрейд до "медальонов".
❗️ У тебя много доменов и центральная дата‑команда — узкое горло: добавляй Data Mesh как орг‑надстройку (поверх DWH/Lake/Lakehouse), но не недооценивай стоимость самосервиса и федеративной политики.
👌 Пример из жизни продукта
Представь маркетплейс:
🟡 BI‑команда хочет "вчера к утру" отчёты по GMV/конверсии 🔜 витрины/март в DWH.
🟡 DS‑команда обучает рекомендашки на кликах/поисковых логах/изображениях 🔜 сырые/серебряные слои в Lakehouse на Iceberg/Delta.
🟡 Бизнес растёт, появляются автономные направления (Поиск, Логистика, Финансы) 🔜 они публикуют доменные "данные‑как‑продукт" (контракты, версии, SLO), а платформа обеспечивает каталог, lineage, права и качество ➡️ это уже Data Mesh поверх твоего Lakehouse.
⚡️ Что важно унести из статьи
Автор трезво разводит технологии и организацию:
🟢 Lakehouse решает техническую боль разрыва "озеро↔склад"
🟢 Mesh — организационную боль централизованных "бутылочных горлышек".
Серебряных пуль нет: стоимость владения и зрелость команды решают не меньше, чем выбор логотипа на диаграмме. Рекомендую прочитать оригинал.
#DE #DWH #DataWareHouse #DL #DataLake #DLH #LakeHouse #Mesh #DataMesh
Выбор зависит от типа данных, требований к скорости/качества и зрелости команды.
Централизованное, чтение-оптимизированное хранилище под OLAP‑аналитику и отчёты. Схема фиксируется на записи (schema‑on‑write), сильные гарантии качества и согласованности (ACID), быстрые агрегации. Лучше всего отвечает на "известные вопросы про известные данные".
Складывает данные "как есть" (schema‑on‑read) — от логов и JSON до медиа, дёшево масштабируется на объектных сторах. Идеально для исследований и ML.
Один слой поверх дешёвого объектного стора + "табличный формат" (Delta/Hudi/Iceberg), который приносит ACID, снапшоты, эволюцию схем и ускорение запросов. Цель — гибкость озера c надёжностью склада.
Это не новый стор, а операционная модель: доменные команды владеют данными как продуктами, есть самосервисная платформа и федеративная (программируемая) дата‑гавернанс.
Представь маркетплейс:
Автор трезво разводит технологии и организацию:
Серебряных пуль нет: стоимость владения и зрелость команды решают не меньше, чем выбор логотипа на диаграмме. Рекомендую прочитать оригинал.
#DE #DWH #DataWareHouse #DL #DataLake #DLH #LakeHouse #Mesh #DataMesh
Please open Telegram to view this post
VIEW IN TELEGRAM
2👏7❤🔥3
Forwarded from DataEng
Доклады с Airflow Summit 2025
Подъехали доклады с прошедшей не так давно конференции Airflow Summit 2025, много вкусного, будет что посмотреть по вечерам:
— Airflow at OpenAI
— Benchmarking the Performance of Dynamically Generated DAGs
— Airflow That Remembers: The Dag Versioning Era is here!
— DAGLint: Elevating Airflow DAG Quality Through Automated Linting
— Allegro's Airflow Journey: From On-Prem to Cloud Orchestration at Scale
— Deadline Alerts in Airflow 3.1
— Beyond Logs: Unlocking Airflow 3.0 Observability with OpenTelemetry Traces
— Introducing Apache Airflow® 3 – The Next Evolution in Orchestration
— Security made us do it: Airflow’s new Task Execution Architecture
— Unlocking Event-Driven Scheduling in Airflow 3
Полный список видео смотрите на Ютуб канале — Apache Airflow
Подъехали доклады с прошедшей не так давно конференции Airflow Summit 2025, много вкусного, будет что посмотреть по вечерам:
— Airflow at OpenAI
— Benchmarking the Performance of Dynamically Generated DAGs
— Airflow That Remembers: The Dag Versioning Era is here!
— DAGLint: Elevating Airflow DAG Quality Through Automated Linting
— Allegro's Airflow Journey: From On-Prem to Cloud Orchestration at Scale
— Deadline Alerts in Airflow 3.1
— Beyond Logs: Unlocking Airflow 3.0 Observability with OpenTelemetry Traces
— Introducing Apache Airflow® 3 – The Next Evolution in Orchestration
— Security made us do it: Airflow’s new Task Execution Architecture
— Unlocking Event-Driven Scheduling in Airflow 3
Полный список видео смотрите на Ютуб канале — Apache Airflow
YouTube
Airflow at OpenAI - Airflow Summit 2025
Presented by Ping Zhang, Howie Wang at Airflow Summit 2025.
This talk shares how we scaled and hardened OpenAI’s Airflow deployment to orchestrate thousands of workflows on Kubernetes.
We’ll cover key architecture choices, scaling strategies, and reliability…
This talk shares how we scaled and hardened OpenAI’s Airflow deployment to orchestrate thousands of workflows on Kubernetes.
We’ll cover key architecture choices, scaling strategies, and reliability…
Gemini 3.0 ломает интернет — и делает «теорию мёртвого интернета» не такой уж теорией 🤯
Сейчас по X летает формулировка:
Теория мёртвого интернета говорит, что бóльшая часть контента онлайн уже давно создаётся не людьми, а ботами, нейросетями и фермами трафика. Раньше это звучало как полуконспирология.
Но с моделями уровня Gemini 3.0 / GPT-5.x / Claude 4.x мы реально подходим к точке, где:
🔘 посты, комменты, обзоры и даже «личные истории» можно генерить пачками;
🔘 инфополе забивается не тем, что важно, а тем, что легко сгенерировать;
🔘 человеку всё сложнее отличить живой опыт от очень качественной симуляции.
Получается парадокс:
чем мощнее становятся модели, тем меньше "живого интернета" у нас остаётся. Лента ощущается насыщеннее, но живых голосов там всё меньше.
И на этом фоне вопрос уже не «какой ИИ лучше», а как не превратиться в статиста в мире, где львиная доля контента — синтетика.
❓Как тебе такое: через пару лет большинство того, что ты читаешь в ленте, будет написано моделями уровня Gemini 3.0 — норм или крипово?
#deadInternettheory #AI #LLM #теориямёртвогоинтернета #ИИ #БЯМ
Сейчас по X летает формулировка:
Gemini 3.0 is breaking the internet. Users reported that this model is from another world. 10 unbelievable examples.
Теория мёртвого интернета говорит, что бóльшая часть контента онлайн уже давно создаётся не людьми, а ботами, нейросетями и фермами трафика. Раньше это звучало как полуконспирология.
Но с моделями уровня Gemini 3.0 / GPT-5.x / Claude 4.x мы реально подходим к точке, где:
Получается парадокс:
чем мощнее становятся модели, тем меньше "живого интернета" у нас остаётся. Лента ощущается насыщеннее, но живых голосов там всё меньше.
И на этом фоне вопрос уже не «какой ИИ лучше», а как не превратиться в статиста в мире, где львиная доля контента — синтетика.
❓Как тебе такое: через пару лет большинство того, что ты читаешь в ленте, будет написано моделями уровня Gemini 3.0 — норм или крипово?
#deadInternettheory #AI #LLM #теориямёртвогоинтернета #ИИ #БЯМ
Please open Telegram to view this post
VIEW IN TELEGRAM
1
В этой книге собраны реальные сценарии того, как дата-команды растут: от одного специалиста до полноценной платформы с десятками инженеров.
Помогает ответить на вопрос: «Как построить такую платформу, чтобы она масштабировалась не хаотично, а с ясностью, надёжностью и уверенностью?»
Не теория, а ориентир: описаны этапы роста — 1, 5, 10, 20 человек.
Разбирает технологический стек и архитектуру таких инструментов как dbt, dlt, Sling, DuckDB и др.
#book #dataengineering #data #dataengineer #engineer #данные #книга #инженерияданных #датаинженер #инженер
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Находки в опенсорсе
Breaking news
В CPython предлагают добавить Rust: https://discuss.python.org/t/pre-pep-rust-for-cpython/104906
Пример кода: https://github.com/emmatyping/cpython/pull/13/files
Все подробности будут в @cpython_notes
Обсуждение: что думаете?
| Поддержать | YouTube | GitHub | Чат |
В CPython предлагают добавить Rust: https://discuss.python.org/t/pre-pep-rust-for-cpython/104906
Пример кода: https://github.com/emmatyping/cpython/pull/13/files
#[unsafe(no_mangle)]
pub unsafe extern "C" fn b64encode(
_module: *mut PyObject,
args: *mut *mut PyObject,
nargs: Py_ssize_t,
) -> *mut PyObject {
if nargs != 1 {
unsafe {
PyErr_SetString(
PyExc_TypeError,
c"b64encode() takes exactly one argument".as_ptr(),
);
}
return ptr::null_mut();
}
let source = unsafe { *args };
let buffer = match unsafe { BorrowedBuffer::from_object(source) } {
Ok(buf) => buf,
Err(_) => return ptr::null_mut(),
};
let view_len = buffer.len();
if view_len < 0 {
unsafe {
PyErr_SetString(
PyExc_TypeError,
c"b64encode() argument has negative length".as_ptr(),
);
}
return ptr::null_mut();
}
let input_len = view_len as usize;
let input = unsafe { slice::from_raw_parts(buffer.as_ptr(), input_len) };
let Some(output_len) = encoded_output_len(input_len) else {
unsafe {
PyErr_NoMemory();
}
return ptr::null_mut();
};
if output_len > isize::MAX as usize {
unsafe {
PyErr_NoMemory();
}
return ptr::null_mut();
}
let result = unsafe {
PyBytes_FromStringAndSize(ptr::null(), output_len as Py_ssize_t)
};
if result.is_null() {
return ptr::null_mut();
}
let dest_ptr = unsafe { PyBytes_AsString(result) };
if dest_ptr.is_null() {
unsafe {
Py_DecRef(result);
}
return ptr::null_mut();
}
let dest = unsafe { slice::from_raw_parts_mut(dest_ptr.cast::<u8>(), output_len) };
let written = encode_into(input, dest);
debug_assert_eq!(written, output_len);
result
}
Все подробности будут в @cpython_notes
Обсуждение: что думаете?
| Поддержать | YouTube | GitHub | Чат |
Discussions on Python.org
Pre-PEP: Rust for CPython
Introduction We (@emmatyping, @eclips4) propose introducing the Rust programming language to CPython. Rust will initially only be allowed for writing optional extension modules, but eventually will become a required dependency of CPython and allowed to be…
Forwarded from DataEng
Orchestrate LLMs and Agents with Apache Airflow.pdf
2.6 MB
Orchestrate LLMs and Agents with Apache Airflow®
Новая книга от Astronomer про управление агентами через airflow-ai-sdk и Human In The Loop, который появился в Airflow 3.
Новая книга от Astronomer про управление агентами через airflow-ai-sdk и Human In The Loop, который появился в Airflow 3.
1
Forwarded from Data Secrets
Андрей Карпаты: «ИИ – это ПО 2.0, и оно автоматизирует то, что можно проверить»
Понравился свежий емкий пост Карпаты на вечную тему автоматизации в эпоху ИИ. Подготовили сокращенный перевод:
Понравился свежий емкий пост Карпаты на вечную тему автоматизации в эпоху ИИ. Подготовили сокращенный перевод:
ИИ часто сравнивают с историческими прорывами: электричеством, промышленной революцией и тд. Но, по-моему, самая точная аналогия – ИИ как новая вычислительная парадигма, Software 2.0.
В обоих случаях речь про автоматизацию обработки цифровой информации. В 80-х автоматизировались задачи, которые сводились к механическому преобразованию информации по простым, чётко формализуемым правилам (например, бухгалтерия).
Сейчас же, с ИИ, мы можем автоматизировать то, что вручную описать невозможно, но можно проверить. Мы задаем таргет (например, accuracy) и с помощью градиентного спуска ищем в пространстве алгоритмов нейросеть, которая оптимизирует этот таргет лучше всего.
Это и есть Software 2.0, и в этой парадигме ключевым факторов автоматизируемости задачи выступает ее проверяемость. Лучше всего можно автоматизировать именно то, что легко проверить.
Если задача непроверяема, останется надеяться на волшебную обобщающую способность нейросетей. Именно поэтому прогресс ИИ такой зубчатый: в проверяемых задачах прогресс стремительный (код, математика, головоломки), а вот многое другое отстает (творчество, стратегия, здравый смысл).
Software 1.0 легко автоматизирует то, что можно формально описать.
Software 2.0 легко автоматизирует то, что можно проверить.
❤🔥6
Forwarded from Математика Дата саентиста
This media is not supported in your browser
VIEW IN TELEGRAM
✨ Превращай математику в живые анимации с Manim
Статические слайды — это хорошо, но сложные идеи гораздо легче объяснить через динамические визуализации.
Manim позволяет создавать профессиональные математические анимации в Python — такие же, как в видео 3Blue1Brown.
Что делает Manim мощным:
• MathTex — задаёт формулы в LaTeX
• Transform — плавно превращает одну формулу в другую
• play() и wait() — управляют ходом анимации
• Рендеринг одной командой:
Manim — идеальный инструмент, когда нужно не просто показать формулу, а *объяснить идею* так, чтобы она оживала на экране.
https://docs.manim.community/en/stable/reference/manim.mobject.geometry.html#module-manim.mobject.geometry
Статические слайды — это хорошо, но сложные идеи гораздо легче объяснить через динамические визуализации.
Manim позволяет создавать профессиональные математические анимации в Python — такие же, как в видео 3Blue1Brown.
Что делает Manim мощным:
• MathTex — задаёт формулы в LaTeX
• Transform — плавно превращает одну формулу в другую
• play() и wait() — управляют ходом анимации
• Рендеринг одной командой:
manim -p -ql noscript.pyManim — идеальный инструмент, когда нужно не просто показать формулу, а *объяснить идею* так, чтобы она оживала на экране.
https://docs.manim.community/en/stable/reference/manim.mobject.geometry.html#module-manim.mobject.geometry
Forwarded from Борис опять
Для тех кто не понимает почему когда у AWS проблемы пол интернета падает, объясняю. Это тоже самое как когда в России выпадает снег и весь транспорт встает как будто зимы раньше никогда не случалось
Forwarded from Время Валеры
Забавно, что outage Cloudflare был из-за SQL.
X (formerly Twitter)
swyx 🔜 NeurIPS + #DevWritersRetreat (@swyx) on X
cloudflare outage was due to one bad SQL statement that baked in an assumption it shouldnt have
can you spot the bug here? no. because SQL does not Make Wrong Code Look Wrong.
sometimes i wonder how many SEVs, performance issues and privacy leaks happen…
can you spot the bug here? no. because SQL does not Make Wrong Code Look Wrong.
sometimes i wonder how many SEVs, performance issues and privacy leaks happen…
Forwarded from New Yorko Times (Yury Kashnitsky)
This media is not supported in your browser
VIEW IN TELEGRAM
Первые ощущения от Antigravity
#google
Ну, космос, конечно. Покажи это себе самому образца 5-летней давности.
Как минимум три отличия Antigravity от привычной IDE с нависшим над ней кодинг-агентом:
- Можно запускать несколько агентов параллельно. Отдал одному фронт, второму бэк, третьему рисеч. Возвращаешься результат проверять;
- Antigravity сам запускает приложение в песочнице, тестирует, прям как человек, отчитывается, что сработало, что нет, потом пишет отчет в файлик Walkthrough. На видео как раз это происходит – когда браузер синей рамкой подсвечивается, это Antigravity захватил управление;
- приятные мелочи в виде отдельных файлов Task, Implementation Plan и Walkthrough, мысли и действия агентов еще более прозрачны.
Можно еще вот это видео глянуть, попробовать повторить.
Для демки с кубиком рубика пойдет, дальше надо попробовать в реальном проекте. Тут скепсис еще есть.
Ну, космос, конечно. Покажи это себе самому образца 5-летней давности.
Как минимум три отличия Antigravity от привычной IDE с нависшим над ней кодинг-агентом:
- Можно запускать несколько агентов параллельно. Отдал одному фронт, второму бэк, третьему рисеч. Возвращаешься результат проверять;
- Antigravity сам запускает приложение в песочнице, тестирует, прям как человек, отчитывается, что сработало, что нет, потом пишет отчет в файлик Walkthrough. На видео как раз это происходит – когда браузер синей рамкой подсвечивается, это Antigravity захватил управление;
- приятные мелочи в виде отдельных файлов Task, Implementation Plan и Walkthrough, мысли и действия агентов еще более прозрачны.
Можно еще вот это видео глянуть, попробовать повторить.
Для демки с кубиком рубика пойдет, дальше надо попробовать в реальном проекте. Тут скепсис еще есть.
Forwarded from [30/100] Витя Тарнавский
Иду вчера по Льва Толстого, смотрю в случайное окно, а там...
Спасите роботов из офиса Яндекса! Свободу железным пацанам!🤖
Спасите роботов из офиса Яндекса! Свободу железным пацанам!
Please open Telegram to view this post
VIEW IN TELEGRAM
😁7💯3
Если твои пайплайны ощущаются так:
то проблема чаще не в инструментах, а в отсутствии простых стандартов моделирования.
Представь жизнь дата-инженера, где:
В ближайших постах — 6 конкретных техник, которые позволяют:
Будет без воды: только то, что реально можно утащить к себе в проект и начать применять.
#dev #de #dwh
Please open Telegram to view this post
VIEW IN TELEGRAM
2