DE – Telegram
521 subscribers
312 photos
81 videos
15 files
405 links
Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt, LLM agentic systems, AI, robots, drones etc.

Boost channel - https://news.1rj.ru/str/boost/data_engi
Download Telegram
Forwarded from Сиолошная
OpenAI выпустили новую GPT-5 😑

...заточенную на программистов, GPT-5 Codex. Эта модель заменит o3 в Codex в веб-клиенте (наконец-то) и уже доступна в локальном Codex CLI / плагине для вашей IDE. Если вы ещё не пробовали — обязательно попробуйте! Это бесплатно, если вы подписаны на любой тир ChatGPT. В комментариях многие отмечали, что им нравится больше, чем Claude Code, и модель работает лучше.

GPT-5 Codex дотренировали на новых сложных реальных задач, создании проектов с нуля, добавлении функций и тестов, отладке, проведении масштабных рефакторингов и ревью кода.

По стандартному бенчмарку SWE-bench Verified разница не особо заметна, 74.5% против старых 72.8%. Однако на внутреннем бенчмарке OpenAI на задачах рефакторинга модель стала гораздо лучше: прыжок с 33.9% до 51.3%!

Но и это не всё: модель стала писать меньше бесполезных или ошибочных комментариев, лучше ловить баги в коде, и... думать меньше, когда это не надо. OpenAI взяли запросы от сотрудников внутри компании и сравнили количество токенов в ответах двух моделей.

Там, где ответы были короткими, они стали ещё короче, а там, где цепочки рассуждений и сгенерированный код были длиннее — стало больше. Со слов OpenAI, во время они наблюдали, как GPT‑5-Codex работал автономно более 7 часов подряд над большими и сложными задачами, выполняя итерации по внедрению, исправляя ошибки тестирования и в конечном итоге обеспечивая успешное решение задачи.

Codex CLI и Codex Web получили кучу обновлений за последний месяц, но про них писать не буду.

В API модель появится скоро, очень ждём, пока замеряют качество и на других бенчмарках. В системной карточке модели указали лишь один — по решению многоступенчатых задачек по кибер-взлому (с соревнований CTF). Модель наконец-то статистически значимо обгоняет o3! Жаль, не замерили другие бенчмарки (вроде PaperBench).
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥5😁1
⭐️ Django vs Flask vs FastAPI - что выбрать в 2025?
JetBrains подвели итоги по трём лидерам Python-бэкенда:

▶️ Django - батарейки в комплекте: ORM, аутентификация, защита из коробки. Подходит для классических веб-приложений на реляционных БД, но тяжелее и медленнее конкурентов.

▶️ Flask - минимализм и свобода: выбираешь компоненты сам. Хорош для MVP и кастомных решений, но безопасность/фичи - через расширения и ручную сборку.

▶️ FastAPI - скорость и DX: async/ASGI, Pydantic/типизация, OpenAPI-доки из коробки. Идеален для API-первых и data/ML-сервисов, но экосистема моложе и уже.

#dev #api #django #flask #fastapi
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥5😁11
Какой фреймворк выбираешь ты для своих новых проектов в 2025
Anonymous Poll
16%
Django
15%
Flask
67%
FastAPI
20%
Другой
74😁321
Decart выкатили забавную штуку - “Open Source Nano Banana for Video”. Открыли веса Lucy Edit (5B, Wan2.2) - текстовые правки видео: смена одежды/аксессуаров, персонажи, сцены, при этом движение и лицо сохраняются. Веса на Hugging Face, есть API, ComfyUI-ноды готовятся. Лицензия некоммерческая.

#ai #texttovideo #nanobanana
51
Forwarded from 🔋 Труба данных (Simon Osipov)
Данные от самого OpenAI, для чего используют ChatGPT.

Мы в пузырике, в общей доле запросов к модели, программирование - всего 4%

@ohmydataengineer - канал "🕯Труба Данных"
Please open Telegram to view this post
VIEW IN TELEGRAM
6
Выкатили альфу Django 6.0 - релиз в декабре 2025.

Пять главных фич:

1️⃣ Встроенный Content Security Policy (CSP)
Теперь без сторонних пакетов: ContentSecurityPolicyMiddleware, контекст-процессор для nonce, настройки SECURE_CSP/SECURE_CSP_REPORT_ONLY. Проще закрыть XSS и централизованно управлять политиками загрузки ресурсов.

2️⃣ Template Partials
DTL получил частичные шаблоны: {% partialdef %} и {% partial %} + адресация template.html#partial. Это делает переиспользование мелких фрагментов очевидным и без разбиения на кучу файлов.

3️⃣ Background Tasks
Встроенные фоновые задания
Новый декоратор @task, очередь через конфигурируемые backend’ы и явное разделение: Django управляет созданием/постановкой задач, а выполнение - отдельным воркером/процессом. Отлично для e-mailов, обработок и интеграций.

4️⃣ Современный email API Python
Под капотом - email.message.EmailMessage вместо старых MIME-классов (Compat32). Чище Unicode-работа и единый интерфейс для формирования и сериализации писем.

5️⃣ AsyncPaginator
Асинхронные версии Paginator/Page для проектов на ASGI и активного async-стека - проще делать масштабируемую постраничную выборку без блокировок.

⭐️ Бонусы: поддержка Python 3.12–3.13 (минимум 3.12), новые аггрегаты и улучшения ORM, мелкие апдейты админки и миграций.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥4👏221
😁8
Media is too big
VIEW IN TELEGRAM
Кожаные опять пытаются показать превосходство над железякаи. Unitree G1 в режиме "антигравитация" не сдаётся.

#robotics
5❤‍🔥1😁1
Сегодня в условии задачи вижу строку:
Ограничение по памяти: 1024 мебибайта

и думаю: "Ну точно опечатка, наверняка хотели написать мегабайта, какие-то мебибайты смешные".

Оказалось - вовсе не опечатка.

✏️Мебибайт (MiB) - это не мегабайт (MB).
🔘1 MiB = 1 048 576 байт (2²⁰)
🔘1 MB = 1 000 000 байт (10⁶)

Соответственно, 1024 MiB = 1 GiB = 1 073 741 824 байта.

Просто в олимпиадных системах любят точность и всегда указывают именно мебибайты.
А я вот до сих пор привык думать в "мегабайтах".
Please open Telegram to view this post
VIEW IN TELEGRAM
7😁2❤‍🔥1
Как ты думаешь, что значит "GiB"? 🙃
Anonymous Quiz
15%
Гигабайт ❗️
17%
Гегибайт 😎
10%
Грибибайт 🍄
58%
Гибибайт 🙂
😁7
DE
Полезное применение железных гуманоидов. #ai #robotics
Media is too big
VIEW IN TELEGRAM
🤖 Figure показала Helix - новую VLA для гуманоидов. Одна модель и один набор весов: полный контроль верхней части тела на 200 Гц, коллаборация двух роботов и работа целиком "на борту". Команды на естественном языке 🔜 хват тысяч новых предметов. Будущее бытовых роботов стало ближе.

#robotics #ai #figure #helix #openai
Please open Telegram to view this post
VIEW IN TELEGRAM
5❤‍🔥1👏1
Media is too big
VIEW IN TELEGRAM
Эволюция прямохождения роботов Figure

#robotics #ai #figure #helix #openai
5❤‍🔥1
DE
Полезное применение железных гуманоидов. #ai #robotics
This media is not supported in your browser
VIEW IN TELEGRAM
Ох, он ещё и посудомойку умеет загружать, ну точно надо брать 🙂

#robotics #helix #figure
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5👏1
Airflow 3.1 делает ставку на "human‑in‑the‑loop" - человеко-центричные воркфлоу, возвращает удобные Calendar/Gantt в новую React‑UI, приносит Deadline Alerts для проактивного мониторинга, международную локализацию на 17 языков, плагинную систему React (AIP‑68) и поддержку Python 3.13. Это не просто "ещё одна минорка": релиз переосмысливает место человека в автоматизированных пайплайнах и упрощает жизнь авторам DAG-ов.

#airflow #3.1 #release
6👏22😁1
DE
Airflow 3.1 делает ставку на "human‑in‑the‑loop" - человеко-центричные воркфлоу, возвращает удобные Calendar/Gantt в новую React‑UI, приносит Deadline Alerts для проактивного мониторинга, международную локализацию на 17 языков, плагинную систему React (AIP‑68)…
Human‑in‑the‑Loop: когда автоматизация останавливается и ждёт твоего решения

Главная идея релиза - встроенная поддержка задач, которые осознанно ждут вмешательства человека: ревью вывода ML‑модели, модерация контента, апрувы риск‑чувствительных действий, валидация качества данных. Такие таски приостанавливаются (deferred), показывают в UI понятную форму с контекстом (включая XCom и параметры DAG) и продолжаются после решения. Это снижает риск "немых" автопроцессов и легализует человеческую экспертизу в критических точках.

Пример:

from airflow.sdk import DAG
from airflow.providers.standard.operators.hitl import HITLOperator


with DAG("ml_guardrails", schedule="@daily") as dag:
approve = HITLOperator(
task_id="human_review",
message="Проверь метрики модели перед выкладкой",
data_key="eval_report",
)

#airflow #release
42❤‍🔥1
DE
Airflow 3.1 делает ставку на "human‑in‑the‑loop" - человеко-центричные воркфлоу, возвращает удобные Calendar/Gantt в новую React‑UI, приносит Deadline Alerts для проактивного мониторинга, международную локализацию на 17 языков, плагинную систему React (AIP‑68)…
UI, за который не стыдно: Calendar и Gantt возвращаются

После переезда на React‑интерфейс в 3.0 сообщество вернуло Calendar и Gantt - уже в новом UI и с заметным ускорением. Появилось больше фильтров, можно пинить любимые DAG-и - вроде мелочь, но спасает при сотнях пайплайнов.

Визуальная тема стала аккуратнее и доступнее по контрастам. Показательно, что в 3.1 кратно вырос объём фич/PR‑ов в UI - ставка сделана на UX.

#airflow #release
4😁2❤‍🔥1
Deadline Alerts: не ждать падения, а предупреждать заранее

Новый механизм Deadline Alerts позволяет заранее сигнализировать, если DAG‑run "перерасходует" свой бюджет времени: указываешь опорную точку (например, время постановки в очередь), интервал, и способ оповещения (через Notifiers или свой callback). Это удобнее старых SLA‑подходов и лучше соответствует реальному SLO‑мониторингу.

Идея в коде:
from datetime import timedelta
from airflow.sdk.definitions.deadline import DeadlineAlert, DeadlineReference, AsyncCallback
from airflow.providers.slack.notifications.slack_webhook import SlackWebhookNotifier


with DAG(
"critical_etl",
deadline=DeadlineAlert(
reference=DeadlineReference.DAGRUN_QUEUED_AT,
interval=timedelta(hours=2),
callback=AsyncCallback(SlackWebhookNotifier, kwargs={"text": "ETL пропустил дедлайн"})
),
):
...

Гайд по миграции со старых SLA на Deadline Alerts 🔜 ссылка

#airflow #release
Please open Telegram to view this post
VIEW IN TELEGRAM
42👏1
DE
Airflow 3.1 делает ставку на "human‑in‑the‑loop" - человеко-центричные воркфлоу, возвращает удобные Calendar/Gantt в новую React‑UI, приносит Deadline Alerts для проактивного мониторинга, международную локализацию на 17 языков, плагинную систему React (AIP‑68)…
Собери свой Airflow: React‑плагины (AIP‑68), external views и FastAPI‑подприложения

Airflow 3.1 приносит новую плагинную систему для UI: можно встраивать свои React‑приложения и внешние представления (до iframes), добавлять внешние ссылки, а на стороне API‑сервера — регистрировать подприложения FastAPI и middleware. По сути это платформа, куда "пристёгиваются" инструменты компании: каталог датасетов, lineage, финтех‑аппрувалки, да хоть борт с KPI.

#airflow #release
42💯1