DE – Telegram
522 subscribers
313 photos
81 videos
15 files
406 links
Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt, LLM agentic systems, AI, robots, drones etc.

Boost channel - https://news.1rj.ru/str/boost/data_engi
Download Telegram
🙄 Албанский ИИ‑министр "беременна" - 83 "детей" для депутатов

Премьер Эди Рама в Берлине объявил: виртуальный министр Diella ждёт 83 цифровых помощников - по одному на каждого депутата правящей партии.
"Дети" будут участвовать в заседаниях, вести запись всего, что происходит, и подсказывать, как реагировать - даже если вы ушли на кофе


Что это значит: каждому депутату выдадут ИИ‑ассистента, который будет фиксировать повестку, присылать конспекты и уведомления о пропущенных обсуждениях и событиях.

Контекст: в сентябре 2025 Албания стала первой страной, где ИИ получил кабинетный пост. Diella курирует госзакупки - заявленная цель: сделать тендеры на 100% прозрачными и свободными от коррупции. Diella выросла из помощника на портале e‑Albania (с января 2025).

Не все в восторге: первое выступление Diella в парламенте сорвалось криком оппозиции- скандал и бойкот заседания.

Сроки: пилот идёт; полная готовность - конец 2026.

Как тебе такой govtech? 😵‍💫

🇦🇱 #ИИ #Албания #AI #LLM #agents
Please open Telegram to view this post
VIEW IN TELEGRAM
😁6❤‍🔥1👏1
GitHub выкатывают Agent HQ - по сути, "дом" для код‑агентов прямо внутри GitHub. Не только Copilot, но и ребята от OpenAI, Anthropic, Google (Jules), xAI, Cognition и др. - всё в одном месте. И да: это будет частью платной подписки Copilot. Добро пожаловать в эпоху "пастухов агентов", а не переключений между вкладками.

Что это по факту:

⭐️ Хаб агентов в GitHub: запускаешь сторонних coding‑агентов рядом с Copilot и смотришь, кто справится лучше. Можно гнать несколько агентов параллельно на одну задачу и выбрать лучший результат.

⭐️ Mission Control: единая панель, где ты управляешь, мониторишь и трекаешь все агентские задачи (GitHub, VS Code, CLI, даже с мобилы - единый опыт). Для админов завезли control plane: политики доступа и аудит‑логи - нормальная управляемость в энтерпрайзе, а не зоопарк.

⭐️ План 🔜 выполнение 🔜 проверка: в VS Code появится Plan Mode - Copilot сначала строит план, потом агент исполняет по шагам. Плюс код‑ревью шаг с доступом к инструментам уровня CodeQL, чтобы агент не тащил тебе сырой код.

Кому и когда:

⚡️ Подписчики Copilot получат доступ к Agent HQ "в ближайшие месяцы". Часть фич идёт как превью (логично для Universe).

⚡️ Отдельный бонус: ранний доступ к OpenAI Codex для Copilot Pro Plus в VS Code Insiders. Если следишь за моделями - любопытный поворот.

Зачем это тебе (без воды):

🔥 Больше не нужно гадать какой агент лучше: запускай несколько, сравнивай артефакты и оставляй то, что проходит твои тесты/линтеры.

🔥 Наконец‑то governance: политики, аудит, метрики - меньше серых зон для секьюрити и комплаенса.

🔥 Меньше контекст‑свитчинга: план ➡️ автозадачи ➡️ автоматизированное ревью - всё в одном потоке вместо "IDE 🔜 браузер 🔜 чат 🔜 тул".

Мой дев‑тэйк:

✏️ Это шаг от подсказывающего автокомплита к оркестрации агентов как полноценным участникам процесса - с контролями, логами и метриками. Главное - оставить у себя право финального мерджа и держать тесты & CodeQL включёнными по умолчанию.
Please open Telegram to view this post
VIEW IN TELEGRAM
1👏43😁2
😁7
DE_Cheatsheet.pdf
106.1 KB
Free Python Standard Library How-to
Cheatsheet for Data Engineers

#de #cheatsheet
❤‍🔥42👏1
Forwarded from Сиолошная
Вышел Cursor 2.0, и переход к новой мажорной версии сделан не просто так. Теперь вдобавок к режиму IDE (среде разработки) добавлен режим Agent.

Он сфокусирован и изначально задизайнен с акцентом на агентов, а не на файлы. Когда вам необходимо погрузиться глубже в код, вы можете легко открыть файлы в новом интерфейсе или переключиться обратно на классическую IDE.

Cursor 2.0 позволяет с легкостью запускать множество агентов впараллель, без взаимных пересечений. Можно запускать как одни и те же модели, так и разные — это новый паттен, возникший в последние полгода: люди работают в 3-4-5 копиях одного репозиториря, чтобы не просиживать штаны, пока агент гоняет код.

Но и параллельный запуск нескольких моделей для решения одной и той же задачи с последующим выбором наилучшего результата значительно улучшает итоговый результат.

В Cursor 2.0 мы теперь стало намного проще быстро просмотреть изменения, внесенные агентом, и при необходимости глубже изучить код. Кроме того, в инструмент внедрили специальный браузер, позволяющий Cursor-агенту тестировать свою работу и итерироваться, пока не будет получен корректный конечный результат. Плюс, если вам что-то не понравится — можно выделить элемент и дать обратную связь для исправления.

Вместе с этим компания запускает Composer, модель, обученную ими самими (вот блог, из интересного — используют свои MXFP8 kernels). Она не лучше закрытых проприетарных решений, зато сильно быстрее; но цена — как у GPT-5 (то есть ниже Sonnet 4.5 и тем более Opus).

С дизайна в ролике кайфанул 👇
Media is too big
VIEW IN TELEGRAM
8
🚁 Joby Aviation и NVIDIA: будущее автономного полёта уже рядом

28 октября Joby Aviation объявила о партнёрстве с NVIDIA - компания станет эксклюзивным авиационным партнёром новой платформы IGX Thor, созданной для систем реального времени и физического ИИ.

Эта технология ляжет в основу автономного полётного комплекса Superpilot, который позволит eVTOL-самолётам Joby адаптироваться к погоде, трафику и другим условиям в реальном времени.

💡 IGX Thor - первый шаг к сертифицированным системам автономного управления в авиации.

⚙️ NVIDIA получает идеальный "полевой" тест для своих решений, а Joby - технологическое преимущество на пути к полностью автономным полётам.

#Joby #NVIDIA #eVTOL #AI #авиация
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5
Инфополе буквально завалено новостями о старте продаж робота NEO от 1X.

NEO выглядит интересно, но если по‑честному:
🔘 Автономия пока базовая, сложные дела - через Expert Mode (удалённый оператор).
🔘 Приватность: во время Expert Mode оператор видит ваш дом.
🔘 Много обещаний на бумаге (сила/скорость/полная автономия), в реале это дорожная карта.
🔘 Батарея: ~4 ч хода, дальше - зарядка (6 мин ~1 ч работы).
🔘 Вода/улица: IP44 корпус (брызги ок, ливень/ванна - нет).
🔘 Локации/сроки: США в 2026, остальные рынки - с 2027; подписка позже.
🔘 Цена/TCO: $20k или $499/мес, гарантия 3 года - детали сервиса после гарантии неясны.
🔘 Всё ещё техника весом ~30 кг в доме: нужны правила безопасности.

#NEO #robotics #LLM #AI #роботы #гуманоиды
Please open Telegram to view this post
VIEW IN TELEGRAM
😁4
DE
Ох, он ещё и посудомойку умеет загружать, ну точно надо брать 🙂 #robotics #helix #figure
This media is not supported in your browser
VIEW IN TELEGRAM
Ты видел как Helix от Figure AI ловко загружает посудомойку. Теперь есть видео того, как NEO с справляется с закрытием дверцы посудомойки. Любопытно, как справился бы Helix с такой задачей.

Вероятно закрыть дверцу посудомоечной машины - нетривиальная задача для робота. Возможно по этой причине на видео с Helix этот момент опущен.

#NEO #robotics #AI #роботы #гуманоиды #ИИ
😁6💯1
Forwarded from 5 minutes of data
ООП в Python на примере Кошмара перед Рождеством

Обычно перед halloween появляются небольшие тематические курсы или квесты по программированию.
На этот раз наткнулся на такой бесплатный курс на Stepik.

Этот курс даст вам возможность изучить основы ООП на Python через мульт Тима Бёртона "Кошмар перед Рождеством". Вместо традиционных примеров, мы будем использовать историю Джека Повелителя Тыкв, чтобы глубже понять такие ключевые понятия ООП, как наследование, инкапсуляция, полиморфизм и композиция.

@data_whisperer
81
😁5💯1
OpenAI представила Aardvark - агент‑исследователь безопасности на GPT‑5 (приватная бета, 30 октября 2025)
Агент читает репозитории, строит threat‑model, отслеживает коммиты, валидирует уязвимости в песочнице и сразу предлагает патчи (через Codex). Интегрируется с GitHub и не тормозит разработку.

Что важно:
🔘 Во внутренних и партнерских испытаниях Aardvark показал высокий recall; на "golden" репозиториях - обнаружил 92% известных/синтетических уязвимостей.
🔘 В опенсорсе уже ответственно раскрыты находки, десять из них получили CVE.
🔘 Контекст: в 2024 было >40 000 CVE, ~1,2% коммитов вносят баги - автоматический ассистент нужен "на потоке".

Кому зайдёт: DevSecOps, платформенные и продуктовые команды - чтобы ловить эксплуатабельные баги раньше и закрывать их "в один клик".

Как попасть: Aardvark уже в приватной бете, набор ограниченный. Можешь подать заявку по ссылке:
http://openai.com/index/introducing-aardvark/

#OpenAI #Aardvark #Security #DevSecOps #GPT5 #AI #LLM #БЯМ #агенты
Please open Telegram to view this post
VIEW IN TELEGRAM
142❤‍🔥1
Forwarded from Сиолошная
Интересная новость из свежей рассылки The Pragmatic Engineer:

Во время моего визита я встретился с Sulman Choudhry, который руководит направлениями инженерии и прикладных исследований ChatGPT. Он поделился несколькими интересными моментами:

Теперь OpenAI нанимает не только сеньоров, но и джунов. Компания успешно использует подход «супер-сеньор + супер-джун». «Супер-джуны» — это молодые инженеры, выросшие в эпоху ИИ, с предпринимательским складом мышления, многие из которых прошли акселератор стартапов Y Combinator. По словам Сулмана, супер-джуны используют ИИ-инструменты такими способами, которые удивляют их более опытных коллег.

Например, один из таких инженеров выполнил впечатляющую работу, и Сулман спросил, использовал ли тот Codex для этого. Это вызвало оборонительную реакцию, и Сулман сначала подумал, что инженер обиделся, так как сделал большую часть работы вручную и ему не понравилось предположение о том, что задачу просто поручили ИИ. Вот как Сулман пересказал ответ инженера:

«Это немного обидно, что ты спрашиваешь, использовал ли я Codex. Конечно же, один Codex не смог бы построить софт такой сложности, и ты наверняка это тоже понимаешь.

Именно поэтому мне пришлось использовать сразу несколько экземпляров Codex, наладив между ними каналы связи, чтобы они совместно решали задачу: один проверял работу, а остальные реализовывали специализированные части».

Выяснилось, что инженера раздражало не предположение об использовании Codex, а предположение, что он использовал только один его экземпляр! В конце концов, кто же захочет так замедлять свою работу? Супер-джуны в OpenAI двигают границы возможностей ИИ-инструментов и вдохновляют более опытных инженеров применять их по-новому.


Про запуск 3-5 окон в параллель в разных папках слышал, но про такое — ни разу. Интересно. когда добавят такую фичу в сам Codex 🤔

Вот вам и 20x инженеры, выступающие в роли операторов агентов, контролирующие их работу и задающие направление разработки.

===

И ещё оттуда же:

Одна из последних интересных внутренних фичей — кнопка «починить это», интегрированная во внутреннюю версию мобильного приложения OpenAI. Все мы привыкли к кнопке «сообщить об ошибке» в мобильных приложениях: делается скриншот, вы описываете проблему и отправляете отчёт. Команда OpenAI пошла дальше: вы заполняете форму с описанием ошибки и нажимаете кнопку «починить». Отчёт отправляется в Codex, который автоматически предлагает исправление. Инженеру остаётся только утвердить предложенный вариант — и этот цикл обратной связи значительно ускоряется!
Please open Telegram to view this post
VIEW IN TELEGRAM
👏62❤‍🔥1😁1
Сиолошная
Интересная новость из свежей рассылки The Pragmatic Engineer: Во время моего визита я встретился с Sulman Choudhry, который руководит направлениями инженерии и прикладных исследований ChatGPT. Он поделился несколькими интересными моментами: Теперь OpenAI…
💡 Плюсы: ИИ как мультипликатор производительности

1️⃣ Радикальное ускорение итераций.
Когда инженеры работают с несколькими экземплярами Codex, они фактически создают распределённую систему агентов. Это превращает одиночного разработчика в "оркестр" операторов ИИ.
🔜 Пример: один агент пишет код, другой проверяет тесты, третий фиксит стили - всё параллельно.
Это даёт 10-20x ускорение в прототипировании и снижает когнитивную фрикцию.

2️⃣ Новый тип инженера.
"Супер-джуны" - это не просто младшие специалисты, а оркестраторы ИИ-процессов, выросшие в эпоху prompt- и agent-first мышления.
Они не боятся делегировать, экспериментируют, не застревают в перфекционизме. Это именно то, что нужно для R&D, где ценится скорость обучения, а не стабильность кода.

⚠️ Минусы: когнитивная эрозия и инженерная иллюзия

1️⃣ Ослабление инженерного мышления.
Если джуны постоянно делегируют сложные задачи агентам, то у них может не формироваться системное мышление: почему решение работает, почему архитектура такая.
Через год - сильный оператор, но слабый архитектор.

2️⃣ Иллюзия продуктивности.
Быстрое исправление ≠ качественное исправление.
Когда цикл feedback'а автоматизирован, легко утратить осознанность: исправление принято, но регрессия осталась.
ИИ фиксит симптомы, не всегда понимая причины.

3️⃣ Зависимость от инструментов.
Если компания строит процессы вокруг Codex, она рискует потерять "engineering muscle memory".
Умение дебажить, проектировать, понимать trade-offs - это навыки, которые ИИ пока не воспроизводит в полной мере.

🔄 Баланс

Идеальный вектор развития - смешанные команды операторов и менторов.
Супер-джуны должны быть "пилотами" ИИ, а сеньоры - архитекторами и навигаторами, которые обеспечивают глубину решений.

Иначе получится не "инженер + Codex", а "Codex без инженера".

Итог:
Этот подход - не просто найм джунов, а переход к новой модели разработки: "операторы агентов" (пастухи агентов) вместо классических кодеров.
Если компании смогут встроить в это инженерную культуру осознанности и архитектурного мышления, мы увидим не просто рост продуктивности, а появление нового инженерного вида - homo orchestrator.

#LLM #AI #agentic #HomoOrchestrator #ПастухАгентов
Please open Telegram to view this post
VIEW IN TELEGRAM
7😁1
This media is not supported in your browser
VIEW IN TELEGRAM
🐦 Шведский стартап Corvid Cleaning обучает ворон-уборщиков

В городе Södertälje, неподалёку от Стокгольма, дикая птица семейства врановых получает за каждую подобранную окурок награду - орешек. Воронка приносит окурок, помещает его в автомат-контейнер, и получает свой паёк.

😀 Почему именно ворон?

Они входят в семейство корвидов (crow family) и признаны одними из самых интеллектуальных птиц: сравниваются с семилетними детьми по уровню решения задач.

Они живут в городских условиях, легко адаптируются, могут наблюдать друг за другом и быстро учиться.

Вместе с тем, автомат запрограммирован так, чтобы минимизировать риск того, что птица съест мусор или что-то неподходящее.


💰 Экономический и экологический эффект

По данным Keep Sweden Tidy Foundation, окурки составляют примерно 62% от всего мусора на улицах Швеции.

В Сёдертелье только уборка улиц обходится городу около 20 миллионов шведских крон (~$2 млн) в год.

Стартап оценивает, что с помощью птиц можно сократить затраты на сбор окурков до ~20 ёре (~$0.02) за штуку при нынешних ~80 ёре и выше.

Оптимистичные оценки ожидают экономию до ~75% затрат на данный вид мусора.

⚠️ Что важно учитывать?

Пока проект находится в пилотной стадии - проводятся тесты на устойчивость, здоровье птиц и долгосрочную эффективность.

Возникают вопросы: не будет ли это эксплуатацией птиц? Как они отреагируют на постоянный сбор потенциально вредного мусора?

Хотя идея звучит оригинально, её масштаб и устойчивость ещё предстоит доказать.

🔍 Вывод
Инновационная комбинация "умных птиц + автоматизированная поощрительная система" может стать ярким примером экологического предпринимательства. Если всё пойдёт как задумано - меньше мусора, меньше затрат, и интересный кейс устойчивой городской экосистемы. При этом очень важно контролировать этическую сторону и долгосрочное воздействие на животных.

#стартап #технологии #smartbird
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥6👏21
😁72
Переезд с Docker[-Compose] на Kubernetes - мини-разбор инфраструктурного вебинара глазами архитектора данных.

Я не настоящий ДевОпс, и часто кручу что-то простое в докере и докер-компоузе. Нужен просто Аэрфлоу или Суперсет - нет ничего проще развернуть готовый компоуз с ГитХаба и (какое-то время) радоваться, что все работает. Но все мы понимаем, что это времянка и рано или поздно при выходе на продакшен с SLA-ями придется переинжинирить инсталляцию на что-то более устойчивое.

Чуть ранее я анонсировал вебинар про перенос инфрастурктуры с докера на кубер от коллег. Теперь у нас есть его запись.

В вебинаре все разложили по полочкам - почему умные делают так, какие именно недостатки в простом докере и чего именно мы добиваемся переходя на более взрослое решение на основе K8S.

💾💾💾💾💾💾💾💾💾💾💾💾💾💾

Выписал себе пункты:

1️⃣ Докер - отличный старт, когда контейнеров мало и инфра небольшая.

2️⃣ Докер решает только задачу запуска контейнера. Не управления многими контейнерами, не интеграции с инструментами разработки.

3️⃣ В докере нет централизованного хранилища секретов, что приводит к хранению паролей и ключей в .env и прочих текстовых файлах, и в конце концов рано или поздно, к утечкам критических доступов.

4️⃣ То же - для сетевых практик, например разделения dev & prod

5️⃣ Docker Compose - хороший способ поддержать локальное окружение разработки.

6️⃣ Docker Compose - по дизайну односерверная инфраструктура. Он не подходит для создания хоть сколь-нибудь отказоустойчивой конфигурации, непрерывной выкатки, масштабирования.

7️⃣ На основе K8S намного легче добиться ситуации когда выкатка для разработчика - это просто коммит. То же с непрерывным обслуживанием конечных пользователей.

8️⃣ То же - для возможности быстрой откатки на предыдущее состояние, если что-то идет не так

💾💾💾💾💾💾💾💾💾💾💾💾💾💾

Мне было весьма полезно, хотя бы в том плане, что есть четкий набор аргументов, чего именно мы добиваемся при переходе на Кубер. Какие реально есть аргументы переноса, допустим, небольшой аналитической инфраструктуры на кубер. Тот случай, когда вроде не вчера знаком со всеми технологиями, но нужно послушать специалиста для того, чтобы в голове все улеглось в стройную картину.
Please open Telegram to view this post
VIEW IN TELEGRAM
👏55❤‍🔥2
😁12