DE – Telegram
520 subscribers
312 photos
81 videos
15 files
404 links
Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt, LLM agentic systems, AI, robots, drones etc.

Boost channel - https://news.1rj.ru/str/boost/data_engi
Download Telegram
🍒 git cherry-pick: забирай только нужное

Хочешь перетащить фикс из чужой ветки без всей истории?
Делай так:

# 1) перейди куда надо
git switch feature

# 2) забери конкретный коммит
git cherry-pick <hash>

# пачка подряд (включая start и end)
git cherry-pick <start>^..<end>

# если конфликты - решай и жми
git add -A
git cherry-pick --continue

# передумал
git cherry-pick --abort

⚡️ Фишки флагов:

-x - оставит в сообщении ссылку "cherry picked from …", очень удобно для трассировки.

-n - применит изменения без коммита, можно собрать несколько и закоммитить одним разом.


🙃 Когда не юзать: если нужно целиком слить ветку — это merge или rebase, а не cherry-pick.

#git #guide #dev
Please open Telegram to view this post
VIEW IN TELEGRAM
7💯3❤‍🔥2😁1
Олдскуды свело)

#8bit #dendy #gaming
❤‍🔥72😁1
Классная книга, для всех кто строит команды, кому интересно и важно понимать как они развиваются. Для меня эта книга абсолютный маст хев:

🌟 📕 Лидер и племя (Tribal Leadership) Дейв Логан, Джон Кинг

Помогает понять где культура вашей команды сейчас и как с этого уровня двигаться к более здоровому. Много примеров и практических советов что делать чтобы перейти с одного уровня на другой.

Читается легко, буквально за пару вечеров.

Ну и кратко прикольная и простая типизация команд (племен):

1. Жизнь — отстой. «Все против всех»:
Характеризуется отчуждением и негативными взаимоотношениями. Люди на этом уровне чувствуют себя отчужденными
и разделяют мнение "жизнь – отстой”, считают, что в их неуспехе виновата сама жизнь и обстоятельства.

2. Моя жизнь — отстой.
Я — винтик, от меня ничего не зависит. Апатия, выученная беспомощность, работа строго по инструкции. Типично для бюрократичных или выгоревших команд. Каждый сам за себя:
люди на этом уровне больше плывут по течению и винят в своих неуспехах например руководителя, считают, что их везде ограничивают.

3. Я крут, а вы — нет. Все работают на звезду.
Классическая корпоративная гонка. Соревновательность, борьба за признание, подковёрные игры. Все заняты собой, вклад команды обесценивается.

4. Мы крутые
Командный дух, доверие, общее дело. Спорят по существу, делятся ошибками и радуются успехам других. Цель важнее эго. Каждый работает на то, чтобы у каждого все получилось: на этом уровне люди ориентированы на командную работу и поддержку друг друга.

5. Жизнь — прекрасна
Высокий смысл и вдохновение. Такие команды не просто работают, они верят, что делают что-то важное — и действительно меняют мир. Люди счастливы и ощущают удовлетворение от своей работы, создают прорывные идеи и наслаждаются жизнью.


Как думаете где ваша команда сейчас?

1️⃣ 2️⃣ 3️⃣ 4️⃣ 5️⃣
Please open Telegram to view this post
VIEW IN TELEGRAM
👏72
Forwarded from Время Валеры
Хорошая книга - elegant puzzle от Will Larson.

Если книга про staff engineer, на мой взгляд, подходит только на то, чтобы растащить графики типичных архетипов или дать почитать начинающим стаффам, то эта книга уже гораздо получше.

Все последовательно, и почти со всем согласен, читаешь, как будто про себя подробно подумал. Рекомендую.

В дополнение рекомендую его-же статью Writers who operate. Чтобы что-то советовать, лучше работать в индустрии сейчас, а не опираться на исторический опыт, который резко может стать менее актуальным
Invalidation events happen in industry (e.g. move from ZIRP to post-ZIRP management environment) but it’s difficult for non-operators to understand implications with conviction
6
DB Quacks

Бесплатный интерактивный курс по SQL и DuckDB, где вместо сухой теории ты вводишь запросы и сразу получаешь результат. Всё в стиле аркадной игры: удобно, весело и полезно.

Идеально для первых шагов в аналитике и работе с данными.

#sql #de #duckdb
❤‍🔥6👏21
Please open Telegram to view this post
VIEW IN TELEGRAM
4💯2😁11
DE
Трудовые будни железяк 🤖 #robotics #ai #future
🤖 Роботы - уже инфраструктура, не фантастика.

Сегодня они видят, хватают, учатся на видео и собственных ошибках.

Уверен, в ближайшие годы нас ждут:
🔘 универсальные "руки" по цене смартфона
🔘 embodied AI - понимание физики и контекста
🔘 RaaS - роботы по подписке

Роботы станут API реального мира.
Ты будешь формулировать намерение - а они выполнять.
Программировать действия станет так же просто, как писать сообщение в чате или попросить Алису включить свет.

#robotics #ai #raas #future
Please open Telegram to view this post
VIEW IN TELEGRAM
💯3😁22
Один клик в VS Code, и у тебя поднимаются Spark + Iceberg + MinIO, Jupyter, отладка PySpark, Spark UI и Data Wrangler. 🚀

Хочешь серию постов о том, как вместо ручной установки Spark использовать готовый devcontainer на Docker?
Anonymous Quiz
90%
6%
4%
🤷‍♀️
Forwarded from Data Secrets
На SourceCraft стартовал конкурс репозиториев и прием заявок на грантовую программу. Если у вас есть проект в опенсорсе, самое время показать его комьюнити: загрузите репозиторий, собирайте оценки и получайте обратную связь. Лучшие работы получат поддержку и станут заметнее в профессиональном сообществе.

SourceCraft делает участие в проектах живым и мотивирующим: многоуровневые оценки помогают отразить реакцию сообщества, а ачивки в профиле отмечают каждое достижение пользователя. Здесь вклад разработчиков всегда фиксируется и ценится.

SourceCraft подходит и для быстрых пет-проектов, и для серьёзных корпоративных решений: поддержка 30+ языков, плагины для IDE и удобная навигация по коду.

Информация об организаторе Акции, о правилах проведения Акции, количестве призов, сроках, месте и порядке их получения размещена по ссылке.
👏4
Про f-строки писал ранее тут, тут и тут.

В дополнение к этому лови f-string cheat sheets

#dev #python #py #fstrings
42
Сейчас существует серьёзная проблема: каждая AI-IDE и кодинг-агент использует свои собственные, несовместимые форматы и файлы с описаниями и правилами проекта, что создаёт хаос и сложности для разработчиков. Нужно тратить время на адаптацию ИИ к разным средам, поддерживать множество отдельных файлов с правилами, а это снижает надёжность и эффективность работы AI-ассистентов.

Решение пришло откуда не ждали: OpenAI создали единый открытый стандарт AGENTS.md. Этот формат служит централизованным местом с инструкциями для AI-агентов по конкретному проекту: как запускать тесты, какие команды использовать, как соблюдать стиль кода и многое другое. Благодаря AGENTS.md все ведущие AI-IDE и инструменты (GitHub Copilot, Cursor, Google Gemini, Sourcegraph и др.) теперь используют один и тот же формат.

Это устраняет фрагментацию, повышает надёжность работы ИИ в разных средах, упрощает настройку и масштабирование AI-разработки. В итоге разработчики экономят время и получают более качественный, предсказуемый результат от AI-инструментов.
5😁1
⚙️ Архитектор ПО - фейк или польза?

Коротко: это не про титул, а про ответственность. Когда систем много и они связаны между собой, нужен человек, кто держит в фокусе NFR`ы (SLA, масштаб, отказоустойчивость), границы и интеграции, безопасность, стандарты и стоимость.

В стартапах эти задачи часто тянут senior/staff/principal. В крупных компаниях - это отдельная роль (иногда - solutions/pre‑sales). Опасность - "башня из слоновой кости": архитектор, оторванный от команды, вреден.

Лучшие архитекторы:
▶️ остаются в продуктивном контакте с девами,
▶️ помогают принимать трэйд‑оффы,
▶️ согласуют бизнес и технику,
▶️ убирают хаос стандартизируя решения.

⚡️ Вывод: ценность определяют не должность и не слайды, а ежедневная работа с рисками, интеграциями и качественными решениями.

К чему?

Это мой ответ на лонгрид об архитекторах - Is "Software Architect" a Fake Role?.

#architect #dev #engineering
Please open Telegram to view this post
VIEW IN TELEGRAM
5😁2💯2❤‍🔥1
1😁16
26 августа 2025 года были обнаружены скомпрометированные версии инструмента nx, в которых встроен вредоносный post‑install скрипт. Он крадёт:
➡️ криптокошельки и ключи (.env, .npmrc, keystore, id_rsa и т. д.)
➡️ API‑токены и другие чувствительные данные
➡️ всё это отправляется в GitHub‑репозиторий с названием s1ngularity-repository в виде base64‑закодированного файла results.b64 .

Механика более чем опасна: скрипт проверяет, установлены ли на системе Claude Code CLI или Gemini CLI - если да, он запускает AI‑асистента для обхода вашего файлового пространства и сбора данных .

#hack #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
5
Как вывести БЯМ-агентов на промышленный уровень

Если ты полагаешся на LLM без строгой архитектуры контекста и контроля - получишь мусор.

🔘 Агенты = софт, а не LLM с обёрткой.
🔘 Контекст - твой главный ресурс.
🔘 12 инженерных принципов из проекта 12-Factor Agents.
🔘 Мал, сфокусирован, с четкой остановкой и возобновлением.
🔘 Человек как инструмент: approval, feedback.
🔘 HumanLayer: SDK для safe-деплоя агентов в Slack/email/…), Gen-3-агенты "внезапно" станут реальностью.

✏️ Придержись Context Engineering - и твой агент будет работать стабильно, а не сжигать бюджет на доработки.

〰️〰️〰️〰️〰️〰️〰️〰️〰️

Видео о том, как готовить агентов.
Контекст для агентов ты должен собирать крайне аккуратно, иначе попадёшь в какую-нибудь нелепую ситуация, например как видео по линку выше:
собрали свой велосипед и железяка 2 месяца читает только .md-файлы вместо кода.

#llm #agent #agents #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥4👏2😁1
😁8
😁14
Вчера пастух следил за овцами, завтра - за БЯМ-агентами.

Новая профессия будущего: пастухи стада LLM-агентов..
Их стадо - десятки или сотни цифровых помощников, которых нужно направлять, защищать от галлюцинаций и собирать в единый разум.
Пастухи LLM-агентов - те, кто будет управлять не кодом, а ройным интеллектом.

#llm #ai #agent #agents #swarm
14😁2💯1