DE – Telegram
DE
@data_engi
522 subscribers
312 photos
81 videos
15 files
405 links
Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt, LLM agentic systems, AI, robots, drones etc.

Boost channel - https://news.1rj.ru/str/boost/data_engi
Download Telegram
About
Blog
Apps
Platform
Join
DE
522 subscribers
DE
📊 Продвинутый SQL: Моделирование и эффективный доступ к данным

Если ты сталкивался с требованиями «знания продвинутого SQL» в вакансиях, но не понимал, что именно под этим подразумевается, эта статья для тебя.

🐱 В ней рассматриваются:
- Оконные функции и CTEs
- Различные типы JOIN и MERGE INTO
- Оптимизация запросов: партиционирование, кластеризация, избегание data skew
- Моделирование данных: Dimension, Fact, Bridge, OBT и агрегированные таблицы

📖 Подробнее: https://www.startdataengineering.com/post/advanced-sql/

#DE #DataEngineering #SQL #BigData #ETL #Analytics
Please open Telegram to view this post
VIEW IN TELEGRAM
Startdataengineering
Advanced SQL is knowing how to model the data & get there effectively
Most data engineering job denoscriptions these days expect "knowledge of advanced SQL," but ask any data engineer that question, and you will get a different answer every time.
Are you
> Frustrated that "advanced SQL" ebooks or Udemy courses aren't really all…
❤‍🔥8
398 views
DE
Уже многие могли видеть униформу эксельщика 😁

#meme #excel
😁8
418 views
DE
DE
Уже многие могли видеть униформу эксельщика 😁 #meme #excel
Подвезли и униформу эйрфлоущика 😂

#meme #airflow
😁76👏11
517 views
DE
Выкатили новую версию Airflow, но утечка памяти с dag-processor пока никуда не делась.

Свежая багфикс-версия Apache Airflow 3.0.2. Если ты уже сидишь на тройке, то, скорее всего, успел заметить неприятную штуку: dag-processor бесконтрольно плодит треды и открытые файлы, из-за чего растёт не только нагрузка на память, но и число file denoscriptors.

С этим багом столкнулись уже многие, не ты один. Причём даже после апдейта до 3.0.2 утечка не исчезла.

Подозреваю, патч появится в одном из следующих хотфиксов. Пока что мониторь свои процессы, и не забывай лимитить ulimit -n.
7😁1
392 views
DE
Forwarded from DataEng
Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и написал фикс, который благополучно был принят в главную ветку Airflow.

Судя по всему релиз 3.0.3 не за горами.
GitHub
Explicitly close log file denoscriptor in the supervise function (#51627) · apache/airflow@4a0a89b
We didn't close log file denoscriptor properly hence leading to too many open files error from the operating system.
10
400 views
DE
DataEng
Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и написал…
Коллеги по цеху творят историю.

Спасибо, Адиль!
❤‍🔥72
409 views
DE
📚 Data Engineer Handbook 🔜 супер‑ресурс для тебя и тех, кто хочет стать профи в DE.

🌟 Что внутри:

▶️ Пошаговая дорожная карта: от базовых SQL‑запросов до продвинутого использования потоков и LLM-интеграций.

▶️ Bootcamp на YouTube: 6‑недельный курс в котором есть всё от установки софта до проектов.

▶️ Реальные проекты и задачи: попрактикуйся на настоящих сценариях 🔜 ETL, пайплайны, стриминг, облако.

▶️ Обширная подборка книг (25+) и тебе нужно обязательно прочесть хотя бы этот минимум: Fundamentals of Data Engineering, Designing Data‑Intensive Applications, Designing Machine Learning Systems.

▶️ Сообщества:

Для DE: DataExpert.io Discord, Data Talks Club Slack, Data Engineer Things.

Для ML‑интеграций: AdalFlow Discord, Chip Huyen MLOps Discord.

🔥 Репозиторий активно развивается 🔜 31k+ звёзд, 6k+ форков, 400+ контрибьютеров.

〰️〰️〰️〰️〰️〰️〰️〰️

📌 Итог:
Data Engineer Handbook 🔜 это всё, что тебе нужно в мире DE: самообучение, проекты, сообщества, советы, сертификация. Начни уже сегодня!
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - DataExpert-io/data-engineer-handbook: This is a repo with links to everything you'd ever want to learn about data engineering
This is a repo with links to everything you'd ever want to learn about data engineering - DataExpert-io/data-engineer-handbook
1❤‍🔥522
518 views
DE
#ai #meme #dev #llm #vibecoding
😁10
305 views
DE
Forwarded from О разработке и не только
В python добавляют очередной тип строк, который явно разделяет шаблон и его аргументы. Выглядеть это будет примерно так:
attributes = {"src": "shrubbery.jpg", "alt": "looks nice"}
template = t"<img {attributes:.2f} />"
assert html(template) == '<img src="shrubbery.jpg" alt="looks nice" />'
assert template.strings == ("<img ", " />")
assert template.interpolations == attributes
assert template.interpolations[0].format_spec == ".2f"

Т.е. html - кастомная функция, которая разворачивает аргумент-словарь у строки в набор тегов. Я вот так сходу не могу придумать мест применения, кроме экранирования секретов в логах. Но во-первых, это решается по-другому (своим логгером), а во-вторых, уже есть string.Template, который делает нечто похожее. Ну ладно, ещё защита от инъекций (XSS, SQL и т.п.), но там это делается совсем другим способом.

В общем, меня не покидает ощущение, что python становится слишком фичастым. И когда-нибудь это обязательно стрельнет.

https://habr.com/ru/articles/911196/ #python
Хабр
Новый лучший способ форматирования строк в Python
Привет, Хабр! Приближается релиз Python 3.14, который несет нам множество нововведений. Среди них — новый способ форматирования строк. Давайте посмотрим, что из себя представляют t-строки, на что они...
6❤‍🔥1😁1
291 views
DE
Forwarded from DLS — новости
📹 Анонс открытой лекции!

На курсе DLS сейчас череда проектов и многие задаются вопросом, о том, как можно было бы представить свои результаты не только наглядно и красиво, но и желательно в виде доступном с любого устройства и понятном даже бабушке 🇷🇺, незнакомой с программированием.

Мы знаем как это можно сделать! И на практической лекции во вторник, 24ого числа в 19:00, спикер Матвей Аношин (МФТИ x DLS), расскажет как превратить свой Jupyter-ноутбук в веб-сервис.

Ссылку на занятие выложим 24ого. Подключайтесь!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥5
320 views
DE
DLS — новости
📹 Анонс открытой лекции! На курсе DLS сейчас череда проектов и многие задаются вопросом, о том, как можно было бы представить свои результаты не только наглядно и красиво, но и желательно в виде доступном с любого устройства и понятном даже бабушке 🇷🇺, незнакомой…
Если ты ещё не трогал библиотеку Streamlit - начни с открытой лекции от ребят из DLS. Уверен, не пожалеешь.

#de #ml #dl #streamlit
streamlit.io
Streamlit • A faster way to build and share data apps
Streamlit is an open-source Python framework for data scientists and AI/ML engineers to deliver interactive data apps – in only a few lines of code.
👏4❤‍🔥2
367 views
DE
SQLZoo — живой онлайн-тренажёр с задачами от простых SELECT до продвинутых оконных функций. Если хочешь свободно «разговаривать» с базами данных, тебе это нужно и будет полезным изучить каждый интерактивный урок.

1️⃣ Почему именно SQLZoo?
Платформа комбинирует теорию и практику в одном окне. Ты сразу видишь результат запроса, исправляешь ошибки на месте и не тратишь время на настройку окружения.

2️⃣ Как учиться быстрее?
🟡 Проходи уроки подряд: Basics 🔜 Joins 🔜 Aggregates 🔜 Windows.
🟡 Фиксируй новые приёмы в конспект: GROUP BY, HAVING, WITH RECURSIVE.
🟡 Старайся решить каждое задание без подсказок, а затем сравни свой запрос с эталоном.

3️⃣ Что получишь на выходе?
За пару вечеров наберёшься практики, которой хватает, чтобы читать чужие SQL-скрипты без боли и писать свои, не заглядывая в подсказки.

Чтобы SQL больше не был тёмным лесом - залетай сюда ➡️ sqlzoo.net

#sql #de #postgres
Please open Telegram to view this post
VIEW IN TELEGRAM
4
499 views
DE
DE
Если ты ещё не трогал библиотеку Streamlit - начни с открытой лекции от ребят из DLS. Уверен, не пожалеешь. #de #ml #dl #streamlit
Если пропустил онлайн - лови запись про Streamlit

#de #dl #ml #streamlit
VK Видео
Открытая лекция. Streamlit
На курсе DLS сейчас череда проектов и многие задаются вопросом, о том, как можно было бы представить свои результаты не только наглядно и красиво, но и желательно в виде доступном с любого устройства и понятном даже бабушке, незнакомой с программированием.…
❤‍🔥5
446 views
DE
#meme #ai #llm
1😁14
544 views
DE
В Apache пилят замену Кафки на Расте

https://iggy.apache.org/

#de #kafka #rust
iggy.apache.org
Apache Iggy (Incubating) | Hyper-Efficient Message Streaming at Laser Speed.
Apache Iggy, A blazing-fast, reliable, and scalable message streaming platform written in Rust and built for modern distributed systems. Process millions of messages per node with unparalleled efficiency.
6❤‍🔥3😁2
390 views
DE
#dev #meme
😁11
366 views
DE
Учёные становятся дороже футболистов. В этом мире не всё потеряно 🙂

#ai #science
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥7👏4😁3
392 views
DE
This media is not supported in your browser
VIEW IN TELEGRAM
#meme #dev #architect
😁9
468 views
DE
#dev #meme
😁8
415 views
DE
Forwarded from Павленко про Dev & AI
📱 ByteDance выложила в открытый доступ агента-программиста Trae.

Trae Agent превращает текстовые запросы в рабочий код. Этот экспериментальный проект использует Claude и Gemini, чтобы писать, отлаживать и исправлять ошибки в коде без участия человека. Он работает через командную строку, анализирует большие проекты, применяет bash-скрипты и обновляет файлы в реальном времени.

Система уже показала высокие результаты на тесте SWE-bench Verified. Trae открыт под MIT-лицензией, а его команда планирует расширить поддержку LLM, добавить MCP и усилить Unit-тестирование.
github.com
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥4😁1
333 views
DE
#dev #meme #llm
😁10
368 views