Forwarded from Дорога жуков
Load balancer - необходимый элемент любой высоконагруженной системы. Кроме функций распределения входящих запросов по рабочим нодам, балансировщик может решать задачи service discovery, шифрования трафика, кеширования ответов, ограничения частоты запросов и т.д.
Еще это необходимый элемент пазла любого system design interview. Load balancer обычно является частью инфраструктуры, в которую разработчик деплоит написанный код. Это настолько обычная фоновая (относительно разработчика) часть инфраструктуры, что на собесе по проектированию ее легко забыть. Тогда архитектуры будет неполной, так как останется под вопросом решение ряда важных задач.
https://youtu.be/0bAo4ncU-YI
Еще это необходимый элемент пазла любого system design interview. Load balancer обычно является частью инфраструктуры, в которую разработчик деплоит написанный код. Это настолько обычная фоновая (относительно разработчика) часть инфраструктуры, что на собесе по проектированию ее легко забыть. Тогда архитектуры будет неполной, так как останется под вопросом решение ряда важных задач.
https://youtu.be/0bAo4ncU-YI
YouTube
Азбука сисдиз: Load Balancer
Телеграм канал - https://news.1rj.ru/str/roadofbugs_channel
❤🔥4😁1
Forwarded from partially unsupervised
Формально у меня сегодня последний день в Neon, потому что я оказался среди поглощенных кирпичным заводом, на котором - пока столь же формально - начинаю работать завтра.
Поэтому символично, что сегодня успели зарелизить app.build - продукт, над которым мы небольшой командой работали с февраля. Этоjust another end2end генератор CRUD веб-приложений от промпта до деплоя.
Он полностью опенсорсный (можно покопаться в истории и увидеть все мои коммиты в стиле “maybe fix a lot of things”), работает как CLI и обычно генерит скорее работающие приложения. Можно сгенерить на наших серверах, можно развернуть у себя (все равно понадобится gemini и claude API, но можете прислать PR с поддержкой любимого LLM-провайдера). Шероховатостей еще много, но уже скорее работает, чем нет, так что пробуйте и присылайте баг-репорты!
Поэтому символично, что сегодня успели зарелизить app.build - продукт, над которым мы небольшой командой работали с февраля. Это
Он полностью опенсорсный (можно покопаться в истории и увидеть все мои коммиты в стиле “maybe fix a lot of things”), работает как CLI и обычно генерит скорее работающие приложения. Можно сгенерить на наших серверах, можно развернуть у себя (все равно понадобится gemini и claude API, но можете прислать PR с поддержкой любимого LLM-провайдера). Шероховатостей еще много, но уже скорее работает, чем нет, так что пробуйте и присылайте баг-репорты!
👏4
Forwarded from Data Coffee
Установили новую версию Airflow 3.0 вместе со слушателями подкаста🎧, посмотрели на новый модный интерфейс📊, и даже запустили пару DAGs в прямом эфире😱
В свежем видео от Data Coffee рассказываем:
• о новых фичах Airflow в версии 3.0
• как установить себе Airflow локально через Docker Compose
• достучаться донебес интерфейса
• и другое
#datacoffee #airflow #установка #прямойэфир
https://youtu.be/SVJRb9zf9SA?feature=shared
В свежем видео от Data Coffee рассказываем:
• о новых фичах Airflow в версии 3.0
• как установить себе Airflow локально через Docker Compose
• достучаться до
• и другое
#datacoffee #airflow #установка #прямойэфир
https://youtu.be/SVJRb9zf9SA?feature=shared
❤🔥7
Если ты сталкивался с требованиями «знания продвинутого SQL» в вакансиях, но не понимал, что именно под этим подразумевается, эта статья для тебя.
- Оконные функции и CTEs
- Различные типы JOIN и MERGE INTO
- Оптимизация запросов: партиционирование, кластеризация, избегание data skew
- Моделирование данных: Dimension, Fact, Bridge, OBT и агрегированные таблицы
#DE #DataEngineering #SQL #BigData #ETL #Analytics
Please open Telegram to view this post
VIEW IN TELEGRAM
Startdataengineering
Advanced SQL is knowing how to model the data & get there effectively
Most data engineering job denoscriptions these days expect "knowledge of advanced SQL," but ask any data engineer that question, and you will get a different answer every time.
Are you
> Frustrated that "advanced SQL" ebooks or Udemy courses aren't really all…
Are you
> Frustrated that "advanced SQL" ebooks or Udemy courses aren't really all…
❤🔥8
Выкатили новую версию Airflow, но утечка памяти с dag-processor пока никуда не делась.
Свежая багфикс-версия Apache Airflow 3.0.2. Если ты уже сидишь на тройке, то, скорее всего, успел заметить неприятную штуку: dag-processor бесконтрольно плодит треды и открытые файлы, из-за чего растёт не только нагрузка на память, но и число file denoscriptors.
С этим багом столкнулись уже многие, не ты один. Причём даже после апдейта до 3.0.2 утечка не исчезла.
Подозреваю, патч появится в одном из следующих хотфиксов. Пока что мониторь свои процессы, и не забывай лимитить
Свежая багфикс-версия Apache Airflow 3.0.2. Если ты уже сидишь на тройке, то, скорее всего, успел заметить неприятную штуку: dag-processor бесконтрольно плодит треды и открытые файлы, из-за чего растёт не только нагрузка на память, но и число file denoscriptors.
С этим багом столкнулись уже многие, не ты один. Причём даже после апдейта до 3.0.2 утечка не исчезла.
Подозреваю, патч появится в одном из следующих хотфиксов. Пока что мониторь свои процессы, и не забывай лимитить
ulimit -n.Forwarded from DataEng
Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и написал фикс, который благополучно был принят в главную ветку Airflow.
Судя по всему релиз 3.0.3 не за горами.
Судя по всему релиз 3.0.3 не за горами.
GitHub
Explicitly close log file denoscriptor in the supervise function (#51627) · apache/airflow@4a0a89b
We didn't close log file denoscriptor properly hence leading to too many open files error from the operating system.
DataEng
Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и написал…
Коллеги по цеху творят историю.
Спасибо, Адиль!
Спасибо, Адиль!
❤🔥7
Для DE: DataExpert.io Discord, Data Talks Club Slack, Data Engineer Things.
Для ML‑интеграций: AdalFlow Discord, Chip Huyen MLOps Discord.
Data Engineer Handbook
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - DataExpert-io/data-engineer-handbook: This is a repo with links to everything you'd ever want to learn about data engineering
This is a repo with links to everything you'd ever want to learn about data engineering - DataExpert-io/data-engineer-handbook
1❤🔥5
Forwarded from О разработке и не только
В python добавляют очередной тип строк, который явно разделяет шаблон и его аргументы. Выглядеть это будет примерно так:
Т.е.
В общем, меня не покидает ощущение, что python становится слишком фичастым. И когда-нибудь это обязательно стрельнет.
https://habr.com/ru/articles/911196/ #python
attributes = {"src": "shrubbery.jpg", "alt": "looks nice"}
template = t"<img {attributes:.2f} />"
assert html(template) == '<img src="shrubbery.jpg" alt="looks nice" />'
assert template.strings == ("<img ", " />")
assert template.interpolations == attributes
assert template.interpolations[0].format_spec == ".2f"Т.е.
html - кастомная функция, которая разворачивает аргумент-словарь у строки в набор тегов. Я вот так сходу не могу придумать мест применения, кроме экранирования секретов в логах. Но во-первых, это решается по-другому (своим логгером), а во-вторых, уже есть string.Template, который делает нечто похожее. Ну ладно, ещё защита от инъекций (XSS, SQL и т.п.), но там это делается совсем другим способом.В общем, меня не покидает ощущение, что python становится слишком фичастым. И когда-нибудь это обязательно стрельнет.
https://habr.com/ru/articles/911196/ #python
Хабр
Новый лучший способ форматирования строк в Python
Привет, Хабр! Приближается релиз Python 3.14, который несет нам множество нововведений. Среди них — новый способ форматирования строк. Давайте посмотрим, что из себя представляют t-строки, на что они...
Forwarded from DLS — новости
📹 Анонс открытой лекции!
На курсе DLS сейчас череда проектов и многие задаются вопросом, о том, как можно было бы представить свои результаты не только наглядно и красиво, но и желательно в виде доступном с любого устройства и понятном даже бабушке🇷🇺 , незнакомой с программированием.
Мы знаем как это можно сделать! И на практической лекции во вторник, 24ого числа в 19:00, спикер Матвей Аношин (МФТИ x DLS), расскажет как превратить свой Jupyter-ноутбук в веб-сервис.
Ссылку на занятие выложим 24ого. Подключайтесь!
На курсе DLS сейчас череда проектов и многие задаются вопросом, о том, как можно было бы представить свои результаты не только наглядно и красиво, но и желательно в виде доступном с любого устройства и понятном даже бабушке
Мы знаем как это можно сделать! И на практической лекции во вторник, 24ого числа в 19:00, спикер Матвей Аношин (МФТИ x DLS), расскажет как превратить свой Jupyter-ноутбук в веб-сервис.
Ссылку на занятие выложим 24ого. Подключайтесь!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥5
DLS — новости
📹 Анонс открытой лекции! На курсе DLS сейчас череда проектов и многие задаются вопросом, о том, как можно было бы представить свои результаты не только наглядно и красиво, но и желательно в виде доступном с любого устройства и понятном даже бабушке 🇷🇺 , незнакомой…
Если ты ещё не трогал библиотеку Streamlit - начни с открытой лекции от ребят из DLS. Уверен, не пожалеешь.
#de #ml #dl #streamlit
#de #ml #dl #streamlit
streamlit.io
Streamlit • A faster way to build and share data apps
Streamlit is an open-source Python framework for data scientists and AI/ML engineers to deliver interactive data apps – in only a few lines of code.
👏4❤🔥2
SQLZoo — живой онлайн-тренажёр с задачами от простых SELECT до продвинутых оконных функций. Если хочешь свободно «разговаривать» с базами данных, тебе это нужно и будет полезным изучить каждый интерактивный урок.
1️⃣ Почему именно SQLZoo?
Платформа комбинирует теорию и практику в одном окне. Ты сразу видишь результат запроса, исправляешь ошибки на месте и не тратишь время на настройку окружения.
2️⃣ Как учиться быстрее?
🟡 Проходи уроки подряд: Basics 🔜 Joins 🔜 Aggregates 🔜 Windows.
🟡 Фиксируй новые приёмы в конспект: GROUP BY, HAVING, WITH RECURSIVE.
🟡 Старайся решить каждое задание без подсказок, а затем сравни свой запрос с эталоном.
3️⃣ Что получишь на выходе?
За пару вечеров наберёшься практики, которой хватает, чтобы читать чужие SQL-скрипты без боли и писать свои, не заглядывая в подсказки.
Чтобы SQL больше не был тёмным лесом - залетай сюда➡️ sqlzoo.net
#sql #de #postgres
Платформа комбинирует теорию и практику в одном окне. Ты сразу видишь результат запроса, исправляешь ошибки на месте и не тратишь время на настройку окружения.
За пару вечеров наберёшься практики, которой хватает, чтобы читать чужие SQL-скрипты без боли и писать свои, не заглядывая в подсказки.
Чтобы SQL больше не был тёмным лесом - залетай сюда
#sql #de #postgres
Please open Telegram to view this post
VIEW IN TELEGRAM
DE
Если ты ещё не трогал библиотеку Streamlit - начни с открытой лекции от ребят из DLS. Уверен, не пожалеешь. #de #ml #dl #streamlit
VK Видео
Открытая лекция. Streamlit
На курсе DLS сейчас череда проектов и многие задаются вопросом, о том, как можно было бы представить свои результаты не только наглядно и красиво, но и желательно в виде доступном с любого устройства и понятном даже бабушке, незнакомой с программированием.…
❤🔥5