Как мы запускали «марсоход» на PostgreSQL: автоматизация кластеров в изолированной среде крупной компании
Авторы - Игорь Старшинов, Евгений Ярош и Михаил Изюмов:
"Мы работаем в «Инфосистемы Джет» и если коротко, то мы тут построили «марсоход».
Если чуть длиннее — мы создали комплексную систему автоматического развертывания кластеров PostgreSQL, протестировали ее более 150 раз, внедрили у заказчика в изолированной инфраструктуре, и все заработало."
Читать статью
Авторы - Игорь Старшинов, Евгений Ярош и Михаил Изюмов:
"Мы работаем в «Инфосистемы Джет» и если коротко, то мы тут построили «марсоход».
Если чуть длиннее — мы создали комплексную систему автоматического развертывания кластеров PostgreSQL, протестировали ее более 150 раз, внедрили у заказчика в изолированной инфраструктуре, и все заработало."
Читать статью
👍1
Как я распилил 1,1 ТБ default-партиции и не уронил прод
Автор - Eugene Drankin:
"Мы забыли вовремя создать партиции, и все новые данные полетели в events_default_partition. Default дорос до ~1.1 ТБ, а простое «ATTACH PARTITION» требовало часов сканирования и долгой блокировки. В статье — почему «быстрые» рецепты оказываются медленными, как я перенёс данные в нужные диапазоны, и как мы уложили критическую блокировку в 44 с.
Default-партиция — это не озеро Байкал. Если туда всё сливать, экосистема потом мстит."
Читать статью
Автор - Eugene Drankin:
"Мы забыли вовремя создать партиции, и все новые данные полетели в events_default_partition. Default дорос до ~1.1 ТБ, а простое «ATTACH PARTITION» требовало часов сканирования и долгой блокировки. В статье — почему «быстрые» рецепты оказываются медленными, как я перенёс данные в нужные диапазоны, и как мы уложили критическую блокировку в 44 с.
Default-партиция — это не озеро Байкал. Если туда всё сливать, экосистема потом мстит."
Читать статью
👍4
PostgreSQL Query Planner: Практический гид по EXPLAIN ANALYZE и ускорению запросов на 50–200%
"Представьте ситуацию: вчера приложение работало нормально, сегодня получили звонок – «Сайт грузит 10 секунд!». Заглядываете в логи, видите, что SQL-запрос выполняется 8 секунд вместо обычных 0.2 секунды. Но база данных, таблицы – всё то же самое. Что изменилось?"
Читать статью
"Представьте ситуацию: вчера приложение работало нормально, сегодня получили звонок – «Сайт грузит 10 секунд!». Заглядываете в логи, видите, что SQL-запрос выполняется 8 секунд вместо обычных 0.2 секунды. Но база данных, таблицы – всё то же самое. Что изменилось?"
Читать статью
🔥4👍2❤1
Embedded SQL с группировкой запросов: элегантный подход к управлению SQL в Go
В этой статье Автор описывает паттерн группировки SQL-запросов. Это подход, где все запросы одной сущности хранятся в одном .sql файле с именованными секциями. Вместо того чтобы хранить каждый запрос в отдельном файле или писать SQL прямо в коде, ты:
1. Группируешь все запросы сущности в один файл (например, department.sql)
2. Помечаешь каждый запрос именем через комментарий -- name: QueryName
3. Загружаешь файл один раз при старте приложения через go:embed
4. Получаешь нужный запрос по имени через getter
Читать статью
В этой статье Автор описывает паттерн группировки SQL-запросов. Это подход, где все запросы одной сущности хранятся в одном .sql файле с именованными секциями. Вместо того чтобы хранить каждый запрос в отдельном файле или писать SQL прямо в коде, ты:
1. Группируешь все запросы сущности в один файл (например, department.sql)
2. Помечаешь каждый запрос именем через комментарий -- name: QueryName
3. Загружаешь файл один раз при старте приложения через go:embed
4. Получаешь нужный запрос по имени через getter
Читать статью
👍3
Patroni и логическая реплика в PostgreSQL: как не потерять данные при failover’е
В этой статье:
- Как Patroni управляет слотами логической репликации
- Возможные проблемы при таком подходе
- Эксперимент с отставшей логической репликой
- Решение проблемы
Читать статью
В этой статье:
- Как Patroni управляет слотами логической репликации
- Возможные проблемы при таком подходе
- Эксперимент с отставшей логической репликой
- Решение проблемы
Читать статью
Databasus — open source инструмент для резервного копирования PostgreSQL, MySQL и MongoDB (ex-Postgresus)
"Databasus — это open source инструмент для резервного копирования баз данных. Главная задача проекта: делать копии баз данных по расписанию и сохранять их как локально, так и во внешних хранилищах. При этом уведомлять пользователя о статусе: когда копирование закончилось или провалилось.
Проект разворачивается одной командой в Docker. Его можно установить через shell скрипт, Docker команду, docker-compose.yml и теперь через Helm для Kubernetes."
Читать статью
"Databasus — это open source инструмент для резервного копирования баз данных. Главная задача проекта: делать копии баз данных по расписанию и сохранять их как локально, так и во внешних хранилищах. При этом уведомлять пользователя о статусе: когда копирование закончилось или провалилось.
Проект разворачивается одной командой в Docker. Его можно установить через shell скрипт, Docker команду, docker-compose.yml и теперь через Helm для Kubernetes."
Читать статью
👍3
Ну кайф же! Продолжаем есть оливье и мандарины. А если еще и на онлайн-уроки залететь?
Приглашаем на бесплатные уроки🎓по архитектуре и интеграциям.
Учиться никогда не поздно. А если поздно, то завтра выходной.
➡️ Открывайте уроки
ПО ССЫЛКЕ.
👇
@studyit_help_bot
—
Скидка на полный курс от канала
1 000₽ по промокоду DBIN
до 31 января
Приглашаем на бесплатные уроки🎓по архитектуре и интеграциям.
В современном IT-мире сложно представить востребованного аналитика, тестировщика, разработчика, проджекта, который бы не разбирался в Web-интеграциях и API.
Учиться никогда не поздно. А если поздно, то завтра выходной.
ПО ССЫЛКЕ.
👇
@studyit_help_bot
—
Скидка на полный курс от канала
1 000₽ по промокоду DBIN
до 31 января
Please open Telegram to view this post
VIEW IN TELEGRAM
Очередь задач на Postgres: SKIP LOCKED + lease/heartbeat + backpressure (практический опыт)
Читать статью
Читать статью
Хабр
Очередь задач на Postgres: SKIP LOCKED + lease/heartbeat + backpressure (практический опыт)
В какой-то момент на старте в нашем data-сервисе (известная в узких кругах аналитическая платформа для селлеров WB/Ozon «Таблички») стало возникать много фоновых работ: ETL‑сенсоры, сложные...
❤1
Как ускорить SQL-запрос в миллион раз без изменения кода: кейс со STATMULTIPLIER в Postgres
Читать статью
Читать статью
Хабр
Как ускорить SQL-запрос в миллион раз без изменения кода: кейс со STATMULTIPLIER в Postgres
На проекте внедрения машины баз данных Tantor XData у одного из заказчиков мы периодически анализировали топ длительных запросов к СУБД, чтобы следить за производительностью системы. Делаем мы это...
👍4
🦾 ИИ в Data Engineering: что реально работает, а что может навредить?
На открытом вебинаре разберём практические кейсы: как ИИ автоматизирует сопоставление схем, повышает качество данных, оптимизирует ETL и снижает операционную нагрузку на команды. Покажем, как AI уже встроен в современные платформы и инструменты — от Databricks до AWS Glue — и где именно он даёт измеримый эффект. Обсудим архитектурные паттерны и типичные ошибки внедрения, которые ломают пайплайны вместо того, чтобы улучшать их.
Вы поймёте, какие задачи действительно стоит усиливать ИИ, а где инженерное мышление по-прежнему важнее моделей. Получите чёткий план внедрения AI в текущие процессы и увидите, какие навыки становятся критичными для Data Engineer ближайших лет.
🗓Встречаемся 29 января в 20:00 МСК в преддверии старта курса «Data Engineer». Регистрация открыта: https://clck.ru/3RHKjw
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
На открытом вебинаре разберём практические кейсы: как ИИ автоматизирует сопоставление схем, повышает качество данных, оптимизирует ETL и снижает операционную нагрузку на команды. Покажем, как AI уже встроен в современные платформы и инструменты — от Databricks до AWS Glue — и где именно он даёт измеримый эффект. Обсудим архитектурные паттерны и типичные ошибки внедрения, которые ломают пайплайны вместо того, чтобы улучшать их.
Вы поймёте, какие задачи действительно стоит усиливать ИИ, а где инженерное мышление по-прежнему важнее моделей. Получите чёткий план внедрения AI в текущие процессы и увидите, какие навыки становятся критичными для Data Engineer ближайших лет.
🗓Встречаемся 29 января в 20:00 МСК в преддверии старта курса «Data Engineer». Регистрация открыта: https://clck.ru/3RHKjw
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
От скриншота до PostgreSQL: парсим банковские операции через Claude Vision
"Это первая статья из цикла о построении CDC-пайплайна в домашней лаборатории.
Полный путь: Telegram → PostgreSQL → Debezium → Kafka → HDFS → DWH.
Но любой пайплайн начинается с данных — и эта статья про их получение."
Читать статью
"Это первая статья из цикла о построении CDC-пайплайна в домашней лаборатории.
Полный путь: Telegram → PostgreSQL → Debezium → Kafka → HDFS → DWH.
Но любой пайплайн начинается с данных — и эта статья про их получение."
Читать статью
👍5
Как ускорить SQL-запрос в миллион раз без изменения кода: кейс со STATMULTIPLIER в Postgres
Читать статью
Читать статью
Хабр
Как ускорить SQL-запрос в миллион раз без изменения кода: кейс со STATMULTIPLIER в Postgres
На проекте внедрения машины баз данных Tantor XData у одного из заказчиков мы периодически анализировали топ длительных запросов к СУБД, чтобы следить за производительностью системы. Делаем мы это...
👍2
Вы тоже сможете вырасти до хардового аналитика уровня Middle+. Как?
Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов!
У курса вышло полезное обновление, уже доступное ученикам, независимо от того, когда они его купили.
—————
📚 Первое: в портфолио включили примеры интеграций от крупных BigTech-компаний. Это позволит вам понять, как технологии применяются в реальных бизнес-контекстах.
🌐 Второе: обновили портфолио. Теперь в нём есть задания повышенного уровня сложности для каждой темы. Это небольшие реальные проекты, с помощью которых можно не только проверить, но и улучшить свои навыки!
✔️Третье: вышел новый модуль про проектирование баз данных - нормализация, транзакции, основы DWH, индексы.
💬 Четвертое: стал активен чат учеников (общение, обмен опытом, помощь внутри сообщества)
—————
• Результат после прохождения курса: 15 рабочих проектов в портфолио-резюме
• Доступ к урокам и всем обновлениям останется навсегда
• Фундаментальная база
• Всю программу и отзывы смотрите в боте курса
Когда перейдете в бот курса, то получите бесплатные открытые уроки по архитектуре и интеграциям. Польза 👇
@studyit_help_bot
Скидка на курс от канала
— 1 000₽ на Stepik по промокоду DBIN до конца января
Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов!
У курса вышло полезное обновление, уже доступное ученикам, независимо от того, когда они его купили.
—————
📚 Первое: в портфолио включили примеры интеграций от крупных BigTech-компаний. Это позволит вам понять, как технологии применяются в реальных бизнес-контекстах.
🌐 Второе: обновили портфолио. Теперь в нём есть задания повышенного уровня сложности для каждой темы. Это небольшие реальные проекты, с помощью которых можно не только проверить, но и улучшить свои навыки!
✔️Третье: вышел новый модуль про проектирование баз данных - нормализация, транзакции, основы DWH, индексы.
—————
• Результат после прохождения курса: 15 рабочих проектов в портфолио-резюме
• Доступ к урокам и всем обновлениям останется навсегда
• Фундаментальная база
• Всю программу и отзывы смотрите в боте курса
Когда перейдете в бот курса, то получите бесплатные открытые уроки по архитектуре и интеграциям. Польза 👇
@studyit_help_bot
Скидка на курс от канала
— 1 000₽ на Stepik по промокоду DBIN до конца января
Please open Telegram to view this post
VIEW IN TELEGRAM
PostgreSQL и 1С: как построить систему поиска «тихих убийц» производительности
Эта статья — не академическое исследование внутреннего устройства СУБД, а описание универсального инженерного подхода к контролю качества кода и нагрузки на базу. Авторы покажут, как с помощью бесплатного инструмента pgBadger организовать регулярный аудит запросов и почему этот метод критически важен для любой OLTP‑системы — он помогает купировать риски падений во время пиковых нагрузок. Методика проиллюстрирована на реальном примере из практики.
Читать статью
Эта статья — не академическое исследование внутреннего устройства СУБД, а описание универсального инженерного подхода к контролю качества кода и нагрузки на базу. Авторы покажут, как с помощью бесплатного инструмента pgBadger организовать регулярный аудит запросов и почему этот метод критически важен для любой OLTP‑системы — он помогает купировать риски падений во время пиковых нагрузок. Методика проиллюстрирована на реальном примере из практики.
Читать статью
🚀 Yandex B2B Tech запускает сервис для горизонтального масштабирования PostgreSQL
Sharded PostgreSQL— решение для горизонтального масштабирования PostgreSQL, самой популярной open-source СУБД. Теперь банки, ритейлеры и крупные компании могут обрабатывать миллионы транзакций быстрее и надёжнее, что критично для высоконагруженных проектов.
Стандартный PostgreSQL не поддерживает горизонтальное масштабирование, что сдерживает рост при больших объёмах данных. SPQR — это шардированный PostgreSQL, который ускоряет развитие продуктов в 3-4 раза и упрощает сопровождение, снижая операционные риски и сокращая time-to-market. По оценкам, использование SPQR помогает сэкономить до 15 млн рублей при выводе сложных продуктов на рынок.
Технология проверена на реальных проектах Яндекса (Яндекс ID, Яндекс Пэй, Едадил) и внешних компаниях, подтверждая стабильность и надёжность решения. PostgreSQL используется 55,6% профессиональных разработчиков, а Yandex Managed Service for PostgreSQL уже обслуживает свыше 5 тысяч клиентов с ростом в 15% в 2025 году.
Яндекс активно развивает PostgreSQL — один из руководителей разработки входит в топ-50 контрибьюторов проекта. В составе Yandex Cloud — 18 сервисов для работы с большими нагрузками, включая недавно добавленные решения на базе Spark™ и Trino.
🌐 Узнайте больше и тестируйте Sharded PostgreSQL на платформе Yandex Cloud.
Sharded PostgreSQL— решение для горизонтального масштабирования PostgreSQL, самой популярной open-source СУБД. Теперь банки, ритейлеры и крупные компании могут обрабатывать миллионы транзакций быстрее и надёжнее, что критично для высоконагруженных проектов.
Стандартный PostgreSQL не поддерживает горизонтальное масштабирование, что сдерживает рост при больших объёмах данных. SPQR — это шардированный PostgreSQL, который ускоряет развитие продуктов в 3-4 раза и упрощает сопровождение, снижая операционные риски и сокращая time-to-market. По оценкам, использование SPQR помогает сэкономить до 15 млн рублей при выводе сложных продуктов на рынок.
Технология проверена на реальных проектах Яндекса (Яндекс ID, Яндекс Пэй, Едадил) и внешних компаниях, подтверждая стабильность и надёжность решения. PostgreSQL используется 55,6% профессиональных разработчиков, а Yandex Managed Service for PostgreSQL уже обслуживает свыше 5 тысяч клиентов с ростом в 15% в 2025 году.
Яндекс активно развивает PostgreSQL — один из руководителей разработки входит в топ-50 контрибьюторов проекта. В составе Yandex Cloud — 18 сервисов для работы с большими нагрузками, включая недавно добавленные решения на базе Spark™ и Trino.
🌐 Узнайте больше и тестируйте Sharded PostgreSQL на платформе Yandex Cloud.
Как мы сократили объем данных в 10 раз, не повредив пользовательскому опыту, или переезд Postgres → ClickHouse
Автор - Алексей Леонтьев, я техлид и архитектор на проекте Smartbot в компании KTS:
"Smartbot — это nocode-платформа для настройки сценариев чат-ботов, которые могут работать в нескольких соцсетях и мессенджерах одновременно.
Мы храним информацию о событиях, которые обрабатывает наша платформа. Подробнее о них я расскажу ниже, сейчас важно указать, что все эти события формируют статистику, доступную пользователям. И данные для этой статистики, собранные за год, уже занимают у нас под 2 ТБ дискового пространства, что дорого само по себе, не говоря уже о том, что некоторые запросы в базу стали выполняться заметно дольше ожидаемого."
Читать статью
Автор - Алексей Леонтьев, я техлид и архитектор на проекте Smartbot в компании KTS:
"Smartbot — это nocode-платформа для настройки сценариев чат-ботов, которые могут работать в нескольких соцсетях и мессенджерах одновременно.
Мы храним информацию о событиях, которые обрабатывает наша платформа. Подробнее о них я расскажу ниже, сейчас важно указать, что все эти события формируют статистику, доступную пользователям. И данные для этой статистики, собранные за год, уже занимают у нас под 2 ТБ дискового пространства, что дорого само по себе, не говоря уже о том, что некоторые запросы в базу стали выполняться заметно дольше ожидаемого."
Читать статью
Интеллектуальное импортозамещение СУБД: миграция с MS SQL и Oracle без переписывания кода
В условиях новых технологических реалий перед CIO, IT-директорами и руководителями проектов стоит критически важная задача - обеспечить плавный переход на отечественные решения без остановки бизнес-процессов и роста бюджетов.
Digital Q.DataBase от Диасофт предлагает принципиально иной подход: миграция с западных СУБД без необходимости переписывания сотен тысяч строк кода.
Программа вебинара:
📊 Стратегия импортозамещения СУБД: новые критерии выбора.
🔧 Архитектура Digital Q.DataBase: технические возможности и преимущества.
⚙️ Технология "Полиглот" в действии: механизмы поддержки T-SQL и PL/SQL, минимизация доработок при миграции.
✅ Практический опыт внедрения: анализ реальных проектов: от пилота до промышленной эксплуатации. Метрики, сроки, результаты.
Дата и время: 3 февраля, 14:00 (МСК)
Регистрация по ссылке
Реклама. ООО "ДИАСОФТ ЭКОСИСТЕМА". ИНН 9715403607.
В условиях новых технологических реалий перед CIO, IT-директорами и руководителями проектов стоит критически важная задача - обеспечить плавный переход на отечественные решения без остановки бизнес-процессов и роста бюджетов.
Digital Q.DataBase от Диасофт предлагает принципиально иной подход: миграция с западных СУБД без необходимости переписывания сотен тысяч строк кода.
Программа вебинара:
📊 Стратегия импортозамещения СУБД: новые критерии выбора.
🔧 Архитектура Digital Q.DataBase: технические возможности и преимущества.
⚙️ Технология "Полиглот" в действии: механизмы поддержки T-SQL и PL/SQL, минимизация доработок при миграции.
✅ Практический опыт внедрения: анализ реальных проектов: от пилота до промышленной эксплуатации. Метрики, сроки, результаты.
Дата и время: 3 февраля, 14:00 (МСК)
Регистрация по ссылке
Реклама. ООО "ДИАСОФТ ЭКОСИСТЕМА". ИНН 9715403607.
Мысли вслух. Протоколы и механизмы синхронизации транзакций в распределённом вычислительном кластере СУБД
Читать статью
Читать статью
Хабр
Мысли вслух. Протоколы и механизмы синхронизации транзакций в распределённом вычислительном кластере СУБД
Предисловие Продолжаю вести рубрику «Мысли вслух». Цель данной публикации – описать алгоритмы и новизну моих исследований по созданию кластера СУБД с горизонтальным масштабированием производительности...
👍2
Где вы окажетесь завтра, зависит от того, что вы изучаете сегодня. PostgreSQL — инструмент, который ищут компании, а грамотных специалистов по нему все еще немного.
Почему именно PostgreSQL? Потому что это не просто база данных, а сердце ваших проектов. Если вы администратор БД, разработчик, DevOps или администратор Linux, этот курс — ваш апгрейд.
Мы научим настраивать кластеры, оптимизировать производительность, разбираться с блокировками и решать задачи работы с большими объемами данных. А также живые лекции, практические задания и диплом, который признают лидеры рынка. Учитесь у практиков, которые знают, как решать реальные задачи, и получите навыки, за которые платят топовые компании.
Присоединяйтесь к курсу «PostgreSQL для администраторов баз данных и разработчиков» сейчас и начните свой путь к высокооплачиваемой карьере!
Оставить заявку: https://clck.ru/3Rcncp
🎁Бонус: скидка 5% на обучение по промокодуgo_dba . Предложение действительно до 12.02
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Почему именно PostgreSQL? Потому что это не просто база данных, а сердце ваших проектов. Если вы администратор БД, разработчик, DevOps или администратор Linux, этот курс — ваш апгрейд.
Мы научим настраивать кластеры, оптимизировать производительность, разбираться с блокировками и решать задачи работы с большими объемами данных. А также живые лекции, практические задания и диплом, который признают лидеры рынка. Учитесь у практиков, которые знают, как решать реальные задачи, и получите навыки, за которые платят топовые компании.
Присоединяйтесь к курсу «PostgreSQL для администраторов баз данных и разработчиков» сейчас и начните свой путь к высокооплачиваемой карьере!
Оставить заявку: https://clck.ru/3Rcncp
🎁Бонус: скидка 5% на обучение по промокоду
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576