Как мы постепенно идём к «умному» центру администрирования СУБД
Что общего у массового применения конфигураций, встроенной поддержки OpenTelemetry и управления HA-кластерами в пару кликов? Всё это — части пазла, который мы собираем, чтобы сделать администрирование PostgreSQL по-настоящему удобным и безопасным. Выход версии Postgres Pro Enterprise Manager (PPEM) 2.3 стал важной вехой в развитии нашего графического интерфейса. Мы добавили поддержку пользовательских пресетов, переработали систему алертинга и усилили RBAC-модель управления доступом. Разбираем ключевые нововведения релиза, которые помогут навести порядок в зоопарке конфигураций и спать спокойно, зная, что система сама предупредит о проблемах.
Читать: https://habr.com/ru/companies/postgrespro/articles/968570/
#ru
@database_design | Другие наши каналы
Что общего у массового применения конфигураций, встроенной поддержки OpenTelemetry и управления HA-кластерами в пару кликов? Всё это — части пазла, который мы собираем, чтобы сделать администрирование PostgreSQL по-настоящему удобным и безопасным. Выход версии Postgres Pro Enterprise Manager (PPEM) 2.3 стал важной вехой в развитии нашего графического интерфейса. Мы добавили поддержку пользовательских пресетов, переработали систему алертинга и усилили RBAC-модель управления доступом. Разбираем ключевые нововведения релиза, которые помогут навести порядок в зоопарке конфигураций и спать спокойно, зная, что система сама предупредит о проблемах.
Читать: https://habr.com/ru/companies/postgrespro/articles/968570/
#ru
@database_design | Другие наши каналы
Cloud Native LVM: как автоматизировать поиск и разметку локальных дисков в Kubernetes
Всем привет, меня зовут Александр Зимин, я руковожу разработкой подсистемы хранения данных в Deckhouse. Сегодня хочу поговорить о хранении данных на локальных дисках в Kubernetes и поделиться тем, как мы автоматизируем их поиск и разметку для администраторов и пользователей.
Читать: https://habr.com/ru/companies/flant/articles/951598/
#ru
@database_design | Другие наши каналы
Всем привет, меня зовут Александр Зимин, я руковожу разработкой подсистемы хранения данных в Deckhouse. Сегодня хочу поговорить о хранении данных на локальных дисках в Kubernetes и поделиться тем, как мы автоматизируем их поиск и разметку для администраторов и пользователей.
Читать: https://habr.com/ru/companies/flant/articles/951598/
#ru
@database_design | Другие наши каналы
Создание простой поисковой системы, которая действительно работает
Создайте свою собственную поисковую систему на PHP без внешних сервисов. Используйте токенизацию, веса и реляционные базы данных для точного и быстрого поиска по тексту. Полное руководство по реализации, индексированию и поиску.
Читать: «Создание простой поисковой системы, которая действительно работает»
#ru
@database_design | Другие наши каналы
Создайте свою собственную поисковую систему на PHP без внешних сервисов. Используйте токенизацию, веса и реляционные базы данных для точного и быстрого поиска по тексту. Полное руководство по реализации, индексированию и поиску.
Читать: «Создание простой поисковой системы, которая действительно работает»
#ru
@database_design | Другие наши каналы
Создание простой поисковой системы, которая действительно работает
Создайте свою собственную поисковую систему на PHP без внешних сервисов. Используйте токенизацию, веса и реляционные базы данных для точного и быстрого поиска по тексту. Полное руководство по реализации, индексированию и поиску.
Читать: «Создание простой поисковой системы, которая действительно работает»
#ru
@database_design | Другие наши каналы
Создайте свою собственную поисковую систему на PHP без внешних сервисов. Используйте токенизацию, веса и реляционные базы данных для точного и быстрого поиска по тексту. Полное руководство по реализации, индексированию и поиску.
Читать: «Создание простой поисковой системы, которая действительно работает»
#ru
@database_design | Другие наши каналы
PostgreSQL Antipatterns: отказ от агрегатных функций = кратное ускорение
Иногда в архиве нашего сервиса анализа планов запросов к PostgreSQL встречаются примеры не очень эффективных, мягко говоря, запросов.
Сегодня на примере одного из них, вызванного простой бизнес-задачей, посмотрим, как отказ от использования агрегатных функций может ускорить запрос в разы.
Читать: https://habr.com/ru/companies/tensor/articles/968720/
#ru
@database_design | Другие наши каналы
Иногда в архиве нашего сервиса анализа планов запросов к PostgreSQL встречаются примеры не очень эффективных, мягко говоря, запросов.
Сегодня на примере одного из них, вызванного простой бизнес-задачей, посмотрим, как отказ от использования агрегатных функций может ускорить запрос в разы.
Читать: https://habr.com/ru/companies/tensor/articles/968720/
#ru
@database_design | Другие наши каналы
Новые версии MariaDB Connector/C: 3.4.8 и 3.3.18 теперь доступны
MariaDB объявила о выпуске Connector/C 3.4.8 и 3.3.18 с исправлениями и улучшениями. Подробности в примечаниях к релизу и changelogs; скачать можно на mariadb.com/downloads/connectors.
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB объявила о выпуске Connector/C 3.4.8 и 3.3.18 с исправлениями и улучшениями. Подробности в примечаниях к релизу и changelogs; скачать можно на mariadb.com/downloads/connectors.
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB
Download MariaDB Products & Tools | MariaDB
Download MariaDB products, connectors, and tools including Community Server, Enterprise Server, ColumnStore and MaxScale.
Создание простой поисковой системы, которая действительно работает
Зачем вообще делать что-то своё?
Я знаю, что вы можете подумать: «Почему бы просто не использовать Elasticsearch?» или «А что насчёт Algolia?» Это вполне рабочие решения, но у них есть нюансы. Нужно разбираться с их API, поддерживать инфраструктуру под них и учитывать все тонкости их работы.
Но иногда хочется чего-то более простого...
Читать: https://habr.com/ru/articles/969312/
#ru
@database_design | Другие наши каналы
Зачем вообще делать что-то своё?
Я знаю, что вы можете подумать: «Почему бы просто не использовать Elasticsearch?» или «А что насчёт Algolia?» Это вполне рабочие решения, но у них есть нюансы. Нужно разбираться с их API, поддерживать инфраструктуру под них и учитывать все тонкости их работы.
Но иногда хочется чего-то более простого...
Читать: https://habr.com/ru/articles/969312/
#ru
@database_design | Другие наши каналы
Как привязать Telegram-аккаунт к конкретному человеку: от запроса оператору до OSINT-техник
Лид
«Аккаунт не мой, писал не я. Идите доказывайте» — стандартная защита оппонента при представлении Telegram-переписки в суд. Бремя доказывания принадлежности аккаунта лежит на стороне, представляющей цифровое доказательство. Разбираю три уровня установления владельца: от запроса данных у оператора связи через суд до OSINT-техник и процессуальных презумпций. С шаблонами ходатайств, примером из практики и разбором судебной практики.
Читать: https://habr.com/ru/articles/969414/
#ru
@database_design | Другие наши каналы
Лид
«Аккаунт не мой, писал не я. Идите доказывайте» — стандартная защита оппонента при представлении Telegram-переписки в суд. Бремя доказывания принадлежности аккаунта лежит на стороне, представляющей цифровое доказательство. Разбираю три уровня установления владельца: от запроса данных у оператора связи через суд до OSINT-техник и процессуальных презумпций. С шаблонами ходатайств, примером из практики и разбором судебной практики.
Читать: https://habr.com/ru/articles/969414/
#ru
@database_design | Другие наши каналы
Практический кейс: от анонимного домена к реальной личности
Задача:
Установить владельца фишингового сайта "*******" через который была совершена атака, с целью кражи аккаунта WhatsApp.
Читать: https://habr.com/ru/articles/969430/
#ru
@database_design | Другие наши каналы
Задача:
Установить владельца фишингового сайта "*******" через который была совершена атака, с целью кражи аккаунта WhatsApp.
Читать: https://habr.com/ru/articles/969430/
#ru
@database_design | Другие наши каналы
StarVault + Postgres Pro: тестирование связки для безопасного управления секретами
Управление секретами — одна из наиболее критичных задач в корпоративной ИТ-инфраструктуре. От того, насколько надежно и централизованно хранятся ключи API, пароли, токены и сертификаты, зависит не только безопасность сервисов, но и устойчивость всего бизнеса.
С ростом популярности отечественных решений особое внимание уделяется возможности интеграции с российскими СУБД. В этом материале команда «Онланты» делится опытом тестирования StarVault — системы управления секретами — в связке с Postgres Pro в лабораторных условиях.
Цель эксперимента — проверить, насколько Postgres Pro подходит для использования в качестве внешнего хранилища StarVault, оценить производительность и устойчивость конфигурации, а также проработать сценарии аварийного восстановления.
Читать: https://habr.com/ru/companies/lanit/articles/965756/
#ru
@database_design | Другие наши каналы
Управление секретами — одна из наиболее критичных задач в корпоративной ИТ-инфраструктуре. От того, насколько надежно и централизованно хранятся ключи API, пароли, токены и сертификаты, зависит не только безопасность сервисов, но и устойчивость всего бизнеса.
С ростом популярности отечественных решений особое внимание уделяется возможности интеграции с российскими СУБД. В этом материале команда «Онланты» делится опытом тестирования StarVault — системы управления секретами — в связке с Postgres Pro в лабораторных условиях.
Цель эксперимента — проверить, насколько Postgres Pro подходит для использования в качестве внешнего хранилища StarVault, оценить производительность и устойчивость конфигурации, а также проработать сценарии аварийного восстановления.
Читать: https://habr.com/ru/companies/lanit/articles/965756/
#ru
@database_design | Другие наши каналы
Обзор Moco — MySQL-оператора для Kubernetes
В Kubernetes короткий жизненный цикл подов — норма. Но когда лидер-узел MySQL внезапно исчезает, рискуешь потерять не только доступность, но и согласованность данных. Оператор Moco предлагает решение: полусинхронная репликация, автоматический failover и восстановление с PITR — всё это без боли миграции на полностью синхронную репликацию.
В статье — детали репликации, бэкапов, PITR, switchover и нюансов работы с пользовательскими образами. А также честно — чем он лучше (и хуже) альтернатив, и стоит ли его рассматривать для продакшена.
Читать: https://habr.com/ru/companies/flant/articles/969520/
#ru
@database_design | Другие наши каналы
В Kubernetes короткий жизненный цикл подов — норма. Но когда лидер-узел MySQL внезапно исчезает, рискуешь потерять не только доступность, но и согласованность данных. Оператор Moco предлагает решение: полусинхронная репликация, автоматический failover и восстановление с PITR — всё это без боли миграции на полностью синхронную репликацию.
В статье — детали репликации, бэкапов, PITR, switchover и нюансов работы с пользовательскими образами. А также честно — чем он лучше (и хуже) альтернатив, и стоит ли его рассматривать для продакшена.
Читать: https://habr.com/ru/companies/flant/articles/969520/
#ru
@database_design | Другие наши каналы
Транзакции в InnoDB: разбираемся с уровнями изоляции и блокировками
Чтобы транзакции в InnoDB работали предсказуемо, важно понимать внутреннюю логику InnoDB. Ошибки чаще всего возникают не из-за отсутствия транзакций, а из-за неверных ожиданий относительно уровней изоляции и работы блокировок.
В этой статье давайте разберём несколько распространенных заблуждений и на примерах посмотрим, как на самом деле работают транзакции.
Читать: https://habr.com/ru/companies/rusprofile/articles/969954/
#ru
@database_design | Другие наши каналы
Чтобы транзакции в InnoDB работали предсказуемо, важно понимать внутреннюю логику InnoDB. Ошибки чаще всего возникают не из-за отсутствия транзакций, а из-за неверных ожиданий относительно уровней изоляции и работы блокировок.
В этой статье давайте разберём несколько распространенных заблуждений и на примерах посмотрим, как на самом деле работают транзакции.
Читать: https://habr.com/ru/companies/rusprofile/articles/969954/
#ru
@database_design | Другие наши каналы
Как забытый API-ключ открыл нам мир мошенников
Сегодня история на грани техники, психологии и детектива. Расскажу о том, как мы (я и мой коллега) попали во внутренние чаты мошенников и что из этого вышло.
Читать: https://habr.com/ru/companies/flowwow/articles/969798/
#ru
@database_design | Другие наши каналы
Сегодня история на грани техники, психологии и детектива. Расскажу о том, как мы (я и мой коллега) попали во внутренние чаты мошенников и что из этого вышло.
Читать: https://habr.com/ru/companies/flowwow/articles/969798/
#ru
@database_design | Другие наши каналы
Анатомия левиафана: как работают ЦОДы и в чём разница между Tier
Для рядового пользователя ЦОД — это место, где хранятся фотографии и обрабатываются запросы ИИ-помощников. Однако это сложнейший инженерный организм, функционирующий на стыке термодинамики, электротехники, гидравлики и цифровой логики. Под катом попробую за одну статью объяснить вам логику работы дата-центров и рассказать, что вообще означают магические Tier.
Читать
Читать: https://habr.com/ru/companies/ruvds/articles/969050/
#ru
@database_design | Другие наши каналы
Для рядового пользователя ЦОД — это место, где хранятся фотографии и обрабатываются запросы ИИ-помощников. Однако это сложнейший инженерный организм, функционирующий на стыке термодинамики, электротехники, гидравлики и цифровой логики. Под катом попробую за одну статью объяснить вам логику работы дата-центров и рассказать, что вообще означают магические Tier.
Читать
Читать: https://habr.com/ru/companies/ruvds/articles/969050/
#ru
@database_design | Другие наши каналы
Если данные — продукт, то какова цена плохого UX? Предлагаю систему оценок
В работе над продуктом данные — это главный помощник. С их помощью принимают решения на всех этапах — от создания до развития. Вместо того чтобы гадать, как поступит пользователь, смотрят на реальные факты: как люди пользуются продуктом и какие результаты это даёт бизнесу.
А что на счет самих данных, если мы их рассматриваем как продукт? Как будем оценивать их ценность, как будем планировать их развитие?
В статье предлагаю экспериментальный набор UX‑метрик: они помогут увидеть, где ваш продукт реально теряет пользу для пользователя. Методика готова к тестированию — цифр пока нет, но каркас для расчётов уже работает.
К метрикам
Читать: https://habr.com/ru/articles/970582/
#ru
@database_design | Другие наши каналы
В работе над продуктом данные — это главный помощник. С их помощью принимают решения на всех этапах — от создания до развития. Вместо того чтобы гадать, как поступит пользователь, смотрят на реальные факты: как люди пользуются продуктом и какие результаты это даёт бизнесу.
А что на счет самих данных, если мы их рассматриваем как продукт? Как будем оценивать их ценность, как будем планировать их развитие?
В статье предлагаю экспериментальный набор UX‑метрик: они помогут увидеть, где ваш продукт реально теряет пользу для пользователя. Методика готова к тестированию — цифр пока нет, но каркас для расчётов уже работает.
К метрикам
Читать: https://habr.com/ru/articles/970582/
#ru
@database_design | Другие наши каналы
Работа с файлами в СУБД PostgreSQL и Postgres Pro Enterprise: барьеры и варианты их преодоления
Упереться в лимит 4 миллиарда строк в TOAST-таблице или поймать OidGen lock при массовой заливке документов — страшный сон администратора PostgreSQL. Хотя архитекторы советуют выносить файлы в S3, реальность часто диктует хранение внутри БД. Руководитель группы по оптимизации приложений Александр Попов разбирает, как работают стандартные механизмы bytea и pg_largeobject, где находятся их «бутылочные горлышки» и как эти ограничения обходятся в Postgres Pro Enterprise.
Читать: https://habr.com/ru/companies/postgrespro/articles/970544/
#ru
@database_design | Другие наши каналы
Упереться в лимит 4 миллиарда строк в TOAST-таблице или поймать OidGen lock при массовой заливке документов — страшный сон администратора PostgreSQL. Хотя архитекторы советуют выносить файлы в S3, реальность часто диктует хранение внутри БД. Руководитель группы по оптимизации приложений Александр Попов разбирает, как работают стандартные механизмы bytea и pg_largeobject, где находятся их «бутылочные горлышки» и как эти ограничения обходятся в Postgres Pro Enterprise.
Читать: https://habr.com/ru/companies/postgrespro/articles/970544/
#ru
@database_design | Другие наши каналы
Работа с файлами в СУБД PostgreSQL и Postgres Pro Enterprise: барьеры и варианты их преодоления
Упереться в лимит 4 миллиарда строк в TOAST-таблице или поймать OidGen lock при массовой заливке документов — страшный сон администратора PostgreSQL. Хотя архитекторы советуют выносить файлы в S3, реальность часто диктует хранение внутри БД. Руководитель группы по оптимизации приложений Александр Попов разбирает, как работают стандартные механизмы bytea и pg_largeobject, где находятся их «бутылочные горлышки» и как эти ограничения обходятся в Postgres Pro Enterprise.
Читать: https://habr.com/ru/companies/postgrespro/articles/970544/
#ru
@database_design | Другие наши каналы
Упереться в лимит 4 миллиарда строк в TOAST-таблице или поймать OidGen lock при массовой заливке документов — страшный сон администратора PostgreSQL. Хотя архитекторы советуют выносить файлы в S3, реальность часто диктует хранение внутри БД. Руководитель группы по оптимизации приложений Александр Попов разбирает, как работают стандартные механизмы bytea и pg_largeobject, где находятся их «бутылочные горлышки» и как эти ограничения обходятся в Postgres Pro Enterprise.
Читать: https://habr.com/ru/companies/postgrespro/articles/970544/
#ru
@database_design | Другие наши каналы
ACID-свойства транзакций в SQL
Для чего существуют принципы ACID? Можно ответить по бумажке, сказать, что это нужно для того, чтобы каждая транзакция обрабатывалась надежно, данные оставались в безопасности и системы работали предсказуемо.
Все это в свою очередь должно гарантировать целостность данных. Но что это вообще такое и на что влияет? А ответ очень простой. Обеспечивая целостность данных, мы предупреждаем ситуации, когда, к примеру, деньги со счета списались, но получателю так и не пришли. Или заказ оформился, а складские остатки не обновились.
В этой статье вы узнаете, почему так важны принципы ACID и что это за принципы. Оставайтесь со мной, если интересно!
Читать: https://habr.com/ru/companies/otus/articles/968212/
#ru
@database_design | Другие наши каналы
Для чего существуют принципы ACID? Можно ответить по бумажке, сказать, что это нужно для того, чтобы каждая транзакция обрабатывалась надежно, данные оставались в безопасности и системы работали предсказуемо.
Все это в свою очередь должно гарантировать целостность данных. Но что это вообще такое и на что влияет? А ответ очень простой. Обеспечивая целостность данных, мы предупреждаем ситуации, когда, к примеру, деньги со счета списались, но получателю так и не пришли. Или заказ оформился, а складские остатки не обновились.
В этой статье вы узнаете, почему так важны принципы ACID и что это за принципы. Оставайтесь со мной, если интересно!
Читать: https://habr.com/ru/companies/otus/articles/968212/
#ru
@database_design | Другие наши каналы
Запускаем почтовый сервер на VPS под Windows
Кто-то может спросить: зачем нужен свой почтовый сервер на самохостинге? Ведь корпорации любезно предоставляют бесплатные почтовые ящики. Зачем собственный VPS? На это есть несколько причин.
Во-первых, бесплатный сыр только в мышеловке.
Во-вторых, на своём сервере можно развернуть инфраструктуру для уникальных и очень полезных сервисов, которые никогда не разрешит корпорация. Например:
анонимные почтовые алиасы, с которых почта форвардится на ваш адрес, так что для каждого сайты вы генерируете уникальный email, не засвечивая основной;
почтовые рассылки для тысяч читателей, в том числе с платной подпиской.
И это только начало.
Читать: https://habr.com/ru/companies/ultravds/articles/966716/
#ru
@database_design | Другие наши каналы
Кто-то может спросить: зачем нужен свой почтовый сервер на самохостинге? Ведь корпорации любезно предоставляют бесплатные почтовые ящики. Зачем собственный VPS? На это есть несколько причин.
Во-первых, бесплатный сыр только в мышеловке.
Во-вторых, на своём сервере можно развернуть инфраструктуру для уникальных и очень полезных сервисов, которые никогда не разрешит корпорация. Например:
анонимные почтовые алиасы, с которых почта форвардится на ваш адрес, так что для каждого сайты вы генерируете уникальный email, не засвечивая основной;
почтовые рассылки для тысяч читателей, в том числе с платной подпиской.
И это только начало.
Читать: https://habr.com/ru/companies/ultravds/articles/966716/
#ru
@database_design | Другие наши каналы
Масштабируемый мониторинг: Настраиваем VictoriaMetrics в HA-конфигурации с VMAgent и Grafana
Сегодня мы построим масштабируемую, отказоустойчивую систему, которая будет расти вместе с вашей инфраструктурой и не сломается в самый неподходящий момент.
Вместо 3 часов дебага падающего Prometheus вы смотрите дашборд, который показывает 99.9% uptime вашего мониторинга.
Это реальность с правильно настроенным стеком на основе VictoriaMetrics.
Читать: https://habr.com/ru/articles/970490/
#ru
@database_design | Другие наши каналы
Сегодня мы построим масштабируемую, отказоустойчивую систему, которая будет расти вместе с вашей инфраструктурой и не сломается в самый неподходящий момент.
Вместо 3 часов дебага падающего Prometheus вы смотрите дашборд, который показывает 99.9% uptime вашего мониторинга.
Это реальность с правильно настроенным стеком на основе VictoriaMetrics.
Читать: https://habr.com/ru/articles/970490/
#ru
@database_design | Другие наши каналы
6 лайфхаков при внедрении СУБД: учимся на чужих граблях
Привет, Хабр! Меня зовут Кирилл Тарасов, я — инженер данных в K2Tех. Наша команда Big Data & Bi работает с 2006 года, мы активно занимаемся Greenplum, Arenadata Hadoop/Streaming и внедряем собственные наработки, такие как ELT Framework. Также с 2012 года мы создаём аналитические системы и хранилища данных, и за это время моя команда столкнулась с самыми разными ситуациями, которые вызывали различные проблемы для реальной продуктивной эксплуатации СУБД. Некоторые из них были связаны с настройками баз данных, другие — с компонентами защиты, а третьи были настолько необычными, что их причиной оказалось исключительно странное и редкое поведение бизнес-логики, с которым разработчики хранилищ данных почти не сталкиваются. В этой статье вы найдете шесть кейсов, которые могут встретиться на любом проекте. Они помогут избежать попадания «ложки дегтя» в ваше хранилище.
Читать: https://habr.com/ru/companies/k2tech/articles/970874/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Меня зовут Кирилл Тарасов, я — инженер данных в K2Tех. Наша команда Big Data & Bi работает с 2006 года, мы активно занимаемся Greenplum, Arenadata Hadoop/Streaming и внедряем собственные наработки, такие как ELT Framework. Также с 2012 года мы создаём аналитические системы и хранилища данных, и за это время моя команда столкнулась с самыми разными ситуациями, которые вызывали различные проблемы для реальной продуктивной эксплуатации СУБД. Некоторые из них были связаны с настройками баз данных, другие — с компонентами защиты, а третьи были настолько необычными, что их причиной оказалось исключительно странное и редкое поведение бизнес-логики, с которым разработчики хранилищ данных почти не сталкиваются. В этой статье вы найдете шесть кейсов, которые могут встретиться на любом проекте. Они помогут избежать попадания «ложки дегтя» в ваше хранилище.
Читать: https://habr.com/ru/companies/k2tech/articles/970874/
#ru
@database_design | Другие наши каналы