Битва, где все проигрывают, или Как Kafka Compact Topics остановил войну данных
В статье рассказывается о типичной проблеме синхронизации данных между микросервисами через связку «снапшот + инкременты» и предлагается решение на основе Kafka Compact Topics. Это своего рода «волшебная тетрадь», которая автоматически оставляет только последние версии записей, избавляя от головной боли с рассинхронизацией.
Разбираются практические кейсы применения, подводные камни, тонкости настройки и интеграция с Debezium для автоматической выгрузки из PostgreSQL.
Что получите: понимание, когда компактные топики решают проблему, а когда лучше использовать классические подходы, плюс готовые конфиги для быстрого старта
Читать: https://habr.com/ru/companies/sberbank/articles/934438/
#ru
@database_design | Другие наши каналы
В статье рассказывается о типичной проблеме синхронизации данных между микросервисами через связку «снапшот + инкременты» и предлагается решение на основе Kafka Compact Topics. Это своего рода «волшебная тетрадь», которая автоматически оставляет только последние версии записей, избавляя от головной боли с рассинхронизацией.
Разбираются практические кейсы применения, подводные камни, тонкости настройки и интеграция с Debezium для автоматической выгрузки из PostgreSQL.
Что получите: понимание, когда компактные топики решают проблему, а когда лучше использовать классические подходы, плюс готовые конфиги для быстрого старта
Читать: https://habr.com/ru/companies/sberbank/articles/934438/
#ru
@database_design | Другие наши каналы
Новые обновления MariaDB Community Server Уже доступны версии 11.8.3, 11.4.8, 10.11.14 и 10.6.23. Эти релизы содержат важные исправления и улучшения. Подробнее о новинках и изменениях можно узнать на официальном сайте MariaDB.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB
MariaDB Community Server Q3 2025 maintenance releases | MariaDB
MariaDB Community Server 11.8.3, 11.4.8, 10.11.14, and 10.6.23 maintenance releases are now available. Download today!
Странные находки в серверных: топ-10 сюрпризов для сисадминов
Серверные обычно ассоциируются с дисками, сетями и бесперебойниками, но иногда в них попадаются экзотические сюрпризы. И если уже ставшая баяном новость про найденную в серверной противотанковую ракету 9M14 «Малютка» была фейком для сбора реакций, то в этой статье я расскажу о других находках сисадминов. Приглашаю под кат и в комментарии с вашей историей о неожиданных находках.
Читать
Читать: https://habr.com/ru/companies/ruvds/articles/934034/
#ru
@database_design | Другие наши каналы
Серверные обычно ассоциируются с дисками, сетями и бесперебойниками, но иногда в них попадаются экзотические сюрпризы. И если уже ставшая баяном новость про найденную в серверной противотанковую ракету 9M14 «Малютка» была фейком для сбора реакций, то в этой статье я расскажу о других находках сисадминов. Приглашаю под кат и в комментарии с вашей историей о неожиданных находках.
Читать
Читать: https://habr.com/ru/companies/ruvds/articles/934034/
#ru
@database_design | Другие наши каналы
Как мы прессовали Redis — и остались в живых
Привет! Меня зовут Антон Головенко и я backend-разработчик команды Search-Quality в Авито. Вот уже полтора года я ускоряю производительность поиска и повышаю его надежность, а также участвую в интеграции новых продуктов. В статье расскажу о том, как мы тестировали Redis под нагрузкой, с какими проблемами столкнулись, как их решали и какие выводы сделали. Заголовок звучит кликбейтно — но вы скоро поймёте, что он полностью оправдан.
Читать: https://habr.com/ru/companies/avito/articles/934726/
#ru
@database_design | Другие наши каналы
Привет! Меня зовут Антон Головенко и я backend-разработчик команды Search-Quality в Авито. Вот уже полтора года я ускоряю производительность поиска и повышаю его надежность, а также участвую в интеграции новых продуктов. В статье расскажу о том, как мы тестировали Redis под нагрузкой, с какими проблемами столкнулись, как их решали и какие выводы сделали. Заголовок звучит кликбейтно — но вы скоро поймёте, что он полностью оправдан.
Читать: https://habr.com/ru/companies/avito/articles/934726/
#ru
@database_design | Другие наши каналы
Запущена глобально распределённая база данных Oracle Exadata на инфраструктуре Exascale. Новое решение обеспечивает масштабируемость и высокую производительность для крупных проектов и позволяет эффективно управлять данными в распределённых средах.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Announcing General Availability: Oracle Globally Distributed Exadata Database on Exascale Infrastructure
Новые возможности MongoDB Atlas Search: поддержка видов позволяет создавать точечные индексы и трансформировать данные для быстрой и экономичной поисковой работы. Это улучшит производительность и снизит затраты на индексацию больших объемов данных. Подробнее в статье. Эффективный векторный поиск с Matroyshka Representation Learning
Новые модели Voyage AI с MRL позволяют значительно снизить размер векторных представлений без потери точности. Это сокращает затраты на хранение и ускоряет поиск в MongoDB, сохраняя высокое качество выдачи. Оптимизация для масштабируемых систем уже доступна.
Читать подробнее
#en
@database_design | Другие наши каналы
Новые модели Voyage AI с MRL позволяют значительно снизить размер векторных представлений без потери точности. Это сокращает затраты на хранение и ускоряет поиск в MongoDB, сохраняя высокое качество выдачи. Оптимизация для масштабируемых систем уже доступна.
Читать подробнее
#en
@database_design | Другие наши каналы
Новая версия MariaDB Community Server 12.0 уже доступна. Обновление основано на MariaDB 11.8 и предлагает улучшенную совместимость с Oracle, повышенную безопасность и развитие открытой базы данных. Подробнее по ссылке.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB
Announcing MariaDB Community Server 12.0 GA | MariaDB
Community Server 12.0 GA introduces enhanced Oracle compatibility, hardened security for your data, smarter performance and richer geospatial capabilities.
Цифровая картотека людей в Obsidian
Любой гайд по Обсидиану начинается с совета не использовать плагины, дабы не усложнять систему и собственную жизнь. Большинство после этого тут же советует пару базовых плагинов - ну без которых вот прямо совсем сложно жить. На днях мне вообще попалась статья, где человек пытался сделать картотеку людей, но вместо того чтобы просто делать картотеку, он копировал какие-то шаблоны вручную, после чего написал мануал, как автоматизировать этот бесполезный труд.
Интересно то, что идея картотеки была взята из картотеки Джона Рокфеллера с отсылкой на Rolodex. И вот это реально интересная штука, которая меня сильно заинтересовала и дала вдохновение для её цифровой реализации.
Читать: https://habr.com/ru/articles/935210/
#ru
@database_design | Другие наши каналы
Любой гайд по Обсидиану начинается с совета не использовать плагины, дабы не усложнять систему и собственную жизнь. Большинство после этого тут же советует пару базовых плагинов - ну без которых вот прямо совсем сложно жить. На днях мне вообще попалась статья, где человек пытался сделать картотеку людей, но вместо того чтобы просто делать картотеку, он копировал какие-то шаблоны вручную, после чего написал мануал, как автоматизировать этот бесполезный труд.
Интересно то, что идея картотеки была взята из картотеки Джона Рокфеллера с отсылкой на Rolodex. И вот это реально интересная штука, которая меня сильно заинтересовала и дала вдохновение для её цифровой реализации.
Читать: https://habr.com/ru/articles/935210/
#ru
@database_design | Другие наши каналы
Разработа DWH с нуля – особенности архитектуры
Проект по построению DWH с нуля был запущен по инициативе Заказчика в рамках крупной трансформации управленческой отчетности и аналитики.
В статье расскажу, как мы выстроили архитектуру DWH, какие подходы использовали на каждом уровне, с какими подводными камнями столкнулись и как обеспечили стабильную поставку данных для аналитики.
Читать: https://habr.com/ru/articles/935212/
#ru
@database_design | Другие наши каналы
Проект по построению DWH с нуля был запущен по инициативе Заказчика в рамках крупной трансформации управленческой отчетности и аналитики.
В статье расскажу, как мы выстроили архитектуру DWH, какие подходы использовали на каждом уровне, с какими подводными камнями столкнулись и как обеспечили стабильную поставку данных для аналитики.
Читать: https://habr.com/ru/articles/935212/
#ru
@database_design | Другие наши каналы
Вредные советы по работе с базами данных, или как расстроить DBA
Сборник самых раздражающих ошибок в работе с базами данных — с примерами и советами, как делать правильно. По выпуску подкаста «Техно.Логично».
Читать: «Вредные советы по работе с базами данных, или как расстроить DBA»
#ru
@database_design | Другие наши каналы
Сборник самых раздражающих ошибок в работе с базами данных — с примерами и советами, как делать правильно. По выпуску подкаста «Техно.Логично».
Читать: «Вредные советы по работе с базами данных, или как расстроить DBA»
#ru
@database_design | Другие наши каналы
Вредные советы по работе с базами данных, или как расстроить DBA
Сборник самых раздражающих ошибок в работе с базами данных — с примерами и советами, как делать правильно. По выпуску подкаста «Техно.Логично».
Читать: «Вредные советы по работе с базами данных, или как расстроить DBA»
#ru
@database_design | Другие наши каналы
Сборник самых раздражающих ошибок в работе с базами данных — с примерами и советами, как делать правильно. По выпуску подкаста «Техно.Логично».
Читать: «Вредные советы по работе с базами данных, или как расстроить DBA»
#ru
@database_design | Другие наши каналы
Фаззинг как основа эффективной разработки на примере LuaJIT
Представьте, что в основе вашего коммерческого продукта используется компонент с исходным кодом, который написан на смеси языка С и самописного ассемблера. Из-за слабой детерминированности поиск репродьюсеров сложен, а без репродьюсера мейнтейнер проекта заявляет: «Сделайте так, чтобы я про вас больше не слышал». Я расскажу, как мы построили процесс активной поддержки LuaJIT в СУБД Tarantool, сократили количество инцидентов в продакшене, сократили затраты на бэкпорт патчей из основного проекта и какую роль во всем этом сыграл фаззинг и его специфика.
Команда разработки продукта полностью отвечает за весь код этого продукта, в том числе за компоненты с открытым исходным кодом от третьих лиц. К сожалению, не все мейнтейнеры проектов с открытым исходным кодом готовы сотрудничать с разработчиками или их сотрудничество ограничивается жесткими рамками, что усложняет использование этих компонентов в коммерческих продуктах.
В СУБД Tarantool используется LuaJIT в качестве языкового рантайма, но в Tarantool используется не оригинальный проект, а его форк. Я расскажу, как мы прошли путь от пассивного использования кода LuaJIT к процессу поддержки форка, с которым количество инцидентов на продакшене установилось около нуля, сократились усилия по бэкпортингу патчей из основного проекта, а основной проект получил активных контрибьюторов.
Я рассмотрю специфику работы с проектом исходного кода на примере LuaJIT, расскажу, как устроено тестирование в нашем форке и какую роль там играет фаззинг. Расскажу о специфике фаззинга LuaJIT и о том, каких результатов мы в этом достигли за последние два года.
Читать: https://habr.com/ru/companies/vktech/articles/935100/
#ru
@database_design | Другие наши каналы
Представьте, что в основе вашего коммерческого продукта используется компонент с исходным кодом, который написан на смеси языка С и самописного ассемблера. Из-за слабой детерминированности поиск репродьюсеров сложен, а без репродьюсера мейнтейнер проекта заявляет: «Сделайте так, чтобы я про вас больше не слышал». Я расскажу, как мы построили процесс активной поддержки LuaJIT в СУБД Tarantool, сократили количество инцидентов в продакшене, сократили затраты на бэкпорт патчей из основного проекта и какую роль во всем этом сыграл фаззинг и его специфика.
Команда разработки продукта полностью отвечает за весь код этого продукта, в том числе за компоненты с открытым исходным кодом от третьих лиц. К сожалению, не все мейнтейнеры проектов с открытым исходным кодом готовы сотрудничать с разработчиками или их сотрудничество ограничивается жесткими рамками, что усложняет использование этих компонентов в коммерческих продуктах.
В СУБД Tarantool используется LuaJIT в качестве языкового рантайма, но в Tarantool используется не оригинальный проект, а его форк. Я расскажу, как мы прошли путь от пассивного использования кода LuaJIT к процессу поддержки форка, с которым количество инцидентов на продакшене установилось около нуля, сократились усилия по бэкпортингу патчей из основного проекта, а основной проект получил активных контрибьюторов.
Я рассмотрю специфику работы с проектом исходного кода на примере LuaJIT, расскажу, как устроено тестирование в нашем форке и какую роль там играет фаззинг. Расскажу о специфике фаззинга LuaJIT и о том, каких результатов мы в этом достигли за последние два года.
Читать: https://habr.com/ru/companies/vktech/articles/935100/
#ru
@database_design | Другие наши каналы
Мы научились переносить базу данных с Oracle на Postgres Pro со скоростью 41 ТБ/сутки
41 ТБ/сутки по маршруту Oracle → Postgres Pro без остановки исходной системы — это не теория, а цифры последних тестов. Мы разложили миграцию на три этапа: быструю начальную загрузку, CDC из redo-логов и валидацию, и собрали их в ProGate. Как устроен конвейер, почему Go и где прячутся узкие места — расскажем в статье.
Читать: https://habr.com/ru/companies/postgrespro/articles/935462/
#ru
@database_design | Другие наши каналы
41 ТБ/сутки по маршруту Oracle → Postgres Pro без остановки исходной системы — это не теория, а цифры последних тестов. Мы разложили миграцию на три этапа: быструю начальную загрузку, CDC из redo-логов и валидацию, и собрали их в ProGate. Как устроен конвейер, почему Go и где прячутся узкие места — расскажем в статье.
Читать: https://habr.com/ru/companies/postgrespro/articles/935462/
#ru
@database_design | Другие наши каналы
Новый выпуск MariaDB Connector/J 3.5.5 уже доступен. В обновлении улучшена стабильность и исправлены ошибки. Подробнее о новшествах и загрузке можно узнать на официальном сайте MariaDB.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB
MariaDB Java Connector 3.5.5 now available | MariaDB
MariaDB is pleased to announce the immediate availability of the MariaDB Connector/J 3.5.5 release. Download Now Notable items in this release include: See the release notes and changelog for more…
BrOk: Как упростить работу с брокерами сообщений и REST-запросами без лишнего кода?
BrOk — графический low-code инструмент для управления популярными брокерами сообщений, такими как Kafka, RabbitMQ, Artemis, NATS и Redis. Узнайте, как упростить работу с очередями, шаблонами, сценариями и REST API без лишнего кода.
Читать: «BrOk: Как упростить работу с брокерами сообщений и REST-запросами без лишнего кода?»
#ru
@database_design | Другие наши каналы
BrOk — графический low-code инструмент для управления популярными брокерами сообщений, такими как Kafka, RabbitMQ, Artemis, NATS и Redis. Узнайте, как упростить работу с очередями, шаблонами, сценариями и REST API без лишнего кода.
Читать: «BrOk: Как упростить работу с брокерами сообщений и REST-запросами без лишнего кода?»
#ru
@database_design | Другие наши каналы
Быстрая сортировка хранилища с помощью Canvas
Быстрая сортировка хранилища с помощью Canvas
Что делать, если хранилище захламлено? Подскажем как быстро (за 3-4 часа вместо нескольких дней) сортировать хранилище с большим количеством заметок, картинок и документов. Экономим время!
Читать: https://habr.com/ru/articles/935816/
#ru
@database_design | Другие наши каналы
Быстрая сортировка хранилища с помощью Canvas
Что делать, если хранилище захламлено? Подскажем как быстро (за 3-4 часа вместо нескольких дней) сортировать хранилище с большим количеством заметок, картинок и документов. Экономим время!
Читать: https://habr.com/ru/articles/935816/
#ru
@database_design | Другие наши каналы
Экскурсия по дата-центру «Медведково-2»
Наш ЦОД «Медведково», о котором мы уже рассказывали, в 2024 году стал кластером, так как рядом был построен еще один дата-центр — «Медведково-2». В этой статье мы покажем, как устроен новый ЦОД.
Здание «Медведково-2» возвели за год, параллельно проводили интеграцию инженерных систем. К 2024 году ЦОД полностью подготовили для проведения аудита и сертификации. Дата-центр успешно прошел испытания Uptime Facility и получил сертификат Tier III.
Подробнее
Читать: https://habr.com/ru/companies/rt-dc/articles/935974/
#ru
@database_design | Другие наши каналы
Наш ЦОД «Медведково», о котором мы уже рассказывали, в 2024 году стал кластером, так как рядом был построен еще один дата-центр — «Медведково-2». В этой статье мы покажем, как устроен новый ЦОД.
Здание «Медведково-2» возвели за год, параллельно проводили интеграцию инженерных систем. К 2024 году ЦОД полностью подготовили для проведения аудита и сертификации. Дата-центр успешно прошел испытания Uptime Facility и получил сертификат Tier III.
Подробнее
Читать: https://habr.com/ru/companies/rt-dc/articles/935974/
#ru
@database_design | Другие наши каналы
Оптимизация работы ИИ без топовых моделей: как MongoDB и Fireworks AI ускоряют отклик и снижают расходы. В статье раскрывают методы повышения эффективности LLM с помощью умных кэшей, PEFT-тюнинга и новых возможностей MongoDB Atlas для масштабируемых и экономичных решений.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
COPY в PostgreSQL: грузим данные быстро, безопасно и без сюрпризов
Привет, Хабр.
Сегодня разбираем COPY в PostgreSQL. Это рабочая лошадка для массовой загрузки и выгрузки данных.
Читать: https://habr.com/ru/companies/otus/articles/935454/
#ru
@database_design | Другие наши каналы
Привет, Хабр.
Сегодня разбираем COPY в PostgreSQL. Это рабочая лошадка для массовой загрузки и выгрузки данных.
Читать: https://habr.com/ru/companies/otus/articles/935454/
#ru
@database_design | Другие наши каналы
Как MongoDB Atlas и AWS трансформируют подключённые автомобили
Использование MongoDB Atlas и AWS позволяет автопроизводителям обрабатывать огромные данные для предиктивного обслуживания и удалённой диагностики. Fireworks AI и MongoDB ускоряют работу ИИ, снижая затраты и обеспечивая быстрый доступ к умным решениям.
Читать подробнее
#en
@database_design | Другие наши каналы
Использование MongoDB Atlas и AWS позволяет автопроизводителям обрабатывать огромные данные для предиктивного обслуживания и удалённой диагностики. Fireworks AI и MongoDB ускоряют работу ИИ, снижая затраты и обеспечивая быстрый доступ к умным решениям.
Читать подробнее
#en
@database_design | Другие наши каналы
Как настроить работу с ПД на сайте клиники: база и тонкости
К сайтам медучреждений больше требований, чем к сайтам других бизнесов.
Вы можете игнорировать и отрицать это, но за несоблюдение правил платить штраф всё равно придётся.
Есть альтернативный вариант — доработать свой сайт и в разы снизить риски проблем с законом.
Как это сделать, чему уделить внимание, какие документы и согласия подготовить, я рассказала здесь: собрала всё самое важное и актуальное.
Узнать, как доработать сайт медорганизации
Читать: https://habr.com/ru/articles/934378/
#ru
@database_design | Другие наши каналы
К сайтам медучреждений больше требований, чем к сайтам других бизнесов.
Вы можете игнорировать и отрицать это, но за несоблюдение правил платить штраф всё равно придётся.
Есть альтернативный вариант — доработать свой сайт и в разы снизить риски проблем с законом.
Как это сделать, чему уделить внимание, какие документы и согласия подготовить, я рассказала здесь: собрала всё самое важное и актуальное.
Узнать, как доработать сайт медорганизации
Читать: https://habr.com/ru/articles/934378/
#ru
@database_design | Другие наши каналы