ClickHouse не тормозит, но теряет данные. Часть 2 — от буферных таблиц к Kafka Engine
ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных
Читать: https://habr.com/ru/articles/934320/
#ru
@database_design | Другие наши каналы
ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных
Читать: https://habr.com/ru/articles/934320/
#ru
@database_design | Другие наши каналы
Какие бывают СХД и какая нужна именно вам?
Системы хранения данных являются одним из обязательных компонентов построения центров обработки данных, особенно с учетом все большего объема генерируемой и потребляемой информации, также роста цифровизации услуг.
В этой статье мы рассмотрим различные виды СХД, и постараемся простыми словами описать их различия и отличительные особенности.
Мы надеемся, что этот материал поможет вам лучше ориентироваться в типах СХД и обычных сценариях их применения, так как выбор СХД определяется задачами, которые вы собираетесь решать с её помощью.
Читать: https://habr.com/ru/companies/x-com/articles/934276/
#ru
@database_design | Другие наши каналы
Системы хранения данных являются одним из обязательных компонентов построения центров обработки данных, особенно с учетом все большего объема генерируемой и потребляемой информации, также роста цифровизации услуг.
В этой статье мы рассмотрим различные виды СХД, и постараемся простыми словами описать их различия и отличительные особенности.
Мы надеемся, что этот материал поможет вам лучше ориентироваться в типах СХД и обычных сценариях их применения, так как выбор СХД определяется задачами, которые вы собираетесь решать с её помощью.
Читать: https://habr.com/ru/companies/x-com/articles/934276/
#ru
@database_design | Другие наши каналы
Почему не стоит заменять пустые значения на 0 в Power BI
Если вы когда-либо занимались построением отчётов в Power BI, то наверняка сталкивались с просьбой «заменить пустые значения на ноль — чтобы было красиво». Кажется, мелочь. Но на самом деле это решение может незаметно убить производительность модели, превратить быстрый отчёт в тормозящий интерфейс, а оптимизатор — в беспомощного наблюдателя. В этой статье — разбор того, что происходит под капотом VertiPaq, как DAX на самом деле обрабатывает
Читать: https://habr.com/ru/companies/otus/articles/934484/
#ru
@database_design | Другие наши каналы
Если вы когда-либо занимались построением отчётов в Power BI, то наверняка сталкивались с просьбой «заменить пустые значения на ноль — чтобы было красиво». Кажется, мелочь. Но на самом деле это решение может незаметно убить производительность модели, превратить быстрый отчёт в тормозящий интерфейс, а оптимизатор — в беспомощного наблюдателя. В этой статье — разбор того, что происходит под капотом VertiPaq, как DAX на самом деле обрабатывает
BLANK, и почему иногда лучше оставить пустое значение пустым.Читать: https://habr.com/ru/companies/otus/articles/934484/
#ru
@database_design | Другие наши каналы
РосНОУ повысил свои позиции в рейтинге вузов-лидеров ИИ
Альянс в сфере искусственного интеллекта опубликовал третий ежегодный рейтинг российских университетов, готовящих специалистов для ИИ-отрасли. В этом году в список вошли 203 вуза из 68 регионов страны.
Читать: https://habr.com/ru/articles/934646/
#ru
@database_design | Другие наши каналы
Альянс в сфере искусственного интеллекта опубликовал третий ежегодный рейтинг российских университетов, готовящих специалистов для ИИ-отрасли. В этом году в список вошли 203 вуза из 68 регионов страны.
Читать: https://habr.com/ru/articles/934646/
#ru
@database_design | Другие наши каналы
Экономия на векторном поиске с Voyage AI и MongoDB
Новая технология Matroyshka Representation Learning позволяет создавать компактные векторы для поиска с почти не снижающейся точностью. Это сокращает расходы на хранение и ускоряет поиск, сохраняя качество результатов. Подробнее о возможностях Voyage AI и MongoDB. Как Tavily с помощью MongoDB меняет работу AI-агентов
Компания Tavily внедряет технологии MongoDB Atlas для обеспечения AI-агентам быстрого доступа к актуальной информации из интернета в реальном времени, повышая точность и эффективность их работы. Новые стандарты обработки данных меняют цифровой мир.
Читать подробнее
#en
@database_design | Другие наши каналы
Новая технология Matroyshka Representation Learning позволяет создавать компактные векторы для поиска с почти не снижающейся точностью. Это сокращает расходы на хранение и ускоряет поиск, сохраняя качество результатов. Подробнее о возможностях Voyage AI и MongoDB. Как Tavily с помощью MongoDB меняет работу AI-агентов
Компания Tavily внедряет технологии MongoDB Atlas для обеспечения AI-агентам быстрого доступа к актуальной информации из интернета в реальном времени, повышая точность и эффективность их работы. Новые стандарты обработки данных меняют цифровой мир.
Читать подробнее
#en
@database_design | Другие наши каналы
Как работает база данных Firebird, часть 4
В первой части мы разбирались, как Firebird забирает строку таблицы с диска. Во второй и третьей частях мы разбирались, что происходит с прочитанной строкой в процессе выполнения SELECT-запроса. Но остался неотвеченным такой вопрос: а как указать на строку таблицы, которую надо прочитать? Этим вопросом мы и займёмся.
Читать: https://habr.com/ru/articles/934668/
#ru
@database_design | Другие наши каналы
В первой части мы разбирались, как Firebird забирает строку таблицы с диска. Во второй и третьей частях мы разбирались, что происходит с прочитанной строкой в процессе выполнения SELECT-запроса. Но остался неотвеченным такой вопрос: а как указать на строку таблицы, которую надо прочитать? Этим вопросом мы и займёмся.
Читать: https://habr.com/ru/articles/934668/
#ru
@database_design | Другие наши каналы
Битва, где все проигрывают, или Как Kafka Compact Topics остановил войну данных
В статье рассказывается о типичной проблеме синхронизации данных между микросервисами через связку «снапшот + инкременты» и предлагается решение на основе Kafka Compact Topics. Это своего рода «волшебная тетрадь», которая автоматически оставляет только последние версии записей, избавляя от головной боли с рассинхронизацией.
Разбираются практические кейсы применения, подводные камни, тонкости настройки и интеграция с Debezium для автоматической выгрузки из PostgreSQL.
Что получите: понимание, когда компактные топики решают проблему, а когда лучше использовать классические подходы, плюс готовые конфиги для быстрого старта
Читать: https://habr.com/ru/companies/sberbank/articles/934438/
#ru
@database_design | Другие наши каналы
В статье рассказывается о типичной проблеме синхронизации данных между микросервисами через связку «снапшот + инкременты» и предлагается решение на основе Kafka Compact Topics. Это своего рода «волшебная тетрадь», которая автоматически оставляет только последние версии записей, избавляя от головной боли с рассинхронизацией.
Разбираются практические кейсы применения, подводные камни, тонкости настройки и интеграция с Debezium для автоматической выгрузки из PostgreSQL.
Что получите: понимание, когда компактные топики решают проблему, а когда лучше использовать классические подходы, плюс готовые конфиги для быстрого старта
Читать: https://habr.com/ru/companies/sberbank/articles/934438/
#ru
@database_design | Другие наши каналы
Новые обновления MariaDB Community Server Уже доступны версии 11.8.3, 11.4.8, 10.11.14 и 10.6.23. Эти релизы содержат важные исправления и улучшения. Подробнее о новинках и изменениях можно узнать на официальном сайте MariaDB.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB
MariaDB Community Server Q3 2025 maintenance releases | MariaDB
MariaDB Community Server 11.8.3, 11.4.8, 10.11.14, and 10.6.23 maintenance releases are now available. Download today!
Странные находки в серверных: топ-10 сюрпризов для сисадминов
Серверные обычно ассоциируются с дисками, сетями и бесперебойниками, но иногда в них попадаются экзотические сюрпризы. И если уже ставшая баяном новость про найденную в серверной противотанковую ракету 9M14 «Малютка» была фейком для сбора реакций, то в этой статье я расскажу о других находках сисадминов. Приглашаю под кат и в комментарии с вашей историей о неожиданных находках.
Читать
Читать: https://habr.com/ru/companies/ruvds/articles/934034/
#ru
@database_design | Другие наши каналы
Серверные обычно ассоциируются с дисками, сетями и бесперебойниками, но иногда в них попадаются экзотические сюрпризы. И если уже ставшая баяном новость про найденную в серверной противотанковую ракету 9M14 «Малютка» была фейком для сбора реакций, то в этой статье я расскажу о других находках сисадминов. Приглашаю под кат и в комментарии с вашей историей о неожиданных находках.
Читать
Читать: https://habr.com/ru/companies/ruvds/articles/934034/
#ru
@database_design | Другие наши каналы
Как мы прессовали Redis — и остались в живых
Привет! Меня зовут Антон Головенко и я backend-разработчик команды Search-Quality в Авито. Вот уже полтора года я ускоряю производительность поиска и повышаю его надежность, а также участвую в интеграции новых продуктов. В статье расскажу о том, как мы тестировали Redis под нагрузкой, с какими проблемами столкнулись, как их решали и какие выводы сделали. Заголовок звучит кликбейтно — но вы скоро поймёте, что он полностью оправдан.
Читать: https://habr.com/ru/companies/avito/articles/934726/
#ru
@database_design | Другие наши каналы
Привет! Меня зовут Антон Головенко и я backend-разработчик команды Search-Quality в Авито. Вот уже полтора года я ускоряю производительность поиска и повышаю его надежность, а также участвую в интеграции новых продуктов. В статье расскажу о том, как мы тестировали Redis под нагрузкой, с какими проблемами столкнулись, как их решали и какие выводы сделали. Заголовок звучит кликбейтно — но вы скоро поймёте, что он полностью оправдан.
Читать: https://habr.com/ru/companies/avito/articles/934726/
#ru
@database_design | Другие наши каналы
Запущена глобально распределённая база данных Oracle Exadata на инфраструктуре Exascale. Новое решение обеспечивает масштабируемость и высокую производительность для крупных проектов и позволяет эффективно управлять данными в распределённых средах.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Announcing General Availability: Oracle Globally Distributed Exadata Database on Exascale Infrastructure
Новые возможности MongoDB Atlas Search: поддержка видов позволяет создавать точечные индексы и трансформировать данные для быстрой и экономичной поисковой работы. Это улучшит производительность и снизит затраты на индексацию больших объемов данных. Подробнее в статье. Эффективный векторный поиск с Matroyshka Representation Learning
Новые модели Voyage AI с MRL позволяют значительно снизить размер векторных представлений без потери точности. Это сокращает затраты на хранение и ускоряет поиск в MongoDB, сохраняя высокое качество выдачи. Оптимизация для масштабируемых систем уже доступна.
Читать подробнее
#en
@database_design | Другие наши каналы
Новые модели Voyage AI с MRL позволяют значительно снизить размер векторных представлений без потери точности. Это сокращает затраты на хранение и ускоряет поиск в MongoDB, сохраняя высокое качество выдачи. Оптимизация для масштабируемых систем уже доступна.
Читать подробнее
#en
@database_design | Другие наши каналы
Новая версия MariaDB Community Server 12.0 уже доступна. Обновление основано на MariaDB 11.8 и предлагает улучшенную совместимость с Oracle, повышенную безопасность и развитие открытой базы данных. Подробнее по ссылке.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB
Announcing MariaDB Community Server 12.0 GA | MariaDB
Community Server 12.0 GA introduces enhanced Oracle compatibility, hardened security for your data, smarter performance and richer geospatial capabilities.
Цифровая картотека людей в Obsidian
Любой гайд по Обсидиану начинается с совета не использовать плагины, дабы не усложнять систему и собственную жизнь. Большинство после этого тут же советует пару базовых плагинов - ну без которых вот прямо совсем сложно жить. На днях мне вообще попалась статья, где человек пытался сделать картотеку людей, но вместо того чтобы просто делать картотеку, он копировал какие-то шаблоны вручную, после чего написал мануал, как автоматизировать этот бесполезный труд.
Интересно то, что идея картотеки была взята из картотеки Джона Рокфеллера с отсылкой на Rolodex. И вот это реально интересная штука, которая меня сильно заинтересовала и дала вдохновение для её цифровой реализации.
Читать: https://habr.com/ru/articles/935210/
#ru
@database_design | Другие наши каналы
Любой гайд по Обсидиану начинается с совета не использовать плагины, дабы не усложнять систему и собственную жизнь. Большинство после этого тут же советует пару базовых плагинов - ну без которых вот прямо совсем сложно жить. На днях мне вообще попалась статья, где человек пытался сделать картотеку людей, но вместо того чтобы просто делать картотеку, он копировал какие-то шаблоны вручную, после чего написал мануал, как автоматизировать этот бесполезный труд.
Интересно то, что идея картотеки была взята из картотеки Джона Рокфеллера с отсылкой на Rolodex. И вот это реально интересная штука, которая меня сильно заинтересовала и дала вдохновение для её цифровой реализации.
Читать: https://habr.com/ru/articles/935210/
#ru
@database_design | Другие наши каналы
Разработа DWH с нуля – особенности архитектуры
Проект по построению DWH с нуля был запущен по инициативе Заказчика в рамках крупной трансформации управленческой отчетности и аналитики.
В статье расскажу, как мы выстроили архитектуру DWH, какие подходы использовали на каждом уровне, с какими подводными камнями столкнулись и как обеспечили стабильную поставку данных для аналитики.
Читать: https://habr.com/ru/articles/935212/
#ru
@database_design | Другие наши каналы
Проект по построению DWH с нуля был запущен по инициативе Заказчика в рамках крупной трансформации управленческой отчетности и аналитики.
В статье расскажу, как мы выстроили архитектуру DWH, какие подходы использовали на каждом уровне, с какими подводными камнями столкнулись и как обеспечили стабильную поставку данных для аналитики.
Читать: https://habr.com/ru/articles/935212/
#ru
@database_design | Другие наши каналы
Вредные советы по работе с базами данных, или как расстроить DBA
Сборник самых раздражающих ошибок в работе с базами данных — с примерами и советами, как делать правильно. По выпуску подкаста «Техно.Логично».
Читать: «Вредные советы по работе с базами данных, или как расстроить DBA»
#ru
@database_design | Другие наши каналы
Сборник самых раздражающих ошибок в работе с базами данных — с примерами и советами, как делать правильно. По выпуску подкаста «Техно.Логично».
Читать: «Вредные советы по работе с базами данных, или как расстроить DBA»
#ru
@database_design | Другие наши каналы
Вредные советы по работе с базами данных, или как расстроить DBA
Сборник самых раздражающих ошибок в работе с базами данных — с примерами и советами, как делать правильно. По выпуску подкаста «Техно.Логично».
Читать: «Вредные советы по работе с базами данных, или как расстроить DBA»
#ru
@database_design | Другие наши каналы
Сборник самых раздражающих ошибок в работе с базами данных — с примерами и советами, как делать правильно. По выпуску подкаста «Техно.Логично».
Читать: «Вредные советы по работе с базами данных, или как расстроить DBA»
#ru
@database_design | Другие наши каналы
Фаззинг как основа эффективной разработки на примере LuaJIT
Представьте, что в основе вашего коммерческого продукта используется компонент с исходным кодом, который написан на смеси языка С и самописного ассемблера. Из-за слабой детерминированности поиск репродьюсеров сложен, а без репродьюсера мейнтейнер проекта заявляет: «Сделайте так, чтобы я про вас больше не слышал». Я расскажу, как мы построили процесс активной поддержки LuaJIT в СУБД Tarantool, сократили количество инцидентов в продакшене, сократили затраты на бэкпорт патчей из основного проекта и какую роль во всем этом сыграл фаззинг и его специфика.
Команда разработки продукта полностью отвечает за весь код этого продукта, в том числе за компоненты с открытым исходным кодом от третьих лиц. К сожалению, не все мейнтейнеры проектов с открытым исходным кодом готовы сотрудничать с разработчиками или их сотрудничество ограничивается жесткими рамками, что усложняет использование этих компонентов в коммерческих продуктах.
В СУБД Tarantool используется LuaJIT в качестве языкового рантайма, но в Tarantool используется не оригинальный проект, а его форк. Я расскажу, как мы прошли путь от пассивного использования кода LuaJIT к процессу поддержки форка, с которым количество инцидентов на продакшене установилось около нуля, сократились усилия по бэкпортингу патчей из основного проекта, а основной проект получил активных контрибьюторов.
Я рассмотрю специфику работы с проектом исходного кода на примере LuaJIT, расскажу, как устроено тестирование в нашем форке и какую роль там играет фаззинг. Расскажу о специфике фаззинга LuaJIT и о том, каких результатов мы в этом достигли за последние два года.
Читать: https://habr.com/ru/companies/vktech/articles/935100/
#ru
@database_design | Другие наши каналы
Представьте, что в основе вашего коммерческого продукта используется компонент с исходным кодом, который написан на смеси языка С и самописного ассемблера. Из-за слабой детерминированности поиск репродьюсеров сложен, а без репродьюсера мейнтейнер проекта заявляет: «Сделайте так, чтобы я про вас больше не слышал». Я расскажу, как мы построили процесс активной поддержки LuaJIT в СУБД Tarantool, сократили количество инцидентов в продакшене, сократили затраты на бэкпорт патчей из основного проекта и какую роль во всем этом сыграл фаззинг и его специфика.
Команда разработки продукта полностью отвечает за весь код этого продукта, в том числе за компоненты с открытым исходным кодом от третьих лиц. К сожалению, не все мейнтейнеры проектов с открытым исходным кодом готовы сотрудничать с разработчиками или их сотрудничество ограничивается жесткими рамками, что усложняет использование этих компонентов в коммерческих продуктах.
В СУБД Tarantool используется LuaJIT в качестве языкового рантайма, но в Tarantool используется не оригинальный проект, а его форк. Я расскажу, как мы прошли путь от пассивного использования кода LuaJIT к процессу поддержки форка, с которым количество инцидентов на продакшене установилось около нуля, сократились усилия по бэкпортингу патчей из основного проекта, а основной проект получил активных контрибьюторов.
Я рассмотрю специфику работы с проектом исходного кода на примере LuaJIT, расскажу, как устроено тестирование в нашем форке и какую роль там играет фаззинг. Расскажу о специфике фаззинга LuaJIT и о том, каких результатов мы в этом достигли за последние два года.
Читать: https://habr.com/ru/companies/vktech/articles/935100/
#ru
@database_design | Другие наши каналы
Мы научились переносить базу данных с Oracle на Postgres Pro со скоростью 41 ТБ/сутки
41 ТБ/сутки по маршруту Oracle → Postgres Pro без остановки исходной системы — это не теория, а цифры последних тестов. Мы разложили миграцию на три этапа: быструю начальную загрузку, CDC из redo-логов и валидацию, и собрали их в ProGate. Как устроен конвейер, почему Go и где прячутся узкие места — расскажем в статье.
Читать: https://habr.com/ru/companies/postgrespro/articles/935462/
#ru
@database_design | Другие наши каналы
41 ТБ/сутки по маршруту Oracle → Postgres Pro без остановки исходной системы — это не теория, а цифры последних тестов. Мы разложили миграцию на три этапа: быструю начальную загрузку, CDC из redo-логов и валидацию, и собрали их в ProGate. Как устроен конвейер, почему Go и где прячутся узкие места — расскажем в статье.
Читать: https://habr.com/ru/companies/postgrespro/articles/935462/
#ru
@database_design | Другие наши каналы
Новый выпуск MariaDB Connector/J 3.5.5 уже доступен. В обновлении улучшена стабильность и исправлены ошибки. Подробнее о новшествах и загрузке можно узнать на официальном сайте MariaDB.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB
MariaDB Java Connector 3.5.5 now available | MariaDB
MariaDB is pleased to announce the immediate availability of the MariaDB Connector/J 3.5.5 release. Download Now Notable items in this release include: See the release notes and changelog for more…
BrOk: Как упростить работу с брокерами сообщений и REST-запросами без лишнего кода?
BrOk — графический low-code инструмент для управления популярными брокерами сообщений, такими как Kafka, RabbitMQ, Artemis, NATS и Redis. Узнайте, как упростить работу с очередями, шаблонами, сценариями и REST API без лишнего кода.
Читать: «BrOk: Как упростить работу с брокерами сообщений и REST-запросами без лишнего кода?»
#ru
@database_design | Другие наши каналы
BrOk — графический low-code инструмент для управления популярными брокерами сообщений, такими как Kafka, RabbitMQ, Artemis, NATS и Redis. Узнайте, как упростить работу с очередями, шаблонами, сценариями и REST API без лишнего кода.
Читать: «BrOk: Как упростить работу с брокерами сообщений и REST-запросами без лишнего кода?»
#ru
@database_design | Другие наши каналы