Как сыграть с СХД в имитацию ошибки и выйти победителем? Используем паттерны ООП на C++
Привет, Хабр! Меня зовут Константин Крюков, я разрабатываю систему хранения данных TATLIN.UNIFIED в YADRO. Сейчас мы с командой создаем MeyerSAN — решение, которое имитирует неисправность SAS HDD и SSD и позволяет автоматически тестировать реакцию СХД на ошибки.
Мы написали проект на новом стандарте С++ 23 и использовали паттерны объектно-ориентированного программирования. Под катом расскажу, что за решение у нас вышло, как устроена его архитектура. А еще мы вместе вспомним, зачем строить программную архитектуру тщательно и правильно (и не жалеть об утраченном времени на активную разработку).
Читать: https://habr.com/ru/companies/yadro/articles/927866/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Меня зовут Константин Крюков, я разрабатываю систему хранения данных TATLIN.UNIFIED в YADRO. Сейчас мы с командой создаем MeyerSAN — решение, которое имитирует неисправность SAS HDD и SSD и позволяет автоматически тестировать реакцию СХД на ошибки.
Мы написали проект на новом стандарте С++ 23 и использовали паттерны объектно-ориентированного программирования. Под катом расскажу, что за решение у нас вышло, как устроена его архитектура. А еще мы вместе вспомним, зачем строить программную архитектуру тщательно и правильно (и не жалеть об утраченном времени на активную разработку).
Читать: https://habr.com/ru/companies/yadro/articles/927866/
#ru
@database_design | Другие наши каналы
Как построить отказоустойчивый кластер СУБД
Привет, Хабр! Меня зовут Андрей Капустин, я менеджер продукта в компании VK Tech. Для построения систем хранения и обработки данных по объектам мы часто используем различные СУБД, которые объединяем в большие геораспределенные кластеры. Кластер СУБД содержит данные, необходимые для функционирования Mission Critical процессов, поэтому нам необходимо гарантировать постоянную доступность, обеспечить отсутствие потерь и минимизировать время предоставления данных по запросу.
Читать: https://habr.com/ru/companies/vk/articles/927526/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Меня зовут Андрей Капустин, я менеджер продукта в компании VK Tech. Для построения систем хранения и обработки данных по объектам мы часто используем различные СУБД, которые объединяем в большие геораспределенные кластеры. Кластер СУБД содержит данные, необходимые для функционирования Mission Critical процессов, поэтому нам необходимо гарантировать постоянную доступность, обеспечить отсутствие потерь и минимизировать время предоставления данных по запросу.
Читать: https://habr.com/ru/companies/vk/articles/927526/
#ru
@database_design | Другие наши каналы
Встречайте новых MongoDB Community Champions 2025! Это группа из 48 экспертов со всего мира, которые помогают развитию и распространению знаний о MongoDB. Они участвуют в создании продукта и делятся опытом с сообществом разработчиков. Подробнее о них в статье. Матрешка в мире ИИ: новая технология Matryoshka Representation Learning позволяет создавать гибкие встраивания (эмбеддинги), которые сохраняют качество даже при уменьшении размерности. Это значительно улучшает эффективность и экономит ресурсы при поиске и анализе данных. Гибкие и эффективные векторные представления с MRL от Voyage AI
Технология MRL позволяет создавать векторы разной размерности из одного эмбеддинга, снижая нагрузку на вычисления и хранение. В сочетании с квантованием это обеспечивает баланс между качеством и производительностью для масштабируемого поиска.
Читать подробнее
#en
@database_design | Другие наши каналы
Технология MRL позволяет создавать векторы разной размерности из одного эмбеддинга, снижая нагрузку на вычисления и хранение. В сочетании с квантованием это обеспечивает баланс между качеством и производительностью для масштабируемого поиска.
Читать подробнее
#en
@database_design | Другие наши каналы
Запуск локального MariaDB MCP-сервера для AI-разработки
Статья рассказывает, как с помощью протокола MCP настроить локальный MariaDB-сервер и интегрировать его с VS Code, чтобы AI-модели могли выполнять код и работать с базой данных напрямую. Полезно для разработчиков, использующих AI.
Читать подробнее
#en
@database_design | Другие наши каналы
Статья рассказывает, как с помощью протокола MCP настроить локальный MariaDB-сервер и интегрировать его с VS Code, чтобы AI-модели могли выполнять код и работать с базой данных напрямую. Полезно для разработчиков, использующих AI.
Читать подробнее
#en
@database_design | Другие наши каналы
Некогда объяснять, пора вершить судьбы 😱
Три разраба прямо сейчас ищут работу — выбери того, кто получит шанс на достойный оффер. Голосуй прямо сейчас!
Все подробности в «Коде найма».
Три разраба прямо сейчас ищут работу — выбери того, кто получит шанс на достойный оффер. Голосуй прямо сейчас!
Все подробности в «Коде найма».
Please open Telegram to view this post
VIEW IN TELEGRAM
👎1
Forwarded from Код найма
👍1👎1
Новый релиз MariaDB Connector/Python 1.1.13 доступен. Эта стабильная версия содержит важные обновления для работы с базами данных MariaDB через Python. Подробности и загрузка на официальном сайте MariaDB.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB
MariaDB Python Connector 1.1.13 now available | MariaDB
MariaDB is pleased to announce the immediate availability of the MariaDB Connector/Python 1.1.13 release. Download MariaDB Connector/Python 1.1.13 today!
Интеграция Azure Key Vault с Exadata Database Service
Теперь пользователи Oracle Database@Azure могут хранить ключи шифрования Transparent Data Encryption в Azure Key Vault. Это обеспечивает единое управление ключами для приложений и баз данных с поддержкой всех вариантов AKV.
Читать подробнее
#en
@database_design | Другие наши каналы
Теперь пользователи Oracle Database@Azure могут хранить ключи шифрования Transparent Data Encryption в Azure Key Vault. Это обеспечивает единое управление ключами для приложений и баз данных с поддержкой всех вариантов AKV.
Читать подробнее
#en
@database_design | Другие наши каналы
Telegram
DATABASE DESIGN
Лучшие материалы по работе с хранилищами данных на русском и английском языке
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Другие наши проекты: https://tprg.ru/media
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Другие наши проекты: https://tprg.ru/media
Обзор All flash массива Qsan XF5226D
Прошло уже почти 4 года с момента выхода предыдущей модели All flash массивов (AFA) от Qsan. Вроде бы и не такой большой срок по житейским меркам. Однако, для мира IT это – просто пропасть. Отчасти поэтому Qsan, стараясь быть в тренде, выпустил новое, уже третье по счету, поколение AFA, краткий обзор которого мы предлагаем вашему вниманию.
В отличие от предыдущей серии AFA, состоящей из единственной модели XF3126, новая серия будет иметь более разнообразный модельный ряд. Флагманская модель среди новых AFA – это XF5226. И на момент написания статьи пока что только эта модель доступна к заказу. Позднее также будут доступны модели из младших линеек с чуть более упрощенной аппаратной частью, но зато с более привлекательной ценой.
Читать: https://habr.com/ru/companies/skilline/articles/927334/
#ru
@database_design | Другие наши каналы
Прошло уже почти 4 года с момента выхода предыдущей модели All flash массивов (AFA) от Qsan. Вроде бы и не такой большой срок по житейским меркам. Однако, для мира IT это – просто пропасть. Отчасти поэтому Qsan, стараясь быть в тренде, выпустил новое, уже третье по счету, поколение AFA, краткий обзор которого мы предлагаем вашему вниманию.
В отличие от предыдущей серии AFA, состоящей из единственной модели XF3126, новая серия будет иметь более разнообразный модельный ряд. Флагманская модель среди новых AFA – это XF5226. И на момент написания статьи пока что только эта модель доступна к заказу. Позднее также будут доступны модели из младших линеек с чуть более упрощенной аппаратной частью, но зато с более привлекательной ценой.
Читать: https://habr.com/ru/companies/skilline/articles/927334/
#ru
@database_design | Другие наши каналы
Пуск LittleFS (NVRAM с запретом до-записи flash)
Надо запустить NVRAM на микроконтроллере, где нет возможности дописывать интервалы памяти.
В этом тексте я показал как организовать NVRAM на основе широко распространенного программного компонента LittleFs.
Читать: https://habr.com/ru/articles/925372/
#ru
@database_design | Другие наши каналы
Надо запустить NVRAM на микроконтроллере, где нет возможности дописывать интервалы памяти.
В этом тексте я показал как организовать NVRAM на основе широко распространенного программного компонента LittleFs.
Читать: https://habr.com/ru/articles/925372/
#ru
@database_design | Другие наши каналы
История K2 Cloud: эволюция от провайдера до партнёра
Когда вы слышите «облачный провайдер», что первое приходит в голову? Компания, которая предоставляет виртуальные ресурсы и с которой приходится разговаривать строго по шаблону? Но чтобы решения действительно работали, нужен не поставщик, а партнёр — тот, кто погружён в вашу инфраструктуру, анализирует, советует, помогает.
Мы в K2 Cloud не всегда были такими. Наш путь начался более 15 лет назад, и сначала мы были просто провайдером. Но время, опыт и сотни проектов изменили всё: мы прошли путь от первого ЦОДа до облачной платформы собственной разработки с партнёрскими услугами под любой запрос бизнеса. И сегодня я расскажу, как это было — без маркетингового шума, просто как есть.
Меня зовут Кирилл Бойко, я технический директор K2 Cloud, и в облаках (в хорошем смысле) — давно.
Читать: https://habr.com/ru/companies/k2tech/articles/927822/
#ru
@database_design | Другие наши каналы
Когда вы слышите «облачный провайдер», что первое приходит в голову? Компания, которая предоставляет виртуальные ресурсы и с которой приходится разговаривать строго по шаблону? Но чтобы решения действительно работали, нужен не поставщик, а партнёр — тот, кто погружён в вашу инфраструктуру, анализирует, советует, помогает.
Мы в K2 Cloud не всегда были такими. Наш путь начался более 15 лет назад, и сначала мы были просто провайдером. Но время, опыт и сотни проектов изменили всё: мы прошли путь от первого ЦОДа до облачной платформы собственной разработки с партнёрскими услугами под любой запрос бизнеса. И сегодня я расскажу, как это было — без маркетингового шума, просто как есть.
Меня зовут Кирилл Бойко, я технический директор K2 Cloud, и в облаках (в хорошем смысле) — давно.
Читать: https://habr.com/ru/companies/k2tech/articles/927822/
#ru
@database_design | Другие наши каналы
Не Pgbouncer, но пулер. Не Odyssey, но с корутинами
Если вы настраивали отказоустойчивый кластер Postgres, то сталкивались с необходимостью перенаправления пользовательского трафика на пишущий узел после аварии на основном узле и переключения на резервный. Мы разработали расширение Proxima, которое снимает необходимость в настройке и администрировании дополнительного программного обеспечения.
Разработчик программного обеспечения Postgres Professional Тофиг Алиев расскажет, как мы делали Proxima, какие архитектурные решения заложены в расширение, почему мы выбрали именно такой подход. Разберет тонкости реализации, которые позволили нам обрабатывать более 10 тысяч одновременных клиентских сессий. Рассмотрит примеры использования и ответит на вопросы.
Читать: https://habr.com/ru/companies/postgrespro/articles/927034/
#ru
@database_design | Другие наши каналы
Если вы настраивали отказоустойчивый кластер Postgres, то сталкивались с необходимостью перенаправления пользовательского трафика на пишущий узел после аварии на основном узле и переключения на резервный. Мы разработали расширение Proxima, которое снимает необходимость в настройке и администрировании дополнительного программного обеспечения.
Разработчик программного обеспечения Postgres Professional Тофиг Алиев расскажет, как мы делали Proxima, какие архитектурные решения заложены в расширение, почему мы выбрали именно такой подход. Разберет тонкости реализации, которые позволили нам обрабатывать более 10 тысяч одновременных клиентских сессий. Рассмотрит примеры использования и ответит на вопросы.
Читать: https://habr.com/ru/companies/postgrespro/articles/927034/
#ru
@database_design | Другие наши каналы
Новая библиотека MongoDB для мультимодального поиска на Python упрощает работу с текстом, изображениями и сложными документами. Она объединяет в одном интерфейсе векторный поиск, хранение в AWS S3 и мультимодальные эмбеддинги Voyage AI — удобно для аналитики и e-commerce. Новая эпоха векторных эмбеддингов с MRL
MRL (Matryoshka Representation Learning) позволяет создавать многоуровневые векторы, сохраняющие качество при сокращении размерности. Это обеспечивает гибкость и эффективность, позволяя экономить ресурсы без существенной потери точности.
Читать подробнее
#en
@database_design | Другие наши каналы
MRL (Matryoshka Representation Learning) позволяет создавать многоуровневые векторы, сохраняющие качество при сокращении размерности. Это обеспечивает гибкость и эффективность, позволяя экономить ресурсы без существенной потери точности.
Читать подробнее
#en
@database_design | Другие наши каналы
Как генеративный ИИ меняет классификацию запасов в автоиндустрии
В условиях дефицита новых моделей и снижения запасов традиционные методы управления становятся неэффективными. Новая методология с использованием MongoDB и ИИ анализирует структурированные и неструктурированные данные, помогая бизнесу прогнозировать спрос и оптимизировать ассортимент. Новый инструмент для мультимодального поиска в MongoDB упрощает работу с PDF и изображениями, объединяя их в едином запросе. Библиотека использует Voyage AI для создания векторных представлений и интегрируется с AWS S3 и Atlas Vector Search, делая поиск по сложным документам доступнее.
Читать подробнее
#en
@database_design | Другие наши каналы
В условиях дефицита новых моделей и снижения запасов традиционные методы управления становятся неэффективными. Новая методология с использованием MongoDB и ИИ анализирует структурированные и неструктурированные данные, помогая бизнесу прогнозировать спрос и оптимизировать ассортимент. Новый инструмент для мультимодального поиска в MongoDB упрощает работу с PDF и изображениями, объединяя их в едином запросе. Библиотека использует Voyage AI для создания векторных представлений и интегрируется с AWS S3 и Atlas Vector Search, делая поиск по сложным документам доступнее.
Читать подробнее
#en
@database_design | Другие наши каналы
Как индексация вложенных объектов влияет на производительность MongoDB
В статье разбирают, почему индексы на вложенных объектах могут негативно сказываться на скорости запросов и занимать много места. Основная проблема — большие и сложные составные индексы, которые не всегда работают ожидаемо. Новая библиотека Multimodal Search от MongoDB облегчает поиск в документах с текстом и изображениями. Она интегрирует MongoDB Atlas Vector Search, AWS S3 и Voyage AI, позволяя быстро находить нужные данные даже в сложных PDF и мультимодальных коллекциях. Революция в классификации запасов с помощью ИИ
Глобальная автоиндустрия сталкивается с дефицитом новых моделей и снижением запасов. Традиционные методы учета устарели, и теперь с помощью MongoDB и генеративного ИИ можно объединить структурированные и неструктурированные данные для более точной и прогнозной классификации запасов.
Читать подробнее
#en
@database_design | Другие наши каналы
В статье разбирают, почему индексы на вложенных объектах могут негативно сказываться на скорости запросов и занимать много места. Основная проблема — большие и сложные составные индексы, которые не всегда работают ожидаемо. Новая библиотека Multimodal Search от MongoDB облегчает поиск в документах с текстом и изображениями. Она интегрирует MongoDB Atlas Vector Search, AWS S3 и Voyage AI, позволяя быстро находить нужные данные даже в сложных PDF и мультимодальных коллекциях. Революция в классификации запасов с помощью ИИ
Глобальная автоиндустрия сталкивается с дефицитом новых моделей и снижением запасов. Традиционные методы учета устарели, и теперь с помощью MongoDB и генеративного ИИ можно объединить структурированные и неструктурированные данные для более точной и прогнозной классификации запасов.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle интегрировала протокол Model Context Protocol в свои инструменты разработчика. Теперь Oracle Database доступна на любых платформах с поддержкой MCP, что расширяет возможности работы через современную командную строку Oracle SQLcl.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Telegram
DATABASE DESIGN
Лучшие материалы по работе с хранилищами данных на русском и английском языке
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Другие наши проекты: https://tprg.ru/media
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Другие наши проекты: https://tprg.ru/media
PLAID оптимизировал обработку потоковых данных в реальном времени с помощью MongoDB Atlas Stream Processing. Это позволило снизить затраты, упростить управление и масштабировать систему, сохранив при этом эффективность передачи данных в Google BigQuery. Оптимизация индексов MongoDB: почему встроенные объекты могут замедлять запросы. В статье разбирают случаи, когда избыточное и неправильное индексирование больших вложенных объектов приводит к снижению производительности и как этого избежать для ускорения работы базы данных. Оптимизация MongoDB: как правильно использовать составные и частичные индексы для улучшения производительности базы данных. В статье разбираются ошибки при создании индексов и советы, как подобрать эффективные индексы под разные запросы и сократить нагрузку на систему.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Вендорские СХД vs open-source-решения: с чем лучше экономить при работе с «железом»
Привет, Хабр! Меня зовут Павел Кишеня, я тимлид группы системных администраторов IT-инфраструктур в группе Рунити. Зачастую к нам приходят заказчики с довольно высоконагруженными проектами, хранящими большой объем информации — всё это потребляет много места. Наша задача не только хранить эти данные, но и эффективно их использовать.
В этой статье поговорю о том, как компании выбирают системы хранения данных. Кто-то строит IT-инфраструктуру на классических аппаратных СХД, а кто-то уходит в кластерные решения на базе Ceph и других open-source решений. Сравню подходы и покажу, в чем плюсы и минусы каждого из них. Также поделюсь практическими кейсами переноса кластеров SSD на гибрид и добавления Ceph смешанного пула.
Читать: https://habr.com/ru/companies/runity/articles/927848/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Меня зовут Павел Кишеня, я тимлид группы системных администраторов IT-инфраструктур в группе Рунити. Зачастую к нам приходят заказчики с довольно высоконагруженными проектами, хранящими большой объем информации — всё это потребляет много места. Наша задача не только хранить эти данные, но и эффективно их использовать.
В этой статье поговорю о том, как компании выбирают системы хранения данных. Кто-то строит IT-инфраструктуру на классических аппаратных СХД, а кто-то уходит в кластерные решения на базе Ceph и других open-source решений. Сравню подходы и покажу, в чем плюсы и минусы каждого из них. Также поделюсь практическими кейсами переноса кластеров SSD на гибрид и добавления Ceph смешанного пула.
Читать: https://habr.com/ru/companies/runity/articles/927848/
#ru
@database_design | Другие наши каналы
Как индексы на вложенных объектах влияют на производительность MongoDB
Тяжелые и обширные индексы на вложенных объектах могут приводить к замедлению запросов из-за недостатка памяти для кеша. Важно оптимизировать структуру индексов, чтобы избежать проблем с производительностью при работе с большими данными. Как правильно настроить индексы в MongoDB для высокой производительности
Статья объясняет, почему важно создавать составные и частичные индексы, чтобы ускорить операции поиска и избежать лишней нагрузки на систему. Оптимальный выбор индексов помогает эффективно масштабировать базу данных с ростом приложения. Как PLAID сократил расходы и упростил обработку данных в реальном времени с помощью MongoDB Atlas Stream Processing. Новое решение снизило затраты, повысило масштабируемость и упростило управление потоками данных, заменив дорогие Kafka-коннекторы и улучшив интеграцию с BigQuery.
Читать подробнее
#en
@database_design | Другие наши каналы
Тяжелые и обширные индексы на вложенных объектах могут приводить к замедлению запросов из-за недостатка памяти для кеша. Важно оптимизировать структуру индексов, чтобы избежать проблем с производительностью при работе с большими данными. Как правильно настроить индексы в MongoDB для высокой производительности
Статья объясняет, почему важно создавать составные и частичные индексы, чтобы ускорить операции поиска и избежать лишней нагрузки на систему. Оптимальный выбор индексов помогает эффективно масштабировать базу данных с ростом приложения. Как PLAID сократил расходы и упростил обработку данных в реальном времени с помощью MongoDB Atlas Stream Processing. Новое решение снизило затраты, повысило масштабируемость и упростило управление потоками данных, заменив дорогие Kafka-коннекторы и улучшив интеграцию с BigQuery.
Читать подробнее
#en
@database_design | Другие наши каналы
10 библиотек Python, которые меняют карьеру
10 библиотек Python, которые помогут прокачаться в аналитике, ML и разработке. Как они работают и почему меняют карьеру.
Читать: «10 библиотек Python, которые меняют карьеру»
#ru
@database_design | Другие наши каналы
10 библиотек Python, которые помогут прокачаться в аналитике, ML и разработке. Как они работают и почему меняют карьеру.
Читать: «10 библиотек Python, которые меняют карьеру»
#ru
@database_design | Другие наши каналы
Обзор сервера ITPOD-SY4108G-D12R-G4: мощная платформа для AI/ML вычислений
Современный бизнес стремительно внедряет технологии искусственного интеллекта — от автоматизации процессов и анализа данных до создания инновационных продуктов на базе генеративного ИИ. Однако для эффективной работы AI/ML алгоритмов требуются специализированные вычислительные системы, способные обрабатывать колоссальные объемы данных с использованием параллельных вычислений.
В условиях растущего спроса на высокопроизводительные решения и необходимости технологической независимости российские компании все чаще обращаются к отечественным производителям. ITPOD, входящий в корпорацию ITG, представляет флагманский сервер ITPOD-SY4108G-D12R-G4 — мощную вычислительную платформу, специально разработанную для самых требовательных задач искусственного интеллекта и машинного обучения.
Читать: https://habr.com/ru/companies/itglobalcom/articles/928716/
#ru
@database_design | Другие наши каналы
Современный бизнес стремительно внедряет технологии искусственного интеллекта — от автоматизации процессов и анализа данных до создания инновационных продуктов на базе генеративного ИИ. Однако для эффективной работы AI/ML алгоритмов требуются специализированные вычислительные системы, способные обрабатывать колоссальные объемы данных с использованием параллельных вычислений.
В условиях растущего спроса на высокопроизводительные решения и необходимости технологической независимости российские компании все чаще обращаются к отечественным производителям. ITPOD, входящий в корпорацию ITG, представляет флагманский сервер ITPOD-SY4108G-D12R-G4 — мощную вычислительную платформу, специально разработанную для самых требовательных задач искусственного интеллекта и машинного обучения.
Читать: https://habr.com/ru/companies/itglobalcom/articles/928716/
#ru
@database_design | Другие наши каналы