Почему плохой бэкап — это фатально и как это предовтратить?
Сделать бэкап легко. Вспомнить, где он, когда всё рухнуло — уже сложнее. А понять, что он битый, — это вообще отдельный вид боли. Разбираемся, почему «у нас же всё сохранено» — это не стратегия, а иллюзия, и как облако может всё упростить.
Читать: https://habr.com/ru/companies/timeweb/articles/947334/
#ru
@database_design | Другие наши каналы
Сделать бэкап легко. Вспомнить, где он, когда всё рухнуло — уже сложнее. А понять, что он битый, — это вообще отдельный вид боли. Разбираемся, почему «у нас же всё сохранено» — это не стратегия, а иллюзия, и как облако может всё упростить.
Читать: https://habr.com/ru/companies/timeweb/articles/947334/
#ru
@database_design | Другие наши каналы
Spark Connect. А нужны ли перемены?
Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. Apache Spark давно и прочно занял место одного из ключевых инструментов в арсенале инженеров и дата-сайентистов, работающих с большими данными. Его способность быстро обрабатывать огромные объёмы информации, гибкость за счёт поддержки множества языков (Python, Scala, Java, SQL) и возможность решать самые разнообразные задачи — от сложных ETL до машинного обучения и стриминга — делают его незаменимым инструментом в мире анализа данных.
Читать: https://habr.com/ru/companies/arenadata/articles/921246/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. Apache Spark давно и прочно занял место одного из ключевых инструментов в арсенале инженеров и дата-сайентистов, работающих с большими данными. Его способность быстро обрабатывать огромные объёмы информации, гибкость за счёт поддержки множества языков (Python, Scala, Java, SQL) и возможность решать самые разнообразные задачи — от сложных ETL до машинного обучения и стриминга — делают его незаменимым инструментом в мире анализа данных.
Читать: https://habr.com/ru/companies/arenadata/articles/921246/
#ru
@database_design | Другие наши каналы
Подключаем Claude по MCP к базе данных на домашнем компьютере
Про протокол MCP (Model Context Protocol) сейчас говорят всё чаще. Этот протокол позволяет нейросетям общаться с внешним миром. С его помощью к LLM можно подключать любые источники данных или системы управления, и всё это через один универсальный стандарт. MCP часто сравнивают с USB - устройство одно, протокол один, а число сценариев применения практически бесконечно.
В статье расскажу про практический сценарий "как связать LLM и базу данных". Это может сделать любой на своём компьютере.
Протокол MCP придумали ребята из Anthropic. Далее будем использовать нейросети Claudе Sonnet и Claude Opus - это LLM от Anthropic.
Зачем это нужно? Такая связка позволит промтами вытаскивать инсайты из данных, создавать отчёты в PDF и строить интерактивные отчёты в HTML. Это работает на моём компьютере последние два месяца и результаты очень обнадёживающие.
Чтобы было интереснее, в качестве данных возьмём все вакансии Habr Career c описаниями.
Читать: https://habr.com/ru/articles/947818/
#ru
@database_design | Другие наши каналы
Про протокол MCP (Model Context Protocol) сейчас говорят всё чаще. Этот протокол позволяет нейросетям общаться с внешним миром. С его помощью к LLM можно подключать любые источники данных или системы управления, и всё это через один универсальный стандарт. MCP часто сравнивают с USB - устройство одно, протокол один, а число сценариев применения практически бесконечно.
В статье расскажу про практический сценарий "как связать LLM и базу данных". Это может сделать любой на своём компьютере.
Протокол MCP придумали ребята из Anthropic. Далее будем использовать нейросети Claudе Sonnet и Claude Opus - это LLM от Anthropic.
Зачем это нужно? Такая связка позволит промтами вытаскивать инсайты из данных, создавать отчёты в PDF и строить интерактивные отчёты в HTML. Это работает на моём компьютере последние два месяца и результаты очень обнадёживающие.
Чтобы было интереснее, в качестве данных возьмём все вакансии Habr Career c описаниями.
Читать: https://habr.com/ru/articles/947818/
#ru
@database_design | Другие наши каналы
История создания Tarantool DB: реальные проблемы, удачные решения и превращение проекта в продукт
Два года назад все началось с первого коммита и туманного понимания, что мы вообще хотим сделать. Сегодня — два мажорных релиза, собственный модуль миграций, документация, тренинги и пользователи, которые безболезненно перешли на новую версию по нашим инструкциям. Но путь от «кучи кода для внутреннего использования» до полноценной коробочной In-memory-базы оказался совсем не прямым.
Меня зовут Александр Кленов, я тимлид разработки Tarantool DB в команде Tarantool. Я расскажу историю о том, как мы брали зрелый, но очень гибкий Tarantool Enterprise и превращали его в решение, которое можно установить из коробки.
Читать: https://habr.com/ru/companies/vktech/articles/947714/
#ru
@database_design | Другие наши каналы
Два года назад все началось с первого коммита и туманного понимания, что мы вообще хотим сделать. Сегодня — два мажорных релиза, собственный модуль миграций, документация, тренинги и пользователи, которые безболезненно перешли на новую версию по нашим инструкциям. Но путь от «кучи кода для внутреннего использования» до полноценной коробочной In-memory-базы оказался совсем не прямым.
Меня зовут Александр Кленов, я тимлид разработки Tarantool DB в команде Tarantool. Я расскажу историю о том, как мы брали зрелый, но очень гибкий Tarantool Enterprise и превращали его в решение, которое можно установить из коробки.
Читать: https://habr.com/ru/companies/vktech/articles/947714/
#ru
@database_design | Другие наши каналы
MongoDB внедряет поиск и векторный поиск в Community Edition и Enterprise Server, упрощая разработку AI-приложений в собственных средах. Теперь мощный поиск доступен без дополнительных систем, что снижает сложность и ускоряет создание инновационных решений. MongoDB запускает платформу AMP с ИИ для модернизации устаревших приложений. Это решение ускоряет миграции и снижает риски, позволяя постепенно обновлять системы с полной проверкой каждого этапа. Клиенты отмечают сокращение времени разработки в разы. Узнайте, как это меняет подход к обновлению ПО. Модернизация приложений с MongoDB стала быстрее в десятки раз благодаря AI. Простые коды мигрируют за минуты, тестирование сокращено с трёх дней до трёх часов. AI ускоряет процессы без потери качества и безопасности. Узнайте, как начать трансформацию уже сегодня.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Расширение возможностей MongoDB Queryable Encryption
MongoDB добавляет поддержку поиска по префиксу, суффиксу и подстроке в Queryable Encryption. Теперь можно эффективно искать зашифрованные данные без раскрытия информации, что повышает безопасность и упрощает соблюдение требований защиты данных. MongoDB представил новые функции поиска и векторного поиска в Community Edition, доступные бесплатно для тестирования. Это расширяет возможности разработчиков в создании AI-приложений и упрощает работу с большими данными на локальных и облачных серверах.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB добавляет поддержку поиска по префиксу, суффиксу и подстроке в Queryable Encryption. Теперь можно эффективно искать зашифрованные данные без раскрытия информации, что повышает безопасность и упрощает соблюдение требований защиты данных. MongoDB представил новые функции поиска и векторного поиска в Community Edition, доступные бесплатно для тестирования. Это расширяет возможности разработчиков в создании AI-приложений и упрощает работу с большими данными на локальных и облачных серверах.
Читать подробнее
#en
@database_design | Другие наши каналы
Новые возможности MongoDB для AI-разработчиков
MongoDB представил MCP Server и интеграции с n8n и CrewAI, которые упрощают создание AI-агентов и приложений. Теперь поддерживаются встроенный поиск и векторный поиск в Community и Enterprise версиях, что ускоряет разработку и снижает сложности с управлением данными. Новый уровень защиты и поиска в MongoDB
MongoDB представила публичный превью расширенного Queryable Encryption с поддержкой запросов по префиксу, суффиксу и подстроке. Теперь можно безопасно искать по зашифрованным данным без раскрытия содержимого, улучшая безопасность и упрощая соответствие требованиям.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB представил MCP Server и интеграции с n8n и CrewAI, которые упрощают создание AI-агентов и приложений. Теперь поддерживаются встроенный поиск и векторный поиск в Community и Enterprise версиях, что ускоряет разработку и снижает сложности с управлением данными. Новый уровень защиты и поиска в MongoDB
MongoDB представила публичный превью расширенного Queryable Encryption с поддержкой запросов по префиксу, суффиксу и подстроке. Теперь можно безопасно искать по зашифрованным данным без раскрытия содержимого, улучшая безопасность и упрощая соответствие требованиям.
Читать подробнее
#en
@database_design | Другие наши каналы
Новое слово в безопасности данных: MongoDB запускает Queryable Encryption с поддержкой поиска по префиксам, суффиксам и подстрокам. Теперь можно шифровать чувствительные данные и выполнять на них гибкий поиск без раскрытия информации и потери производительности. MongoDB открывает новые возможности безопасного поиска в зашифрованных данных: поддержка префиксных, суффиксных и подстрочных запросов упрощает соблюдение GDPR и HIPAA без снижения функциональности. Функция доступна в публичном превью, полноценный релиз — в 2026 году.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Портим данные с удовольствием
Всю свою карьеру инженеры строят системы, которые бережно хранят данные и защищают их от искажений. А что, если мы скажем, что иногда правильнее всё делать наоборот: намеренно «портить» данные, генерировать их из воздуха и создавать неотличимые от настоящих подделки? Системный аналитик Postgres Professional Максим Грамин расскажет, почему создание фейковых данных — это критически важный навык для тестирования, безопасности и разработки, и как научиться делать это правильно, не превращая базу в свалку из «Иванов Ивановых».
Читать: https://habr.com/ru/companies/postgrespro/articles/909514/
#ru
@database_design | Другие наши каналы
Всю свою карьеру инженеры строят системы, которые бережно хранят данные и защищают их от искажений. А что, если мы скажем, что иногда правильнее всё делать наоборот: намеренно «портить» данные, генерировать их из воздуха и создавать неотличимые от настоящих подделки? Системный аналитик Postgres Professional Максим Грамин расскажет, почему создание фейковых данных — это критически важный навык для тестирования, безопасности и разработки, и как научиться делать это правильно, не превращая базу в свалку из «Иванов Ивановых».
Читать: https://habr.com/ru/companies/postgrespro/articles/909514/
#ru
@database_design | Другие наши каналы
Портим данные с удовольствием
Всю свою карьеру инженеры строят системы, которые бережно хранят данные и защищают их от искажений. А что если мы скажем, что иногда правильнее всё делать наоборот: намеренно портить данные, генерировать их из воздуха и создавать неотличимые от настоящих подделки? Системный аналитик Postgres Professional Максим Грамин расскажет, почему создание фейковых данных — это критически важный навык для тестирования, безопасности и разработки, и как научиться делать это правильно, не превращая базу в свалку из «Иванов Ивановых».
Читать: https://habr.com/ru/companies/postgrespro/articles/948226/
#ru
@database_design | Другие наши каналы
Всю свою карьеру инженеры строят системы, которые бережно хранят данные и защищают их от искажений. А что если мы скажем, что иногда правильнее всё делать наоборот: намеренно портить данные, генерировать их из воздуха и создавать неотличимые от настоящих подделки? Системный аналитик Postgres Professional Максим Грамин расскажет, почему создание фейковых данных — это критически важный навык для тестирования, безопасности и разработки, и как научиться делать это правильно, не превращая базу в свалку из «Иванов Ивановых».
Читать: https://habr.com/ru/companies/postgrespro/articles/948226/
#ru
@database_design | Другие наши каналы
MongoDB.local.NYC 2025: база данных для эпохи ИИ
На конференции MongoDB.local в Нью-Йорке представили MongoDB 8.2 с новыми AI-возможностями и платформу AMP для ускоренной модернизации систем. MongoDB становится ключевым инструментом для создания масштабируемых и надёжных AI-приложений будущего. Лучшие партнеры MongoDB 2025 года: Accenture, Confluent, BigID, LangChain и другие получили награды за вклад в цифровую трансформацию, AI-разработки и масштабные проекты. Их совместные успехи открывают новые возможности для бизнеса по всему миру.
Читать подробнее
#en
@database_design | Другие наши каналы
На конференции MongoDB.local в Нью-Йорке представили MongoDB 8.2 с новыми AI-возможностями и платформу AMP для ускоренной модернизации систем. MongoDB становится ключевым инструментом для создания масштабируемых и надёжных AI-приложений будущего. Лучшие партнеры MongoDB 2025 года: Accenture, Confluent, BigID, LangChain и другие получили награды за вклад в цифровую трансформацию, AI-разработки и масштабные проекты. Их совместные успехи открывают новые возможности для бизнеса по всему миру.
Читать подробнее
#en
@database_design | Другие наши каналы
Оптимизация пакетных задач в страховании с MongoDB
Переход на Java и MongoDB не снижает производительность пакетных процессов. Новая оптимизационная платформа ускоряет обработку данных в 10–15 раз, устраняя узкие места и поддерживая масштабируемость современных страховых систем. Новые горизонты MongoDB в эпоху ИИ
MongoDB представила мощные обновления и партнерские решения, которые ускоряют разработку интеллектуальных приложений. В центре внимания — гибкая архитектура и инструменты для создания AI-приложений с учетом контекста, памяти и масштабируемости.
Читать подробнее
#en
@database_design | Другие наши каналы
Переход на Java и MongoDB не снижает производительность пакетных процессов. Новая оптимизационная платформа ускоряет обработку данных в 10–15 раз, устраняя узкие места и поддерживая масштабируемость современных страховых систем. Новые горизонты MongoDB в эпоху ИИ
MongoDB представила мощные обновления и партнерские решения, которые ускоряют разработку интеллектуальных приложений. В центре внимания — гибкая архитектура и инструменты для создания AI-приложений с учетом контекста, памяти и масштабируемости.
Читать подробнее
#en
@database_design | Другие наши каналы
Автоэмбеддинги: поиск на ИИ без лишней мороки
Мы рады представить новую возможность, которая делает создание приложений с семантическим поиском таким же простым, как написание SQL-запроса: Автоэмбеддинги.
Теперь Manticore Search берёт на себя генерацию эмбеддингов — без дополнительных пайплайнов, внешних сервисов и лишней мороки.
Читать: https://habr.com/ru/articles/947632/
#ru
@database_design | Другие наши каналы
Мы рады представить новую возможность, которая делает создание приложений с семантическим поиском таким же простым, как написание SQL-запроса: Автоэмбеддинги.
Теперь Manticore Search берёт на себя генерацию эмбеддингов — без дополнительных пайплайнов, внешних сервисов и лишней мороки.
Читать: https://habr.com/ru/articles/947632/
#ru
@database_design | Другие наши каналы
Как онтология помогает представить структуру данных и семантику приложения
В больших проектах, которые объединяют множество компонентов, нередко возникают проблемы унификации подходов и понимания связей между всеми сервисами. В результате долгое время у ИТ-команд существовал запрос на новую модель описания структуры данных и семантики приложения. Она появилась благодаря адаптации онтологии под нужны ИТ.
Меня зовут Алексей Гуляев. Я архитектор решений в команде VK Tech. В этой статье я расскажу об онтологии в ИТ, вариантах ее использования и нашем кейсе применения онтологического подхода для решения внутренней задачи.
Читать: https://habr.com/ru/companies/vktech/articles/948492/
#ru
@database_design | Другие наши каналы
В больших проектах, которые объединяют множество компонентов, нередко возникают проблемы унификации подходов и понимания связей между всеми сервисами. В результате долгое время у ИТ-команд существовал запрос на новую модель описания структуры данных и семантики приложения. Она появилась благодаря адаптации онтологии под нужны ИТ.
Меня зовут Алексей Гуляев. Я архитектор решений в команде VK Tech. В этой статье я расскажу об онтологии в ИТ, вариантах ее использования и нашем кейсе применения онтологического подхода для решения внутренней задачи.
Читать: https://habr.com/ru/companies/vktech/articles/948492/
#ru
@database_design | Другие наши каналы
Нормализация vs Денормализация: Mongo, Postgres и реальная жизнь
Нормализация vs Денормализация: Mongo, Postgres и реальная жизнь. Почему у нас вырастает 160 таблиц там, где мог быть один jsonb? И как понять, когда денормализация — это костыль, а когда осознанный выбор?
Если при слове ‘нормализация’ у тебя начинается зевота, а менеджер с порога предлагает ‘спроектировать базу’ — этот текст для тебя.
Читать: https://habr.com/ru/articles/948612/
#ru
@database_design | Другие наши каналы
Нормализация vs Денормализация: Mongo, Postgres и реальная жизнь. Почему у нас вырастает 160 таблиц там, где мог быть один jsonb? И как понять, когда денормализация — это костыль, а когда осознанный выбор?
Если при слове ‘нормализация’ у тебя начинается зевота, а менеджер с порога предлагает ‘спроектировать базу’ — этот текст для тебя.
Читать: https://habr.com/ru/articles/948612/
#ru
@database_design | Другие наши каналы
Proxmox VE + ZFS/CEPH для малого продакшена: экономим, но без авантюр
В современном IT-ландшафте малый и средний бизнес (SMB) сталкивается с фундаментальным противоречием: необходимость в инфраструктуре корпоративного уровня надежности при бюджете, который редко можно назвать корпоративным. Требования к аптайму, целостности данных и катастрофоустойчивости сегодня высоки как никогда, но традиционные решения от лидеров рынка становятся все менее доступными. Недавние изменения на рынке виртуализации, в частности, последствия приобретения VMware компанией Broadcom, лишь усилили эту тенденцию, заставив многих искать мощные и экономически эффективные альтернативы.
В этом контексте Proxmox Virtual Environment (VE) выделяется как один из ведущих претендентов на роль стандартной платформы для SMB. Это комплексное решение с открытым исходным кодом, которое объединяет в себе гипервизор KVM, контейнеризацию LXC, программно-определяемые хранилища (SDS) и сети (SDN) в едином управляемом интерфейсе. Proxmox VE предлагает функциональность, ранее доступную только в дорогостоящих коммерческих продуктах, делая ее доступной для широкого круга компаний.
Однако внедрение Proxmox в прод ставит перед системным архитектором ключевой выбор, определяющий всю дальнейшую архитектуру, стоимость и уровень отказоустойчивости системы. Этот выбор — технология хранения данных. Настоящая статья посвящена детальному разбору двух основных путей.
К сути дела
Читать: https://habr.com/ru/articles/948696/
#ru
@database_design | Другие наши каналы
В современном IT-ландшафте малый и средний бизнес (SMB) сталкивается с фундаментальным противоречием: необходимость в инфраструктуре корпоративного уровня надежности при бюджете, который редко можно назвать корпоративным. Требования к аптайму, целостности данных и катастрофоустойчивости сегодня высоки как никогда, но традиционные решения от лидеров рынка становятся все менее доступными. Недавние изменения на рынке виртуализации, в частности, последствия приобретения VMware компанией Broadcom, лишь усилили эту тенденцию, заставив многих искать мощные и экономически эффективные альтернативы.
В этом контексте Proxmox Virtual Environment (VE) выделяется как один из ведущих претендентов на роль стандартной платформы для SMB. Это комплексное решение с открытым исходным кодом, которое объединяет в себе гипервизор KVM, контейнеризацию LXC, программно-определяемые хранилища (SDS) и сети (SDN) в едином управляемом интерфейсе. Proxmox VE предлагает функциональность, ранее доступную только в дорогостоящих коммерческих продуктах, делая ее доступной для широкого круга компаний.
Однако внедрение Proxmox в прод ставит перед системным архитектором ключевой выбор, определяющий всю дальнейшую архитектуру, стоимость и уровень отказоустойчивости системы. Этот выбор — технология хранения данных. Настоящая статья посвящена детальному разбору двух основных путей.
К сути дела
Читать: https://habr.com/ru/articles/948696/
#ru
@database_design | Другие наши каналы
Присоединяйтесь к команде Globally Distributed Database на Oracle AI World 2025. Узнайте о передовых технологиях распределённых баз данных и их влиянии на развитие искусственного интеллекта. Важное событие для профессионалов IT и AI отрасли.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Join the Globally Distributed Database Team at Oracle AI World 2025
Oracle AI World 2025 приглашает на сессии Oracle True Cache. Узнайте, как новые технологии кэширования ускоряют работу баз данных и улучшают эффективность бизнес-процессов. Будущее управляемых данных уже здесь — не пропустите важное событие!
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Join Oracle True Cache sessions at Oracle AI World 2025
Join the Oracle True Cache Team at Oracle AI World 2025
Как я перенёс опыт из PostgreSQL в MongoDB и получил готовый чек-лист
Работаете с PostgreSQL и хотите попробовать MongoDB? Я спроецировал опыт работы с реляционными БД на NoSQL и собрал два чек-листа: проверенные практики для PostgreSQL и их аналоги для MongoDB.
Без воды, только ключевые пункты чтобы быстро стартовать и не наступать на типичные грабли.
Читать: https://habr.com/ru/articles/948942/
#ru
@database_design | Другие наши каналы
Работаете с PostgreSQL и хотите попробовать MongoDB? Я спроецировал опыт работы с реляционными БД на NoSQL и собрал два чек-листа: проверенные практики для PostgreSQL и их аналоги для MongoDB.
Без воды, только ключевые пункты чтобы быстро стартовать и не наступать на типичные грабли.
Читать: https://habr.com/ru/articles/948942/
#ru
@database_design | Другие наши каналы
Миграция BharatPE с MongoDB Community Edition на Atlas: опыт масштабирования и улучшения безопасности. Переход помог компании повысить производительность на 40%, обеспечить беспрерывную работу и соответствие высоким требованиям финтеха. Подробнее об этом мастер-классе в статье. Оптимизация пакетных задач в MongoDB: как повысить производительность ETL-процессов до 15 раз. Новый фреймворк сокращает задержки, снижает нагрузку и масштабируется без потери стабильности. Решение для современных digital-платформ и больших данных.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
От наскальных рисунков до S3: эволюция хранения данных
Как вы храните данные? Используете файловое хранилище, S3, базы данных, держите файлы прямо на сервере, храните все локально на HDD, SSD или даже флешке — вариантов масса, на любой вкус и цвет. В этой статье я предлагаю вспомнить, как развивалось хранение информации и как мы прошли путь от наскальной живописи до приватного S3. Это поможет разобраться, какую технологию лучше использовать для ваших задач.
Читать: https://habr.com/ru/companies/selectel/articles/949212/
#ru
@database_design | Другие наши каналы
Как вы храните данные? Используете файловое хранилище, S3, базы данных, держите файлы прямо на сервере, храните все локально на HDD, SSD или даже флешке — вариантов масса, на любой вкус и цвет. В этой статье я предлагаю вспомнить, как развивалось хранение информации и как мы прошли путь от наскальной живописи до приватного S3. Это поможет разобраться, какую технологию лучше использовать для ваших задач.
Читать: https://habr.com/ru/companies/selectel/articles/949212/
#ru
@database_design | Другие наши каналы