DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.31K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Из режима выживания к управляемой системе: трансформация ИБ в банке

Предисловие

Семь специалистов, семь Excel-таблиц, и десятки требований регуляторов, которые обновляются со скоростью света.Каждая проверка — это гонка с дедлайном, хаос в переписках и отчаяние в глазах команды. Дошло до того, что отпуск одного сотрудника мог парализовать работу всей службы ИБ. Перемены не приходят в одночасье, обычно осознание того, что нужно что-то менять приходит слишком поздно - а именно, после первого серьезного инцидента, когда урон уже нанесен.

Когда мы думаем об информационной безопасности в банках, чаще всего представляется гигантская организация с отдельным ситуационным центром, огромным штатом SOC-аналитиков, миллионами в бюджете, заложенными на киберзащиту и командой проектных менеджеров, которые годами тестируют и внедряют системы и подходы. Но реальность не всегда является такой.

Сотни небольших банков в России и странах СНГ работают в совершенно иных условиях: команда ИБ — это несколько специалистов, бюджет — строго ограничен, а требования регуляторов — те же самые, что и для топ-10 игроков рынка.

Наш кейс — про один такой небольшой банк в России. Всего семь сотрудников в службе ИБ. И при этом — ГОСТ 57580, методические рекомендации 3/8/12, 72 форма отчетности и десятки других обязательных требований, которым нужно соответствовать.


Читать: https://habr.com/ru/companies/securitm/articles/946452/

#ru

@database_design | Другие наши каналы
GPU, диски, серверы — что еще анонсировали вендоры в августе. Железный дайджест Selectel

Надела осень свой наряд, а у нас железный дайджест за прошлый месяц. Какие новинки серверного железа вышли на рынке расскажу я, Сергей Ковалёв, менеджер выделенных серверов в Selectel. Подробности в дайджесте, приятного чтения.


Читать: https://habr.com/ru/companies/selectel/articles/946940/

#ru

@database_design | Другие наши каналы
7 SQL-запросов, которые решают 90% всех задач на работе

Каждый день одно и то же. Открываешь клиент базы данных, чтобы что-то проверить, посчитать или найти. И снова пишешь почти тот же SELECT, что и вчера, с тем же WHERE и JOIN. Знакомо?

SQL в большинстве случаях не требует сложные 100-строчные запросы с вложенными подзапросами на три уровня глубины. Чаще всего нам нужны простые, отточенные и, главное, эффективные конструкции.

В этой статье я собрал 7 таких запросов-«рабочих лошадок». Это не какой-то там справочник, а готовая шпаргалка для реальных задач.


Читать: https://habr.com/ru/companies/timeweb/articles/943298/

#ru

@database_design | Другие наши каналы
MongoDB AMP ускоряет модернизацию устаревших приложений с помощью агентного ИИ. Новый инструмент позволяет преобразовывать сложный код в современные масштабируемые сервисы в 2-3 раза быстрее, снижая риски и повышая эффективность цифровой трансформации. Как повысить производительность MongoDB? В статье объясняют важность правильного моделирования данных, включая проверку схем, использование агрегационных пайплайнов и паттерн Single Collection. Эти подходы помогают создавать быстрые и масштабируемые приложения без потери гибкости. Бесплатный часовой курс по оптимизации схемы MongoDB

В статье рассказывается о бесплатном часовом курсе по оптимизации схемы данных в MongoDB. Также предлагается начать работу с MongoDB Atlas бесплатно и развивать навыки через образовательный центр MongoDB Atlas Learning Hub.

Читать подробнее

#en

@database_design | Другие наши каналы
MariaDB Enterprise Kubernetes Operator упрощает развертывание и управление базами данных MariaDB в Kubernetes. В статье подробно показан процесс установки оператора на Ubuntu VM, что удобно для тестирования перед продакшеном. подключайтесь к новым возможностям MariaDB.

Читать подробнее

#en

@database_design | Другие наши каналы
Тыкаю палкой XWiki что лежат в сети

В этой статье вы увидите вики, открытые для сети (намеренно или нет неважно). Заглянем в чужие вики, чтобы посмотреть как они устроены, какие у них есть фишки, и как люди упорядочивают информацию
Погружаемся

Читать: https://habr.com/ru/articles/947566/

#ru

@database_design | Другие наши каналы
Китайский интернет куда-то исчезает

Когда я писал статью про китайских шагающих роботов, переносящих целый квартал, то обратил внимание на то, как сложно искать информацию по китайским компаниям. Понятно, что для внешних поисковых систем ссылки на китайские источники крайне ограничены, но внутренний поиск по тому же Baidu также выглядит скупым и как будто цензурированным. Позже мне попалась статья о массовом исчезновении китайских ссылок периода 1998-2005 года, что только укрепило желание покопаться в этом феномене поподробнее.

Итак, предыстория: китайский блоггер Хэ Цзяянь решил написать статью, посвященную Джеку Ма - опальному основателю Алибаба и Алипэй. Он задал временные рамки 1998-2005 годов и получил ровно один результат, и то отнесенный к этому периоду ошибочно. Изумленный (давайте использовать это слово) Хэ лезет в Google и получает чуть больше результатов, но все равно их катастрофически мало (важное уточнение: поиск идет по иероглифам 马云, тогда как английское написание дает кратно большую выдачу). Хэ Цзяянь пишет об этом целое эссе, которое исчезает через 20 часов.
Последуем за китайскими лангольерами?

Читать: https://habr.com/ru/companies/beget/articles/945228/

#ru

@database_design | Другие наши каналы
Почему плохой бэкап — это фатально и как это предовтратить?

Сделать бэкап легко. Вспомнить, где он, когда всё рухнуло — уже сложнее. А понять, что он битый, — это вообще отдельный вид боли. Разбираемся, почему «у нас же всё сохранено» — это не стратегия, а иллюзия, и как облако может всё упростить.


Читать: https://habr.com/ru/companies/timeweb/articles/947334/

#ru

@database_design | Другие наши каналы
Spark Connect. А нужны ли перемены?

Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. Apache Spark давно и прочно занял место одного из ключевых инструментов в арсенале инженеров и дата-сайентистов, работающих с большими данными. Его способность быстро обрабатывать огромные объёмы информации, гибкость за счёт поддержки множества языков (Python, Scala, Java, SQL) и возможность решать самые разнообразные задачи — от сложных ETL до машинного обучения и стриминга — делают его незаменимым инструментом в мире анализа данных.


Читать: https://habr.com/ru/companies/arenadata/articles/921246/

#ru

@database_design | Другие наши каналы
Подключаем Claude по MCP к базе данных на домашнем компьютере

Про протокол MCP (Model Context Protocol) сейчас говорят всё чаще. Этот протокол позволяет нейросетям общаться с внешним миром. С его помощью к LLM можно подключать любые источники данных или системы управления, и всё это через один универсальный стандарт. MCP часто сравнивают с USB - устройство одно, протокол один, а число сценариев применения практически бесконечно.

В статье расскажу про практический сценарий "как связать LLM и базу данных". Это может сделать любой на своём компьютере.

Протокол MCP придумали ребята из Anthropic. Далее будем использовать нейросети Claudе Sonnet и Claude Opus - это LLM от Anthropic.

Зачем это нужно? Такая связка позволит промтами вытаскивать инсайты из данных, создавать отчёты в PDF и строить интерактивные отчёты в HTML. Это работает на моём компьютере последние два месяца и результаты очень обнадёживающие.

Чтобы было интереснее, в качестве данных возьмём все вакансии Habr Career c описаниями.


Читать: https://habr.com/ru/articles/947818/

#ru

@database_design | Другие наши каналы
История создания Tarantool DB: реальные проблемы, удачные решения и превращение проекта в продукт

Два года назад все началось с первого коммита и туманного понимания, что мы вообще хотим сделать. Сегодня — два мажорных релиза, собственный модуль миграций, документация, тренинги и пользователи, которые безболезненно перешли на новую версию по нашим инструкциям. Но путь от «кучи кода для внутреннего использования» до полноценной коробочной In-memory-базы оказался совсем не прямым.

Меня зовут Александр Кленов, я тимлид разработки Tarantool DB в команде Tarantool. Я расскажу историю о том, как мы брали зрелый, но очень гибкий Tarantool Enterprise и превращали его в решение, которое можно установить из коробки.


Читать: https://habr.com/ru/companies/vktech/articles/947714/

#ru

@database_design | Другие наши каналы
MongoDB внедряет поиск и векторный поиск в Community Edition и Enterprise Server, упрощая разработку AI-приложений в собственных средах. Теперь мощный поиск доступен без дополнительных систем, что снижает сложность и ускоряет создание инновационных решений. MongoDB запускает платформу AMP с ИИ для модернизации устаревших приложений. Это решение ускоряет миграции и снижает риски, позволяя постепенно обновлять системы с полной проверкой каждого этапа. Клиенты отмечают сокращение времени разработки в разы. Узнайте, как это меняет подход к обновлению ПО. Модернизация приложений с MongoDB стала быстрее в десятки раз благодаря AI. Простые коды мигрируют за минуты, тестирование сокращено с трёх дней до трёх часов. AI ускоряет процессы без потери качества и безопасности. Узнайте, как начать трансформацию уже сегодня.

Читать подробнее

#en

@database_design | Другие наши каналы
Расширение возможностей MongoDB Queryable Encryption
MongoDB добавляет поддержку поиска по префиксу, суффиксу и подстроке в Queryable Encryption. Теперь можно эффективно искать зашифрованные данные без раскрытия информации, что повышает безопасность и упрощает соблюдение требований защиты данных. MongoDB представил новые функции поиска и векторного поиска в Community Edition, доступные бесплатно для тестирования. Это расширяет возможности разработчиков в создании AI-приложений и упрощает работу с большими данными на локальных и облачных серверах.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые возможности MongoDB для AI-разработчиков
MongoDB представил MCP Server и интеграции с n8n и CrewAI, которые упрощают создание AI-агентов и приложений. Теперь поддерживаются встроенный поиск и векторный поиск в Community и Enterprise версиях, что ускоряет разработку и снижает сложности с управлением данными. Новый уровень защиты и поиска в MongoDB
MongoDB представила публичный превью расширенного Queryable Encryption с поддержкой запросов по префиксу, суффиксу и подстроке. Теперь можно безопасно искать по зашифрованным данным без раскрытия содержимого, улучшая безопасность и упрощая соответствие требованиям.

Читать подробнее

#en

@database_design | Другие наши каналы
Новое слово в безопасности данных: MongoDB запускает Queryable Encryption с поддержкой поиска по префиксам, суффиксам и подстрокам. Теперь можно шифровать чувствительные данные и выполнять на них гибкий поиск без раскрытия информации и потери производительности. MongoDB открывает новые возможности безопасного поиска в зашифрованных данных: поддержка префиксных, суффиксных и подстрочных запросов упрощает соблюдение GDPR и HIPAA без снижения функциональности. Функция доступна в публичном превью, полноценный релиз — в 2026 году.

Читать подробнее

#en

@database_design | Другие наши каналы
Портим данные с удовольствием

Всю свою карьеру инженеры строят системы, которые бережно хранят данные и защищают их от искажений. А что, если мы скажем, что иногда правильнее всё делать наоборот: намеренно «портить» данные, генерировать их из воздуха и создавать неотличимые от настоящих подделки? Системный аналитик Postgres Professional Максим Грамин расскажет, почему создание фейковых данных — это критически важный навык для тестирования, безопасности и разработки, и как научиться делать это правильно, не превращая базу в свалку из «Иванов Ивановых».


Читать: https://habr.com/ru/companies/postgrespro/articles/909514/

#ru

@database_design | Другие наши каналы
Портим данные с удовольствием

Всю свою карьеру инженеры строят системы, которые бережно хранят данные и защищают их от искажений. А что если мы скажем, что иногда правильнее всё делать наоборот: намеренно портить данные, генерировать их из воздуха и создавать неотличимые от настоящих подделки? Системный аналитик Postgres Professional Максим Грамин расскажет, почему создание фейковых данных — это критически важный навык для тестирования, безопасности и разработки, и как научиться делать это правильно, не превращая базу в свалку из «Иванов Ивановых».


Читать: https://habr.com/ru/companies/postgrespro/articles/948226/

#ru

@database_design | Другие наши каналы
MongoDB.local.NYC 2025: база данных для эпохи ИИ
На конференции MongoDB.local в Нью-Йорке представили MongoDB 8.2 с новыми AI-возможностями и платформу AMP для ускоренной модернизации систем. MongoDB становится ключевым инструментом для создания масштабируемых и надёжных AI-приложений будущего. Лучшие партнеры MongoDB 2025 года: Accenture, Confluent, BigID, LangChain и другие получили награды за вклад в цифровую трансформацию, AI-разработки и масштабные проекты. Их совместные успехи открывают новые возможности для бизнеса по всему миру.

Читать подробнее

#en

@database_design | Другие наши каналы
Оптимизация пакетных задач в страховании с MongoDB
Переход на Java и MongoDB не снижает производительность пакетных процессов. Новая оптимизационная платформа ускоряет обработку данных в 10–15 раз, устраняя узкие места и поддерживая масштабируемость современных страховых систем. Новые горизонты MongoDB в эпоху ИИ

MongoDB представила мощные обновления и партнерские решения, которые ускоряют разработку интеллектуальных приложений. В центре внимания — гибкая архитектура и инструменты для создания AI-приложений с учетом контекста, памяти и масштабируемости.

Читать подробнее

#en

@database_design | Другие наши каналы
Автоэмбеддинги: поиск на ИИ без лишней мороки

Мы рады представить новую возможность, которая делает создание приложений с семантическим поиском таким же простым, как написание SQL-запроса: Автоэмбеддинги.
Теперь Manticore Search берёт на себя генерацию эмбеддингов — без дополнительных пайплайнов, внешних сервисов и лишней мороки.


Читать: https://habr.com/ru/articles/947632/

#ru

@database_design | Другие наши каналы
Как онтология помогает представить структуру данных и семантику приложения

В больших проектах, которые объединяют множество компонентов, нередко возникают проблемы унификации подходов и понимания связей между всеми сервисами. В результате долгое время у ИТ-команд существовал запрос на новую модель описания структуры данных и семантики приложения. Она появилась благодаря адаптации онтологии под нужны ИТ.

Меня зовут Алексей Гуляев. Я архитектор решений в команде VK Tech. В этой статье я расскажу об онтологии в ИТ, вариантах ее использования и нашем кейсе применения онтологического подхода для решения внутренней задачи.


Читать: https://habr.com/ru/companies/vktech/articles/948492/

#ru

@database_design | Другие наши каналы