Excel уже не тянет: как мы собрали аналитику для LMS на 10 млн строк без дата-инженеров

Чем лучше разработчик, тем хуже он делает аналитику. Просто потому, что для этого требуется разных технологический стек.

Системы, которые пишут разрабы, шикарно записывают и хранят данные. Но попытка прочесть большой объём данных сразу роняет всю систему, так как она плохо для этого предназначена.

В этой статье я расскажу про 2 ключевых подхода к хранению и обработке данных, какой мы выбрали для аналитики в LMS-платформе и к чему это привело.


Читать: https://habr.com/ru/articles/925668/

#ru

@database_design | Другие наши каналы

Топ LLM для задач text‑to‑SQL: результаты теста DeepSeek R1-0528, Gemini 2.5 Pro, o3 (и ещё трёх моделей)

В первой части мы разобрали теорию text‑to‑SQL: как LLM заменяют разработчиков, почему RAG и CoT спасают от галлюцинаций и зачем Scale AI дообучает ChatGPT-4. Но теория неполна без практики! В этом материале — жёсткое тестирование моделей (ChatGPT o3-mini‑high, ChatGPT 4.1, Claude Sonnet 4, ChatGPT o3, Gemini 2.5 Pro, DeepSeek R1–0528) на бенчмарке LiveSQLBench.

6 моделей, 10 задач, сложность от ★★ до ★★★★★★★★★★. Проверим, как они считают лунные помехи, генерируют SQL для криптобирж и ищут артефакты в музеях.


Читать: https://habr.com/ru/companies/bothub/articles/925712/

#ru

@database_design | Другие наши каналы

Реальное обнаружение угроз с MongoDB и PuppyGraph
Статья рассказывает, как с помощью MongoDB и PuppyGraph можно в реальном времени анализировать данные AWS CloudTrail, выявляя сложные цепочки атак и подозрительную активность без дублирования данных и дополнительных баз. Это новый подход к кибербезопасности на основе графового анализа. Новые возможности MongoDB Atlas Stream Processing: с помощью $externalFunction теперь можно интегрировать AWS Lambda в потоковые пайплайны для обогащения и трансформации данных в реальном времени. Это упрощает создание гибких и масштабируемых решений без дополнительной инфраструктуры. Почему реляционные базы данных обходятся дорого бизнесу

Реляционные БД сложны в поддержке из-за множества взаимосвязанных таблиц и фиксированной схемы. Это увеличивает затраты на разработку, инфраструктуру и управление. MongoDB предлагает альтернативу с гибкой моделью документов, ускоряющей разработку и снижая расходы.

Читать подробнее

#en

@database_design | Другие наши каналы

Почему реляционные базы данных обходятся дорого бизнесу? Нормализация данных усложняет структуру, замедляет разработку и требует больше ресурсов. В статье объясняется, как более гибкая модель MongoDB снижает затраты, ускоряет работу и упрощает поддержку приложений. Как graph-аналитика помогает выявлять киберугрозы в реальном времени

Статья рассказывает, как интеграция MongoDB и PuppyGraph позволяет анализировать журналы AWS CloudTrail в виде графа без дублирования данных, выявляя сложные цепочки атак и подозрительную активность с помощью эффективных запросов. Графовый анализ AWS CloudTrail с MongoDB Atlas и PuppyGraph
Статья рассказывает, как импортировать CloudTrail логи в MongoDB Atlas, создать графовую модель через PuppyGraph и выполнять запросы для изучения безопасности. Это помогает визуализировать и анализировать взаимодействия пользователей и ресурсов в облаке.

Читать подробнее

#en

@database_design | Другие наши каналы

DWH без иллюзий. Три реальных кейса внедрения корпоративного хранилища в ритейле, производстве и госсекторе

Рассказываем про индивидуальный подход как основу успешного проекта DWH и делимся реальными кейсами внедрения:

✔️ Кейс 1. Свой коннектор к Oracle: когда Debezium подвел​
✔️ Кейс 2. Миграция с Qlik: DWH между командами (в условиях командной фрагментации)​
✔️ Кейс 3. Бюрократия против DWH: проект в около-госсекторе


Читать: https://habr.com/ru/articles/925652/

#ru

@database_design | Другие наши каналы

Новая опция Oracle — Autonomous Database теперь доступна в AWS через OCI Multicloud. Это упрощает развертывание и управление базами данных Oracle в облаке AWS, сочетая преимущества обеих платформ. Подробнее о возможностях Oracle Database@AWS в статье.

Читать подробнее

#en

@database_design | Другие наши каналы

Новый релиз Oracle Key Vault 21.11 предлагает улучшенную безопасность и управление ключами. Обновление расширяет функционал для защиты данных и упрощает администрирование, обеспечивая надежную защиту корпоративных информационных активов. Подробнее в статье.

Читать подробнее

#en

@database_design | Другие наши каналы

От капитального ЦОДа к гибкому модулю: куда идёт российская ИТ-инфраструктура

В марте 2025 года Sitronics Group опубликовала прогноз: к 2030 году рынок модульных дата-центров в России вырастет в 2,5 раза — с текущих 1,5–2 до 4,3 млрд рублей. Среди причин называют нехватку мощностей, рост нагрузки на ИТ-инфраструктуру и смещение приоритетов на гибкость и скорость развёртывания.

Несмотря на малую распространенность, модульные ЦОДы уже работают на добыче, в госсекторе, у ритейлеров и телекомов. Их ставят не ради моды — а потому что быстро, изолированно и под контроль.

В статье расскажу, что стоит за цифрами, какие технологии двигают сегмент, где уже применяют МЦОДы и почему их развитие упирается не в «железо», а в нормативку и логистику.


Читать: https://habr.com/ru/companies/ruvds/articles/924816/

#ru

@database_design | Другие наши каналы

Миграция с Firebird на PostgreSQL. Что может пойти не так? Часть 1

Не секрет, что в последние годы различные компании достаточно часто принимают решение о миграции работающей информационной системы с Firebird на PostgreSQL.

Типичная ситуация выглядит так:

Проект работает несколько лет. Заказчик "верит", что проблема не в проекте, а в СУБД. Firebird – "плохая" СУБД.


Читать: https://habr.com/ru/articles/926094/

#ru

@database_design | Другие наши каналы

Cummins India внедряет Oracle Audit Vault и Database Firewall для соответствия новым требованиям Министерства корпоративных дел Индии по аудиту баз данных. Это помогает ускорить выполнение нормативных обязательств и повысить безопасность данных.

Читать подробнее

#en

@database_design | Другие наши каналы

Упрощение подключения клиентов GDS через единый интерфейс значительно ускоряет работу и повышает надежность систем бронирования. В статье раскрываются преимущества такого подхода и способы его реализации для оптимизации процессов.

Читать подробнее

#en

@database_design | Другие наши каналы

Как улучшить защиту AWS с помощью графовой аналитики и MongoDB?
В статье рассказывается, как интеграция MongoDB Atlas и PuppyGraph помогает анализировать события AWS CloudTrail в реальном времени, выстраивать связи между пользователями и ресурсами и обнаруживать сложные атаки без дублирования данных и сложных ETL-процессов. Почему реляционные базы данных обходятся дороже бизнесу

Реляционные базы строятся на сложных схемах с множеством связанных таблиц. Это увеличивает время разработки, усложняет поддержку и требует больше кода. В итоге изменения в бизнес-логике становятся дорогими и рискованными, что повышает общие затраты на ИТ. Почему реляционные базы тормозят развитие бизнеса

Пост: Жёсткая структура реляционных баз данных замедляет разработку и увеличивает затраты на инфраструктуру. MongoDB с гибкой моделью документов ускоряет запуск новых функций и снижает расходы, позволяя командам работать эффективнее и быстрее.

Читать подробнее

#en

@database_design | Другие наши каналы

Как работает база данных Firebird, часть 1

В этой серии статей я залезу внутрь реляционной базы данных Firebird. Я не буду рисовать архитектуру в виде прямоугольников, соединённых стрелками. Вместо этого я буду показывать куски кода, описывать, что они делают и как вызывают друг друга, чтобы выполнить конкретную работу.


Читать: https://habr.com/ru/articles/918552/

#ru

@database_design | Другие наши каналы

Миграция с Firebird на PostgreSQL. Что может пойти не так? Часть 2

В первой части обсуждалось как отличие реализации MVCC в Firebird и PostgreSQL может привести к сложностям при миграции информационной системы. Напоминаю девиз этой серии статей – "Ваши ожидания – это Ваши проблемы". Рассмотрим еще некоторые моменты, которые позволят Вам не находится в состоянии "обманутых ожиданий" при миграции с Firebird на PostgreSQL.


Читать: https://habr.com/ru/articles/926114/

#ru

@database_design | Другие наши каналы

Сохранение и восстановление версии бакета объектного хранилища MinIO S3 с учетом содержимого и конфигурации

Меня зовут Михаил, я работаю в Magnit Tech и занимаюсь внедрением 1C платформы на операционную систему Linux. В этой статье я расскажу, как реализовать создание резервных копий бакетов S3-совместимого объектного хранилища MinIO.

(Сразу дам спойлер: нам удалось это сделать с наименьшими затратами места на диске с использованием инкрементальных бэкапов).


Читать: https://habr.com/ru/companies/magnit/articles/926226/

#ru

@database_design | Другие наши каналы

Память — ключ к умным AI-агентам

Память становится базой для надежных и эффективных AI-агентов. Исследования Anthropic и Cognition показывают: для сложных задач лучше подходят многоагентные системы с распределённой памятью, для диалогов — одиночные агенты с непрерывным контекстом. Почему традиционные базы данных тормозят развитие AI
Реляционные базы данных усложняют работу разработчиков и увеличивают расходы из-за жесткой схемы и множества таблиц. Гибкие модели данных, как у MongoDB, ускоряют разработку, снижают издержки и позволяют быстрее выводить продукты на рынок. Путь к современной архитектуре данных с MongoDB и Microsoft

Интеграция MongoDB Atlas и Microsoft Intelligent Data Platform упрощает архитектуру данных, объединяя управление, аналитику и AI с высоким уровнем безопасности. Модернизация становится проще благодаря поэтапному подходу без полной перестройки.

Читать подробнее

#en

@database_design | Другие наши каналы

Новая платформа документации MariaDB на mariadb.com/docs объединяет знания и корпоративные руководства в одном месте. Улучшенный поиск на базе ИИ, удобная навигация и версии материалов помогут быстрее находить нужную информацию. Подробнее о запуске нового ресурса.

Читать подробнее

#en

@database_design | Другие наши каналы

Выбираем базу данных правильно! Чек-лист на все случаи жизни

Выбор базы данных — это как выбор инструмента: молотком не закручивают шурупы, а гаечным ключом не забивают гвозди. Чтобы не ошибиться, давайте разберёмся, какие бывают базы данных, чем они отличаются и когда их стоит использовать.


Читать: https://habr.com/ru/articles/926402/

#ru

@database_design | Другие наши каналы

Oracle и Amazon Web Services запустили сервис Oracle Database@AWS. Новый продукт объединяет возможности Oracle Database и инфраструктуру AWS, открывая новые возможности для бизнеса. В статье собраны мнения экспертов индустрии о перспективности этой интеграции.

Читать подробнее

#en

@database_design | Другие наши каналы

Почему растёт спрос на гиперконвергентные системы

Спрос на локальное оборудование для центров обработки данных снижается по мере того, как организации переносят рабочие нагрузки в облако. Но локальные решения не исчезли, и одним из востребованных сегментов является гиперконвергентная инфраструктура (HCI).


Читать: https://habr.com/ru/companies/sberbank/articles/926450/

#ru

@database_design | Другие наши каналы

Миграция с Firebird на PostgreSQL. Что может пойти не так? Часть 3

Третья часть статьи посвященной трудностям миграции с Firebird на PostgreSQL. (1ая часть, 2я часть).


Читать: https://habr.com/ru/articles/926116/

#ru

@database_design | Другие наши каналы