Новые возможности для ритейла: цифровые чеки и персонализация с MongoDB

Цифровые чеки меняют опыт покупок в офлайн-магазинах, позволяя ритейлерам собирать полные данные о покупателях и сразу предлагать персональные рекомендации. MongoDB обеспечивает быструю обработку и масштабируемость для таких решений. Новый уровень безопасности кода с Kingfisher

MongoDB выпустил Kingfisher — высокопроизводительный open-source инструмент для поиска и проверки активных секретов в репозиториях и файлах. Он не только обнаруживает, но и подтверждает актуальность ключей, снижая ложные срабатывания и помогая быстрее реагировать на угрозы.

Читать подробнее

#en

@database_design | Другие наши каналы

В MariaDB Community Server версий 11.7 и 11.8 LTS появилась поддержка встроенного векторного хранилища. Это облегчает создание интеллектуальных приложений и работу с векторами благодаря новым инструментам и фреймворкам. Подробнее по ссылке.

Читать подробнее

#en

@database_design | Другие наши каналы

Как мы учились управлять миллионами учётных записей и их секретами

Всем привет. Название статьи говорит за себя, добавлю лишь, что расскажу об объединении IGA, PAM и Vault. Статья будет интересна DevSecOps-инженеров, специалистов по безопасности и администраторов инфраструктуры.


Читать: https://habr.com/ru/companies/sberbank/articles/919442/

#ru

@database_design | Другие наши каналы

Атаки на контейнерные системы и композиция данных для их обнаружения

Введение

В последние годы контейнеризация и контейнерные системы стали конкурентной альтернативой виртуализации и виртуальным операционным системам, поскольку контейнерные системы предлагают более рациональный подход к использованию вычислительных ресурсов. Это достигается за счёт упаковки в образ контейнера только необходимых программных компонентов, что позволяет запустить контейнер с минимальным набором библиотек и утилит. Но при использовании контейнерных систем одно неправильное движение может привести к катастрофическим последствиям. В статье расскажу о некоторых видах атак на контейнеры и способах их обнаружения.


Читать: https://habr.com/ru/companies/gaz-is/articles/919418/

#ru

@database_design | Другие наши каналы

Приходят как-то аналитики на офисную кухню, а там дата-инженеры в нарды играют…

Один из игроков — я, Кирилл Красновид, тимлид BI-команды в Профи.ру. Наша задача — делать так, чтобы каждый быстро и удобно получал нужную информацию без лишней суеты и ожиданий.

Поэтому мы стараемся все автоматизировать и оптимизировать. Сегодня расскажу, как решаем эти задачи, а ещё про собственные хранилища аналитиков и bus-фактор.


Читать: https://habr.com/ru/companies/profi_ru/articles/910768/

#ru

@database_design | Другие наши каналы

OLAP-кубы – вчерашний день? Технологии нового поколения для аналитики данных

За последние полгода к нам обратились сразу несколько заказчиков с запросом модифицировать или мигрировать структуру их OLAP-кубов – естественно, с сохранением функциональности. Прежде чем браться за задачу, неплохо бы вспомнить, с чем мы имеем дело.

Об OLAP-кубах, как о некоей абстракции, я услышал во второй половине 2000-х гг., а в реальности столкнулся с ними несколькими годами позже.


Читать: https://habr.com/ru/companies/neoflex/articles/910932/

#ru

@database_design | Другие наши каналы

Дата-центр на орбите: технические особенности футуристической концепции

Недавние проекты — от китайской «Трёхтелесной вычислительной констелляции» с ИИ-спутниками до коммерческих инициатив вроде Lumen Orbit и Lonestar Data — наглядно демонстрируют, что идея «ЦОД в космосе» вышла за рамки научной фантастики.

Предыдущая статья вызвала множество комментариев и споров по этой теме, поэтому я решил изучить этот вопрос подробнее — опираясь не на громкие ИТ-тренды, а на реальные научные исследования и практику (ссылки на первоисточник проставлены по тексту).

Эта статья не источник для споров и не личный опыт автора, а база для обмена мнениями. Кто знает, может именно в комментариях «Хабра» родится истина о том, как настроить работу ЦОДов в космосе.

Читать: https://habr.com/ru/companies/ruvds/articles/909762/

#ru

@database_design | Другие наши каналы

Как не запутаться в обновлениях 1C: работаем с «Обновлятором»

Распространенная головная боль пользователей 1C — обновление. Это нетривиальная задача, которая требует внимания ко множеству нюансов. Что‑то забыли, что‑то не учли — и уже потеря денег, а может быть, и данных. Мы рассмотрим несколько подобных примеров. Теперь многое становится проще. Рассказываем о том, как с помощью стороннего инструмента автоматизировать процесс, сэкономить время и избежать всех возможных препятствий. Уделим внимание работе с кластером в готовом облаке 1С в Selectel.

Читать: https://habr.com/ru/companies/selectel/articles/914134/

#ru

@database_design | Другие наши каналы

Хакатон Samsung IT Academy Hack 2025: обзор задачи от VK Tech

С ростом объема генерируемых данных повышаются требования к компетенции ИТ-специалистов в части работы с Big Data и решениями для их сбора, обработки и хранения. Это общий тренд, который по мере цифровизации бизнеса только набирает обороты.

В соответствии с этим вектором IT Академия Samsung в апреле 2025 года провела уже второй хакатон IT Academy Hack 2025. VK Tech стал индустриальным партнером и предоставил инфраструктуру для студентов, а также подготовил одну из двух задач, которую студенты решали в рамках хакатона.

Меня зовут Павел Кутаков, я эксперт-архитектор команды VK Tech в направлении Data Services. В этой статье расскажу об актуальных решениях для работы с данными, а также о задаче и подходах, которые можно было применить для ее решения.


Читать: https://habr.com/ru/companies/vk/articles/914222/

#ru

@database_design | Другие наши каналы

Атака через заброшенные бакеты

Пример ссылки на удалённый бакет termis с государственного сайта, источник

В связи с развитием технологий каждый год появляются принципиально новые способы атаки, которые раньше никому в голову не приходили и/или не были возможны технически. Например, в 2025 году впервые в истории исследователи провели атаку через заброшенные бакеты S3. Это разновидность атаки на цепочку поставок, как пресловутый случай SolarWinds. Такие действия злоумышленников практически невозможно детектировать стандартными инструментами безопасности, поэтому те могут незаметно работать годами.

Взлом доверенных бакетов означает автоматический доступ к тысячам компаний и организаций, которые скачивают оттуда софт: обновления, исходный код, опенсорсные библиотеки и т. д.


Читать: https://habr.com/ru/companies/globalsign/articles/914742/

#ru

@database_design | Другие наши каналы

MVP по «умному» поиску данных

Всем привет, меня зовут Александр, я аналитик в Альфа-Банке. Совместно с командой мы разрабатываем и развиваем платформу для дата-инженеров (DE) и дата-саентистов (DS), именуемую Feature Store. Она даёт возможность коллегам работать с большими данными и упрощает бюрократию жизненного цикла создания ETL и ввода моделей в промышленную эксплуатацию.

Но хотелось бы улучшить процесс по поиску данных в ней, так как объёмы информации стремительно растут.

Классический поиск выдаёт результаты по точному совпадению, и это не самый удобный вариант, когда данных много. Поэтому нужную информацию, если ты точно не знаешь как найти, невозможно отыскать. Озадачившись этой проблемой, я решил сделать MVP «умного» поиска, который позволяет искать данные/фичи/поля не по точному совпадению, а с учётом смысла.

Надеюсь, данная статья поможет показать и пролить свет на вопрос — «А как же ещё бывает?»


Читать: https://habr.com/ru/companies/alfa/articles/915012/

#ru

@database_design | Другие наши каналы

Data Mesh: ожидания vs реальность

Представьте: ваш бизнес растет, а вместе с ним и количество данных. Но вместо ценной аналитики — хаос: отчеты готовятся месяцами, данные разбросаны по Excel-файлам, а команда DWH не успевает закрывать запросы. Знакомо? Мы прошли через это и решили внедрить Data Mesh. Ожидания были амбициозные, но что получилось на самом деле?


Читать: https://habr.com/ru/companies/lemana_tech/articles/913550/

#ru

@database_design | Другие наши каналы

Как мы заменили сотни Join’ов на один РТ-процессинг с 1kk RPS

Как связаны скидки, пользовательские пути и огромные массивы данных в Яндекс Рекламе?

Привет, Хабр! Меня зовут Максим Стаценко, я работаю с базами данных и яростно в них копаюсь с 2010 года, а в Big Data — с 2016. Сейчас работаю в Яндексе в DWH поиска и рекламы.

Мы работаем с ОЧЕНЬ большими данными. Каждый день миллионы пользователей видят рекламу Яндекса, а наши системы обрабатывают огромные объёмы данных. Чтобы реклама работала эффективно, нам нужно в каждый момент времени иметь максимально полную информацию об истории жизни рекламного объявления, а значит нужно каким-то образом передавать данные от одного события к другому внутри рекламной воронки. Расскажу, как мы решали эту проблему.


Читать: https://habr.com/ru/companies/oleg-bunin/articles/884560/

#ru

@database_design | Другие наши каналы

Влияние маленьких файлов на Big Data: HDFS vs S3

Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. В этой статье рассмотрим, как большое количество мелких файлов влияет на производительность различных систем хранения, таких как HDFS и объектные хранилища с S3 API.

Разберём, какие технологии хранения лучше всего подходят для работы с мелкими файлами в архитектурах Data Lake и Lakehouse. Сравним производительность HDFS и объектных хранилищ с S3 API. На конкретных тестах покажем, почему именно HDFS эффективнее справляется с большим количеством небольших файлов. Обсудим также случаи, когда мелкие файлы становятся не просто нежелательной ситуацией, а неизбежной необходимостью, например в подходах типа Change Data Capture (CDC).
Тесты, графики, инсайды

Читать: https://habr.com/ru/companies/arenadata/articles/915684/

#ru

@database_design | Другие наши каналы

Разработка своего компактного TerraMaster на основе Twin Lake-N и PCIe Switch

В последнее появилось много компактных NAS с основным хранилищем на SSD носителях и с десяти гигабитным Ethernet. Высокая скорость работы твердотельных дисков в связке с высокой скоростью обмена по сети, прекрасно раскрывают возможности новой техники, а самое главное оправдывают ожидания их владельцев от новых технологий.

Насколько сложно самостоятельно собрать подобный NAS, используя доступные комплектующие и готовые компьютерные платформы? Как оказалось всё не так сложно, если найти подходящую платформу и немного её прокачать. Вот о такой доработке и пойдет речь.


Читать: https://habr.com/ru/companies/3rdman/articles/918254/

#ru

@database_design | Другие наши каналы

Что такое CDN и как она работает: объяснение на примере доставки котиков

Представьте, что вы построили идеальный сайт. Всё оптимизировано, но стоит тысяче пользователей из разных концов света одновременно захотеть посмотреть, как пушистик прыгает в коробку — и ваш сервер падает. Чтобы этого не случилось, в игру вступает CDN (Content delivery network). О том, как она работает, объясню на примере доставки котиков.


Читать: https://habr.com/ru/companies/ruvds/articles/918586/

#ru

@database_design | Другие наши каналы

Книга: «Kafka Streams в действии. Приложения и микросервисы, управляемые событиями. 2-е изд.»

Привет, Хаброжители!

Сейчас, когда данные генерируются непрерывно и в огромных объемах, умение эффективно обрабатывать события в реальном времени становится критически важным навыком для разработчиков. Книга от Билла Беджека — это подробное руководство по созданию мощных приложений на основе Apache Kafka, одной из самых надежных и популярных платформ для потоковой обработки данных.

Автор, опытный инженер и участник проекта Apache Kafka, предлагает читателям практический подход к освоению Kafka Streams и других компонентов экосистемы Kafka. В книге рассматриваются не только основы, но и продвинутые техники, включая интеграцию с Kafka Connect, управление схемами через Schema Registry, работу с ksqlDB и тестирование потоковых приложений.

Читать: https://habr.com/ru/companies/piter/articles/918910/

#ru

@database_design | Другие наши каналы

Как мы внедрили векторный поиск в Postgres Pro

В статье разберемся, что такое векторный поиск, какие проблемы он решает, и как расширение pgpro_vector для Postgres Pro позволяет реализовать эти мощные возможности прямо в реляционной базе данных, без необходимости развертывать отдельные специализированные системы.


Читать: https://habr.com/ru/companies/postgrespro/articles/919552/

#ru

@database_design | Другие наши каналы

Новая интеграция MongoDB Enterprise Advanced с Cohesity и Rubrik упрощает резервное копирование и восстановление данных, объединяя процессы в привычных инструментах. Это повышает безопасность, ускоряет восстановление и поддерживает строгие корпоративные политики хранения данных. Новый инструмент для безопасности кода — Kingfisher от MongoDB

В MongoDB разработали Kingfisher — инструмент для автоматического поиска и проверки секретных ключей в коде. Он интегрируется в CI/CD, помогает предотвращать утечки и ускоряет исправление скомпрометированных данных. Подробнее на GitHub.

Читать подробнее

#en

@database_design | Другие наши каналы

Как создать память для ИИ, похожую на человеческую? Статья рассказывает о подходе, который использует MongoDB Atlas, AWS и Claude для создания активной, эволюционирующей системы памяти. Такая память приоритизирует важное, усиливается с повторением и забывает ненужное, улучшая взаимодействие с пользователем. Новый плагин MongoDB для IntelliJ ускоряет разработку Java-приложений, объединяя работу с базой данных и кодом в одном окне. Автодополнение, валидация схем и проверка производительности помогают создавать эффективные запросы без переключения между инструментами.

Читать подробнее

#en

@database_design | Другие наши каналы

Новый подход к мониторингу задержки репликации в MariaDB 11.8 LTS упрощает и стандартизирует измерения. В статье рассказывается о трёх новых полях, которые делают контроль более точным и понятным независимо от конфигурации параллельной репликации.

Читать подробнее

#en

@database_design | Другие наши каналы