Проекции в Vertica: что это, как использовать и почему не стоит создавать их под каждый запрос
Иван Якунин, продуктовый аналитик команды Fintech Marketplace, рассказал про то, как в Авито работают с Vertica, и на примерах объяснил, что такое проекции, и когда их стоит использовать.
Читать: «Проекции в Vertica: что это, как использовать и почему не стоит создавать их под каждый запрос»
#ru
@database_design | Другие наши каналы
Иван Якунин, продуктовый аналитик команды Fintech Marketplace, рассказал про то, как в Авито работают с Vertica, и на примерах объяснил, что такое проекции, и когда их стоит использовать.
Читать: «Проекции в Vertica: что это, как использовать и почему не стоит создавать их под каждый запрос»
#ru
@database_design | Другие наши каналы
Пять возможностей PostgreSQL, о которых редко вспоминают
Привет, Хабр!
Постгрес – не просто реляционная БД, а настоящий кладезь фич, о которых начинающий разработчик может и не догадываться. Всё началось с того, что PostgreSQL изначально писался на С/C++ и всегда тянуло к расширению стандартного SQL набора возможностей. Так однажды разработчики решили добавить в него JSONB, логику на уровне запросов и многое другое – что в итоге сделало его не хуже NoSQL-систем. Но вернёмся к малоизвестным фичам. Ниже – пять приёмов и возможностей, которые неожиданно полезны в повседневной работе.
Читать: https://habr.com/ru/companies/otus/articles/941456/
#ru
@database_design | Другие наши каналы
Привет, Хабр!
Постгрес – не просто реляционная БД, а настоящий кладезь фич, о которых начинающий разработчик может и не догадываться. Всё началось с того, что PostgreSQL изначально писался на С/C++ и всегда тянуло к расширению стандартного SQL набора возможностей. Так однажды разработчики решили добавить в него JSONB, логику на уровне запросов и многое другое – что в итоге сделало его не хуже NoSQL-систем. Но вернёмся к малоизвестным фичам. Ниже – пять приёмов и возможностей, которые неожиданно полезны в повседневной работе.
Читать: https://habr.com/ru/companies/otus/articles/941456/
#ru
@database_design | Другие наши каналы
Новый федеральный закон в США открывает путь для выпуска стейблкоинов банками и интеграции с платёжными системами. MongoDB помогает создавать масштабируемые и безопасные банковские решения для работы с цифровыми активами, обеспечивая гибкость и соответствие новым требованиям. Новый Django MongoDB Backend объединяет удобство Django с гибкой документной моделью MongoDB. Это решение поддерживает знакомый ORM и масштабируется на облаках AWS, Google и Azure, упрощая разработку AI-приложений и быстрый выпуск продуктов без потери производительности.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
SPDK в публичном облаке: лезем внутрь дисковой подсистемы в user-space
Всем привет! Меня зовут Василий Иванов, я ведущий разработчик в команде Data Storage в MWS Cloud Platform, занимаюсь тем, чтобы диски наших виртуальных машин были надёжные и быстрые.
В этой статье я расскажу, как данные попадают из виртуальной машины в хранилище. Рассмотрим, как мы используем SPDK, зачем мы вообще взялись за этот низкоуровневый фреймворк, а также почему просто «заиспользовать» не получилось и пришлось копать, как всё устроено в самой глубине. Также мы увидим, как high performance фреймворка при нашем количестве устройств не хватало и какие доработки пришлось сделать.
Эта статья выходит по следам моего доклада на летнем Highload 2025 года.
Читать: https://habr.com/ru/companies/mws/articles/943206/
#ru
@database_design | Другие наши каналы
Всем привет! Меня зовут Василий Иванов, я ведущий разработчик в команде Data Storage в MWS Cloud Platform, занимаюсь тем, чтобы диски наших виртуальных машин были надёжные и быстрые.
В этой статье я расскажу, как данные попадают из виртуальной машины в хранилище. Рассмотрим, как мы используем SPDK, зачем мы вообще взялись за этот низкоуровневый фреймворк, а также почему просто «заиспользовать» не получилось и пришлось копать, как всё устроено в самой глубине. Также мы увидим, как high performance фреймворка при нашем количестве устройств не хватало и какие доработки пришлось сделать.
Эта статья выходит по следам моего доклада на летнем Highload 2025 года.
Читать: https://habr.com/ru/companies/mws/articles/943206/
#ru
@database_design | Другие наши каналы
Новая эра разработки с AI и MongoDB
Партнёрство MongoDB и Hope AI представляет мощный инструмент для создания и масштабирования приложений. Hope AI помогает планировать архитектуру, генерировать код и обеспечивает полное управление и безопасность, ускоряя процесс разработки без потери контроля. Как MongoDB помогает банкам внедрять стабильные криптовалюты. Гибкость и масштабируемость MongoDB позволяют эффективно управлять сложными данными, обеспечивать безопасность и быстро интегрироваться с блокчейном. Это ключ к успешному развитию цифровых активов и стабильныхcoin-платформ.
Читать подробнее
#en
@database_design | Другие наши каналы
Партнёрство MongoDB и Hope AI представляет мощный инструмент для создания и масштабирования приложений. Hope AI помогает планировать архитектуру, генерировать код и обеспечивает полное управление и безопасность, ускоряя процесс разработки без потери контроля. Как MongoDB помогает банкам внедрять стабильные криптовалюты. Гибкость и масштабируемость MongoDB позволяют эффективно управлять сложными данными, обеспечивать безопасность и быстро интегрироваться с блокчейном. Это ключ к успешному развитию цифровых активов и стабильныхcoin-платформ.
Читать подробнее
#en
@database_design | Другие наши каналы
Новый инструмент MongoDB — Chatbot Demo Builder — позволяет без кода создать чатбота на основе PDF. Пример — интерактивный гид по Манхэттену с рекомендациями и прозрачной работой в браузере. Идеально для быстрого прототипирования и экспериментов с ИИ. MongoDB и Hope AI: новая эра разработки приложений
Текст: Партнёрство MongoDB и Hope AI ускоряет создание приложений за счёт AI-планирования архитектуры и генерации кода, сохраняя полный контроль разработчиков. Совместная работа и безопасность кода выходят на новый уровень, открывая перспективы для быстрого и гибкого развития проектов.
Читать подробнее
#en
@database_design | Другие наши каналы
Текст: Партнёрство MongoDB и Hope AI ускоряет создание приложений за счёт AI-планирования архитектуры и генерации кода, сохраняя полный контроль разработчиков. Совместная работа и безопасность кода выходят на новый уровень, открывая перспективы для быстрого и гибкого развития проектов.
Читать подробнее
#en
@database_design | Другие наши каналы
Как оптимизация полей в MongoDB повышает скорость работы приложений. В статье раскрывают, как сокращение названий и замена пустых строк на null уменьшают размер документов, что улучшает кеширование и производительность баз данных без потери данных.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Реализация Outbox паттерна в разных языках программирования
Привет, Хабр!
Сегодня мы рассмотрим реализацию Outbox паттерна в разных ЯП. Цель простая: одним атомарным действием обновлять бизнес-данные и фиксировать факт события, а затем надежно доставлять его в брокер. Разберем общую схему, конкуренцию воркеров, ретраи, дедупликацию, метрики и покажу, как это собрать на C#, Java, Go, Python и Node.js.
Читать: https://habr.com/ru/companies/otus/articles/942122/
#ru
@database_design | Другие наши каналы
Привет, Хабр!
Сегодня мы рассмотрим реализацию Outbox паттерна в разных ЯП. Цель простая: одним атомарным действием обновлять бизнес-данные и фиксировать факт события, а затем надежно доставлять его в брокер. Разберем общую схему, конкуренцию воркеров, ретраи, дедупликацию, метрики и покажу, как это собрать на C#, Java, Go, Python и Node.js.
Читать: https://habr.com/ru/companies/otus/articles/942122/
#ru
@database_design | Другие наши каналы
Глобальные индексы для секций в Postgres Pro: глобальная уникальность без костылей
Когда фильтра по ключу секционирования нет, локальные индексы превращаются в марафон по секциям. Новый gbtree держит единый каталог ключей и прыгает к строке по PK; покажем алгоритм, реальные цифры и ограничения (PK обязателен, ON CONFLICT не работает) — и где это решает боль в CRM/биллинге.
Читать: https://habr.com/ru/companies/postgrespro/articles/941008/
#ru
@database_design | Другие наши каналы
Когда фильтра по ключу секционирования нет, локальные индексы превращаются в марафон по секциям. Новый gbtree держит единый каталог ключей и прыгает к строке по PK; покажем алгоритм, реальные цифры и ограничения (PK обязателен, ON CONFLICT не работает) — и где это решает боль в CRM/биллинге.
Читать: https://habr.com/ru/companies/postgrespro/articles/941008/
#ru
@database_design | Другие наши каналы
SQL для всех: от новичка до профи. Полный гид по тренажерам, курсам и песочницам
Привет, Хабр! Часто ли вам приходилось часами смотреть на сложный JOIN, пытаясь понять, почему он работает не так, как надо? Или, может, вы только начинаете свой путь в IT и слышите со всех сторон, что без SQL никуда? Вы правы, так и есть. SQL – это не просто строчки кода, это ваш ключ к данным, настоящий швейцарский нож для любого тестировщика, аналитика или разработчика.
Все мы знаем, что можно прочитать тонну теории, но без реальной практики она быстро выветривается из головы. Именно поэтому я решил поделиться своей коллекцией проверенных тренажеров и ресурсов. Здесь есть все, чтобы вы могли уверенно «заговорить» на языке данных: от уютных песочниц для новичков до хардкорных задачек с реальных собеседований в ведущих IT-компаниях. Так что устраивайтесь поудобнее, добавляйте в закладки и поехали тренироваться!
Читать: https://habr.com/ru/articles/943924/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Часто ли вам приходилось часами смотреть на сложный JOIN, пытаясь понять, почему он работает не так, как надо? Или, может, вы только начинаете свой путь в IT и слышите со всех сторон, что без SQL никуда? Вы правы, так и есть. SQL – это не просто строчки кода, это ваш ключ к данным, настоящий швейцарский нож для любого тестировщика, аналитика или разработчика.
Все мы знаем, что можно прочитать тонну теории, но без реальной практики она быстро выветривается из головы. Именно поэтому я решил поделиться своей коллекцией проверенных тренажеров и ресурсов. Здесь есть все, чтобы вы могли уверенно «заговорить» на языке данных: от уютных песочниц для новичков до хардкорных задачек с реальных собеседований в ведущих IT-компаниях. Так что устраивайтесь поудобнее, добавляйте в закладки и поехали тренироваться!
Читать: https://habr.com/ru/articles/943924/
#ru
@database_design | Другие наши каналы
MongoDB расширяет центр разработок в Торонто, создавая команды для инновационных проектов. Исследование показало, что оптимизация структуры документов — отказ от пустых строк и короткие имена полей — значительно повышает производительность базы данных.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
❤1
Как система Документы помогает документообороту в отделе кадров
В предыдущей статье мы рассмотрели, как система Документы способствует выстраиванию процесса управления документацией в административно-хозяйственном отделе (АХО). На этот раз мы рассмотрим отдел кадров.
Читать: https://habr.com/ru/companies/T1Holding/articles/938966/
#ru
@database_design | Другие наши каналы
В предыдущей статье мы рассмотрели, как система Документы способствует выстраиванию процесса управления документацией в административно-хозяйственном отделе (АХО). На этот раз мы рассмотрим отдел кадров.
Читать: https://habr.com/ru/companies/T1Holding/articles/938966/
#ru
@database_design | Другие наши каналы
Оптимизация MongoDB для банков и технологий
В статье рассказывается о многоагентной системе на базе MongoDB и Confluent, которая ускоряет обработку жалоб в банках. Обсуждаются методы оптимизации структуры документов для повышения производительности и расширение команды MongoDB в Торонто.
Читать подробнее
#en
@database_design | Другие наши каналы
В статье рассказывается о многоагентной системе на базе MongoDB и Confluent, которая ускоряет обработку жалоб в банках. Обсуждаются методы оптимизации структуры документов для повышения производительности и расширение команды MongoDB в Торонто.
Читать подробнее
#en
@database_design | Другие наши каналы
Обновления безопасности для Audit Vault и Database Firewall доступны. Рекомендуется установить версию AVDF 20.15, чтобы обеспечить защиту и соответствие систем актуальным требованиям безопасности. Не пропустите важный апдейт для вашего ПО.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Arrow Flight + ADBC: как гонять десятки ГБ/с между сервисами без REST
Привет, Хабр!
Когда делаешь сервисы на C++ и вокруг летает много данных, в какой-то момент понимаешь простую вещь: REST хорош для управления сущностями, но плохо подходит для потока колонок в десятки гигабайт в секунду. Переносить фреймы по сто миллионов строк через JSON и спотыкаться об сериализацию — не наш путь. В статье рассмотрим как собрать транспорт данных на Apache Arrow Flight и где встраивается ADBC, чтобы между сервисами гонять таблицы почти на скорости сети и не городить зоопарк драйверов.
Читать: https://habr.com/ru/companies/otus/articles/941432/
#ru
@database_design | Другие наши каналы
Привет, Хабр!
Когда делаешь сервисы на C++ и вокруг летает много данных, в какой-то момент понимаешь простую вещь: REST хорош для управления сущностями, но плохо подходит для потока колонок в десятки гигабайт в секунду. Переносить фреймы по сто миллионов строк через JSON и спотыкаться об сериализацию — не наш путь. В статье рассмотрим как собрать транспорт данных на Apache Arrow Flight и где встраивается ADBC, чтобы между сервисами гонять таблицы почти на скорости сети и не городить зоопарк драйверов.
Читать: https://habr.com/ru/companies/otus/articles/941432/
#ru
@database_design | Другие наши каналы
Недооценённые фичи SQL: PIVOT/UNPIVOT, CROSS APPLY/LATERAL и частичные индексы
В большинстве материалов по SQL обсуждаются знакомые всем конструкции —
В этой статье, основанной на личных экспериментах и наблюдениях, мы рассмотрим три таких инструмента:
Читать: https://habr.com/ru/companies/otus/articles/942044/
#ru
@database_design | Другие наши каналы
В большинстве материалов по SQL обсуждаются знакомые всем конструкции —
SELECT, JOIN, WHERE, группировки, простые индексы. Но когда вы обрабатываете сложные данные, оптимизируете производительность или строите аналитические отчёты, ограничиваться только базовыми операторами — значит добровольно усложнять себе жизнь. В SQL есть мощные, но редко упоминаемые функции, которые помогают решить задачи элегантно и эффективно.В этой статье, основанной на личных экспериментах и наблюдениях, мы рассмотрим три таких инструмента:
PIVOT/UNPIVOT, CROSS APPLY/LATERAL и частичные (filtered) индексы. Читать: https://habr.com/ru/companies/otus/articles/942044/
#ru
@database_design | Другие наши каналы
«Архитектура бэкенда», или как я написал мою первую техническую книгу
Привет, Хабр!
За время своего развития, люди научились передавать информацию различными способами. Сначала это могла быть устная речь, далее были письменные источники, а в современном мире многообразие способов обучения действительно поражает: это и множество видеокурсов, интерактивных платформ, блогов и так далее. Однако на фоне всего этого особняком стоят книги. Нередко изучение книги может быть долгим и может казаться не таким эффективным, поскольку похожие знания можно получить быстрее, используя более динамичные и наглядные инструменты. Плюс, сами знания имеют свойство устаревать, и описанные истины могут не поспевать за техническим прогрессом. Однако, на мой взгляд, книга имеет и свои преимущества - при помощи нее можно исчерпывающе описывать те или иные темы, не срезая углы, подробно и конкретно описывая идеи, которые могло быть сложно выразить как то иначе.
Читать: https://habr.com/ru/articles/944130/
#ru
@database_design | Другие наши каналы
Привет, Хабр!
За время своего развития, люди научились передавать информацию различными способами. Сначала это могла быть устная речь, далее были письменные источники, а в современном мире многообразие способов обучения действительно поражает: это и множество видеокурсов, интерактивных платформ, блогов и так далее. Однако на фоне всего этого особняком стоят книги. Нередко изучение книги может быть долгим и может казаться не таким эффективным, поскольку похожие знания можно получить быстрее, используя более динамичные и наглядные инструменты. Плюс, сами знания имеют свойство устаревать, и описанные истины могут не поспевать за техническим прогрессом. Однако, на мой взгляд, книга имеет и свои преимущества - при помощи нее можно исчерпывающе описывать те или иные темы, не срезая углы, подробно и конкретно описывая идеи, которые могло быть сложно выразить как то иначе.
Читать: https://habr.com/ru/articles/944130/
#ru
@database_design | Другие наши каналы
Dagster или Airflow: что выбрать для оркестрации в DWH-проектах?
Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow.
Читать: https://habr.com/ru/articles/944284/
#ru
@database_design | Другие наши каналы
Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow.
Читать: https://habr.com/ru/articles/944284/
#ru
@database_design | Другие наши каналы
Dagster или Airflow: что выбрать для оркестрации в DWH-проектах?
Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow.
Читать: https://habr.com/ru/articles/944284/
#ru
@database_design | Другие наши каналы
Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow.
Читать: https://habr.com/ru/articles/944284/
#ru
@database_design | Другие наши каналы
Выручка есть, а денег нет
Собственники и топ-менеджеры МСБ часто сталкиваются с парадоксом: обороты растут, а прибыль тает. Причина не в рынке и не в ценах, а в хаосе внутри компании.
Отчёты собираются вручную, ключевые показатели никто не считает, решения принимаются на интуиции, без опоры на цифры.
В статье рассказываем, как таким компаниям наладить управляемость бизнеса и повысить маржинальность.
Читать: https://habr.com/ru/articles/944270/
#ru
@database_design | Другие наши каналы
Собственники и топ-менеджеры МСБ часто сталкиваются с парадоксом: обороты растут, а прибыль тает. Причина не в рынке и не в ценах, а в хаосе внутри компании.
Отчёты собираются вручную, ключевые показатели никто не считает, решения принимаются на интуиции, без опоры на цифры.
В статье рассказываем, как таким компаниям наладить управляемость бизнеса и повысить маржинальность.
Читать: https://habr.com/ru/articles/944270/
#ru
@database_design | Другие наши каналы
Цифровой профиль в ВТБ: как графы и эмбеддинги помогают банку понимать клиентов
Статья рассказывает о том, как банк строит единый цифровой профиль клиента, используя графы и эмбеддинги. Вы узнаете, как разрозненные данные о транзакциях, связях и балансах превращаются в мощный инструмент для анализа и прогнозирования. Разберем, почему классических табличных подходов недостаточно и как графы помогают выявлять скрытые связи между клиентами, как клиенты «превращаются в слова» и на чем измеряется успех. Статья будет полезна data scientist’ам, ML-инженерам и всем, кто интересуется практическим применением графовых методов и машинного обучения в крупном бизнесе.
Читать: https://habr.com/ru/companies/vtb/articles/944338/
#ru
@database_design | Другие наши каналы
Статья рассказывает о том, как банк строит единый цифровой профиль клиента, используя графы и эмбеддинги. Вы узнаете, как разрозненные данные о транзакциях, связях и балансах превращаются в мощный инструмент для анализа и прогнозирования. Разберем, почему классических табличных подходов недостаточно и как графы помогают выявлять скрытые связи между клиентами, как клиенты «превращаются в слова» и на чем измеряется успех. Статья будет полезна data scientist’ам, ML-инженерам и всем, кто интересуется практическим применением графовых методов и машинного обучения в крупном бизнесе.
Читать: https://habr.com/ru/companies/vtb/articles/944338/
#ru
@database_design | Другие наши каналы