Разбираемся в профессиях: Data Analyst, Data Engineer, Analytics Engineer и BI Engineer
Кто вы в мире данных — аналитик, BI-разработчик или Data Engineer? 🔍 Разбираем реальные роли и показываем, чем они отличаются на практике.
Читать: https://habr.com/ru/articles/951454/
#ru
@database_design | Другие наши каналы
Кто вы в мире данных — аналитик, BI-разработчик или Data Engineer? 🔍 Разбираем реальные роли и показываем, чем они отличаются на практике.
Читать: https://habr.com/ru/articles/951454/
#ru
@database_design | Другие наши каналы
Новый графический плагин Oracle для Visual Studio Code упрощает работу с графовыми запросами в SQL. Теперь разработчики могут быстро визуализировать и анализировать связи в данных, что помогает принимать более обоснованные бизнес-решения. Подробнее о возможностях расширения.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Graphs in Oracle SQL Developer for VS Code – bring relationships in your data to life
In today’s data-driven enterprises, uncovering meaningful relationships within complex data is crucial for driving strategic business decisions—and graph analytics make it possible to unlock these valuable insights. Oracle now has a new SQL Developer graph…
Защита конфиденциальных данных становится приоритетом для организаций. В статье рассказывается об эффективном методе Data Redaction, который скрывает чувствительную информацию во время запросов, не изменяя исходные данные, что помогает предотвратить несанкционированный доступ.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Hands-on with Data Redaction enhancements in Oracle Database 23ai
Organizations today handle massive amounts of sensitive information that should be protected from exposure to users who don’t require access to them. Data Redaction selectively redacts sensitive data at query runtime, preventing unauthorized exposure, while…
В AI World 2025 собрались ведущие эксперты по AI Vector Search. На конференции обсудили последние достижения и практическое применение технологий в поиске данных с помощью искусственного интеллекта. Узнайте о ключевых трендах и новинках отрасли.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
AI Vector Search Sessions at AI World 2025
A listing of AI Vector Search sessions at AI World 2025.
Обновление Oracle Database 23ai (версия 23.9) представило улучшения для SQL Property Graphs и новый пакет PL/SQL для миграции из Neo4j в Oracle Graph. Также выпущено расширение SQL Developer Graph Visualization для VSCode, расширяющее возможности работы с графами.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle TxEventQ превращает базу данных в высокопроизводительную платформу для обмена сообщениями и стриминга без дополнительной инфраструктуры. Встроенная безопасность, транзакции ACID и совместимость с Kafka делают ее мощным инструментом для событийных архитектур.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Oracle Transactional Event Queues (TxEventQ): Scalable Messaging & Streaming in the Database
Oracle TxEventQ turns your database into a high-performance messaging and streaming platform—no extra brokers, no extra infrastructure. Built directly into Oracle Database, it delivers enterprise-grade security, ACID transactions, and Kafka interoperability…
Выбор накопителей и хранилищ для SIEM: факторы и рекомендации
У коллег весной вышла резонансная статья про особенности выбора жестких дисков для систем поиска аномалий в сетевом трафике на примере PT NAD. Я подумал, что тоже могу добавить что-нибудь в эту копилку. Тем более, что еще в 2018-м году в рамках какого-то закрытого SOC Day для заказчиков я рассказывал про особенности организации хранилищ для событий безопасности в центрах мониторинга безопасности. Пришло время сдуть пыль с архивов, дополнить их свежей кровью и выложить на суд общественности.
Итак, если коллеги рассказывали про хранение данных для систем поиска сетевых аномалий, то я буду рассуждать про решения класса SIEM (Security Information and Event Management), которые собирают и хранят огромные объемы событий безопасности и для которых правильный выбор накопителей и архитектуры хранилища (а вот про это коллеги не рассказывали, сфокусировавшись только на накопителях) критически влияет на скорость записи событий, быстроту поиска, масштабируемость и надежность всей системы мониторинга. Я попробую рассмотреть ключевые факторы, влияющие на этот выбор, – от интенсивности записи и индексации до уровней хранения и облачных решений, а также проанализирую плюсы и минусы различных вариантов, давая рекомендации под разные сценарии. И хотя в заголовке статьи упоминается только SIEM, описанные рекомендации подойдут для многих средств защиты, активно пишущих, хранящих и обрабатывающих события ИБ.
Погружаемся глубже
Читать: https://habr.com/ru/companies/pt/articles/950870/
#ru
@database_design | Другие наши каналы
У коллег весной вышла резонансная статья про особенности выбора жестких дисков для систем поиска аномалий в сетевом трафике на примере PT NAD. Я подумал, что тоже могу добавить что-нибудь в эту копилку. Тем более, что еще в 2018-м году в рамках какого-то закрытого SOC Day для заказчиков я рассказывал про особенности организации хранилищ для событий безопасности в центрах мониторинга безопасности. Пришло время сдуть пыль с архивов, дополнить их свежей кровью и выложить на суд общественности.
Итак, если коллеги рассказывали про хранение данных для систем поиска сетевых аномалий, то я буду рассуждать про решения класса SIEM (Security Information and Event Management), которые собирают и хранят огромные объемы событий безопасности и для которых правильный выбор накопителей и архитектуры хранилища (а вот про это коллеги не рассказывали, сфокусировавшись только на накопителях) критически влияет на скорость записи событий, быстроту поиска, масштабируемость и надежность всей системы мониторинга. Я попробую рассмотреть ключевые факторы, влияющие на этот выбор, – от интенсивности записи и индексации до уровней хранения и облачных решений, а также проанализирую плюсы и минусы различных вариантов, давая рекомендации под разные сценарии. И хотя в заголовке статьи упоминается только SIEM, описанные рекомендации подойдут для многих средств защиты, активно пишущих, хранящих и обрабатывающих события ИБ.
Погружаемся глубже
Читать: https://habr.com/ru/companies/pt/articles/950870/
#ru
@database_design | Другие наши каналы
Что нового в PostgreSQL 18? Взгляд разработчика
Команда Go for Devs подготовила перевод обзора PostgreSQL 18. Новый релиз не ограничился громкой подсистемой асинхронного ввода-вывода — он принёс ряд функций, заметных именно в повседневной разработке. Нативная поддержка UUID v7, виртуальные генерируемые столбцы, расширенные возможности
Читать: https://habr.com/ru/articles/951802/
#ru
@database_design | Другие наши каналы
Команда Go for Devs подготовила перевод обзора PostgreSQL 18. Новый релиз не ограничился громкой подсистемой асинхронного ввода-вывода — он принёс ряд функций, заметных именно в повседневной разработке. Нативная поддержка UUID v7, виртуальные генерируемые столбцы, расширенные возможности
RETURNING и новые средства диагностики делают жизнь разработчиков проще и продуктивнее.Читать: https://habr.com/ru/articles/951802/
#ru
@database_design | Другие наши каналы
SQL против NoSQL: мифы и реальность
Привет, Хабр! Меня зовут Анастасия Нечепоренко, я QA Lead и преподаватель курса "JavaScript QA Engineer" в Отус. В этой статье кратко разбираю самые живучие мифы о SQL и NoSQL: от «схемы нет — значит свобода» до «реляционные БД не масштабируются». Поговорим, где каждый класс СУБД уместен, чем приходится платить за горизонталь и консистентность и почему в реальных проектах гибридный подход чаще выигрывает.
Читать разбор
Читать: https://habr.com/ru/companies/otus/articles/949468/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Меня зовут Анастасия Нечепоренко, я QA Lead и преподаватель курса "JavaScript QA Engineer" в Отус. В этой статье кратко разбираю самые живучие мифы о SQL и NoSQL: от «схемы нет — значит свобода» до «реляционные БД не масштабируются». Поговорим, где каждый класс СУБД уместен, чем приходится платить за горизонталь и консистентность и почему в реальных проектах гибридный подход чаще выигрывает.
Читать разбор
Читать: https://habr.com/ru/companies/otus/articles/949468/
#ru
@database_design | Другие наши каналы
Что нужно знать системному аналитику о Apache Cassandra
Всем привет! Я Илья Глазунов, системный аналитик в проекте карточного хранилища T-Pay Online — быстрого способа оплаты для наших клиентов. В качестве БД в проекте хранилища мы используем Apache Cassandra. В статье — обзорный материал, который поможет познакомиться с БД.
В культуре Т-Банка важно, чтобы системные аналитики знали особенности интеграционных схем с другими компонентами, умели строить схемы БД так, чтобы минимизировать издержки, связанные с i/o-операциями. А еще — чтобы могли вычислять узкие места в кейсах и влиять на выбор верхнеуровневого компонента в проекте.
Когда мы выбирали БД для нашего проекта, столкнулись с тем, что существует мало материалов, которые бы сжато передавали главные особенности Apache Cassandra без глобальных неточностей и на русском языке для первичного ознакомления. Поэтому решили помочь тем, кто окажется в таком же положении, что и мы.
Разберем, для чего нужна Cassandra, рассмотрим основные концепции архитектуры, разложим принципы проектирования БД с ее особенностями модели данных и затронем некоторые принципы расчета конфигурирования БД Cassandra.
Читать: https://habr.com/ru/companies/tbank/articles/951772/
#ru
@database_design | Другие наши каналы
Всем привет! Я Илья Глазунов, системный аналитик в проекте карточного хранилища T-Pay Online — быстрого способа оплаты для наших клиентов. В качестве БД в проекте хранилища мы используем Apache Cassandra. В статье — обзорный материал, который поможет познакомиться с БД.
В культуре Т-Банка важно, чтобы системные аналитики знали особенности интеграционных схем с другими компонентами, умели строить схемы БД так, чтобы минимизировать издержки, связанные с i/o-операциями. А еще — чтобы могли вычислять узкие места в кейсах и влиять на выбор верхнеуровневого компонента в проекте.
Когда мы выбирали БД для нашего проекта, столкнулись с тем, что существует мало материалов, которые бы сжато передавали главные особенности Apache Cassandra без глобальных неточностей и на русском языке для первичного ознакомления. Поэтому решили помочь тем, кто окажется в таком же положении, что и мы.
Разберем, для чего нужна Cassandra, рассмотрим основные концепции архитектуры, разложим принципы проектирования БД с ее особенностями модели данных и затронем некоторые принципы расчета конфигурирования БД Cassandra.
Читать: https://habr.com/ru/companies/tbank/articles/951772/
#ru
@database_design | Другие наши каналы
👍2
Алгоритмы, базы и порядок: практическая подборка книг для разработчиков
Алгоритмы, базы данных и качество данных — три темы, без которых сегодня не обходится ни один проект. От того, как разработчик обращается с ними, зависит не только скорость работы приложений, но и то, насколько вообще можно доверять системе. Если алгоритм выбран неправильно — система будет тормозить; если база построена на «костылях» — она станет источником ошибок; если данные не проверять на качество — отчеты превратятся в хаос.
Чтобы помочь разобраться в этом, команда Read IT Club собрала подборку из трех книг, которые проверили рецензенты клуба — эксперты из ведущих технологических компаний. В них нет академической скуки, зато есть практические советы: как выбрать правильный алгоритм, не угробить архитектуру базы и научиться бороться с «грязными» данными. Каждая из них решает свою часть головоломки, но вместе они дают цельную картину того, как работать с данными и кодом надежно, эффективно и без лишних драм.
Читать: https://habr.com/ru/companies/croc/articles/952010/
#ru
@database_design | Другие наши каналы
Алгоритмы, базы данных и качество данных — три темы, без которых сегодня не обходится ни один проект. От того, как разработчик обращается с ними, зависит не только скорость работы приложений, но и то, насколько вообще можно доверять системе. Если алгоритм выбран неправильно — система будет тормозить; если база построена на «костылях» — она станет источником ошибок; если данные не проверять на качество — отчеты превратятся в хаос.
Чтобы помочь разобраться в этом, команда Read IT Club собрала подборку из трех книг, которые проверили рецензенты клуба — эксперты из ведущих технологических компаний. В них нет академической скуки, зато есть практические советы: как выбрать правильный алгоритм, не угробить архитектуру базы и научиться бороться с «грязными» данными. Каждая из них решает свою часть головоломки, но вместе они дают цельную картину того, как работать с данными и кодом надежно, эффективно и без лишних драм.
Читать: https://habr.com/ru/companies/croc/articles/952010/
#ru
@database_design | Другие наши каналы
Новый стандарт SaaS Security Capability Framework (SSCF) помогает закрыть разрыв в безопасности SaaS-приложений. Он унифицирует контрольные механизмы для клиентов и упрощает управление безопасностью, снижая риски и повышая доверие к облачным сервисам.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Изоляция базы данных для автотестов
Привет, меня зовут Ксюша Астахова, и я инженер-программист в Контуре. Хочу поделиться способом изоляции базы данных для автотестов. Статья будет полезна бэкенд-разработчикам и тестировщикам.
Читать: https://habr.com/ru/companies/skbkontur/articles/950240/
#ru
@database_design | Другие наши каналы
Привет, меня зовут Ксюша Астахова, и я инженер-программист в Контуре. Хочу поделиться способом изоляции базы данных для автотестов. Статья будет полезна бэкенд-разработчикам и тестировщикам.
Читать: https://habr.com/ru/companies/skbkontur/articles/950240/
#ru
@database_design | Другие наши каналы
Hybrid Search: будущее поиска в приложениях
Современный поиск объединяет точность ключевых слов и контекстную силу векторных моделей. Гибридные решения повышают качество результатов и упрощают интеграцию. MongoDB предлагает нативную поддержку гибридного поиска для гибкости и масштабируемости. Новая веха в безопасности SaaS: совместно с отраслевыми экспертами MongoDB помогла создать стандарт SSCF для упрощения оценки и управления безопасностью SaaS-приложений. Теперь компании смогут легче контролировать конфигурации и снижать риски при использовании множества сервисов. Подробнее в статье. Новый стандарт безопасности в SaaS: SSCF помогает улучшить защиту данных через единые требования к аутентификации, логированию и управлению инцидентами. MongoDB участвует в разработке, чтобы сделать экосистему надёжнее и проще для разработчиков и компаний.
Читать подробнее
#en
@database_design | Другие наши каналы
Современный поиск объединяет точность ключевых слов и контекстную силу векторных моделей. Гибридные решения повышают качество результатов и упрощают интеграцию. MongoDB предлагает нативную поддержку гибридного поиска для гибкости и масштабируемости. Новая веха в безопасности SaaS: совместно с отраслевыми экспертами MongoDB помогла создать стандарт SSCF для упрощения оценки и управления безопасностью SaaS-приложений. Теперь компании смогут легче контролировать конфигурации и снижать риски при использовании множества сервисов. Подробнее в статье. Новый стандарт безопасности в SaaS: SSCF помогает улучшить защиту данных через единые требования к аутентификации, логированию и управлению инцидентами. MongoDB участвует в разработке, чтобы сделать экосистему надёжнее и проще для разработчиков и компаний.
Читать подробнее
#en
@database_design | Другие наши каналы
Новые возможности MongoDB для автогestionных приложений
MongoDB представила публичную превью встроенного полнотекстового и векторного поиска в Community Edition и Enterprise Server. Это упрощает разработку AI-приложений без внешних компонентов, снижая сложность и ускоряя запуск. Новое решение MongoDB ускоряет модернизацию легаси-приложений с помощью ИИ. Платформа MongoDB AMP сочетает проверенные методы и автоматизацию, сокращая время миграции и снижая риски. Это помогает компаниям быстрее обновлять устаревшие системы без потери качества. Гибридный поиск: как выбрать между lexical-first и vector-first подходами?
Статья рассказывает о развитии гибридного поиска, объединяющего традиционный лексический и векторный методы. MongoDB предлагает встроенные функции гибридного поиска, упрощая работу и повышая точность поиска в современных приложениях.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB представила публичную превью встроенного полнотекстового и векторного поиска в Community Edition и Enterprise Server. Это упрощает разработку AI-приложений без внешних компонентов, снижая сложность и ускоряя запуск. Новое решение MongoDB ускоряет модернизацию легаси-приложений с помощью ИИ. Платформа MongoDB AMP сочетает проверенные методы и автоматизацию, сокращая время миграции и снижая риски. Это помогает компаниям быстрее обновлять устаревшие системы без потери качества. Гибридный поиск: как выбрать между lexical-first и vector-first подходами?
Статья рассказывает о развитии гибридного поиска, объединяющего традиционный лексический и векторный методы. MongoDB предлагает встроенные функции гибридного поиска, упрощая работу и повышая точность поиска в современных приложениях.
Читать подробнее
#en
@database_design | Другие наши каналы
Собираем персональные данные правильно: рекомендации DPO
Законодательство в области персональных данных активно меняется, а институт согласий на обработку ПДн серьезно трансформируется. Согласия теперь должны оформляться отдельно от других документов, а управлять ими скоро в полной мере будет возможно через Госуслуги.
Меня зовут Никита Козин. Я – Data Protection Officer в БФТ-Холдинге, отвечаю за организацию обработки ПДн более 3000 сотрудников. В статье я делюсь разбором основных нюансов, возникающих при взятии согласий на обработку ПДн.
Даю согласие на чтение статьи
Читать: https://habr.com/ru/companies/bft/articles/952206/
#ru
@database_design | Другие наши каналы
Законодательство в области персональных данных активно меняется, а институт согласий на обработку ПДн серьезно трансформируется. Согласия теперь должны оформляться отдельно от других документов, а управлять ими скоро в полной мере будет возможно через Госуслуги.
Меня зовут Никита Козин. Я – Data Protection Officer в БФТ-Холдинге, отвечаю за организацию обработки ПДн более 3000 сотрудников. В статье я делюсь разбором основных нюансов, возникающих при взятии согласий на обработку ПДн.
Даю согласие на чтение статьи
Читать: https://habr.com/ru/companies/bft/articles/952206/
#ru
@database_design | Другие наши каналы
Oracle признан Customers' Choice 2025 по версии Gartner Peer Insights в категории облачных систем управления базами данных. Признание основано на отзывах реальных пользователей, которые успешно внедрили Oracle Database в своих компаниях.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Oracle Named a Gartner Peer Insights™ Customers’ Choice for Cloud Database Management Systems
We’re pleased to share that Oracle has been recognized as a 2025 Gartner Peer Insights™ Customers' Choice for Cloud Database Management Systems. This distinction is based on feedback and ratings from enterprise users who have implemented and used Oracle Database…
Лучшие партнеры MongoDB 2025: Microsoft, AWS, Google Cloud и Accenture получили признание за инновации в облаках и ИИ. Совместные решения с MongoDB ускоряют цифровую трансформацию, улучшают безопасность данных и развитие AI-приложений по всему миру.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Post-GraphQL мир: стоит ли переходить на gRPC и tRPC
Подробное сравнение технологий API для разработчиков. Разбираем сильные и слабые стороны GraphQL, gRPC и tRPC на реальных кейсах. Практические рекомендации по выбору технологии для вашего проекта.
Читать: «Post-GraphQL мир: стоит ли переходить на gRPC и tRPC»
#ru
@database_design | Другие наши каналы
Подробное сравнение технологий API для разработчиков. Разбираем сильные и слабые стороны GraphQL, gRPC и tRPC на реальных кейсах. Практические рекомендации по выбору технологии для вашего проекта.
Читать: «Post-GraphQL мир: стоит ли переходить на gRPC и tRPC»
#ru
@database_design | Другие наши каналы
О параллельности при создании индексов в Postgres (часть 1)
Добрый день, коллеги!
Сегодня я хочу поделиться некоторыми проблемами (и решениями) при создании большого количества индексов и ограничений целостности (констрейнтов) одновременно.
Но для начала хочу порассуждать о том, почему вообще возникли такие вопросы.
При развёртывании новой крупной базы данных с "нуля" (например путём миграции), возникает необходимость построить также большое количество индексов в весьма ограниченное тех. окно. Как известно, процесс построения индекса это не только ценный мех IO, но и довольно большое количество CPU при достаточно производительной дисковой подсистеме. Чем больше ядер вы сможете задействовать — тем быстрее пойдёт процесс (в общем случае утверждение, конечно, спорное, но в моём случае обоснованное и проверенное).
На пути "параллелизации" всего и вся возникают разнообразные проблемы, про 3 такие проблемы я и хочу рассказать сегодня.
Читать: https://habr.com/ru/companies/gnivc/articles/952494/
#ru
@database_design | Другие наши каналы
Добрый день, коллеги!
Сегодня я хочу поделиться некоторыми проблемами (и решениями) при создании большого количества индексов и ограничений целостности (констрейнтов) одновременно.
Но для начала хочу порассуждать о том, почему вообще возникли такие вопросы.
При развёртывании новой крупной базы данных с "нуля" (например путём миграции), возникает необходимость построить также большое количество индексов в весьма ограниченное тех. окно. Как известно, процесс построения индекса это не только ценный мех IO, но и довольно большое количество CPU при достаточно производительной дисковой подсистеме. Чем больше ядер вы сможете задействовать — тем быстрее пойдёт процесс (в общем случае утверждение, конечно, спорное, но в моём случае обоснованное и проверенное).
На пути "параллелизации" всего и вся возникают разнообразные проблемы, про 3 такие проблемы я и хочу рассказать сегодня.
Читать: https://habr.com/ru/companies/gnivc/articles/952494/
#ru
@database_design | Другие наши каналы
Новая эра поиска: MongoDB Atlas и Pureinsights представили интеллектуальный гибридный поиск, объединяющий ключевые слова, векторы и генеративный ИИ. Решение понимает смысл запросов, даёт точные и контекстуальные ответы, улучшая опыт пользователей по всему миру. Гибридный поиск в MongoDB: новый уровень точности и удобства. MongoDB объединяет традиционный лексический поиск и векторный в единой платформе, упрощая разработку и масштабирование. Это решение оптимально для приложений с ИИ и сложными поисковыми задачами.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы