DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.31K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Как я сдал экзамен AWS DEA-C01 Data Engineering Associate в 2025 году

Всем привет! Меня зовут Роман, и я хочу поделиться своим опытом сдачи экзамена AWS DEA-C01: Data Engineer Associate. Когда сам готовился, то много искал реальных отзывов и заметок о том, как проходит экзамен, как лучше всего готовиться и на что обращать внимание. Поэтому надеюсь, что мой опыт будет полезен.

Немного о себе: сейчас я учусь на дата-инженера, и уже через несколько месяцев завершаю программу обучения. Параллельно начал задумываться о будущем трудоустройстве и изучал доступные вакансии. Довольно быстро стало очевидно, что учебная программа и реальные ожидания компаний пересекаются не во всём: последние делают большой упор на облака.

В IT у меня почти не нет опыта, так как вся моя предыдущая деятельность связана с аналитическим маркетингом: построение моделей работы рынка, прогнозирование цен, решение разных оптимизационных задач. То есть, по-хорошему, будущему работодателю надо показать как знания, так и практические результаты их применения, а именно пет-проекты.

Так у меня и появилась первая цель — подготовиться и успешно сдать экзамен DEA-C01.


Читать: https://habr.com/ru/articles/953820/

#ru

@database_design | Другие наши каналы
Бесплатные лицензии Oracle для разработчиков

В статье говорится, что Oracle Exadata и Oracle Base Database Service для разработчиков предоставляют лицензии Oracle бесплатно. На той же платформе можно строить AI-приложения с Enterprise Edition и большинством опций.

Читать подробнее

#en

@database_design | Другие наши каналы
Как банки Индии держат UPI всегда в строю с распределённой БД Oracle

Материал объясняет, как ведущие индийские банки используют распределённую базу данных Oracle для обеспечения высокой доступности, масштабируемости и низкой задержки UPI, повышая устойчивость и непрерывность платежей.

Читать подробнее

#en

@database_design | Другие наши каналы
Oracle AI World — новые обновления Exadata и Database Cloud

Oracle приглашает на Oracle AI World в Лас-Вегасе 13-16 октября 2025. На конференции представят последние продуктовые и технологические обновления Exadata и облачной базы данных — шанс узнать о ключевых новинках и перспективах.

Читать подробнее

#en

@database_design | Другие наши каналы
Oracle AI World 2025: как IoT и ИИ меняют медицину

Wim Coeakerts, EVP по разработке ПО в Oracle, расскажет, как IoT и искусственный интеллект трансформируют оказание медицинской помощи: удалённый мониторинг, персонализированное лечение и новые сервисы. Анонс доклада на Oracle AI World 2025.

Читать подробнее

#en

@database_design | Другие наши каналы
Как мы захотели контролировать SPILL’ы в Greenplum и сделали “Демократизатор”

Представьте: Один неоптимизированный запрос от неопытного коллеги - и вот уже 40 ТБ SPILL-файлов парализуют систему.

Срабатывает лимит на уровне Greenplum, запрос завершён. Никто ничего не знает.

Создаются заявки, пишутся письма, пользователь недоволен.

Это не какая-то выдуманная история, а обычный будний день в большом Greenplum. Вернее, так было раньше.


Читать: https://habr.com/ru/companies/rostelecom/articles/954164/

#ru

@database_design | Другие наши каналы
Миф о «едином источнике правды»: почему консолидация данных — это не про технологию, а про процессы

Единый источник правды (SSOT) давно стал модным термином в области управления данными. При этом многие компании сводят его смысл к покупке хранилища данных или BI-платформы.

На практике успех SSOT зависит не столько от хранилища данных или ETL-процессов, сколько от внутриорганизационных регламентов, закрепленной ответственности и согласованных методик расчета показателей. В статье разберем, что такое SSOT на самом деле, в чём основные заблуждения относительно него и как избежать разочарования в BI.


Читать: https://habr.com/ru/companies/modusbi/articles/952072/

#ru

@database_design | Другие наши каналы
Дорожная карта Java backend-разработчика: c Junior до Middle

Привет! Меня зовут Бромбин Андрей. За последние годы у меня накопилось достаточно материалов, практик и ошибок — иногда красивых, но всё же ошибок. Этого хватило, чтобы собрать маршрут до грейда Middle.

Это не «большая книга всего на свете для джуна» и не выдуманный субъективный маршрут. Мне удалось привлечь к созданию этой статьи ведущих разработчиков крупных российских компаний — от каждого я получил честный фидбэк: где перегнул, где недосказал, чего не хватает на практике. Приоритеты были сверены, лишнее вычищено и оставлено только то, что реально двигает.

Признаться, честно: тут и для меня нашлось, что подтянуть.
Выстроить маршрут

Читать: https://habr.com/ru/companies/ruvds/articles/949170/

#ru

@database_design | Другие наши каналы
858 терабайт государственных данных Южной Кореи сгорели к чёртовой матери. Бэкапа просто не было

Один из специалистов по восстановлению данных покончил с собой. Катастрофа случилась из-за чудовищной халатности.


Читать: https://habr.com/ru/articles/954512/

#ru

@database_design | Другие наши каналы
Гайд по применению Object Lock на примере S3-объектного хранилища VK Cloud

Количество кибератак, направленных на облачные и гибридные сервисы в России, за первые 8 месяцев 2025 года превысило суммарный показатель за 2023 и 2024 годы и достигло отметки в 105 млн инцидентов. В условиях подобных вызовов востребованной стратегией для бизнеса становится использование всех доступных мер защиты инфраструктуры и данных, в первую очередь критически значимых, например финансовых отчетов и юридических документов.

Рассказываем и показываем, как обеспечить максимальный уровень защиты данных в объектном хранилище S3 на примере Object Storage от VK Cloud.


Читать: https://habr.com/ru/companies/vktech/articles/954584/

#ru

@database_design | Другие наши каналы
Мониторинг истории активных сессий в базах данных

Сегодня проверим Dimension-UI на задаче мониторинга истории активных сессий в базах данных Oracle, PostgreSQL, ClickHouse и MS SQL Server в режиме реального времени.

История активных сессий (Active Session History, ASH) - очень удобный способ получения информации о работе БД в кратком виде. Когда важно максимально быстро отследить, что происходит с системой в настоящее время, оценить развитие текущей ситуации - это рабочая активность или начало каких-либо проблем - в том числе, через быстрый просмотр baselines в недавнем прошлом системы и сравнить их с текущими данными.

Изначально, данный подход был разработан и применен в СУБД Oracle начиная с 10g версии. Архитектурно в Oracle это выглядит как плоская таблица в памяти V$ACTIVE_SESSION_HISTORY, в которую с определенным интервалом (стандартно 1 секунда, но его значение можно изменять) записывается состояние каждой активной сессии: идентификатор сессии, SQL-запроса, процесса операционной системы, текущий статус сессии - в работе или ожидании получения доступа к ресурсу, статистики потребления памяти и проч.. Периодически информация из таблицы в памяти сбрасывается на диск в таблицу DBA_HIST_ACTIVE_SESS_HISTORY репозитория рабочей нагрузки AWR.
(трафик 29 Мб)

Читать: https://habr.com/ru/articles/954880/

#ru

@database_design | Другие наши каналы
Книга: «Грокаем структуры данных»

Каждый разработчик знает, насколько важны структуры данных. Без них не обходится ни один серьезный проект, будь то оптимизация запросов, работа с Big Data или просто написание чистого и эффективного кода. Не зря же на собеседованиях постоянно спрашивают про деревья, хеш-таблицы и сложность алгоритмов!

Вы только приступили к изучению структур данных? Хотите освежить знания, полученные в ходе обучения? В этой книге нет заумной математики, скучных доказательств и абстрактной теории. Вместо этого — понятные объяснения, рабочие примеры и реальные кейсы, с которыми ежедневно сталкиваются разработчики. Вы узнаете, как с помощью правильных структур данных ускорить поиск, эффективнее управлять очередями задач или, например, оптимизировать хранение данных.

Книга построена по принципу «от простого к сложному»: начинается с базовых структур, таких как массивы и связанные списки, и постепенно переходит к более сложным — стекам, очередям, деревьям, хеш-таблицам и графам. Каждая глава содержит практические примеры, упражнения и наглядные иллюстрации, которые помогают закрепить материал. Вся теория подкреплена примерами на Python — одном из главных языков современной разработки.

Если вы хотите не просто использовать структуры данных, а понимать их и применять осознанно — эта книга для вас.


Читать: https://habr.com/ru/companies/piter/articles/954670/

#ru

@database_design | Другие наши каналы
Забудь про облачные подписки! Полный переход с Google Photos на Immich. Мой личный опыт

Привет! Сегодня вам расскажу, как я полностью отказался от Google Photos и настроил своё собственное хранилище фотографий на базе Immich с кучей функций, не уступающих тем, что есть у популярных представителей данных сервисов.
Это не обзор ради обзора, а мой реальный кейс. У меня дома стоит свой собственный домашний сервер, который я собрал не так давно, куда я уже перенес все свои фотографии и видео.


Читать: https://habr.com/ru/articles/954784/

#ru

@database_design | Другие наши каналы
Парсить XML при помощи регулярных выражений нельзя… но давайте попробуем

Парсинг HTML при помощи регулярных выражений — популярная ошибка и отличный пример использования неподходящего под задачу инструмента. Общепризнанно, что это плохая идея по множеству причин.

Существует знаменитый ответ на Stack Overflow о том, почему этого ни в коем случае не следует делать. На самом деле, этот ответ стал настолько популярным, что в определённых кругах используется, как копипаста. Каждый раз, когда я натыкаюсь на него, то думаю что он во многом справедлив... но в то же время, не могу согласиться с ним полностью...


Читать: https://habr.com/ru/articles/954632/

#ru

@database_design | Другие наши каналы
Динамическое маскирование в СУБД: принципы, сценарии и реализация

Привет, Хабр!

На связи Артемий Новожилов, архитектор систем ИБ и автор ТГ-канала Data Security и Дмитрий Ларин, руководитель продуктового направления по защите баз данных, группа компаний «Гарда». С нами вы могли познакомиться по таким статьям как маскирование и Apache Kafka. И сегодня мы хотим продолжить тему маскирования данных.

Современные компании обрабатывают огромные объемы конфиденциальных данных: персональные данные (как сотрудников, так и партнеров и клиентов), информацию о клиентах и их заказах, финансовые и бухгалтерские сведения, данные, относящиеся к коммерческой тайне и интеллектуальной собственности, а также технические настройки и доступы. В связи с этим возникают повышенные риски утечки данных, сложности с соблюдением требований законодательства (например, ФЗ-152 и GDPR), угроза инсайдерских атак, а для тестов или аналитики приходится создавать отдельные копии баз данных (БД).

Один из эффективных способов защиты данных – динамическое маскирование (Dynamic Data Masking, DDM).
Узнать все о динамическом маскировании

Читать: https://habr.com/ru/companies/garda/articles/954932/

#ru

@database_design | Другие наши каналы
Как мигрировать приложение с базой данных Oracle в Postgres без лишних хлопот

Статья описывает методику миграции приложения, содержащего множество SQL запросов из базы данных Oracle в Postgres. Будет интересна всем, кто собирается мигрировать или уже мигрировал приложение из Oracle в Postgres.


Читать: https://habr.com/ru/articles/954990/

#ru

@database_design | Другие наши каналы
Данные WhatsApp и Telegram для ML-моделей: тренд или серый рынок?

В этой статье я расскажу про новый тип данных для российского рынка - данные Whatsapp и Telegram: насколько они ценны и насколько легальны.


Читать: https://habr.com/ru/articles/955024/

#ru

@database_design | Другие наши каналы
Данные WhatsApp и Telegram для ML-моделей: тренд или серый рынок?

В этой статье я расскажу про новый тип данных для российского рынка - данные Whatsapp и Telegram: насколько они ценны и насколько легальны.


Читать: https://habr.com/ru/articles/955030/

#ru

@database_design | Другие наши каналы
Как динамическая схема и zstd ускорили MongoDB
В статье описан переход на динамическую схему: квартальные бакеты (≈3× меньше документов), объединение агрегаций и смена snappy на zstd (−43% Storage). Результат — меньше данных, лучшая латентность и throughput; приведены метрики и кейсы.

Читать подробнее

#en

@database_design | Другие наши каналы
DBT Proplum: Расширяем возможности DBT для работы с Greenplum и Clickhouse

В современных реалиях всё чаще встаёт вопрос о переходе с вендорских продуктов на open-source. Компании активно рассматривают DBT как стандарт для управления трансформациями данных, но сталкиваются с проблемами: существующие алгоритмы загрузки оказываются недостаточными, а адаптеры для СУБД - устаревшими.

В этой статье рассказываем о нашей доработке адаптера для DBT, который расширяет возможности работы с Greenplum и ClickHouse, добавляя новые стратегии загрузки, логирование и интеграцию с внешними источниками.
Читать статью

Читать: https://habr.com/ru/companies/sapiens_solutions/articles/955122/

#ru

@database_design | Другие наши каналы
Forwarded from Типичный программист
This media is not supported in your browser
VIEW IN TELEGRAM
Наткнулся на шикарное чтиво по шардингу БД с интерактивными схемами

🔘В лонгриде объясняется, как работает шардирование и какие моменты важно учесть при проектировании производительного sharded‑кластера.

🔘 Из крутого — по ходу прочтения материала появляются кликабельные схемы, которые помогают усвоить материал. Можно играться с диаграммами кластера и смотреть, как меняются сценарии в рилтайме!

Сохраняйте годноту 😮
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1