DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Анализ графа заметок Obsidian

Obsidian на Хабре посвящено немало статей и, главным образом, про то, как создать и вести в нем базу знаний или систему управления личными делами. При этом остается обделенной вниманием тема анализа накопленного графа заметок с точки зрения его структуры и динамики. А это дополнительный слой информации, в том числе не закладываемой явно в содержание самих заметок. В качестве примера проведу в данной статье анализ своего графа заметок, собранного за прошедший год.


Читать: https://habr.com/ru/articles/881886/

#ru

@database_design | Другие наши каналы
Переход на новую версию API MongoDB Atlas

MongoDB представила обновленную версию API для администрирования Atlas. Новая версия API улучшает работу с программным доступом к функциям Atlas благодаря изменениям, обеспечивающим стабильность и предсказуемость обновлений. Переход на новую версию облегчит управление вашими базами данных. Новый виток онлайн-образования: опыт WanTong

Пандемия ускорила рост рынка онлайн-образования, и WanTong Education, использовав 70-летний опыт, выбрала MongoDB Atlas для улучшения управления данными. Это помогло повысить гибкость и скорость обработки данных, предоставив лучшую образовательную платформу для студентов.

Читать подробнее

#en

@database_design | Другие наши каналы
Как протестировать производительность СУБД перед миграцией: опыт K2Тех

После ухода западных вендоров в 2022 году российские компании столкнулись с необходимостью массовой миграции с Oracle и MS SQL на PostgreSQL и другие открытые СУБД. Теперь к вопросам миграции приходится относиться ответственнее: самостоятельно оценивать риски и прогнозировать работу систем после переезда.

Как перфоманс-инженер, я часто сталкиваюсь с вопросами типа: справится ли PostgreSQL с текущей нагрузкой? Потребуется ли обновление железа? Какие проблемы могут возникнуть после перехода? К сожалению, готовых инструментов для оценки производительности СУБД на рынке фактически нет. Это заставило нас разработать собственную методологию тестирования, которая позволяет выявить потенциальные проблемы и точно оценить необходимые ресурсы.

В этой статье я поделюсь практическим опытом нагрузочного тестирования баз данных и расскажу об инструментах, которые мы используем для анализа производительности. Наш подход не требует существенных затрат и может быть адаптирован под задачи любой компании, планирующей миграцию на PostgreSQL.


Читать: https://habr.com/ru/companies/k2tech/articles/882098/

#ru

@database_design | Другие наши каналы
Хеш-индексы в PostgreSQL: быстрый поиск или скрытые проблемы?

Хеш-индексы в PostgreSQL - мощный, но недооценённый инструмент.

Когда они быстрее B-Tree, а когда наоборот?

Простое объяснение, тесты и ключевые нюансы, которые помогут ускорить запросы...


Читать: https://habr.com/ru/articles/882106/

#ru

@database_design | Другие наши каналы
Хеш-индексы в PostgreSQL: быстрый поиск или скрытые проблемы?

Хеш-индексы в PostgreSQL - мощный, но недооценённый инструмент.

Когда они быстрее B-Tree, а когда наоборот?

Простое объяснение, тесты и ключевые нюансы, которые помогут ускорить запросы...


Читать: https://habr.com/ru/articles/882106/

#ru

@database_design | Другие наши каналы
Кем стать: дата-сайентистом, аналитиком, инженером данных или ML

Чем занимаются и сколько зарабатывают специалисты Data Science — дата-сайентист, аналитик, дата-инженер и инжнер машинного обучения.

Читать: «Кем стать: дата-сайентистом, аналитиком, инженером данных или ML»

#ru

@database_design | Другие наши каналы
Spring JPA и OOM: 5 способов спастись от кэш-ловушки Hibernate

Spring JPA + большие данные = OOM? Hibernate скрывает коварную ловушку, которая может перегрузить память и обрушить приложение. Разбираем причины, а главное – 5 эффективных способов избежать OOM, чтобы работать с миллионами записей без проблем! 🚀


Читать: https://habr.com/ru/articles/882132/

#ru

@database_design | Другие наши каналы
Новинки в MariaDB Community Server 11.7 и 11.8

MariaDB Community Server 11.7 теперь доступен для всех пользователей. Главной особенностью версии стал поиск по векторам, что значительно упрощает использование AI. Также обновлены функции генерации UUID и улучшены системные таблицы. Версия 11.8 в стадии релиз-кандидата и включает дальнейшие улучшения.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые ежегодные LTS релизы MariaDB Community Server

MariaDB объявила о ежегодных LTS релизах для стабильности и предсказуемости. Версия 11.8 станет следующей LTS в мае 2025 года, вводя векторный поиск для AI приложений. Теперь пользователи могут ожидать новые LTS версии каждый май, а также регулярные обновления инноваций.

Читать подробнее

#en

@database_design | Другие наши каналы
🧠 Усиление управления данными при помощи графов знаний

Компания WhyHow.AI разработала платформу на базе MongoDB для улучшения работы с графами знаний. Эти графы преодолевают недостатки традиционных систем, предоставляя точное извлечение и структурированные данные, что важно для AI и обучения моделей. Интеграция с MongoDB обеспечивает масштабируемость и поддерживает современный поиск и агрегацию данных. MongoDB Atlas: Обновление API для улучшенного опыта

В статье рассказывается об обновлённой версии API MongoDB Atlas, которая предлагает улучшение взаимодействия для разработчиков, предсказуемость изменений и поддержку OAuth2.0. Новая версия также включает обновлённый Go SDK, облегчающий работу с API, и дает более гибкие и минимально прерывающие процессы миграции.

Читать подробнее

#en

@database_design | Другие наши каналы
Эксплуатация Stateful-приложений в Kubernetes на примере баз данных в Авито

Привет! Меня зовут Игорь Конев, я — старший инженер команды DBaaS в Авито. В этой статье я рассказываю о нашем подходе к работе Stateful-приложений в k8s на примере DBaaS и о том, как удалось автоматизировать жизненный цикл баз данных у нас в Авито. Статья будет полезна новичкам, которые не работали в Kubernetes, не сталкивались с менеджментом Stateful-приложений или хотели бы массово разворачивать базы данных в Kubernetes.


Читать: https://habr.com/ru/companies/avito/articles/881728/

#ru

@database_design | Другие наши каналы
Эксплуатация Stateful-приложений в Kubernetes на примере баз данных в Авито

Привет! Меня зовут Игорь Конев, я — старший инженер команды DBaaS в Авито. В этой статье я рассказываю о нашем подходе к работе Stateful-приложений в k8s на примере DBaaS и о том, как удалось автоматизировать жизненный цикл баз данных у нас в Авито. Статья будет полезна новичкам, которые не работали в Kubernetes, не сталкивались с менеджментом Stateful-приложений или хотели бы массово разворачивать базы данных в Kubernetes.


Читать: https://habr.com/ru/companies/avito/articles/881728/

#ru

@database_design | Другие наши каналы
EDA of dataset Python

Привет, Хабр!

Аналитики данных часто сталкиваются с грязными данными, которые могут существенно замедлить процесс анализа. Грязны данные – это пропущенные значения, дубликаты, неконсистентные данные. Пропущенные значения заставляют нас гадать, что же было замыслено нашим коллегой; дубликаты вводят в заблуждение, умножая одно и то же на количество их копий, а неконсистентные данные заставляют нас сомневаться в каждой цифре.

Очищать грязные данные можно c Pandas. Рассмотрим основные методы.


Читать: https://habr.com/ru/articles/882588/

#ru

@database_design | Другие наши каналы
Выбираем решение для NoSQL

Современные приложения требуют высокой скорости работы с данными, гибкости и масштабируемости — но реляционные базы данных не всегда соответствуют этим требованиям. NoSQL-решения предлагают альтернативные подходы к хранению информации, оптимизированные под разные задачи: от аналитики в реальном времени до работы с распределёнными системами. В этой статье мы разберём ключевые принципы NoSQL, сравним популярные базы данных и выясним, как выбрать оптимальное решение в зависимости от ваших потребностей.


Читать: https://habr.com/ru/companies/otus/articles/882598/

#ru

@database_design | Другие наши каналы
Данные на льду: как Apache Iceberg перевернул мир аналитических систем

Вы когда-нибудь ловили себя на мысли, что ваш Data Lake больше похож на черный ящик, чем на систему хранения? Дубли, потерянные версии, медленные запросы — вместо четкой структуры хаос, который только растет. Добро пожаловать в реальность работы с Parquet, ORC и классическими подходами к хранению данных. Они неплохи, но не умеют версионировать, оптимизировать и управлять транзакциями так, как это действительно нужно.

И вот появляется Apache Iceberg — файловый формат, который уже используют в Netflix, Apple, LinkedIn и Stripe для хранения петабайтов данных с минимальными издержками на поддержку. Но что делает его таким особенным? Почему его называют «Data Lake без боли»? И самое главное — как заставить Apache Iceberg работать на вас? Давайте разбираться.

Читать: https://habr.com/ru/companies/selectel/articles/875472/

#ru

@database_design | Другие наши каналы
Телеграм-бот для бронирования столов на вебхуках: FastAPI, Aiogram Dialog, FastStream и RabbitMQ в единой экосистеме

В этой статье мы создадим функционального Telegram-бота для бронирования столиков в ресторане «Binary Bites» с использованием современных Python-инструментов. Бот будет работать через вебхуки, взаимодействовать с брокером сообщений RabbitMQ и поддерживать фоновое выполнение задач с помощью FastStream и APScheduler.

Проект объединит FastAPI, SQLAlchemy, Alembic, Uvicorn и другие библиотеки, обеспечивая гибкость и масштабируемость. Готовый бот позволит пользователям бронировать столики, просматривать и отменять брони, а администраторам — управлять заказами.


Читать: https://habr.com/ru/companies/amvera/articles/882878/

#ru

@database_design | Другие наши каналы
Фотохостинг со сквозным шифрованием

Опенсорсный криптофотохостинг Ente Photos, десктопное приложение и мобильный клиент

Когда запустился YouTube, люди спокойно публиковали там трогательные приватные видео. Сегодня никому в голову не придёт выкладывать такое в открытый доступ. Времена сильно изменились. То же относится к фотографиям.

Во-первых, с массовым профилированием пользователей ценность пользовательских файлов сильно возросла. Во-вторых, профилированием занимаются алгоритмы машинного обучения, которые извлекают массу ценной информации из личных фотографий. И самое неприятное, что эти алгоритмы ИИ обучаются на наших фотографиях.

Не говоря уже о том, что среди фотографий могут быть очень личные, которые вообще нежелательно никому видеть, кроме самых близких людей.


Читать: https://habr.com/ru/companies/globalsign/articles/883038/

#ru

@database_design | Другие наши каналы
Практики OLS: единая точка правды становится еще более универсальной

Корпоративные практики BI отличаются тем, что единое хранилище данных позволяет самым разным сотрудникам — от рядовых специалистов до ТОП-менеджеров — получать нужную информацию и анализировать ее для принятия верных решений. Но это становится возможным только в том случае, если можно гарантировать, что каждый пользователь получит доступ только к данным, которые он имеет право видеть. О том, как этот подход работает на уровне объектов, и в чем разница между RLS и OLS, читайте под катом.


Читать: https://habr.com/ru/companies/visiology/articles/883628/

#ru

@database_design | Другие наши каналы
Знакомство с pgpro-otel-collector

Всем привет, после публичного релиза pgpro-otel-collector, хочется продолжить рассказывать про инструмент и начать с серии постов про Коллектор. В этой серии постараюсь подробнее и на примерах познакомить читателя с коллектором и продемонстрировать сценарии использования. Рассказывать буду и про коллектор, и про разные вещи связанные с настройкой/мониторингом Postgres. Рассчитываю что посты будут полезны Linux администраторам, PostgreSQL DBA и тем кому интересен мониторинг Postgres.

Первый пост ознакомительный, в нем расскажу как установить, настроить и запустить коллектор. И конечно же, как посмотреть что-то что отдает коллектор и начнем мы с метрик Postgres.


Читать: https://habr.com/ru/companies/postgrespro/articles/883632/

#ru

@database_design | Другие наши каналы
👍2
Революция в здравоохранении с MongoDB и Microsoft

Microsoft и MongoDB трансформируют здравоохранение, объединяя инновации AI и данные, чтобы улучшить диагностику и уход за пациентами. Решение "Leafy Hospital" демонстрирует, как интеграция MongoDB Atlas и технологий Microsoft может усовершенствовать диагностику рака груди. Раскройте потенциал данных с WhyHow.AI и MongoDB

WhyHow.AI использует MongoDB для создания знания с помощью графов, преодолевая ограничения традиционных систем. Интеграция различных данных и расширенные возможности поиска делают платформу мощной основой для управления данными в сфере ИИ. Узнайте больше на нашем AI Learning Hub.

Читать подробнее

#en

@database_design | Другие наши каналы
Dagster: новый стандарт для ETL в 2025?

Мы живем в век данных и data-driven подхода. Есть продуктовые компании, где даже минимальные изменения в продукте обязаны пройти A/B-тест перед релизом (который из-за этого может и не состояться). С бумом данных и AI произошел и бум ETL (Extract, Transform, Load) инструментов. Сейчас, в 2024 году, выбор действительно впечатляет, даже если ограничиться только open source-решениями:


Читать: https://habr.com/ru/articles/883700/

#ru

@database_design | Другие наши каналы