DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Новые ежегодные LTS релизы MariaDB Community Server

MariaDB объявила о ежегодных LTS релизах для стабильности и предсказуемости. Версия 11.8 станет следующей LTS в мае 2025 года, вводя векторный поиск для AI приложений. Теперь пользователи могут ожидать новые LTS версии каждый май, а также регулярные обновления инноваций.

Читать подробнее

#en

@database_design | Другие наши каналы
🧠 Усиление управления данными при помощи графов знаний

Компания WhyHow.AI разработала платформу на базе MongoDB для улучшения работы с графами знаний. Эти графы преодолевают недостатки традиционных систем, предоставляя точное извлечение и структурированные данные, что важно для AI и обучения моделей. Интеграция с MongoDB обеспечивает масштабируемость и поддерживает современный поиск и агрегацию данных. MongoDB Atlas: Обновление API для улучшенного опыта

В статье рассказывается об обновлённой версии API MongoDB Atlas, которая предлагает улучшение взаимодействия для разработчиков, предсказуемость изменений и поддержку OAuth2.0. Новая версия также включает обновлённый Go SDK, облегчающий работу с API, и дает более гибкие и минимально прерывающие процессы миграции.

Читать подробнее

#en

@database_design | Другие наши каналы
Эксплуатация Stateful-приложений в Kubernetes на примере баз данных в Авито

Привет! Меня зовут Игорь Конев, я — старший инженер команды DBaaS в Авито. В этой статье я рассказываю о нашем подходе к работе Stateful-приложений в k8s на примере DBaaS и о том, как удалось автоматизировать жизненный цикл баз данных у нас в Авито. Статья будет полезна новичкам, которые не работали в Kubernetes, не сталкивались с менеджментом Stateful-приложений или хотели бы массово разворачивать базы данных в Kubernetes.


Читать: https://habr.com/ru/companies/avito/articles/881728/

#ru

@database_design | Другие наши каналы
Эксплуатация Stateful-приложений в Kubernetes на примере баз данных в Авито

Привет! Меня зовут Игорь Конев, я — старший инженер команды DBaaS в Авито. В этой статье я рассказываю о нашем подходе к работе Stateful-приложений в k8s на примере DBaaS и о том, как удалось автоматизировать жизненный цикл баз данных у нас в Авито. Статья будет полезна новичкам, которые не работали в Kubernetes, не сталкивались с менеджментом Stateful-приложений или хотели бы массово разворачивать базы данных в Kubernetes.


Читать: https://habr.com/ru/companies/avito/articles/881728/

#ru

@database_design | Другие наши каналы
EDA of dataset Python

Привет, Хабр!

Аналитики данных часто сталкиваются с грязными данными, которые могут существенно замедлить процесс анализа. Грязны данные – это пропущенные значения, дубликаты, неконсистентные данные. Пропущенные значения заставляют нас гадать, что же было замыслено нашим коллегой; дубликаты вводят в заблуждение, умножая одно и то же на количество их копий, а неконсистентные данные заставляют нас сомневаться в каждой цифре.

Очищать грязные данные можно c Pandas. Рассмотрим основные методы.


Читать: https://habr.com/ru/articles/882588/

#ru

@database_design | Другие наши каналы
Выбираем решение для NoSQL

Современные приложения требуют высокой скорости работы с данными, гибкости и масштабируемости — но реляционные базы данных не всегда соответствуют этим требованиям. NoSQL-решения предлагают альтернативные подходы к хранению информации, оптимизированные под разные задачи: от аналитики в реальном времени до работы с распределёнными системами. В этой статье мы разберём ключевые принципы NoSQL, сравним популярные базы данных и выясним, как выбрать оптимальное решение в зависимости от ваших потребностей.


Читать: https://habr.com/ru/companies/otus/articles/882598/

#ru

@database_design | Другие наши каналы
Данные на льду: как Apache Iceberg перевернул мир аналитических систем

Вы когда-нибудь ловили себя на мысли, что ваш Data Lake больше похож на черный ящик, чем на систему хранения? Дубли, потерянные версии, медленные запросы — вместо четкой структуры хаос, который только растет. Добро пожаловать в реальность работы с Parquet, ORC и классическими подходами к хранению данных. Они неплохи, но не умеют версионировать, оптимизировать и управлять транзакциями так, как это действительно нужно.

И вот появляется Apache Iceberg — файловый формат, который уже используют в Netflix, Apple, LinkedIn и Stripe для хранения петабайтов данных с минимальными издержками на поддержку. Но что делает его таким особенным? Почему его называют «Data Lake без боли»? И самое главное — как заставить Apache Iceberg работать на вас? Давайте разбираться.

Читать: https://habr.com/ru/companies/selectel/articles/875472/

#ru

@database_design | Другие наши каналы
Телеграм-бот для бронирования столов на вебхуках: FastAPI, Aiogram Dialog, FastStream и RabbitMQ в единой экосистеме

В этой статье мы создадим функционального Telegram-бота для бронирования столиков в ресторане «Binary Bites» с использованием современных Python-инструментов. Бот будет работать через вебхуки, взаимодействовать с брокером сообщений RabbitMQ и поддерживать фоновое выполнение задач с помощью FastStream и APScheduler.

Проект объединит FastAPI, SQLAlchemy, Alembic, Uvicorn и другие библиотеки, обеспечивая гибкость и масштабируемость. Готовый бот позволит пользователям бронировать столики, просматривать и отменять брони, а администраторам — управлять заказами.


Читать: https://habr.com/ru/companies/amvera/articles/882878/

#ru

@database_design | Другие наши каналы
Фотохостинг со сквозным шифрованием

Опенсорсный криптофотохостинг Ente Photos, десктопное приложение и мобильный клиент

Когда запустился YouTube, люди спокойно публиковали там трогательные приватные видео. Сегодня никому в голову не придёт выкладывать такое в открытый доступ. Времена сильно изменились. То же относится к фотографиям.

Во-первых, с массовым профилированием пользователей ценность пользовательских файлов сильно возросла. Во-вторых, профилированием занимаются алгоритмы машинного обучения, которые извлекают массу ценной информации из личных фотографий. И самое неприятное, что эти алгоритмы ИИ обучаются на наших фотографиях.

Не говоря уже о том, что среди фотографий могут быть очень личные, которые вообще нежелательно никому видеть, кроме самых близких людей.


Читать: https://habr.com/ru/companies/globalsign/articles/883038/

#ru

@database_design | Другие наши каналы
Практики OLS: единая точка правды становится еще более универсальной

Корпоративные практики BI отличаются тем, что единое хранилище данных позволяет самым разным сотрудникам — от рядовых специалистов до ТОП-менеджеров — получать нужную информацию и анализировать ее для принятия верных решений. Но это становится возможным только в том случае, если можно гарантировать, что каждый пользователь получит доступ только к данным, которые он имеет право видеть. О том, как этот подход работает на уровне объектов, и в чем разница между RLS и OLS, читайте под катом.


Читать: https://habr.com/ru/companies/visiology/articles/883628/

#ru

@database_design | Другие наши каналы
Знакомство с pgpro-otel-collector

Всем привет, после публичного релиза pgpro-otel-collector, хочется продолжить рассказывать про инструмент и начать с серии постов про Коллектор. В этой серии постараюсь подробнее и на примерах познакомить читателя с коллектором и продемонстрировать сценарии использования. Рассказывать буду и про коллектор, и про разные вещи связанные с настройкой/мониторингом Postgres. Рассчитываю что посты будут полезны Linux администраторам, PostgreSQL DBA и тем кому интересен мониторинг Postgres.

Первый пост ознакомительный, в нем расскажу как установить, настроить и запустить коллектор. И конечно же, как посмотреть что-то что отдает коллектор и начнем мы с метрик Postgres.


Читать: https://habr.com/ru/companies/postgrespro/articles/883632/

#ru

@database_design | Другие наши каналы
👍2
Революция в здравоохранении с MongoDB и Microsoft

Microsoft и MongoDB трансформируют здравоохранение, объединяя инновации AI и данные, чтобы улучшить диагностику и уход за пациентами. Решение "Leafy Hospital" демонстрирует, как интеграция MongoDB Atlas и технологий Microsoft может усовершенствовать диагностику рака груди. Раскройте потенциал данных с WhyHow.AI и MongoDB

WhyHow.AI использует MongoDB для создания знания с помощью графов, преодолевая ограничения традиционных систем. Интеграция различных данных и расширенные возможности поиска делают платформу мощной основой для управления данными в сфере ИИ. Узнайте больше на нашем AI Learning Hub.

Читать подробнее

#en

@database_design | Другие наши каналы
Dagster: новый стандарт для ETL в 2025?

Мы живем в век данных и data-driven подхода. Есть продуктовые компании, где даже минимальные изменения в продукте обязаны пройти A/B-тест перед релизом (который из-за этого может и не состояться). С бумом данных и AI произошел и бум ETL (Extract, Transform, Load) инструментов. Сейчас, в 2024 году, выбор действительно впечатляет, даже если ограничиться только open source-решениями:


Читать: https://habr.com/ru/articles/883700/

#ru

@database_design | Другие наши каналы
Oracle признан лидером в трансляционных платформах

Oracle занял позицию лидера в отчете Forrester Wave по трансляционным платформам данных за Q4 2024. Компания уже доминирует на рынке корпоративных транзакций и расширяет свои возможности для операционных и аналитических нагрузок.

Читать подробнее

#en

@database_design | Другие наши каналы
BAIC Group внедряет MongoDB для развития Интернета автомобилей

BAIC Group, один из лидеров автопрома Китая, использует MongoDB для развития Интернета автомобилей (IoV). Это позволяет эффективно управлять огромными массивами данных, улучшая сервис и открывая новые бизнес-возможности. MongoDB обеспечивает надежность, масштабируемость и высокую производительность платформы. Революция в здравоохранении: MongoDB и Microsoft на страже диагностики

MongoDB и Microsoft объединились, чтобы трансформировать здравоохранение. Решение Leafy Hospital, основанное на MongoDB Atlas и Microsoft AI, улучшает диагностику рака молочной железы. Эти технологии автоматизируют рабочие процессы и упрощают доступ к медицинским данным, повышая точность и эффективность лечения.

Читать подробнее

#en

@database_design | Другие наши каналы
DATABASE DESIGN
Photo
Революция в автоиндустрии с MongoDB и Алибаба

Сеть автомобильного интернета от Бэйци использует MongoDB на базе облака Alibaba для обработки огромных потоков данных. Это решение повышает эффективность, обеспечивая масштабируемость и скорость обработки информации. Новый подход меняет подход к управлению данными в автомобилях. 🔍 MongoDB: Надежная платформа для данных в автоиндустрии

MongoDB обеспечивает высокую доступность и безопасность данных в автомобильных системах. Благодаря своим характеристикам, таким как кластеризация и высокие стандарты безопасности, платформа поддерживает надежность автооблачных сервисов на уровне 99.99%. MongoDB полностью удовлетворяет требованиям регулирования данных. Революция в здравоохранении с MongoDB и Microsoft AI

Текст: Здравоохранение стоит на пороге изменений благодаря данным и ИИ. MongoDB и Microsoft объединили усилия для создания передовых решений в диагностике рака груди. Их технологии помогают улучшать диагностику, автоматизировать рабочие процессы и предоставлять качественный уход за пациентами.

Читать подробнее

#en

@database_design | Другие наши каналы
Автоматизированное документирование баз данных на Markdown

В работе с базами данных ключевым аспектом является не только отслеживание изменений в их структуре, но и подробная документация таблиц и их полей. Это особенно важно для проектов с быстро изменяющейся архитектурой, где ясность и точность данных играют решающую роль. Например, в крупных веб-приложениях часто требуется фиксировать новые таблицы, обновления полей или удаление устаревших элементов.

Для решения данной задачи разработаны два PHP-скрипта, предназначенные для работы с PostgreSQL. Эти скрипты выполняют две основные функции:

1.  Сравнение старой и новой структуры базы данных с выявлением добавленных, удалённых и изменённых таблиц.

2.  Создание Markdown-документации, которая содержит подробное описание назначения таблиц и характеристик их полей, что делает изменения в структуре базы данных прозрачными для разработчиков.


Читать: https://habr.com/ru/companies/ppr/articles/883616/

#ru

@database_design | Другие наши каналы
Как мы обрабатываем аналитические данные с помощью Redpanda Connect

Привет, Хабр! Я Артём Чаадаев, бэкенд-разработчик в Туту. Я занимаюсь разработкой на языке Go в команде ассортимента размещения. Мы отвечаем за работу с контентом отелей и интеграции с поставщиками.

Периодически мы собираем данные для аналитики, и в таких задачах нужно реализовывать схему отправки данных в ClickHouse. В этой схеме мы преобразовываем данные с помощью Redpanda Connect. В статье покажу простой практический пример работы с этим инструментом, который должен помочь тем, кто только начинает его использовать. А еще расскажу про преимущества и проблемы, с которыми мы столкнулись при работе с Redpanda Connect.


Читать: https://habr.com/ru/companies/tuturu/articles/883462/

#ru

@database_design | Другие наши каналы
Go-разработчик 2025: что нужно знать на каждом грейде

Даниил Динько, тимлид в компании-лидере в международном кибербезе и эксперт Эйч Навыки, собрал стартер-паки для Go-разработчика каждого уровня.

Читать: «Go-разработчик 2025: что нужно знать на каждом грейде»

#ru

@database_design | Другие наши каналы
Оптимизация JOIN в PostgreSQL

Хотите ускорить работу сложных SQL-запросов в PostgreSQL? 🚀В этой статье мы разберем, как правильно использовать JOIN, какие методы соединения выбирает PostgreSQL и как их оптимизировать. Узнайте, как индексы, статистика и параметры конфигурации влияют на производительность! 🔥


Читать: https://habr.com/ru/articles/883916/

#ru

@database_design | Другие наши каналы