DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Фотохостинг со сквозным шифрованием

Опенсорсный криптофотохостинг Ente Photos, десктопное приложение и мобильный клиент

Когда запустился YouTube, люди спокойно публиковали там трогательные приватные видео. Сегодня никому в голову не придёт выкладывать такое в открытый доступ. Времена сильно изменились. То же относится к фотографиям.

Во-первых, с массовым профилированием пользователей ценность пользовательских файлов сильно возросла. Во-вторых, профилированием занимаются алгоритмы машинного обучения, которые извлекают массу ценной информации из личных фотографий. И самое неприятное, что эти алгоритмы ИИ обучаются на наших фотографиях.

Не говоря уже о том, что среди фотографий могут быть очень личные, которые вообще нежелательно никому видеть, кроме самых близких людей.


Читать: https://habr.com/ru/companies/globalsign/articles/883038/

#ru

@database_design | Другие наши каналы
Практики OLS: единая точка правды становится еще более универсальной

Корпоративные практики BI отличаются тем, что единое хранилище данных позволяет самым разным сотрудникам — от рядовых специалистов до ТОП-менеджеров — получать нужную информацию и анализировать ее для принятия верных решений. Но это становится возможным только в том случае, если можно гарантировать, что каждый пользователь получит доступ только к данным, которые он имеет право видеть. О том, как этот подход работает на уровне объектов, и в чем разница между RLS и OLS, читайте под катом.


Читать: https://habr.com/ru/companies/visiology/articles/883628/

#ru

@database_design | Другие наши каналы
Знакомство с pgpro-otel-collector

Всем привет, после публичного релиза pgpro-otel-collector, хочется продолжить рассказывать про инструмент и начать с серии постов про Коллектор. В этой серии постараюсь подробнее и на примерах познакомить читателя с коллектором и продемонстрировать сценарии использования. Рассказывать буду и про коллектор, и про разные вещи связанные с настройкой/мониторингом Postgres. Рассчитываю что посты будут полезны Linux администраторам, PostgreSQL DBA и тем кому интересен мониторинг Postgres.

Первый пост ознакомительный, в нем расскажу как установить, настроить и запустить коллектор. И конечно же, как посмотреть что-то что отдает коллектор и начнем мы с метрик Postgres.


Читать: https://habr.com/ru/companies/postgrespro/articles/883632/

#ru

@database_design | Другие наши каналы
👍2
Революция в здравоохранении с MongoDB и Microsoft

Microsoft и MongoDB трансформируют здравоохранение, объединяя инновации AI и данные, чтобы улучшить диагностику и уход за пациентами. Решение "Leafy Hospital" демонстрирует, как интеграция MongoDB Atlas и технологий Microsoft может усовершенствовать диагностику рака груди. Раскройте потенциал данных с WhyHow.AI и MongoDB

WhyHow.AI использует MongoDB для создания знания с помощью графов, преодолевая ограничения традиционных систем. Интеграция различных данных и расширенные возможности поиска делают платформу мощной основой для управления данными в сфере ИИ. Узнайте больше на нашем AI Learning Hub.

Читать подробнее

#en

@database_design | Другие наши каналы
Dagster: новый стандарт для ETL в 2025?

Мы живем в век данных и data-driven подхода. Есть продуктовые компании, где даже минимальные изменения в продукте обязаны пройти A/B-тест перед релизом (который из-за этого может и не состояться). С бумом данных и AI произошел и бум ETL (Extract, Transform, Load) инструментов. Сейчас, в 2024 году, выбор действительно впечатляет, даже если ограничиться только open source-решениями:


Читать: https://habr.com/ru/articles/883700/

#ru

@database_design | Другие наши каналы
Oracle признан лидером в трансляционных платформах

Oracle занял позицию лидера в отчете Forrester Wave по трансляционным платформам данных за Q4 2024. Компания уже доминирует на рынке корпоративных транзакций и расширяет свои возможности для операционных и аналитических нагрузок.

Читать подробнее

#en

@database_design | Другие наши каналы
BAIC Group внедряет MongoDB для развития Интернета автомобилей

BAIC Group, один из лидеров автопрома Китая, использует MongoDB для развития Интернета автомобилей (IoV). Это позволяет эффективно управлять огромными массивами данных, улучшая сервис и открывая новые бизнес-возможности. MongoDB обеспечивает надежность, масштабируемость и высокую производительность платформы. Революция в здравоохранении: MongoDB и Microsoft на страже диагностики

MongoDB и Microsoft объединились, чтобы трансформировать здравоохранение. Решение Leafy Hospital, основанное на MongoDB Atlas и Microsoft AI, улучшает диагностику рака молочной железы. Эти технологии автоматизируют рабочие процессы и упрощают доступ к медицинским данным, повышая точность и эффективность лечения.

Читать подробнее

#en

@database_design | Другие наши каналы
DATABASE DESIGN
Photo
Революция в автоиндустрии с MongoDB и Алибаба

Сеть автомобильного интернета от Бэйци использует MongoDB на базе облака Alibaba для обработки огромных потоков данных. Это решение повышает эффективность, обеспечивая масштабируемость и скорость обработки информации. Новый подход меняет подход к управлению данными в автомобилях. 🔍 MongoDB: Надежная платформа для данных в автоиндустрии

MongoDB обеспечивает высокую доступность и безопасность данных в автомобильных системах. Благодаря своим характеристикам, таким как кластеризация и высокие стандарты безопасности, платформа поддерживает надежность автооблачных сервисов на уровне 99.99%. MongoDB полностью удовлетворяет требованиям регулирования данных. Революция в здравоохранении с MongoDB и Microsoft AI

Текст: Здравоохранение стоит на пороге изменений благодаря данным и ИИ. MongoDB и Microsoft объединили усилия для создания передовых решений в диагностике рака груди. Их технологии помогают улучшать диагностику, автоматизировать рабочие процессы и предоставлять качественный уход за пациентами.

Читать подробнее

#en

@database_design | Другие наши каналы
Автоматизированное документирование баз данных на Markdown

В работе с базами данных ключевым аспектом является не только отслеживание изменений в их структуре, но и подробная документация таблиц и их полей. Это особенно важно для проектов с быстро изменяющейся архитектурой, где ясность и точность данных играют решающую роль. Например, в крупных веб-приложениях часто требуется фиксировать новые таблицы, обновления полей или удаление устаревших элементов.

Для решения данной задачи разработаны два PHP-скрипта, предназначенные для работы с PostgreSQL. Эти скрипты выполняют две основные функции:

1.  Сравнение старой и новой структуры базы данных с выявлением добавленных, удалённых и изменённых таблиц.

2.  Создание Markdown-документации, которая содержит подробное описание назначения таблиц и характеристик их полей, что делает изменения в структуре базы данных прозрачными для разработчиков.


Читать: https://habr.com/ru/companies/ppr/articles/883616/

#ru

@database_design | Другие наши каналы
Как мы обрабатываем аналитические данные с помощью Redpanda Connect

Привет, Хабр! Я Артём Чаадаев, бэкенд-разработчик в Туту. Я занимаюсь разработкой на языке Go в команде ассортимента размещения. Мы отвечаем за работу с контентом отелей и интеграции с поставщиками.

Периодически мы собираем данные для аналитики, и в таких задачах нужно реализовывать схему отправки данных в ClickHouse. В этой схеме мы преобразовываем данные с помощью Redpanda Connect. В статье покажу простой практический пример работы с этим инструментом, который должен помочь тем, кто только начинает его использовать. А еще расскажу про преимущества и проблемы, с которыми мы столкнулись при работе с Redpanda Connect.


Читать: https://habr.com/ru/companies/tuturu/articles/883462/

#ru

@database_design | Другие наши каналы
Go-разработчик 2025: что нужно знать на каждом грейде

Даниил Динько, тимлид в компании-лидере в международном кибербезе и эксперт Эйч Навыки, собрал стартер-паки для Go-разработчика каждого уровня.

Читать: «Go-разработчик 2025: что нужно знать на каждом грейде»

#ru

@database_design | Другие наши каналы
Оптимизация JOIN в PostgreSQL

Хотите ускорить работу сложных SQL-запросов в PostgreSQL? 🚀В этой статье мы разберем, как правильно использовать JOIN, какие методы соединения выбирает PostgreSQL и как их оптимизировать. Узнайте, как индексы, статистика и параметры конфигурации влияют на производительность! 🔥


Читать: https://habr.com/ru/articles/883916/

#ru

@database_design | Другие наши каналы
Отказоустойчивость Postgres Pro Enterprise для 1С

Настройка отказоустойчивого кластера PostgreSQL для «1С:Предприятие» — задача для опытных специалистов. Ручное или автоматическое переключение на резервный сервер? Сколько реплик действительно необходимо для надёжной отказоустойчивости? Сертифицированный эксперт по PostgreSQL Алексей Васильев делится практическими знаниями и пошаговыми инструкциями по развёртыванию отказоустойчивого решения на базе Postgres Pro Enterprise с использованием BiHA.


Читать: https://habr.com/ru/companies/postgrespro/articles/883946/

#ru

@database_design | Другие наши каналы
Трансформация платформы данных: от пары кубов до хранилища > 30 Тб и 1000 ETL-процессов

Привет, Хабр! Меня зовут Наталья Горлова, я архитектор данных. Несколько лет назад мы в CDEK поняли, что продукты, на которых работало хранилище, перестали нас устраивать: не устраивала гибкость разработки и скорость поставки данных. C тех пор произошло множество изменений, которыми хочется поделиться с сообществом.

Расскажу, как платформа данных развивалась, и к чему мы пришли на конец 2024 года. Эта статья — ретроспектива моей почти шестилетней работы и текущих реалий нашей платформы данных.


Читать: https://habr.com/ru/companies/cdek_blog/articles/881618/

#ru

@database_design | Другие наши каналы
Оптимизация производства с помощью AI

Технологии AI открывают новые горизонты в производстве. Мультиагентные системы, описанные в блоге MongoDB, помогают улучшить эффективность операций, объединяя несколько AI-агентов. Эти системы могут предсказывать поломки оборудования, оптимизировать процессы и контролировать качество продукции. Узнайте больше об их возможностях на сайте MongoDB.

Читать подробнее

#en

@database_design | Другие наши каналы
SIGNAL 11 или как спасти Percona MySQL-сервер от спонтанных перезагрузок

Привет, Хабр! Меня зовут Артем Майоров, я администратор баз данных в компании MONS (КОРУС Консалтинг).
Расскажу, как мы не дали упасть больше 100 ПВЗ России благодаря спасению Percona
MySQL-сервера.
Подробнее, как это сделать и почему вообще его пришлось спасать, я рассказал в тексте!


Читать: https://habr.com/ru/companies/korus_consulting/articles/884316/

#ru

@database_design | Другие наши каналы
Вашей компании нужен этот сотрудник: объясняю, почему в 2025 нельзя не назначить ответственного за работу с ПД

Не разбрасывайте по офису флешки с персональными данными сотрудников и клиентов, обновляйте политику конфиденциальности и пользуйтесь российскими серверами.

Сегодня копилочку ваших знаний о работе с ПД пополнят еще несколько важных мыслей. Речь пойдет не о бездушных серверах и устройствах, а о людях – тех, кто должен работать с информацией.
Узнать, кто вправе работать с ПД в 2025 г.

Читать: https://habr.com/ru/articles/884466/

#ru

@database_design | Другие наши каналы
Важность векторных баз данных в AI

Векторные базы данных становятся ключевым элементом AI-архитектур. Популярность именно мультимодельных баз данных объясняется их способностью эффективно обрабатывать разноформатные данные, что улучшает качество и скорость работы AI-систем. Узнайте больше о причинах этого тренда.

Читать подробнее

#en

@database_design | Другие наши каналы
Обновление PostgreSQL с кластером отката

Зачастую, предлагая обновить PostgreSQL, подразумевается условный прыжок веры на более новую версию без варианта быстрого отката на предыдущую версию без потери данных. А что если...


Читать: https://habr.com/ru/articles/884828/

#ru

@database_design | Другие наши каналы
PostgreSQL Connection Pooling: Наш опыт и с чем его едят

Как обеспечить высокую производительность PostgreSQL и эффективно управлять соединениями? В этой статье мы разберёмся, как правильно настроить пул соединений, какие преимущества он даёт и как избежать распространённых ошибок. Делимся нашим опытом перехода с MongoDB на PostgreSQL и работы с пулом в Go с использованием pgx.


Читать: https://habr.com/ru/companies/hikasami/articles/884820/

#ru

@database_design | Другие наши каналы