DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.09K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Уже через год мы будем общаться с базами данных по-русски

По прогнозу Gartner, запросы на естественном языке вытеснят SQL уже в 2026 году. Возможно, прогноз Gartner чересчур оптимистичный, но если они и ошибаются, то только в сроках — сам переход на естественный язык в работе с БД неизбежен.


Читать: https://habr.com/ru/companies/postgrespro/articles/895436/

#ru

@database_design | Другие наши каналы
Можем ли мы хранить данные в ДНК?

Зеттабайт — это триллион гигабайт. Это очень много, но, по одной из оценок, в этом году человечество произведёт сто восемьдесят зеттабайт цифровых данных. Данные копятся: PowerPoints и селфи; видео, снятое камерами; электронные медицинские карты; данные, извлечённые из смарт-устройств или собранные телескопами и ускорителями частиц; резервные копии и резервные копии резервных копий. Куда всё это девать, сколько и как долго хранить? Эти вопросы не дают покоя учёным-компьютерщикам, управляющим мировыми хранилищами данных. Для них облако — это не клочок тумана, а физическая система, которую нужно создавать, оплачивать и обслуживать.

Эксперты по хранению данных говорят о температурной шкале данных. На одном конце находятся «горячие» данные — Википедия или ваш банковский баланс, — которые должны появляться на экране практически мгновенно. На другом — «холодные» данные, которые могут находиться в нескольких минутах или даже днях от кончиков ваших пальцев. «Тёплые» данные, расположенные посередине, например ваши старые фотографии, могут быть получены за несколько секунд. Большинство данных — «холодные», и многие из них, вероятно, можно стереть без последствий. Однако некоторые из них могут однажды оказаться критически важными, например, в уголовном деле, и их потенциальная ценность означает, что большая часть должна быть сохранена в целости и сохранности в течение неопределённого времени.


Читать: https://habr.com/ru/articles/895454/

#ru

@database_design | Другие наши каналы
Диспетчер паролей: как выбрать лучший

Несмотря на то, что использование паролей не является надежным методом аутентификации, они широко распространены при работе с различными сервисами и программами. Сегодня все больше пользователей сталкивается с необходимостью управлять десятками, а порой и сотнями паролей от различных сервисов. Хранить их в заметках, в личных сообщениях или в браузере не только неудобно, но и небезопасно. Чтобы решить данную проблему существуют специальные типы программ, которые помимо хранения обеспечивают защиту конфиденциальных данных предоставляя место, где они будут в безопасности. На рынке присутствуют десятки различных программ для администрирования паролей. Сегодня мы проведем подробный разбор программ для хранения паролей и разберем их основной функционал.


Читать: https://habr.com/ru/companies/timeweb/articles/895420/

#ru

@database_design | Другие наши каналы
Квиз: сможешь ли ты защитить приложение на PHP?

PHP — это мощный инструмент, но с ним легко наделать ошибок в безопасности. Ты уверен, что знаешь, как защитить свой код? Проверяй свои навыки в нашем квизе.

Читать: «Квиз: сможешь ли ты защитить приложение на PHP?»

#ru

@database_design | Другие наши каналы
Порядок следования столбцов в таблицах PostgreSQL

Порядок столбцов в таблицах влияет на компактность и производительность. При небольшом числе строк на это не обращают внимание. Если в таблицах хранится много строк, то даже небольшое уменьшение объема хранения может быть полезно. У столбцов есть оптимальный  порядок и менее оптимальные, которые отличаются размером, который используют строки при физическом хранении. Причина того, что переставив столбцы строки в таблице с теми же самыми данными, меняют размер в выравнивании (aligning) и заполнении нулями (padding). В блоке данных выравниваются все структуры: заголовки, поля строк и целиком сами строки.

На 64-разраядных операционных системах, длина любой строки и заголовка строки  выравниваются по 8 байт. То есть если строка занимает 28 байт, то физически она займёт 32 байта. В конец строки будут добавлены пустые байты. Поля выравниваются сложнее - по 4,8, 16 байт. В статье рассматривается перестановка столбцов на примере демонстрационной базы.


Читать: https://habr.com/ru/articles/895638/

#ru

@database_design | Другие наши каналы
Как перевести проект на Laravel: пошаговый план перехода

Как перевести проект на Laravel. Показываем основные преимущества использования Ларавел. Рассматриваем пошаговую инструкцию нюансы переноса Tproger

Читать: «Как перевести проект на Laravel: пошаговый план перехода»

#ru

@database_design | Другие наши каналы
👎1
Бинарный формат вместо текста

Как быстро, без боли и страданий организовать хранение структурированных данных в бинарном формате. А затем и их передачу при необходимости. А потом, немного подумав, ещё их обнаружение в «замусоренном» потоке.


Читать: https://habr.com/ru/articles/895902/

#ru

@database_design | Другие наши каналы
S3-совместимые хранилища: как собрать свой конструктор

В одном из больших кластеров S3 в Точке хранится 110 терабайт полезных данных. Это не много по объёму, но он распределён среди 6+ миллионов файлов. Стоимость работы системы оценивается более чем в миллион рублей в месяц — это с учётом фактора репликации, бэкапов, основной системы хранения и резерва ресурсов. Это пятое место по стоимости среди всех сервисов.

Мы выбрали SeaweedFS, потому что это удобный конструктор, который позволяет загружать файлы любого размера, легко масштабироваться без деградации скорости доступа и надёжно защищать данные от потерь. В статье рассказываю, каким должно быть идеальное S3-хранилище для миллионов файлов, и почему нам не подошли Ceph и Minio.


Читать: https://habr.com/ru/companies/tochka/articles/895180/

#ru

@database_design | Другие наши каналы
🆒1
Интеграция LangChainGo и MongoDB: новый этап в разработке AI-приложений на Go

MongoDB теперь интегрирован с LangChainGo, что упрощает создание приложений на Go, использующих крупные языковые модели (LLM). Эта интеграция облегчает процесс LLM, используя возможности MongoDB как векторной базы данных, оптимизируя производительность AI/ML решений. Узнайте больше об этой интеграции и возможностях LangChainGo в Go-экосистеме. Поддержка для будущих лидеров науки

Текст: Компания MongoDB открыла окно номинаций на PhD Fellowship Program 2026. Если вы студент с инновационными идеями, не упустите возможность получить поддержку для вашего исследования. Подробности о программе и подаче заявок доступны на странице программы.

Читать подробнее

#en

@database_design | Другие наши каналы
Новые возможности в Oracle Autonomous Health Framework

Oracle обновил свой Autonomous Health Framework до версии 25.3. Теперь пользователи могут детально изучать события, вызывающие диагностические сборы, получать более глубокие ASM Insights, проводить анализ различий низкой памяти в Orachk CHM и применять новые проверки лучших практик.

Читать подробнее

#en

@database_design | Другие наши каналы
MariaDB выпускает новые версии Java Connector

MariaDB объявила о выпуске версий Java Connector 3.5.3, 3.4.2 и 3.3.4. Узнайте об изменениях и особенностях обновлений в релизных примечаниях и журнале изменений. Подробности доступны на сайте MariaDB.

Читать подробнее

#en

@database_design | Другие наши каналы
«Код как по нотам? Не с ИИ-копилотом»: senior рассказал о реальной работе с ИИ-помощниками

Senior-разработчик объяснил, почему ИИ-помощники не заменят программистов: они ускоряют рутину, но не отвечают за архитектуру и защиту

Читать: ««Код как по нотам? Не с ИИ-копилотом»: senior рассказал о реальной работе с ИИ-помощниками»

#ru

@database_design | Другие наши каналы
Менеджер закладок на своём сервере

Хранить тысячи закладок в браузере — совершенно неблагодарная задача. Там отсутствуют даже офлайн-предпросмотр и автоматические теги, не говоря о полнотекстовом поиске и автоматическом скачивании/архивировании по RSS.

Для нормального управления закладками нужно специализированное решение. Тут много вариантов, а одно из лучших — это опенсорсное приложение Hoarder («Копилка информации»). Оно устанавливается на сервер и выступает единой БД для доступа из любых клиентов: Android, iOS, Chrome, Firefox и т. д.

Рассмотрим базовые функции этого приложения и как установить его на машине, где хранится личный информационный архив. Это может быть или домашний сервер, или VPS.

Читать: https://habr.com/ru/companies/ruvds/articles/896082/

#ru

@database_design | Другие наши каналы
Отказоустойчивость в MinIO

Simple Storage Service или S3 — сервис (и одновременно протокол) для хранения данных большого объёма. Для работы использует API поверх HTTP, который позволяет загружать или получать объекты из хранилища.

В проектах с приватной инфраструктурой часто возникает потребность в организации on-premise S3-хранилища. Популярное решение в таком случае это MinIO — удобная и довольно простая в использовании реализация сервиса S3.  Когда нам в RUTUBE потребовалось S3, мы не стали долго думать и взяли MinIO, потому что он стильный, модный, молодежный хорошо себя зарекомендовал на рынке, хорошо документирован и прост в первоначальной настройке и эксплуатации.

В этой статье поделюсь своим опытом использования MinIO, сделав акцент на отказоустойчивости и сохранности данных в случае инцидентов разной степени — от выпадения диска до пожара в цоде.


Читать: https://habr.com/ru/companies/habr_rutube/articles/895286/

#ru

@database_design | Другие наши каналы
Шардированный кластер ClickHouse

Хочу рассказать, как спроектированы распределённые вычисления в ClickHouse. Вы узнаете, на что влияет схема кластера (и на что не влияет). Расскажу, как можно на ровном месте создать себе проблему при помощи всего одной таблицы Kafka и нескольких матвьюх. Поделюсь опытом про дебаг и оптимизацию SELECT-запросов к Distributed таблицам: поизучаем планы выполнения и поэксперементируем с настройками в блоке SETTINGS.


Читать: https://habr.com/ru/companies/wildberries/articles/896060/

#ru

@database_design | Другие наши каналы
Как взламывают базы данных: разбор кейсов и типичных ошибок компаний

Базы данных (БД) – это настоящие клады, где хранятся персональные данные, финансовые отчеты, коммерческие тайны и иная чувствительная информация. Поэтому неудивительно, что компании любых размеров – от стартапов до гигантов вроде Sony и Tesla – регулярно становятся жертвами атак, направленных именно на взлом БД.

Последствия таких атак могут быть катастрофическими: от миллионных штрафов и судебных разбирательств до серьёзного урона репутации. Но ирония в том, что в большинстве случаев взломы происходят не из-за гениальности хакеров, а из-за банальных ошибок самих компаний. Разберём самые распространённые уязвимости.


Читать: https://habr.com/ru/articles/896918/

#ru

@database_design | Другие наши каналы
1
MongoDB 8.0: Новый уровень производительности!

MongoDB 8.0 стал наиболее производительной версией благодаря улучшениям, снижая время чтения на 36% по сравнению с 7.0. Благодаря "тигра-команде" инженеры обеспечили большие достижения через оптимизацию простых запросов и методику репликации. Подробнее о новых возможностях и усовершенствованиях на официальной странице MongoDB. MongoDB и открытые финансы: интеграция и преимущества

Текст поста: Открытые финансы предлагают банкам и клиентам уникальные возможности. Благодаря своей гибкости, MongoDB позволяет агрегировать финансовые данные из различных источников, обеспечивая безопасность и адаптивность в динамичных экосистемах. Узнайте о том, как MongoDB может поддержать ваш переход к открытым финансам.

Читать подробнее

#en

@database_design | Другие наши каналы
Новый релиз MariaDB Connector/Node.js 3.4.1

Вышла стабильная версия (GA) MariaDB Connector/Node.js 3.4.1. Узнайте о заметных изменениях в свежем релизе и скачайте его на официальном сайте MariaDB. Подробности и загрузка доступны по ссылке на сайте MariaDB.

Читать подробнее

#en

@database_design | Другие наши каналы
Единое пространство данных: почему MongoDB — идеальное решение

В статье рассматривается, как единое пространство данных (UNS) трансформирует умное производство, объединяя разрозненные системы в единое целое. MongoDB, с его гибкой архитектурой на основе документов, идеально подходит для этой задачи, обеспечивая масштабируемость и доступность данных в режиме реального времени.

Читать подробнее

#en

@database_design | Другие наши каналы
Neo4j. Графовая СУБД для RAG и не только

Графовые СУБД, пожалуй, одни из самых специализированных хранилищ, существующих на корпоративном рынке. Neo4j при этом яркий представитель этой категории.

C Neo4j я познакомился ещё в далеком 2018-м году, в рамках задачи создания более приятной системы корпоративных знаний чем классические Wiki (некий такой корпоративный Obsidian), ну или основные его части. Это сейчас вы можете радоваться всем благам цивилизации, а в то далёкое время нам надо было очень внимательно относиться к структуре корпоративной базы знаний, т.к. даже поисковые алгоритмы часто оставляли желатель лучшего. Никакого вам ранжирования статей в выдаче по просмотрам и времени создания.

Но вцелом с точки зрения базы знаний даже текущие варианты Wiki с ранжированием статей, отображением связанных, последних просмотренных, которые смотрят вместе и т.п. всё равно не решает вопрос оперативного поиска информации. А вот граф - уже другая история. Использовали Obsidian? Понравилось представление информации связаннх заметок? Особенно если качественно проставлять связи. Собсвтенно именно таким образом мы обычно и оперируем информацией. Табличная модель конечно удобна, но несколько более синтетическая история, которую придумали чтобы упростить себе жизнь, потому как оперировать графами технически всё-таки более сложная история.


Читать: https://habr.com/ru/articles/896626/

#ru

@database_design | Другие наши каналы
Neo4j. Графовая СУБД для RAG и не только

Графовые СУБД, пожалуй, одни из самых специализированных хранилищ, существующих на корпоративном рынке. Neo4j при этом яркий представитель этой категории.

C Neo4j я познакомился ещё в далеком 2018-м году, в рамках задачи создания более приятной системы корпоративных знаний чем классические Wiki (некий такой корпоративный Obsidian), ну или основные его части. Это сейчас вы можете радоваться всем благам цивилизации, а в то далёкое время нам надо было очень внимательно относиться к структуре корпоративной базы знаний, т.к. даже поисковые алгоритмы часто оставляли желатель лучшего. Никакого вам ранжирования статей в выдаче по просмотрам и времени создания.

Но вцелом с точки зрения базы знаний даже текущие варианты Wiki с ранжированием статей, отображением связанных, последних просмотренных, которые смотрят вместе и т.п. всё равно не решает вопрос оперативного поиска информации. А вот граф - уже другая история. Использовали Obsidian? Понравилось представление информации связаннх заметок? Особенно если качественно проставлять связи. Собсвтенно именно таким образом мы обычно и оперируем информацией. Табличная модель конечно удобна, но несколько более синтетическая история, которую придумали чтобы упростить себе жизнь, потому как оперировать графами технически всё-таки более сложная история.


Читать: https://habr.com/ru/articles/896626/

#ru

@database_design | Другие наши каналы