DATABASE DESIGN – Telegram
DATABASE DESIGN
1.41K subscribers
2.08K photos
3 videos
5.35K links
Лучшие материалы по работе с хранилищами данных на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Другие наши проекты: https://tprg.ru/media
Download Telegram
Oracle RAC в облаке: максимум возможностей

Как Oracle RAC помогает современным компаниям в облаке? Технология обеспечивает высокую доступность и масштабируемость баз данных, позволяя запускать их на нескольких серверах одновременно. Узнайте, как использовать эти преимущества в облачной среде.

Читать подробнее

#en

@database_design | Другие наши каналы
Итоги 2024 года для Oracle Database в облаке

2024 год стал важным для Oracle Database в облаке благодаря множеству новаторских объявлений. Подводим итоги года и готовимся к ещё более впечатляющим инновациям в 2025 году. Ознакомьтесь с ключевыми событиями года и ожидайте новых достижений!

Читать подробнее

#en

@database_design | Другие наши каналы
Рынок дата-инженеров и прогноз на 2025

В этой статье вы сможете узнать в каком состоянии находится рынок дата-инженеров в 2024-ом и что с ним будет в 2025-ом.


Читать: https://habr.com/ru/articles/864780/

#ru

@database_design | Другие наши каналы
Раскрыто дело о тайных пациентах медицинских компаний

Медицинские компании, помимо приёма пациентов, должны качественно и безопасно хранить все данные, связанные с лечением, осмотрами и процедурами. От этого зависит не только имидж, но и лицензия организации.


Читать: https://habr.com/ru/articles/868290/

#ru

@database_design | Другие наши каналы
Переход на новую архитектуру проекта: как это влияет на надежность стриминга web-данных

Предположим, что перед вашей командой стоит задача по поиску надежного стриминга web и app данных, который бы соответствовал требованиям службы безопасности, ожиданиям отделов маркетинга и аналитики, а также был бы полезен для управляющей команды. Не менее важно удобство и прозрачность работы стриминга, а внесение изменений в ожидаемый результат, желательно, без привлечения дополнительного ресурса аналитиков и разработчиков.


Читать: https://habr.com/ru/articles/868358/

#ru

@database_design | Другие наши каналы
👍2
Обновление прошивки Toshiba NAS HDD под Linux



Я произвёл реверс-инжиниринг модуля обновления прошивки своего HDD Toshiba, чтобы иметь возможность обновлять её под Linux. Приведённые ниже команды должны работать, но используйте их на свой страх и риск:

"$ wget https://www.canvio.jp/en/support/download/hdd/ot_ihdd/fw/ISFw.dat
$ grep -C2 MODELNAME ISFw.dat
# ^
# |___ здесь определяем нужное имя файла
$ wget https://www.canvio.jp/en/support/download/hdd/ot_ihdd/fw/sk060202.ftd
# hdparm --fwdownload-mode3 sk060202.ftd /dev/sdX"

Предыстория

Недавно я приобрёл для своего NAS диск Toshiba HDWG480 HDD. Вот вывод команды "hdparm -I /dev/XXX":

"ATA device, with non-removable media
Model Number: TOSHIBA HDWG480
Serial Number: 3430A00RFR0H
Firmware Revision: 0601
Transport: Serial, ATA8-AST, SATA 1.0a, SATA II Extensions, SATA Rev 2.5, SATA Rev 2.6, SATA Rev 3.0
Standards:
Used: unknown (minor revision code 0x006d)
Supported: 10 9 8 7 6 5
Likely used: 10
[...]"
Как обычно, я хотел проверить, есть ли для него доступные обновления прошивки. На сайте Toshiba для моей модели приводится версия "0602".

К сожалению, и вполне ожидаемо, для пользователей Linux возможности обновления нет. Производитель предоставляет лишь «Internal Storage Firmware Update Utility» для Windows.

Сами файлы обновления также отсутствуют.

Читать: https://habr.com/ru/companies/ruvds/articles/867898/

#ru

@database_design | Другие наши каналы
Мы ускорили JOIN в ClickHouse… в 100 раз

Недавно мы представили два новых пул-реквеста в ClickHouse, которые будут доступны в ClickHouse 24.4. Эти изменения повышают производительность JOIN'ов во многих производственных сценариях, в некоторых случаях увеличивая скорость выполнения запросов на несколько порядков.


Читать: https://habr.com/ru/companies/otus/articles/868436/

#ru

@database_design | Другие наши каналы
Харденинг баз данных

Сейчас любое сколько-нибудь серьезное приложение нуждается в базе данных для хранения информации. СУБД позволяет сохранять данные, оперативно находить и извлекать то, что нужно с помощью запросов. Но для того, чтобы наши данные в базе хранились в безопасности необходимо не просто установить и настроить необходимое ПО, но выполнить харденинг – безопасную настройку СУБД.

В рамках данной статьи мы не будем концентрироваться на какой-то конкретной СУБД, а посмотрим те советы, которые подойдут любой базе данных.


Читать: https://habr.com/ru/companies/otus/articles/866810/

#ru

@database_design | Другие наши каналы
Seagate представляет 32 ТБ накопитель для пользователей: технология HAMR идет в массы

Не так давно мы писали об анонсе жестких дисков нового типа от Seagate. Их особенность — сверхвысокая плотность хранения данных. Сейчас американская компания Seagate таки выпустила жесткий диск Exos M емкостью 32 ТБ — рекордной для потребительских HDD.

Высокой плотности записи удалось добиться при помощи технологии HAMR, при которой область записи нагревается при помощи лазера. Это перспективная разработка, которая позволит и дальше наращивать емкость HDD. Правда, у нее есть конкурент в лице технологии MAMR с использованием магнитных полей.


Читать: https://habr.com/ru/companies/selectel/articles/868396/

#ru

@database_design | Другие наши каналы
Расцвет скоростей в сетях ЦОД: 400GbE уже мейнстрим или совсем мало?

Привет! Меня зовут Михаил Шпак, я занимаюсь комплексной архитектурой технологических решений в сетевой части ИТ-холдинга Fplus, который выпускает широкий спектр высокотехнологичных электронных устройств. В данной статье я хочу показать, как за последние 5 лет требования современного бизнеса и развитие ресурсоемких приложений (искусственного интеллекта, поисковых систем, мобильной связи стандарта 5G и т.д.) изменили требования к архитектуре, скорости и отзывчивости сетей, используемых в центрах обработки данных. Давайте разберемся, какие комплексные технологические решения заставляют нас ускоряться, а где можно использовать старые наработки и отточенные десятилетиями практики.


Читать: https://habr.com/ru/companies/fplus_tech/articles/868850/

#ru

@database_design | Другие наши каналы
Tarantool CDC. Жизнь данных в гетерогенной среде

Часто в распределенных ИТ-ландшафтах компании используют несколько хранилищ данных под разные задачи. Это делает их важным компонентом любой системы Change Data Capture (CDC) — они помогают отслеживать изменения данных и связывать используемые хранилища. Но далеко не все CDC-инструменты способны ответить на актуальные запросы бизнеса.

Меня зовут Евгений Афанасьев. Я архитектор VK Tech в команде Tarantool. В этой статье я расскажу о том, с какими вызовами сталкиваются современные компании при работе с данными и как на них помогает отвечать Tarantool CDC.


Читать: https://habr.com/ru/companies/vk/articles/868406/

#ru

@database_design | Другие наши каналы
Революция в ритейле с MongoDB и Dataworkz

RAG и MongoDB трансформируют цифровую розницу, предоставляя персонализированные рекомендации и улучшенное взаимодействие с клиентами. Сочетание структурированных данных с неструктурированной информацией дает магазинам возможность оперативно ответить на запросы клиентов и эффективно управлять запасами. Узнайте, как MongoDB и Dataworkz делают это возможным. 🔍 MongoDB 8.0: Прорыв в области AI и поиска данных

В 2024 году MongoDB представила обновление 8.0, улучшив скорость базы данных и добавив поддержку зашифрованных запросов. Также запущена программа MAAP для ускорения разработки AI-приложений и улучшена функция поиска в MongoDB Atlas Vector Search. Эти новшества делают работу с AI быстрее и дешевле.

Читать подробнее

#en

@database_design | Другие наши каналы
MongoDB в числе лидеров облачных БД по версии Gartner

MongoDB третий год подряд получает статус "Лидера" в облачных системах управления базами данных в отчете Gartner 2024. Это подтверждает успех компании в инновациях и ориентированности на клиента, а также выдающееся исполнение и стратегическое видение платформы MongoDB. Инновации в ритейле с MongoDB и Dataworkz

Современные покупатели ждут персонализированных предложений и быстрого обслуживания. MongoDB Atlas и Dataworkz предлагают решение: использование данных для создания уникального клиентского опыта. Сервис облегчает поддержку, улучшает рекомендации и оптимизирует маркетинг для ритейлеров.

Читать подробнее

#en

@database_design | Другие наши каналы
Oracle расширяет облачные возможности

В 2024 году Oracle отметилась важными нововведениями в области облачных баз данных. Ключевые моменты включают запуск Oracle Database@Google Cloud и Oracle Database@AWS, а также представление Exadata Exascale и Oracle Database 23ai с интеграцией AI для бизнес-анализа.

Читать подробнее

#en

@database_design | Другие наши каналы
Как мигрировать данные между разными StorageClass в Kubernetes и зачем это делать

Миграция данных в Kubernetes: практическое руководство. Узнайте, как легко и безопасно перемещать данные между различными StorageClass с помощью простых шагов.


Читать: https://habr.com/ru/companies/flant/articles/868280/

#ru

@database_design | Другие наши каналы
Как мы проверяли качество данных после завершения миграции с Teradata на Greenplum

Привет, Хабр! Мы завершаем серию статей о миграции аналитического хранилища данных с платформы Teradata на GreenPlum. В предыдущих статьях мы рассказали о нашем опыте и результатах автоматизированного переписывания SQL‑скриптов с помощью реализованных сервисов миграции кода и переноса архива данных. В этот раз мы расскажем вам о нашем опыте и результатах кросс‑платформенной проверки качества данных во время и после миграции, а также о трудностях и решениях, связанных с этим процессом.

Завершая нашу серию, мы подходим к ключевому аспекту миграции данных — проверке и обеспечению качества данных после переноса. Теперь, когда перед нами стоят два параллельно функционирующих хранилища, возникает вопрос о точности и согласованности данных между ними.


Читать: https://habr.com/ru/companies/sberbank/articles/869294/

#ru

@database_design | Другие наши каналы
PostgreSQL — особенности работы с памятью для 1С-систем. Часть 3

Это третья и заключительная часть цикла статей по настройке памяти в PostgreSQL. Полагаю, она получилось уже не такой заумной, как предыдущие две, и представляет из себя некий сухой остаток с собирательным примером, в котором показано как выбирать параметры PostgreSQL по настройке оперативной памяти. Если же хочется погрузиться в руду, то милости просим в Часть 1 и Часть 2. Тем не менее, цепочка логических рассуждений сохранена – как делаем, зачем и почему.


Читать: https://habr.com/ru/companies/softpoint/articles/869446/

#ru

@database_design | Другие наши каналы
Telegram-бот-магазин на Python: пошаговый гайд с оплатой, каталогом и админкой (Aiogram 3 + SQLAlchemy 2)

Сегодня я к вам с новым практическим проектом на Python. На этот раз мы создадим полноценного Telegram-бота для продажи цифровых товаров с базой данных, которой будем управлять через SQLAlchemy 2, админ-панелью, пользовательской частью и интегрированной оплатой через Юкассу.

Я шаг за шагом проведу вас через все этапы разработки такого бота: начиная от регистрации токена в BotFather и заканчивая деплоем готового продукта на удаленном хостинге, чтобы бот мог бесперебойно работать 24/7 без привязки к вашему компьютеру или интернет-соединению.


Читать: https://habr.com/ru/companies/amvera/articles/869136/

#ru

@database_design | Другие наши каналы
🔥2
Как проводить сложные исследования в Google Таблицах и Excel? Работаем с формулой QUERY

Привет, Хабр! Раньше ни один мой рабочий день не проходил без Google Таблиц. Теперь продолжаю использовать инструмент только в личных целях, но в его аналогах многое очень похоже.

Меня зовут Саша, я координатор отдела пользовательских исследований в Selectel. В этой статье я объясню, как и какие формулы использовать в таблицах, чтобы работать с большими объемами данных.

Читать: https://habr.com/ru/companies/selectel/articles/869732/

#ru

@database_design | Другие наши каналы
Создание динамических таблиц в SuperSet

Однажды в студеную зимнюю пору из-за морей, из-за океанов прилетело известие: лицензии не выдаем, тех.поддержку не оказываем, а можем и вовсе отключить все системы. В компании погоревали, но делать нечего, решили переходить на новые системы, да такие, чтобы не смогли в любой момент их превратить в тыкву. И стали смотреть в сторону open-sourсe решений. Проанализировали несколько BI-систем и остановились на SuperSet. /*После QlikSense и Tableau казалось, что это так себе затея*/

Меня зовут Корнева Настя, я отвечаю за разработку BI-отчетности в Magnit Tech в рамках проекта Аналитика УЦП (управление цепочками поставок). В этой статье поделюсь нашим опытом создания динамических сводных таблиц в BI-инструменте SuperSet, что будет полезно разработчикам отчетности и всем, кому интересна тематика.


Читать: https://habr.com/ru/companies/magnit/articles/869924/

#ru

@database_design | Другие наши каналы
Как я написал 1400 регламентов и почему это важно для бизнеса

Посмотрев назад на свой длинный путь в бизнесе, могу смело заявить, что я знаю о бизнес-процессах больше, чем кто-либо.

Руководя своей командой, я заметил, что мы тратим массу времени на повторяющиеся вопросы и одни и те же проблемы. «Как оформлять счета?», «Какая процедура работы с клиентами?», «Что делать, если клиент недоволен?» — эти вопросы повторялись просто каждый день. Даже очевидные задачи превращались в постоянные созвоны и обсуждения. Это тормозило развитие бизнеса, мешало внедрять автоматизацию и вызывало у сотрудников демотивацию к работе.

Так я пришел к идее: нужно структурировать всё. С того момента я написал более 1400 регламентов, охватывающих почти все бизнес-процессы, и это стало настоящей революцией в нашей работе. В этой статье я хочу поделиться, как мне удалось создать систему, которая избавила нас от хаоса, и объясню, почему инструкции — это не формальность, а основа для успеха.


Читать: https://habr.com/ru/articles/870136/

#ru

@database_design | Другие наши каналы