Проверка на (не)вхождение строк через разные инструменты в PostgreSQL

Сравниваем использование IN, EXISTS и JOIN для нахождения вхождений и рассматриваем их планы выполнения для разных ситуаций.
Найти вхождение (◕‿◕)

Читать: https://habr.com/ru/articles/878574/

#ru

@database_design | Другие наши каналы

Новый рекорд емкости: жесткие диски на 36 ТБ уже в продаже

Компания Seagate начала поставки новейших жестких дисков емкостью 36 ТБ избранным клиентам. Эти HDD стали самыми емкими в мире среди серийно производимых моделей. Кроме того, Seagate удалось достичь плотности записи в 6 ТБ на одной пластине, что открывает путь к созданию накопителей объемом до 60 ТБ. Подробности — под катом.


Читать: https://habr.com/ru/companies/selectel/articles/878423/

#ru

@database_design | Другие наши каналы

Бесконечное хранилище данных в Telegram

Изучая Aiogram, мне стало понятно, что лимиты для тг-ботов достаточно большие, поэтому с их помощью можно хранить объемные данные

Немного покопавшись, я создал библиотеку, для того, чтобы было проще работать с данными


Читать: https://habr.com/ru/articles/878602/

#ru

@database_design | Другие наши каналы

Как бизнесу легально использовать метрические программы, если в законе не написано, что это такое

Под занавес ушедшего в безвременье 2024-го года внимательный читатель спросил в комментариях, что такое метрические программы (МП). Ему нужна была выдержка из закона. Ведь Роскомнадзор просит бизнес предупреждать посетителей сайтов о том, что их персональные данные (ПД) обрабатываются метрическими программами, а что такое метрические программы никто не знает.

Погружаться в бездну философских размышлений о том, почему одни реалии для нас более значимы, а другие – менее, не буду. Вместо этого предлагаю выяснить, существуют ли на самом деле метрические программы, находятся ли они сейчас в этой комнате и, если да, то как с ними работать, чтобы не попасть под штрафы Роскомнадзора.


Читать: https://habr.com/ru/articles/878644/

#ru

@database_design | Другие наши каналы

Приключение по перереносу аналитики из Oracle в Iceberg

Мы начали с простой цели: разобраться в небольших операционных данных из нашей среды Oracle E-Business Suite (OEBS). Сначала всё казалось несложным. У нас был классический data warehouse: пакетная обработка, массовые загрузки и привычная реляционная СУБД. Но по мере того как мы углублялись в проект, казалось бы рутинная задача превратилась в исследование и эксперименты с неожиданными поворотами и поиском чего-то действительно универсального.


Читать: https://habr.com/ru/articles/878764/

#ru

@database_design | Другие наши каналы

Нужен ли Postgres альтернативный сборщик статистики таблиц?

Речь здесь пойдёт о стабильности стандартной статистики Postgres и об идее очередного расширения - на этот раз альтернативы команде ANALYZE. Всё началось с того, что заканчивая работу над предыдущей статьёй я вдруг заметил, что результат выполнения одного и того же запроса теста Join Order Benchmark (JOB) в серии последовательных прогонов может отличаться в разы и даже на порядки - причем как по значению параметра execution-time, так и по pages-read. Это выглядело очень странно, поскольку и тест и ноутбук и все настройки оставались теми же - даже погода за окном. И я решил расследовать, что происходит …


Читать: https://habr.com/ru/articles/878724/

#ru

@database_design | Другие наши каналы

Вредоносный код навсегда сохранили в блокчейне

Один из старых хакерских трюков — распространять вредоносное ПО под видом обновления браузера. На взломанном сайте размещается плашка с утверждением, что для просмотра нужно обновить браузер. И кнопка для скачивания обновления, как на скриншоте с прошлогодней атаки ClearFake. Таким образом, жертва самостоятельно устанавливает вредоносное ПО на свой компьютер.

В прошлом году злоумышленники разработали умный способ защитить вредоносный софт от уничтожения. Они разместили его в децентрализованном анонимном блокчейне. То есть интегрировали код в смарт-контракт, который навечно сохранился в открытом доступе.


Читать: https://habr.com/ru/companies/globalsign/articles/878822/

#ru

@database_design | Другие наши каналы

Разработчик с опытом объяснил, почему новички тонут в туториалах, а не в знаниях

Опытный разработчик объяснил, почему новички тонут в туториалах, а не в знаниях, и предложил сосредоточиться на базовых принципах программирования

Читать: «Разработчик с опытом объяснил, почему новички тонут в туториалах, а не в знаниях»

#ru

@database_design | Другие наши каналы

Путеводитель по техническим транзакциям с Camunda 8 и Spring

Интересно, как работают технические транзакции с Camunda и фреймворком Spring? Узнайте больше о транзакционном поведении в этом посте.


Читать: https://habr.com/ru/articles/879026/

#ru

@database_design | Другие наши каналы

🔍 Новый MongoDB Django Backend: Режим публичного превью

MongoDB анонсировала публичное превью пакета Django Backend, позволяющего интегрировать Django с MongoDB. Разработчики могут использовать модели Django для работы с документами MongoDB и получать преимущества админки Django. Это объединение ускорит разработку и упростит работу с базами данных. Узнайте больше в блоге MongoDB! Упрощение булевых выражений: ключевые методы

Пост: Исследование освещает подходы для упрощения булевых выражений, включая алгоритм Квайна-МакКласки и закон поглощения. Использование битовых операций ускоряет процесс, а метод Патрика минимизирует избыточность. Затронуты особенности в контексте MongoDB и MQL. Ускорение работы MongoDB с новым алгоритмом

Мы разработали алгоритм для упрощения логических выражений, который в одном случае улучшил производительность MongoDB на 18,100%. Этот проект демонстрирует нашу приверженность решению задач клиентов и постоянному усовершенствованию работы с запросами. Узнайте больше в сообществе MongoDB!

Читать подробнее

#en

@database_design | Другие наши каналы

Векторные базы данных: простым языком про устройство и принцип работы

Пройдём путь от простого вектора до целой рекомендательной системы, пробежимся по основным фишкам и внутреннему устройству. Поймём, а где вообще использовать этот инструмент и посмотрим на векторные базы данных в деле.

Читать: «Векторные базы данных: простым языком про устройство и принцип работы»

#ru

@database_design | Другие наши каналы

Мнение GlowByte: чем можно импортозаместить CPM и надо ли это делать

Всем привет! Это снова мы – направление FI (Financial Intelligence) компании GlowByte. В прошлой статье мы обещали рассказать про отечественные решения класса CPM. Сегодня мы расскажем, почему, на наш взгляд, сейчас лучшее время для внедрения российского софта, а также опишем основные требования заказчиков к подобным платформам.


Читать: https://habr.com/ru/companies/glowbyte/articles/879170/

#ru

@database_design | Другие наши каналы

Мнение GlowByte: чем можно импортозаместить CPM и надо ли это делать

Всем привет! Это снова мы – направление FI (Financial Intelligence) компании GlowByte. В прошлой статье мы обещали рассказать про отечественные решения класса CPM. Сегодня мы расскажем, почему, на наш взгляд, сейчас лучшее время для внедрения российского софта, а также опишем основные требования заказчиков к подобным платформам.


Читать: https://habr.com/ru/companies/glowbyte/articles/879172/

#ru

@database_design | Другие наши каналы

Как GitLab с Liquibase миграции в ClickHouse везли

Привет, Хабр!

Сегодня я расскажу, как с помощью Liquibase, GitLab и немного Python настроить прозрачный, безопасный и удобный процесс миграций для ClickHouse кластера .


Читать: https://habr.com/ru/companies/ligastavok/articles/879280/

#ru

@database_design | Другие наши каналы

Как настроить интеграцию между Great Expectations и Impala для работы с большими данными

Рассказываем, как мы заставили GX подружиться с Impala.

Читать: «Как настроить интеграцию между Great Expectations и Impala для работы с большими данными»

#ru

@database_design | Другие наши каналы

Новые версии MariaDB Community Server уже доступны!

Вышли новые обновления для MariaDB Community Server: версии 11.4.5, 10.11.11, 10.6.21 и 10.5.28. Узнайте больше о каждой из них из заметок о выпуске и журналов изменений. Скачать обновления можно на сайте mariadb.com/downloads.

Читать подробнее

#en

@database_design | Другие наши каналы

Эксперт из Amazon составил топ-10 тем в разработке, взгляд на которые он изменил за 10 лет

Разработчик Amazon изменил взгляды на ключевые темы программирования за 10 лет: от простоты кода до роли Java, ORM и Serverless-функций

Читать: «Эксперт из Amazon составил топ-10 тем в разработке, взгляд на которые он изменил за 10 лет»

#ru

@database_design | Другие наши каналы

Тест 12 HDD 15k SAS в RAID0 и актуальность использования

Имеют ли право на жизнь SAS HDD диски на 15k в современных серверных платформах?

Тестирование RAID массива из 12 SAS HDD 15k и сравнение с производительностью SATA SSD, NVMe и SAS SSD накопителей.


Читать: https://habr.com/ru/articles/879562/

#ru

@database_design | Другие наши каналы

Катапультирование из DSE и миграция на Scylla

Если ты к чему-то привык, и все кажется удобным и комфортным, при понимании, что это может закончиться в любой момент, надо выбирать, что делать дальше. Так и с решениями, которые мы уже как-то внедрили — несмотря на то, что они прекрасно показывают свою эффективность, наступают моменты, когда их приходится пересматривать, и делать это весьма оперативно.

В данном случае речь о системе с СУБД DSE — удобной, отлично адаптированной к использованию под наши задачи, распределенной СУБД NoSQL-типа на базе Apache Cassandra с пудовыми рисками прекращения лицензирования со стороны Datastax.

При этом пересаживаться на другой «стул» требуется, разумеется, бесшовно, без потерь в вопросах производительности, безопасности и эксплуатационного качества в продукте. Вопрос это для нас особо важный, так как сама система, для которой рассматривалась замена СУБД высококритичная, и требования к решению были неизменными: возможность вертикального масштабирования «на лету» для поддержки значительного увеличения объема хранимых данных, высокая производительность записи и поддержка отказоустойчивости, включая распределение СУБД в нескольких ЦОД. У нас уже был накоплен весомый багаж информации в текущей базе, поэтому сама технология СУБД требовалась сродная по типу для исключения проблемы со сложностью миграции данных.

В статье начальник группы внедрения и тестирования продуктов и услуг Nexign Анна Алешина рассказывает, почему мы выбрали Scylla и решили прокачать ее до собственной «фирменной» СУБД Nexylla. Материал будет полезен всем, кто тоже задумывается о миграции на более надежные с точки зрения лицензирования СУБД.


Читать: https://habr.com/ru/companies/nexign/articles/879708/

#ru

@database_design | Другие наши каналы

Новый рубеж с Oracle Exadata

Oracle представила ограниченный выпуск глобально распределённой базы данных Exadata на инфраструктуре Exascale. Новое решение обеспечивает встроенную репликацию и разделение вычислительных и хранилищных ресурсов, что обещает повысить эффективность и масштабируемость систем.

Читать подробнее

#en

@database_design | Другие наши каналы

Начните искать по-новому с Oracle AI Vector Search

Хотите расширить возможности поиска в базе данных? Узнайте, как использовать Oracle AI Vector Search в новой версии Oracle Database 23ai. Эта технология позволит осуществлять более точный поиск по большим объемам данных. Оцените преимущества передовых алгоритмов вместе с Oracle.

Читать подробнее

#en

@database_design | Другие наши каналы