PostgreSQL Antipatterns: простой(?) INSERT… VALUES

Представим, что у вас есть некоторая табличка статистики, куда вы периодически скидываете таймстамп последнего "текущего" состояния в паре координат - например, (ID организации, ID сотрудника).

Как больно наступить на грабли в совсем простом, казалось бы, запросе?


Читать: https://habr.com/ru/post/702902/

Achieving Industrial Connectivity at Scale with Wimera and MongoDB

Read: https://www.mongodb.com/blog/post/achieving-industrial-connectivity-scale-wimera-mongodb

4 Ways MongoDB Enhances Your Google Big Query Experience

Read: https://www.mongodb.com/blog/post/four-ways-mongodb-enhances-your-google-big-query-experience

To Data Lake or Not to Data Lake

For enterprise data, analytics and machine learning can be done simpler, faster, and at less total cost in an Oracle Database. The Oracle Database-centric Data Lab is a unique embedded platform for doing analytics within your transaction systems or data warehouses. Whether your Oracle Database is in the cloud or in your data center, take advantage of these embedded and free capabilities today!

Read: https://blogs.oracle.com/database/post/to-data-lake-or-not-to-data-lake

Watch Oracle Database CloudWorld Replays on YouTube

A subset of Oracle Database sessions from CloudWorld 2022 are now available for replay on YouTube

Read: https://blogs.oracle.com/database/post/watch-oracle-database-cloudworld-session-replays-on-youtube

Выбор оптимального решения для хранения разнородных данных pandas

Проблема выбора формата файла, с которым предстоит работать для чтения и записи  pandas.DataFrame, заключается как раз в том, что есть из чего выбрать: даже сам pandas включает в себя функционал, позволяющий работать с большим перечнем типов файлов. Обилие доступных для данной задачи форматов обусловлено невозможностью решить проблему импорта/экспорта раз и навсегда: ничего идеального, как и формата для хранения данных, к сожалению, не существует, поскольку даже самый, на первый взгляд, оптимальный и минимально затратный по ресурсам pickle способен создать очень много проблем.


Читать: https://habr.com/ru/post/703064/

Совместный доступ к Spark-датасетам из разных приложений — Redis нам в помощь

Apache Spark, универсальная платформа для крупномасштабной обработки данных, в сочетании с Redis способна обеспечить ускоренные расчеты в реальном времени для таких задач, как анализ временных рядов, прогнозы и рекомендации на основе машинного обучения и т. д.

Spark также способен извлекать датасеты в кэш-память кластера. Это невероятно полезно, когда приложению необходимо многократно запрашивать одни и те же данные. Если вы используете датасет, создание которого достаточно затратно, и который потом используется в вашем приложении не один раз, то этот датасет обязательно нужно кэшировать. Но если вы захотите получить доступ к этому датасету сразу из нескольких приложений, то вам придется поломать голову, как это сделать. Здесь на помощь приходит коннектор Spark-Redis.


Читать: https://habr.com/ru/post/703136/

Multiple VM Cluster Support & VM Cluster Node Subsetting now available on ExaDB-D

With Multiple VM Clusters (Multi-VM) support and VM Cluster Node Subsetting capability, you can now create multiple VM Clusters on a single Exadata Infrastructure in ExaDB-D and have the flexibility to choose specific DB Servers within the infrastructure to host VMs from the cluster.

Read: https://blogs.oracle.com/database/post/multiple-vm-cluster-support-vm-cluster-node-subsetting-now-available-on-exadb-d

Детальное рассмотрение поведения при использовании INCLUDE

Некоторые базы данных такие, как Microsoft SQL Server, IBM Db2, а также PostgreSQL начиная с 11 версии – предлагают прибегнуть к оператору include для генерации индекса. Представление данного функционала в PostgreSQL (исходная статья вышла 30.04.2019) послужило поводом для этого объёмного рассуждения о работе с оператором include.

Содержание:

1)    Напоминание: btree-индексы

2)    Напоминание: Index-only сканирование

3)    Оператор include

4)    Фильтрация по полям в include

5)    Уникальные индексы при использовании include

6)    Сравнение

7)    PostgreSQL: Никакой фильтрации до проверки области видимости


Читать: https://habr.com/ru/post/703578/

Как найти «слона» в песочнице на Hadoop: решаем проблему с ограничением объёма выделенной памяти

И снова здравствуй, Хабр! Сегодня поговорим об актуальной для многих из нас проблеме при работе с базами данных. В ходе работы над разными проектами часто приходится создавать базу данных  (командное пространство, песочница и т.п.), которую использует как сам автор, так и/или коллеги для временного хранения данных. Как у любого «помещения», в нашей «песочнице» есть своё ограничение по объёму выделенного места для хранения данных.  Периодически бывает так, что вы или ваши коллеги забываете об этом маленьком ограничении, из-за чего, к сожалению, заканчивается объём выделенной памяти.

В этом случае можно применить маленький лайфхак, который позволит оперативно просмотреть, какая таблица больше всего занимает место, кто её владелец, как долго она находится в общей песочнице и т.д. Используя его, вы оперативно сможете почистить место в песочнице, предварительно согласовав действия с владельцем данных без нанесения вреда данным остальных коллег. Кроме того, этот инструмент позволит периодически проводить мониторинг наполняемости вашей общей песочницы.


Читать: https://habr.com/ru/post/703608/

What’s New in Atlas Charts: Easy Organization-Wide Sharing

Read: https://www.mongodb.com/blog/post/whats-new-atlas-charts-easy-organization-wide-sharing

Обновить данные в ClickHouse без UPDATE: кейс IBS

Привет, Хабр! Меня зовут Антон, я – старший разработчик в отделе разработки баз данных в IBS. В этой статье я расскажу о том, как нашей командой была решена задача по сохранению в ClickHouse большого количества данных, генерируемых веб-приложением, с последующим получением сохранённых данных в агрегированном виде.

Решение задачи, описанной выше, было бы простым и вряд ли заслуживающим отдельной статьи на Хабре. Но наш случай представлял собой ряд нюансов: здесь есть технические дубли записей и бизнес-дубли (обновления), есть агрегированные данные и необходимость обновления агрегированных данных. А это уже пример не совсем типичного использования ClickHouse, которым мы и хотим поделиться.
Интересно? Переходите под кат.

Читать: https://habr.com/ru/post/703124/

Глубокое обучение в диагностике: как AI спасает жизни и экономит средства на лечение

«Симптомы никогда не лгут», — так сказал самый блестящий диагност, доктор Хаус, который, увы существует только в телесериале. В реальной жизни симптомы часто нелегко обнаружить даже лучшим специалистам, а ошибочные диагнозы признаны самыми частыми и опасными медицинскими ошибками: с теми или иными ошибочными диагнозами сталкиваются ежегодно от 12 до 18 миллионов жителей США.

Есть надежда, что искусственный интеллект (artificial intelligence, AI) и машинное обучение (machine learning, ML) смогут в будущем изменить эту тревожную ситуацию. В этой статье рассматриваются самые успешные примеры использования машинного обучения в диагностике, подчёркивается его потенциал и описываются современные ограничения.


Читать: https://habr.com/ru/post/700344/

Пакетная операция JDBC — команда batchUpdate

Всем привет! Данная статья будет полезна начинающим разработчикам на Java, для понимания работы пакетных операции и команды batchUpdate и на сколько она эффективнее по производительности в сравнении с update. Поехали!

Вначале немного теории:

С официальной документации:


Читать: https://habr.com/ru/post/703828/

Making Eclipse MicroProfile Long Running Actions Easy with MicroTx

This post describes using an eventual consistency model as provided by the Eclipse MicroProfile Long Running Actions protocol with MicroTx.

Read: https://blogs.oracle.com/database/post/making-eclipse-microprofile-long-running-actions-easy-with-microtx

Simplifying IoT Connectivity with myDevices and MongoDB

Read: https://www.mongodb.com/blog/post/simplifying-iot-connectivity-mydevices-mongodb

NAS за шапку сухарей

Привет коллеги! На связи системный администратор Cloud4Y Денис Генералов (или тот самый чел, который искал уязвимости биоса в прошлых статьях на ноутбуках, статья тут).

Сегодня предлагаю рассмотреть вариант сборки домашнего NAS дендральным методом.

Всё описанное в статье является результатом деятельности моего воспаленного мозга поиска оптимальной конфигурации для своего домашнего файлохранилища и не является призывами к прямому действию. Представляет из себя изыскание того самого продукта, который может максимально покрыть мои потребности за сравнительно небольшую плату. Не поднимает вопрос о подлинности и законности использования указанного решения на территории предприятия, для всего остального – есть GPL v2.


Читать: https://habr.com/ru/post/703540/

Tackling the 5G Complexity Beast with MongoDB’s Developer Data Platform Simplicity

Read: https://www.mongodb.com/blog/post/tackling-5g-complexity-beast-mongodbs-developer-data-platform-simplicity

Как мы обновили старый кластер Elasticsearch на 3 ПБ без простоев. Часть 3 — поиск и подстановочные знаки

Прим. переводчика: автор статьи рассказывает, с какими трудностями его команда столкнулась при настройке нового кластера. Среди них — проблема с низкой производительностью поиска по подстановочным знакам.

Это третья часть серии статей об обновлении кластера Elasticsearch без простоев и с минимальным воздействием на пользователей. В рамках проекта по обновлению Elasticsearch было необходимо определить, насколько улучшилась производительность поиска в новой версии по сравнению со старой. Использование старой версии Elasticsearch было сопряжено со множеством проблем с производительностью, и была надежда, что переход на новую версию поможет с ними разобраться.


Читать: https://habr.com/ru/post/703980/

DBA: хранение списков — таблица, массив, строка?

Достаточно часто при проектировании схемы БД возникает задача сохранить по основной сущности некоторый набор простых второстепенных данных.

Например, это могут быть ФИО сотрудников, принимающих участие во встрече, список приложенных к сообщению файлов или перечень отгружаемых по документу позиций.

Во всех этих случаях мы заранее понимаем, что список этот меняется редко и ни индексировать эти данные, ни искать по ним, ни извлекать отдельно от основной сущности (встречи, сообщения или документа), мы не захотим.

Давайте посмотрим, какие варианты хранения таких данных мы можем использовать в PostgreSQL, и какой из них окажется в разы более эффективным.


Читать: https://habr.com/ru/post/704250/

Telco Scaling Strategies: Modernizing Business Support Systems for Flexible Revenue Growth

Read: https://www.mongodb.com/blog/post/modernizing-business-support-systems-flexible-revenue-growth