Как мы обновили старый кластер Elasticsearch на 3 ПБ без простоев. Часть 2 — Два последовательных кластера
Прим. переводчика: автор статьи рассказывает о процессе обновления кластера Elasticsearch размером более 3 петабайт методом последовательного включения двух кластеров, а также о том, как решались проблемы согласованности индексирования и миграции данных.
Это вторая часть из серии статей об обновлении кластера Elasticsearch без простоев и с минимальным воздействием на пользователей. Как упоминалось в первой части, необходимо было обеспечить плавный переход между двумя версиями системы, при этом сохраняя возможность отката.
Читать: https://habr.com/ru/post/702028/
Прим. переводчика: автор статьи рассказывает о процессе обновления кластера Elasticsearch размером более 3 петабайт методом последовательного включения двух кластеров, а также о том, как решались проблемы согласованности индексирования и миграции данных.
Это вторая часть из серии статей об обновлении кластера Elasticsearch без простоев и с минимальным воздействием на пользователей. Как упоминалось в первой части, необходимо было обеспечить плавный переход между двумя версиями системы, при этом сохраняя возможность отката.
Читать: https://habr.com/ru/post/702028/
MongoDB Named as a Leader in The Forrester Wave™: Translytical Data Platforms, Q4 2022
Read: https://www.mongodb.com/blog/post/mongodb-named-leader-forrester-wave-translytical-data-platforms-q4-2022
Read: https://www.mongodb.com/blog/post/mongodb-named-leader-forrester-wave-translytical-data-platforms-q4-2022
MACH Aligned for Retail: Headless
Read: https://www.mongodb.com/blog/post/mach-aligned-retail-headless
Read: https://www.mongodb.com/blog/post/mach-aligned-retail-headless
Дельта BI глазами (и руками) разработчика Tableau
Уже больше полгода назад крупнейшие BI вендоры прекратили работу в России. Мы в компании Vizuators, имея многолетний опыт разработки и консалтинга в Tableau, столкнулись с необходимостью тестировать альтернативные инструменты, которые подошли бы нашим клиентам.
Одним из наиболее привлекательных для нас вариантов стала платформа визуальной аналитики Дельта BI. Под катом мы говорим о том, что получит и потеряет «таблошник», перейдя на Дельта BI.
Читать: https://habr.com/ru/post/702660/
Уже больше полгода назад крупнейшие BI вендоры прекратили работу в России. Мы в компании Vizuators, имея многолетний опыт разработки и консалтинга в Tableau, столкнулись с необходимостью тестировать альтернативные инструменты, которые подошли бы нашим клиентам.
Одним из наиболее привлекательных для нас вариантов стала платформа визуальной аналитики Дельта BI. Под катом мы говорим о том, что получит и потеряет «таблошник», перейдя на Дельта BI.
Читать: https://habr.com/ru/post/702660/
Built With MongoDB: Inspirit Helps Kids Learn Science Through Immersive Technology
Read: https://www.mongodb.com/blog/post/built-mongodb-inspirit-helps-kids-learn-science-through-immersive-technology
Read: https://www.mongodb.com/blog/post/built-mongodb-inspirit-helps-kids-learn-science-through-immersive-technology
Choosing the Right Tool for the Job: Understanding the Analytics Spectrum
Read: https://www.mongodb.com/blog/post/choosing-right-tool-job-understanding-analytics-spectrum
Read: https://www.mongodb.com/blog/post/choosing-right-tool-job-understanding-analytics-spectrum
Нужно больше гигабайт. Экзабайты будущего
Человечество продолжает создавать все больше информации. Физический мир постепенно оцифровывается, и этот гигантский массив данных требуется где-то хранить. А значит, существует растущая потребность в системах хранения для накопленной информации. В этом посте рассмотрим перспективные технологии, которые будут помогать сохранять информацию в ближайшем будущем.
Читать: https://habr.com/ru/post/701394/
Человечество продолжает создавать все больше информации. Физический мир постепенно оцифровывается, и этот гигантский массив данных требуется где-то хранить. А значит, существует растущая потребность в системах хранения для накопленной информации. В этом посте рассмотрим перспективные технологии, которые будут помогать сохранять информацию в ближайшем будущем.
Читать: https://habr.com/ru/post/701394/
PostgreSQL Antipatterns: простой(?) INSERT… VALUES
Представим, что у вас есть некоторая табличка статистики, куда вы периодически скидываете таймстамп последнего "текущего" состояния в паре координат - например,
Как больно наступить на грабли в совсем простом, казалось бы, запросе?
Читать: https://habr.com/ru/post/702902/
Представим, что у вас есть некоторая табличка статистики, куда вы периодически скидываете таймстамп последнего "текущего" состояния в паре координат - например,
(ID организации, ID сотрудника).Как больно наступить на грабли в совсем простом, казалось бы, запросе?
Читать: https://habr.com/ru/post/702902/
Achieving Industrial Connectivity at Scale with Wimera and MongoDB
Read: https://www.mongodb.com/blog/post/achieving-industrial-connectivity-scale-wimera-mongodb
Read: https://www.mongodb.com/blog/post/achieving-industrial-connectivity-scale-wimera-mongodb
4 Ways MongoDB Enhances Your Google Big Query Experience
Read: https://www.mongodb.com/blog/post/four-ways-mongodb-enhances-your-google-big-query-experience
Read: https://www.mongodb.com/blog/post/four-ways-mongodb-enhances-your-google-big-query-experience
To Data Lake or Not to Data Lake
For enterprise data, analytics and machine learning can be done simpler, faster, and at less total cost in an Oracle Database. The Oracle Database-centric Data Lab is a unique embedded platform for doing analytics within your transaction systems or data warehouses. Whether your Oracle Database is in the cloud or in your data center, take advantage of these embedded and free capabilities today!
Read: https://blogs.oracle.com/database/post/to-data-lake-or-not-to-data-lake
For enterprise data, analytics and machine learning can be done simpler, faster, and at less total cost in an Oracle Database. The Oracle Database-centric Data Lab is a unique embedded platform for doing analytics within your transaction systems or data warehouses. Whether your Oracle Database is in the cloud or in your data center, take advantage of these embedded and free capabilities today!
Read: https://blogs.oracle.com/database/post/to-data-lake-or-not-to-data-lake
Watch Oracle Database CloudWorld Replays on YouTube
A subset of Oracle Database sessions from CloudWorld 2022 are now available for replay on YouTube
Read: https://blogs.oracle.com/database/post/watch-oracle-database-cloudworld-session-replays-on-youtube
A subset of Oracle Database sessions from CloudWorld 2022 are now available for replay on YouTube
Read: https://blogs.oracle.com/database/post/watch-oracle-database-cloudworld-session-replays-on-youtube
Oracle
Watch Oracle Database CloudWorld Session Replays on YouTube
A subset of Oracle Database sessions from CloudWorld 2022 are now available for replay on YouTube
Выбор оптимального решения для хранения разнородных данных pandas
Проблема выбора формата файла, с которым предстоит работать для чтения и записи pandas.DataFrame, заключается как раз в том, что есть из чего выбрать: даже сам pandas включает в себя функционал, позволяющий работать с большим перечнем типов файлов. Обилие доступных для данной задачи форматов обусловлено невозможностью решить проблему импорта/экспорта раз и навсегда: ничего идеального, как и формата для хранения данных, к сожалению, не существует, поскольку даже самый, на первый взгляд, оптимальный и минимально затратный по ресурсам pickle способен создать очень много проблем.
Читать: https://habr.com/ru/post/703064/
Проблема выбора формата файла, с которым предстоит работать для чтения и записи pandas.DataFrame, заключается как раз в том, что есть из чего выбрать: даже сам pandas включает в себя функционал, позволяющий работать с большим перечнем типов файлов. Обилие доступных для данной задачи форматов обусловлено невозможностью решить проблему импорта/экспорта раз и навсегда: ничего идеального, как и формата для хранения данных, к сожалению, не существует, поскольку даже самый, на первый взгляд, оптимальный и минимально затратный по ресурсам pickle способен создать очень много проблем.
Читать: https://habr.com/ru/post/703064/
Совместный доступ к Spark-датасетам из разных приложений — Redis нам в помощь
Apache Spark, универсальная платформа для крупномасштабной обработки данных, в сочетании с Redis способна обеспечить ускоренные расчеты в реальном времени для таких задач, как анализ временных рядов, прогнозы и рекомендации на основе машинного обучения и т. д.
Spark также способен извлекать датасеты в кэш-память кластера. Это невероятно полезно, когда приложению необходимо многократно запрашивать одни и те же данные. Если вы используете датасет, создание которого достаточно затратно, и который потом используется в вашем приложении не один раз, то этот датасет обязательно нужно кэшировать. Но если вы захотите получить доступ к этому датасету сразу из нескольких приложений, то вам придется поломать голову, как это сделать. Здесь на помощь приходит коннектор Spark-Redis.
Читать: https://habr.com/ru/post/703136/
Apache Spark, универсальная платформа для крупномасштабной обработки данных, в сочетании с Redis способна обеспечить ускоренные расчеты в реальном времени для таких задач, как анализ временных рядов, прогнозы и рекомендации на основе машинного обучения и т. д.
Spark также способен извлекать датасеты в кэш-память кластера. Это невероятно полезно, когда приложению необходимо многократно запрашивать одни и те же данные. Если вы используете датасет, создание которого достаточно затратно, и который потом используется в вашем приложении не один раз, то этот датасет обязательно нужно кэшировать. Но если вы захотите получить доступ к этому датасету сразу из нескольких приложений, то вам придется поломать голову, как это сделать. Здесь на помощь приходит коннектор Spark-Redis.
Читать: https://habr.com/ru/post/703136/
Multiple VM Cluster Support & VM Cluster Node Subsetting now available on ExaDB-D
With Multiple VM Clusters (Multi-VM) support and VM Cluster Node Subsetting capability, you can now create multiple VM Clusters on a single Exadata Infrastructure in ExaDB-D and have the flexibility to choose specific DB Servers within the infrastructure to host VMs from the cluster.
Read: https://blogs.oracle.com/database/post/multiple-vm-cluster-support-vm-cluster-node-subsetting-now-available-on-exadb-d
With Multiple VM Clusters (Multi-VM) support and VM Cluster Node Subsetting capability, you can now create multiple VM Clusters on a single Exadata Infrastructure in ExaDB-D and have the flexibility to choose specific DB Servers within the infrastructure to host VMs from the cluster.
Read: https://blogs.oracle.com/database/post/multiple-vm-cluster-support-vm-cluster-node-subsetting-now-available-on-exadb-d
Oracle
Multiple VM Cluster Support & VM Cluster Node Subsetting now available on ExaDB-D
With Multiple VM Clusters (Multi-VM) support and VM Cluster Node Subsetting capability, you can now create multiple VM Clusters on a single Exadata Infrastructure in ExaDB-D and have the flexibility to choose specific DB Servers within the infrastructure…
Детальное рассмотрение поведения при использовании INCLUDE
Некоторые базы данных такие, как Microsoft SQL Server, IBM Db2, а также PostgreSQL начиная с 11 версии – предлагают прибегнуть к оператору include для генерации индекса. Представление данного функционала в PostgreSQL (исходная статья вышла 30.04.2019) послужило поводом для этого объёмного рассуждения о работе с оператором include.
Содержание:
1) Напоминание: btree-индексы
2) Напоминание: Index-only сканирование
3) Оператор include
4) Фильтрация по полям в include
5) Уникальные индексы при использовании include
6) Сравнение
7) PostgreSQL: Никакой фильтрации до проверки области видимости
Читать: https://habr.com/ru/post/703578/
Некоторые базы данных такие, как Microsoft SQL Server, IBM Db2, а также PostgreSQL начиная с 11 версии – предлагают прибегнуть к оператору include для генерации индекса. Представление данного функционала в PostgreSQL (исходная статья вышла 30.04.2019) послужило поводом для этого объёмного рассуждения о работе с оператором include.
Содержание:
1) Напоминание: btree-индексы
2) Напоминание: Index-only сканирование
3) Оператор include
4) Фильтрация по полям в include
5) Уникальные индексы при использовании include
6) Сравнение
7) PostgreSQL: Никакой фильтрации до проверки области видимости
Читать: https://habr.com/ru/post/703578/
Как найти «слона» в песочнице на Hadoop: решаем проблему с ограничением объёма выделенной памяти
И снова здравствуй, Хабр! Сегодня поговорим об актуальной для многих из нас проблеме при работе с базами данных. В ходе работы над разными проектами часто приходится создавать базу данных (командное пространство, песочница и т.п.), которую использует как сам автор, так и/или коллеги для временного хранения данных. Как у любого «помещения», в нашей «песочнице» есть своё ограничение по объёму выделенного места для хранения данных. Периодически бывает так, что вы или ваши коллеги забываете об этом маленьком ограничении, из-за чего, к сожалению, заканчивается объём выделенной памяти.
В этом случае можно применить маленький лайфхак, который позволит оперативно просмотреть, какая таблица больше всего занимает место, кто её владелец, как долго она находится в общей песочнице и т.д. Используя его, вы оперативно сможете почистить место в песочнице, предварительно согласовав действия с владельцем данных без нанесения вреда данным остальных коллег. Кроме того, этот инструмент позволит периодически проводить мониторинг наполняемости вашей общей песочницы.
Читать: https://habr.com/ru/post/703608/
И снова здравствуй, Хабр! Сегодня поговорим об актуальной для многих из нас проблеме при работе с базами данных. В ходе работы над разными проектами часто приходится создавать базу данных (командное пространство, песочница и т.п.), которую использует как сам автор, так и/или коллеги для временного хранения данных. Как у любого «помещения», в нашей «песочнице» есть своё ограничение по объёму выделенного места для хранения данных. Периодически бывает так, что вы или ваши коллеги забываете об этом маленьком ограничении, из-за чего, к сожалению, заканчивается объём выделенной памяти.
В этом случае можно применить маленький лайфхак, который позволит оперативно просмотреть, какая таблица больше всего занимает место, кто её владелец, как долго она находится в общей песочнице и т.д. Используя его, вы оперативно сможете почистить место в песочнице, предварительно согласовав действия с владельцем данных без нанесения вреда данным остальных коллег. Кроме того, этот инструмент позволит периодически проводить мониторинг наполняемости вашей общей песочницы.
Читать: https://habr.com/ru/post/703608/
What’s New in Atlas Charts: Easy Organization-Wide Sharing
Read: https://www.mongodb.com/blog/post/whats-new-atlas-charts-easy-organization-wide-sharing
Read: https://www.mongodb.com/blog/post/whats-new-atlas-charts-easy-organization-wide-sharing
Обновить данные в ClickHouse без UPDATE: кейс IBS
Привет, Хабр! Меня зовут Антон, я – старший разработчик в отделе разработки баз данных в IBS. В этой статье я расскажу о том, как нашей командой была решена задача по сохранению в ClickHouse большого количества данных, генерируемых веб-приложением, с последующим получением сохранённых данных в агрегированном виде.
Решение задачи, описанной выше, было бы простым и вряд ли заслуживающим отдельной статьи на Хабре. Но наш случай представлял собой ряд нюансов: здесь есть технические дубли записей и бизнес-дубли (обновления), есть агрегированные данные и необходимость обновления агрегированных данных. А это уже пример не совсем типичного использования ClickHouse, которым мы и хотим поделиться.
Интересно? Переходите под кат.
Читать: https://habr.com/ru/post/703124/
Привет, Хабр! Меня зовут Антон, я – старший разработчик в отделе разработки баз данных в IBS. В этой статье я расскажу о том, как нашей командой была решена задача по сохранению в ClickHouse большого количества данных, генерируемых веб-приложением, с последующим получением сохранённых данных в агрегированном виде.
Решение задачи, описанной выше, было бы простым и вряд ли заслуживающим отдельной статьи на Хабре. Но наш случай представлял собой ряд нюансов: здесь есть технические дубли записей и бизнес-дубли (обновления), есть агрегированные данные и необходимость обновления агрегированных данных. А это уже пример не совсем типичного использования ClickHouse, которым мы и хотим поделиться.
Интересно? Переходите под кат.
Читать: https://habr.com/ru/post/703124/
Глубокое обучение в диагностике: как AI спасает жизни и экономит средства на лечение
«Симптомы никогда не лгут», — так сказал самый блестящий диагност, доктор Хаус, который, увы существует только в телесериале. В реальной жизни симптомы часто нелегко обнаружить даже лучшим специалистам, а ошибочные диагнозы признаны самыми частыми и опасными медицинскими ошибками: с теми или иными ошибочными диагнозами сталкиваются ежегодно от 12 до 18 миллионов жителей США.
Есть надежда, что искусственный интеллект (artificial intelligence, AI) и машинное обучение (machine learning, ML) смогут в будущем изменить эту тревожную ситуацию. В этой статье рассматриваются самые успешные примеры использования машинного обучения в диагностике, подчёркивается его потенциал и описываются современные ограничения.
Читать: https://habr.com/ru/post/700344/
«Симптомы никогда не лгут», — так сказал самый блестящий диагност, доктор Хаус, который, увы существует только в телесериале. В реальной жизни симптомы часто нелегко обнаружить даже лучшим специалистам, а ошибочные диагнозы признаны самыми частыми и опасными медицинскими ошибками: с теми или иными ошибочными диагнозами сталкиваются ежегодно от 12 до 18 миллионов жителей США.
Есть надежда, что искусственный интеллект (artificial intelligence, AI) и машинное обучение (machine learning, ML) смогут в будущем изменить эту тревожную ситуацию. В этой статье рассматриваются самые успешные примеры использования машинного обучения в диагностике, подчёркивается его потенциал и описываются современные ограничения.
Читать: https://habr.com/ru/post/700344/