Почему на новые SSD ставят вентиляторы. Термотроттлинг


ineo M.2 2280 SSD Rocket Heatsink с вентилятором, источник

Динамический термотроттлинг — функция современных SSD, когда контроллер специально замедляет/приостанавливает свою работу, чтобы снизить температуру ячеек памяти NAND. Он делает это ради сохранения данных, чтобы накопитель не перегрелся и не сработали контуры отключения питания.

С каждым поколением PCIe пропускная способность линий PCIe обычно удваивается. В PCIe 4.0 скорость SSD приближалась к теоретическому максимуму 8 ГБ/с. Сегодня SSD PCIe Gen 5.0 x4 разгоняются до 10−14 ГБ/с, при этом сильно нагревается контроллер (неудивительно, что эти микросхемы вообще долго не живут).


Читать: https://habr.com/ru/companies/ruvds/articles/762092/

Форматы ORC и Parquet на базе HDFS

Каждая компания непрерывно производит и хранит кучу данных, и это вызывает множество проблем. Объёмы хранилищ не бесконечны, как и ресурсы железа. Вот только оптимизация обработки и хранения данных не всегда приносит желаемые результаты. Как всё настроить так, чтобы значительно сократить объём занимаемый ими на диске?

У нас получилось! Мы снизили количество данных на диске в 3 раза, при этом ускорив их обработку. И сейчас расскажу как. Меня зовут Александр Маркачев, я Data Engineer команды Голосовой Антифрод в beeline. В статье затронем тему форматов ORC и Parquet, как их правильно использовать и хранить, чтобы всем было хорошо.


Читать: https://habr.com/ru/companies/oleg-bunin/articles/761780/

Как перейти с монолита на микросервисы и ничего не сломать: кейс компании ВТБ

При доработке или обновлении даже небольшого приложения можно столкнуться с ошибками и неочевидными проблемами. Что уж говорить о сложных многокомпонентных системах Enterprise-уровня, которые часто имеют сотни очевидных и не очень зависимостей, из-за чего трудно поддаются изменениям. Поэтому модернизации таких приложений, в том числе такие глобальные, как переработка архитектуры, нередко превращаются в настоящий квест.


Читать: https://habr.com/ru/companies/vk/articles/762060/

Бескомпромиссная мощь на стиле: Altos BrainSphere P150 F8 для разработки ИИ и 3D-графики

Технологический прогресс не остановить, а вместе с ним и рост требований к мощности рабочих станций, на которых выполняется разработка современных информационных продуктов. Искусственный интеллект, 3D-видео и дополненная реальность — вот лишь часть задач, которые не просто требуют серьёзных вычислительных мощностей, а буквально с радостью поглощают каждую возможность выполнить работу быстрее.

Отвечая на запросы требовательных пользователей, компания Altos выпустила рабочую станцию Altos BrainSphere P150 F8, которая объединяет в себе высочайшую производительность и передовые технологии. В этом посте мы поговорим о том, какие компоненты этой станции обеспечивают качественное выполнение задач, требующих мощных графических вычислений.


Читать: https://habr.com/ru/companies/acer/articles/762278/

Being Latine in Tech: Two MongoDB Employees Share Their Advice on Building Careers in Engineering

The article features two employees of MongoDB's employee resource group QueLatine, Ashley Naranjo and Martin Bajana. They share their career journeys in the tech industry and offer advice for other members of the Latine community. Naranjo discusses how she transitioned from nursing to a career in tech after COVID-19, and Bajana discusses his interest in technology from a young age and his experience working in the tech industry. They both talk about challenges they have faced in their careers and how MongoDB has supported their growth and development. They also offer advice for Latines who want to start careers in tech, emphasizing the importance of continuous learning, networking, and believing in oneself. The article then transitions to discussing the importance of Queryable Encryption in protecting data in the tech industry, and how MongoDB supports its customers in implementing this encryption solution. The text explains how the intelligence layer can be overlapped in an event-driven manner, making it real-time and cost-effective. This allows for nimble applications and business processes. Data freshness is crucial for delivering business scores and analytics in real-time. MongoDB Atlas Search offers advanced features such as faceted search and auto-complete, providing an intuitive search experience. App-driven analytics is a competitive advantage over traditional warehouse analytics. The search functionality is optimized for performance, ensuring a high-quality user experience. Empowering teams with MongoDB and Databricks allows for real-time machine learning solutions for AI-augmented Search in e-commerce apps.

Read: https://www.mongodb.com/blog/post/being-latine-tech-two-employees-share-their-advice-building-careers-engineering

Autonomous Database - Dedicated Observability for Mission Critical Workloads

Oracle Autonomous Database - Dedicated (ADB-D) caters to the stringent observability requirements of mission-critical workloads. By actively participating in the observability cycle and providing comprehensive tools, services, and automation, Oracle empowers customers to ensure the performance, regulatory compliance, and trustworthiness of their databases.

Read: https://blogs.oracle.com/database/post/adb-d-observability-for-mission-critical-workloads

To celebrate Oracle CloudWorld, Oracle Press is offering a 40% to 70% discount on select materials

To celebrate Oracle CloudWorld, Oracle Press is offering a 40% to 70% discount on select books, ebooks and video courses.

Read: https://blogs.oracle.com/linux/post/to-celebrate-oracle-cloudworld-oracle-press-is-offering-a-special-discount

Переходим на Greenplum быстро

В условиях отсутствия возможности лицензирования и поддержки иностранных вендорских решений по хранилищам данных, встал вопрос о замене этих решений на отечественное программное обеспечение, с вендорской поддержкой, находящееся в реестре российского ПО и которое не уступает по производительности и объемам хранения зарубежным аналогам, таким как Teradata, Oracle, SAP HANA. Как показал анализ, таким требованиям отвечает лишь решения, основанные на MPP СУБД на базе Greenplum, в частности Arenadata DB (ADB). Но как быстро и безболезненно начать миграцию с привычных хранилищ на open-source? Постараюсь в статье рассказать и показать, что удалось придумать в этом направлении


Читать: https://habr.com/ru/companies/sapiens_solutions/articles/759828/

Сам себе BI-аналитик или как навести порядок в отчётности компании

Привет, Хабр! На связи аналитики Кошелька. Наша команда состоит из 13 дата-аналитиков, 5 DE-инженеров, 2 ML-инженеров и ровно 0 BI-аналитиков. Что мы любим делать? Определять метрики и рисовать дашборды. Что нужно заказчику? Метрики и дашборды (а еще достижение целей и выручка, но не будем сейчас об этом).

В этой статье мы собрали инструкцию, как можно навести порядок в отчётности без отдельных BI-аналитиков, и с какими проблемами вы можете столкнуться в процессе.


Читать: https://habr.com/ru/companies/koshelek/articles/761350/

Производительность блочного хранилища на основе софт рейдов (mdadm, LVM и ZFS) при использовании iSER и NVMe-oF

Смысл данной статьи показать максимальную производительность, когда вопрос сохранности данных решается репликами или бэкапами.

Цель - протестировать производительность трёх систем объединения физических устройств в одно логическое систем при использовании iSER и NVMe-oF.

И сравниваться будет три системы, которые показали самые высокие показатели по результатам тестов из первой части статьи.


Читать: https://habr.com/ru/articles/763040/

Сжать и не пожалеть: как работает сжатие без потерь

Более 9 миллиардов гигабайт информации ежедневно путешествуют по интернету, заставляя постоянно искать все новые и новые методы упаковки данных. Самые эффективные решения используют подходы, которые позволяют достичь большей плотности за счет "потерь" информации в процессе сжатия. В то же время очень мало внимания уделяется сжатию без потерь. Почему? Ответ прост - методы сжатия без потерь уже невероятно эффективны. С их помощью работает буквально всё, от формата PNG до утилиты PKZip. И это все благодаря студенту, что захотел пропустить экзамен.


Читать: https://habr.com/ru/articles/763248/

InfStones and Autonomous JSON Database

Case study: How InfStones built a low-latency query service over billions of JSON documents using Oracle Autonomous JSON Database

Read: https://blogs.oracle.com/database/post/infstones-and-autonomous-json-database

Getting Started on Oracle Database Service for Microsoft Azure with Exadata Database Service

Larry Ellison and Satya Nadella recently announced the general availability of Oracle Database Service for Microsoft Azure (ODSA) which enables customers to easily provision and use Oracle Database services in Oracle Cloud Infrastructure (OCI) with a familiar Azure-like experience. In this blog post, let’s take a look at how you provision Exadata Database Service on Dedicated Infrastructure with ODSA.

Read: https://blogs.oracle.com/database/post/getting-started-on-odsa-with-exadata-database-service

Introducing Oracle Database 23c Free

Oracle Database 23c Free, a free offering of the industry-leading Oracle Database that enterprises rely on every day, is now generally available.

Read: https://blogs.oracle.com/database/post/database-23c-free-ga

Latest Autonomous Database Innovation Announcements at Oracle CloudWorld

Autonomous Database continues to simplify customer innovations and reduce operational costs with several new feature announcements: 1) with Select AI, Autonomous Database now speaks “human”, letting you query your data using natural language, 2) developers have a new free and offline app dev option with Autonomous Database Free Container Image and 3) organizations save operational costs by consolidating compute resources in Elastic Resource Pools.

Read: https://blogs.oracle.com/datawarehousing/post/latest-autonomous-database-innovation-announcements-at-oracle-cloudworld

Hot Off the Press: MongoDB Launches Two New Books at MongoDB.local London

MongoDB has launched two new books, "Mastering MongoDB 7.0" and "Practical MongoDB Aggregations," as part of their MongoDB Press educational book series. The books cover technical and strategic topics and aim to provide accessible resources for developers. "Practical MongoDB Aggregations" focuses on building aggregation pipelines, while "Mastering MongoDB 7.0" delves into the latest features of MongoDB. Attendees at MongoDB.local London 2023 can get signed copies of the books.
Additionally, the blog discusses the integration of MongoDB and Databricks to deliver AI-augmented search capabilities for e-commerce applications. By combining the two platforms, retailers can streamline the search process, infuse AI and advanced search functionalities, and personalize search results in real-time. The blog also highlights the importance of a solid data model, the centralization of heterogeneous data, and the addition of AI-generated relevance to search engine results pages. Furthermore, MongoDB employees Ashley Naranjo and Martin Bajana share their career journeys and offer advice for building careers in tech for the Latinx community. They discuss challenges they've faced, how MongoDB has supported their career growth, and provide advice for aspiring tech professionals. This text encourages professionals in the tech industry to network with other professionals, learn from their experiences, and seek guidance. It also suggests participating in hackathons and other tech events to explore new technologies and ideas. The text emphasizes the importance of not being afraid to make mistakes and not giving up. Finally, it invites individuals to join MongoDB and transform the way developers work with data for their tech career, starting on September 20, 2023.

Read: https://www.mongodb.com/blog/post/hot-off-press-mongodb-launches-two-new-books-local-london

Autonomous Database speaks “human”

Meet Autonomous Database Select AI – the simplified way for your users to get answers about your business. They can use their natural language to query data and gain insights, without the need to understand where and how your data is stored. It’s that simple. Discover how Select AI simplifies the use of natural language to query your data.

Read: https://blogs.oracle.com/datawarehousing/post/autonomous-database-speaks-human

Introducing Autonomous Database Free Container Image

Learn how to take advantage of Autonomous Database free container image for your development and test use cases.

Read: https://blogs.oracle.com/datawarehousing/post/autonomous-database-free-container-image

How to Achieve up to 87% Compute Cost Savings with Elastic Resource Pools on Autonomous Database

Learn how you can achieve up to 87% compute cost savings with the elastic resource pools on Autonomous Database.

Read: https://blogs.oracle.com/datawarehousing/post/elastic-resource-pools-autonomous-database

Unlocking the Power of Oracle Database: Top 3 Database Options to Consider

Explore the world of Oracle databases and discover the top three options that can transform the way your business handles data. From enhancing security with Oracle's Advanced Security Option (ASO) to achieving high availability and scalability with Real Application Clusters (RAC), and simplifying management through Multitenant architecture, this blog dives into the key features and competitive advantages of each option.

Read: https://blogs.oracle.com/database/post/unlocking-the-power-of-oracle-database

Introducing Atlas for the Edge

MongoDB has introduced a new solution called Atlas for the Edge, which aims to simplify the management of data generated at the edge, including devices, on-premises data centers, and the cloud. Edge computing brings data processing closer to end-users but presents challenges such as complex networking, data volume management, and security concerns. Atlas for the Edge streamlines these tasks by allowing MongoDB to run on different edge infrastructure and ensuring data synchronization with minimal latency. The solution also enables organizations to run applications in locations with intermittent network connectivity, build and deploy AI-powered applications at the edge, store and process real-time and batch data from IoT devices, and secure edge applications for data privacy and compliance. The article also mentions two new books launched by MongoDB Press and the rebranding of Realm to MongoDB Atlas Device SDKs.

Read: https://www.mongodb.com/blog/post/introducing-atlas-for-the-edge