Мониторинг — это боль
И все мы выполняем его неправильно (в том числе и я).
Я должен признаться. Несмотря на то, что меня много раз нанимали в том числе и благодаря моему опыту работы с платформами мониторинга, я начал его ненавидеть. Инструменты мониторинга и наблюдаемости (observability) совершают тяжкий грех: обманом заставляют людей думать, что это простая задача. Очень легко мониторить маленькое приложение или сервис. Но почти ни одно из таких решений не масштабируется.
Вместо этого мониторинг превращается в бесконечную последовательность маленьких неудач. Метрики на какое-то время исчезают, логи перестают записываться на несколько часов, веб-UI для трассировок больше не работает. Мы настраиваем эти инструменты, готовясь, что сможем о них после этого забыть, но на самом деле они требуют постоянно растущих усилий по обслуживанию. Некоторые инструменты ломаются, и их больше никто не чинит. Я слишком часто приходил в новую компанию и видел, что в ней развёрнут нелюбимый мной поломанный Jaeger.
Такое ощущение, что сейчас как никогда много инструментов мониторинга, но вперёд мы не движемся. Похоже, вместо развития упор делается на увеличение объёма выходных данных приложений для роста доходов компаний, занимающихся мониторингом. Кажется, практически никакого прогресса не происходит с принципом передачи меньшего количества логов и метрик от клиента. Я создаю всё более сложные стеки для записи огромных объёмов данных, чтобы использовать их всё меньше и меньше.
В статье я расскажу о том, что, по моему мнению, нужно делать, а также поделюсь своими надеждами и мечтами. Прошу вас убедить меня, что я не прав и что есть более качественные решения.
Читать: https://habr.com/ru/companies/ruvds/articles/746086/
И все мы выполняем его неправильно (в том числе и я).
Я должен признаться. Несмотря на то, что меня много раз нанимали в том числе и благодаря моему опыту работы с платформами мониторинга, я начал его ненавидеть. Инструменты мониторинга и наблюдаемости (observability) совершают тяжкий грех: обманом заставляют людей думать, что это простая задача. Очень легко мониторить маленькое приложение или сервис. Но почти ни одно из таких решений не масштабируется.
Вместо этого мониторинг превращается в бесконечную последовательность маленьких неудач. Метрики на какое-то время исчезают, логи перестают записываться на несколько часов, веб-UI для трассировок больше не работает. Мы настраиваем эти инструменты, готовясь, что сможем о них после этого забыть, но на самом деле они требуют постоянно растущих усилий по обслуживанию. Некоторые инструменты ломаются, и их больше никто не чинит. Я слишком часто приходил в новую компанию и видел, что в ней развёрнут нелюбимый мной поломанный Jaeger.
Такое ощущение, что сейчас как никогда много инструментов мониторинга, но вперёд мы не движемся. Похоже, вместо развития упор делается на увеличение объёма выходных данных приложений для роста доходов компаний, занимающихся мониторингом. Кажется, практически никакого прогресса не происходит с принципом передачи меньшего количества логов и метрик от клиента. Я создаю всё более сложные стеки для записи огромных объёмов данных, чтобы использовать их всё меньше и меньше.
В статье я расскажу о том, что, по моему мнению, нужно делать, а также поделюсь своими надеждами и мечтами. Прошу вас убедить меня, что я не прав и что есть более качественные решения.
Читать: https://habr.com/ru/companies/ruvds/articles/746086/
PyMongoArrow Now Generally Available
Read: https://www.mongodb.com/blog/post/pymongoarrow-now-generally-available
Read: https://www.mongodb.com/blog/post/pymongoarrow-now-generally-available
Нативный способ шифрования данных в Helm
Привет, Хабр! Меня зовут Миняйлов Лев, я старший разработчик и DevOps-инженер Группы "Иннотех".
Хочу поделиться решением задачи шифрования чувствительных данных в Helm, использующим встроенные функции encryptAES/decryptAES.
Читать: https://habr.com/ru/companies/innotech/articles/746132/
Привет, Хабр! Меня зовут Миняйлов Лев, я старший разработчик и DevOps-инженер Группы "Иннотех".
Хочу поделиться решением задачи шифрования чувствительных данных в Helm, использующим встроенные функции encryptAES/decryptAES.
Читать: https://habr.com/ru/companies/innotech/articles/746132/
Oracle Sharding: Enterprise-Grade Distributed Database
Oracle Sharding distributes segments of a data set across many databases (shards) on different computers, on-premises, or in the cloud, allowing for horizontal scaling, improved performance, and fault tolerance. It enables globally distributed, linearly scalable, multi-model databases.
Read: https://blogs.oracle.com/database/post/oracle-shardingenterprisegrade-distributed-database
Oracle Sharding distributes segments of a data set across many databases (shards) on different computers, on-premises, or in the cloud, allowing for horizontal scaling, improved performance, and fault tolerance. It enables globally distributed, linearly scalable, multi-model databases.
Read: https://blogs.oracle.com/database/post/oracle-shardingenterprisegrade-distributed-database
Oracle
Oracle Sharding:Enterprise-Grade Distributed Database
Oracle Sharding distributes segments of a data set across many databases (shards) on different computers, on-premises, or in the cloud, allowing for horizontal scaling, improved performance, and fault tolerance. It enables globally distributed, linearly scalable…
Operating at Scale Using Resource Tags
Read: https://www.mongodb.com/blog/post/operating-at-scale-using-resource-tags
Read: https://www.mongodb.com/blog/post/operating-at-scale-using-resource-tags
Impactive Makes ESG Integration and Stewardship Reporting Easier for Investment Firms
Read: https://www.mongodb.com/blog/post/impactive-makes-esg-integration-stewardship-reporting-easier-investment-firms
Read: https://www.mongodb.com/blog/post/impactive-makes-esg-integration-stewardship-reporting-easier-investment-firms
MongoDB Partners with NCS to Drive Transformation for ASEAN Businesses and Build Innovative AI Tools
Read: https://www.mongodb.com/blog/post/mongodb-partners-ncs-drive-transformation-asean-businesses-build-innovative-ai-tools
Read: https://www.mongodb.com/blog/post/mongodb-partners-ncs-drive-transformation-asean-businesses-build-innovative-ai-tools
Visma Proceedo Migrates to MariaDB unlocking more than 2x better response times and cost savings
Read: https://mariadb.com/?p=36870
Read: https://mariadb.com/?p=36870
Японский SSD (sardine state disk)
В декабре 2018 японский студент-химик с ником ni28_xp опубликовал фотографию USB-накопителя, сделанной из анчоуса. Звучит максимально странно даже для Японии, не так ли?
Читать: https://habr.com/ru/companies/cloud4y/articles/746514/
В декабре 2018 японский студент-химик с ником ni28_xp опубликовал фотографию USB-накопителя, сделанной из анчоуса. Звучит максимально странно даже для Японии, не так ли?
Читать: https://habr.com/ru/companies/cloud4y/articles/746514/
BI по-русски: что умеют BI-решения, доступные отечественному бизнесу
Мы в beeline cloud постоянно изучаем тренды рынка BI: как он меняется с развитием ИИ и ростом спроса на отечественный софт. А сегодня хотим рассказать о том, кто и зачем использует системы бизнес-аналитики, а также посмотреть на возможности ключевых игроков, представленных в России.
Читать: https://habr.com/ru/companies/beeline_cloud/articles/746720/
Мы в beeline cloud постоянно изучаем тренды рынка BI: как он меняется с развитием ИИ и ростом спроса на отечественный софт. А сегодня хотим рассказать о том, кто и зачем использует системы бизнес-аналитики, а также посмотреть на возможности ключевых игроков, представленных в России.
Читать: https://habr.com/ru/companies/beeline_cloud/articles/746720/
How Telcos Drive Mission-Critical Innovation and Cost Savings Through Automation
Read: https://www.mongodb.com/blog/post/telcos-drive-mission-critical-innovation-cost-savings-automation
Read: https://www.mongodb.com/blog/post/telcos-drive-mission-critical-innovation-cost-savings-automation
Из цикла ETL: Python для аналитики ad hoc из BigQuery
Рассказали, как создавать запросы с помощью BigQuery API – библиотеки, упрощающей обращение с хранилищем, как записывать и читать данные.
Читать: «Из цикла ETL: Python для аналитики ad hoc из BigQuery»
Рассказали, как создавать запросы с помощью BigQuery API – библиотеки, упрощающей обращение с хранилищем, как записывать и читать данные.
Читать: «Из цикла ETL: Python для аналитики ad hoc из BigQuery»
Tproger
Из цикла ETL: Python для аналитики ad hoc из BigQuery
Рассказали, как создавать запросы с помощью BigQuery API – библиотеки, упрощающей обращение с хранилищем, как записывать и читать данные.
[recovery mode] Какие технологии использует Российская медицина? (ручка/клей/оборотка) Часть первая
Я врач хирург, работаю в одной из гос клиник России, и попробую Вам изложить, есть ли электронные карты пациентов, базы данных с мкб, есть ли клинические рекомендации, и как помогает компьютер в жизни штатного врача стационара и поликлиники.
Читать: https://habr.com/ru/articles/747158/
Я врач хирург, работаю в одной из гос клиник России, и попробую Вам изложить, есть ли электронные карты пациентов, базы данных с мкб, есть ли клинические рекомендации, и как помогает компьютер в жизни штатного врача стационара и поликлиники.
Читать: https://habr.com/ru/articles/747158/
Многомерные базы данных
Многомерные базы данных (МБД) представляют собой эффективные инструменты для организации и анализа больших объемов данных в сфере аналитики. Они представляют данные в форме кубов, где каждая ось представляет собой отдельное измерение, а значения представляются в виде ячеек. Концепция МБД зародилась в конце 1970-х годов.
Многомерные базы данных отличаются от обычных реляционных баз данных тем, что они специально оптимизированы для работы с аналитическими запросами и агрегированными данными. В отличие от традиционных баз данных, где данные хранятся в виде таблиц, в МБД основное внимание уделяется анализу данных и созданию быстрых и эффективных запросов.
Читать: https://habr.com/ru/companies/otus/articles/747204/
Многомерные базы данных (МБД) представляют собой эффективные инструменты для организации и анализа больших объемов данных в сфере аналитики. Они представляют данные в форме кубов, где каждая ось представляет собой отдельное измерение, а значения представляются в виде ячеек. Концепция МБД зародилась в конце 1970-х годов.
Многомерные базы данных отличаются от обычных реляционных баз данных тем, что они специально оптимизированы для работы с аналитическими запросами и агрегированными данными. В отличие от традиционных баз данных, где данные хранятся в виде таблиц, в МБД основное внимание уделяется анализу данных и созданию быстрых и эффективных запросов.
Читать: https://habr.com/ru/companies/otus/articles/747204/
Мониторинг PostgreSQL. Необходимость в информативных счётчиках ресурсов и трассировки
В данной статье хочу поднять тему, которая представляет собой одну большую боль для администраторов, разработчиков и тестировщиков высоконагруженных (и не очень) систем под управлением PostgreSQL. Даже не «боль», а «БОЛЬ»!
Удивительно, что за почти 30 лет существования PostgreSQL не появилось нормальных инструментов для получения вменяемых счетчиков и трассировок. Все, кто работают с MS SQL Server используют профайлер. Это обязательный и привычный инструмент, который позволяет вылавливать запросы, интересные нам в рамках исследования. Вылавливать как все запросы без разбора, так и какие-то единичные запросы, которые удовлетворяют правилам отбора. Кроме того, можно настроить не одну трассу, а столько сколько нужно, с разными фильтрами. Эти трассы содержат очень богатый набор измерений для анализа: – Reads физические и логические; Writes; SPID, Процессорное время; план запроса (хэш плана), количество строк и т.д.
Многие компании стали всерьез рассматривать СУБД PostgreSQL как замену MSSQL и сталкиваются с тем, что возможностей для ее мониторинга просто нет – она как черный ящик, в котором наощупь вылавливаешь какую-ту информацию и пытаешься систематизировать ее хоть как-то.
Читать: https://habr.com/ru/companies/softpoint/articles/747322/
В данной статье хочу поднять тему, которая представляет собой одну большую боль для администраторов, разработчиков и тестировщиков высоконагруженных (и не очень) систем под управлением PostgreSQL. Даже не «боль», а «БОЛЬ»!
Удивительно, что за почти 30 лет существования PostgreSQL не появилось нормальных инструментов для получения вменяемых счетчиков и трассировок. Все, кто работают с MS SQL Server используют профайлер. Это обязательный и привычный инструмент, который позволяет вылавливать запросы, интересные нам в рамках исследования. Вылавливать как все запросы без разбора, так и какие-то единичные запросы, которые удовлетворяют правилам отбора. Кроме того, можно настроить не одну трассу, а столько сколько нужно, с разными фильтрами. Эти трассы содержат очень богатый набор измерений для анализа: – Reads физические и логические; Writes; SPID, Процессорное время; план запроса (хэш плана), количество строк и т.д.
Многие компании стали всерьез рассматривать СУБД PostgreSQL как замену MSSQL и сталкиваются с тем, что возможностей для ее мониторинга просто нет – она как черный ящик, в котором наощупь вылавливаешь какую-ту информацию и пытаешься систематизировать ее хоть как-то.
Читать: https://habr.com/ru/companies/softpoint/articles/747322/
Real-Time Energy Monitoring for Smart Buildings with MongoDB and HiveMQ
Read: https://www.mongodb.com/blog/post/real-time-energy-monitoring-smart-buildings-mongodb-hivemq
Read: https://www.mongodb.com/blog/post/real-time-energy-monitoring-smart-buildings-mongodb-hivemq
Breaking News from MongoDB.local NYC
Read: https://www.mongodb.com/blog/post/breaking-news-mongodb-local-nyc
Read: https://www.mongodb.com/blog/post/breaking-news-mongodb-local-nyc
Boosting Developer Productivity with MongoDB Compass Settings
Read: https://www.mongodb.com/blog/post/boosting-developer-productivity-compass-settings
Read: https://www.mongodb.com/blog/post/boosting-developer-productivity-compass-settings
Lleva al siguiente nivel tu estrategia de fijación de precios con MongoDB y Databricks
Read: https://www.mongodb.com/blog/post/fueling-pricing-strategies-mongodb-databricks-esp
Read: https://www.mongodb.com/blog/post/fueling-pricing-strategies-mongodb-databricks-esp
July edition of newsletter for Autonomous Database Serverless
We are continually adding new features to Autonomous Database Serverless. Over the LAST 12 MONTHS, over 200 NEW FEATURES have been added, and the latest updates include the following:
Read: https://blogs.oracle.com/datawarehousing/post/july-edition-of-newsletter-for-autonomous-database-serverless
We are continually adding new features to Autonomous Database Serverless. Over the LAST 12 MONTHS, over 200 NEW FEATURES have been added, and the latest updates include the following:
Read: https://blogs.oracle.com/datawarehousing/post/july-edition-of-newsletter-for-autonomous-database-serverless
Oracle
July edition of newsletter for Autonomous Database Serverless
We are continually adding new features to Autonomous Database Serverless. Over the LAST 12 MONTHS, over 200 NEW FEATURES have been added, and the latest updates include the following:
Архитектура аналитической платформы Modus BI: ETL
Начинаем цикл статей об архитектуре аналитических платформ. Поговорим об общем устройстве и подробнее остановимся на анатомии ETL на примере Modus. Вы узнаете, из каких компонентов состоит аналитическая система, откуда она получает и как работает с данными, и что мы в Modus делаем такого, чтобы оптимизировать эти процессы.
Читать: https://habr.com/ru/companies/modusbi/articles/747866/
Начинаем цикл статей об архитектуре аналитических платформ. Поговорим об общем устройстве и подробнее остановимся на анатомии ETL на примере Modus. Вы узнаете, из каких компонентов состоит аналитическая система, откуда она получает и как работает с данными, и что мы в Modus делаем такого, чтобы оптимизировать эти процессы.
Читать: https://habr.com/ru/companies/modusbi/articles/747866/