ну и цель чтобы оно было простым и готовым к продакшену

А также сейчас они делают решение для облаков

(демонстрация разных стандартных возможностей)

например csysdig позволяет походить по контейнерам и поисследовать их, пофильтровать данные по контейнеру

(к сожалению в аудитории темно и телефон плохо фотографирует экран)

Собственно почему в современном мире используют контейнеры? Потому что это хороший способ утилизировать железо лучше

На 1 ноде можно иметь десяток сервисов, которые легко куда-нибудь переместить, легче мониторить и т.п.

лучше скейлится

Но понять что происходит внутри может быть сложно, потому что взаимодействие контейнеров может быть очень сложным

Собственно говоря есть две крупные проблемы:

1. Как забирать данные из контейнеров?

ssh? Может быть сложным, очень сложным.

Более того, хочется иметь детальные запросы

статистику по конкретным тредам JVM, например, по конкретным запросам в базу и т.п.

2. Как проводить кореляцию между событиями - это не тривиально

К тому же система мониторинга должна быть изолированной от контейнеров, автоматической (сама находить контейнеры и софт в них)

еще бы неплохо интегрироваться с системами оркестрации

И еще и масштабируемой

Есть уже готовые методы для инструментирования. Например подход Amazon CloudWatch

Они работают на уровне гипервизора и собирают метрики там

но при этом они теряют возможность получить детали