Grafana Stack: закрываем все современные потребности Observability

Ни одна система не может функционировать без сбоев, всегда могут возникнуть ситуации, когда в работе софта возникают проблемы. И здесь важное значение имеет observability — понятие, включающее в себя мониторинг и наблюдаемость. С помощью мониторинга мы можем определить, когда возникла проблема, а наблюдаемость позволяет нам понять, почему она возникла.

В этой статье рассказано о том, как можно реализовать observability с помощью сервисов стека Grafana.

📌 Подробнее: https://habr.com/ru/amp/publications/854446/

MemOps 🤨

MemOps 😃

HCP Vault Dedicated: Новые возможности для DevOps-инженеров

Компания HashiCorp выпустила обновление для HCP Vault Dedicated, добавив ключевые функции, которые облегчают управление секретами, повышают устойчивость инфраструктуры и упрощают автоматизацию процессов.

Что изменилось?
▪️ Синхронизация секретов (Secrets Sync): Теперь секреты можно автоматически синхронизировать между облачными провайдерами, исключая ручные действия и снижая риски ошибок.

▪️ Кросс-региональное аварийное восстановление (Cross-Region DR): Поддержка репликации данных между регионами в рамках одного облака позволяет обеспечить достойный уровень доступности и минимизировать время простоя.

▪️ Поддержка протокола EST в PKI (EST PKI): Новый протокол упрощает автоматизацию управления сертификатами, особенно для больших масштабируемых систем, таких как IoT.

📌 Подробнее: https://www.hashicorp.com/blog/hcp-vault-dedicated-adds-secrets-sync-wif-cross-region-dr-est-pki-and-more

MemOps 🤨

MemOps 😃

Database Gateway: удобный инструмент для безопасного доступа к базам данных
На платформе Reddit пользователь поделился своим проектом под названием Database Gateway. Этот инструмент предназначен для безопасного и централизованного управления доступом к производственным базам данных, а также для выполнения строго контролируемых запросов.

Ключевые функции:
* Определение правил доступа на уровне экземпляров, таблиц и столбцов.
* Пользователи входят в систему с помощью OpenID Connect.
* Возможность выполнения запросов к нескольким экземплярам PostgreSQL через единый интерфейс.
* Безопасное выполнение одобренных запросов и просмотр результатов через веб-интерфейс
* Сохранение результатов запросов для последующего доступа или экспорта.

Как это работает:
* Пользователи проходят аутентификацию через OIDC.
* ACL (списки контроля доступа) регулируют доступ к конкретным экземплярам, таблицам и столбцам.
* Одобренные запросы выполняются, а результаты хранятся в безопасной среде.

📌 Подробнее: https://github.com/kazhuravlev/database-gateway

MemOps 🤨

MemOps 😃

Kubernetes Node Problem Detector: как отслеживать и решать проблемы узлов в кластере

Поддержание стабильности Kubernetes-кластера — одна из ключевых задач DevOps-инженера. Чтобы вовремя обнаруживать и устранять проблемы с узлами, Google разработали Node Problem Detector (NPD). Этот инструмент интегрируется с Kubernetes и помогает автоматически выявлять неисправности узлов, такие как сбои оборудования, перегрузки или системные ошибки.

Node Problem Detector — это агент, который:
- Отслеживает проблемы на уровне операционной системы (например, ошибки ядра, падения процессов).
- Собирает метрики и логи, позволяя быстро диагностировать сбои.
- Обновляет статус узлов в Kubernetes, чтобы подсказать, какие из них нуждаются в ремонте или замене.
- Отправляет уведомления во внешние системы мониторинга, такие как Prometheus или Stackdriver.

Как настроить?
1. Установить DaemonSet: Node Problem Detector разворачивается на всех узлах кластера как DaemonSet.
2. Настроить конфигурацию: Можно задать правила для обнаружения конкретных типов проблем. Например, мониторинг системных логов для поиска определённых сообщений об ошибках.
3. Интеграция с Kubernetes: Проблемы автоматически отражаются в статусе узлов (NodeCondition), что позволяет оркестратору учитывать их при планировании подов.
4. Отправка данных в Prometheus, Grafana или другие системы для удобного отслеживания.

📌 Подробнее: https://dzone.com/articles/kubernetes-node-problem-detector-setup

MemOps 🤨

MemOps 😃

Статья: Как мы создавали динамический Kubernetes API server для API Aggregation Layer в Cozystack

Kubernetes действительно поражает своими могучими возможностями к расширению. Вы наверняка уже знаете про operator-паттерн, а также фреймворки kubebuilder и operator-sdk с помощью которых можно его реализовать. Если вкратце, то они позволяют расширять ваш Kubernetes через определение кастом-ресурсов (CRDs) и написание дополнительного контроллера, который будет выполнять вашу бизнес-логику для реконсиляции и управления этими ресурсами. Этот подход широко изучен, а в интернете можно найти огромное количество информации о том, как написать такой оператор.

Однако это не единственный метод расширения Kubernetes API. Так, для более сложных кейсов, например реализации императивной логики, сабресурсов и формирования ответов на лету, можно рассмотреть механизм API aggregation layer, который поддерживается в Kubernetes. В рамках aggregation layer можно разработать свой собственный extension API server и бесшовно интегрировать его в общий Kubernetes API.

В этой статье мы разберем, что такое API aggregation layer, для решения каких задач его стоит использовать, когда его использовать не стоит и как мы использовали эту модель для реализации собственного extension API server в платформе Cozystack.

📌 Подробнее: https://habr.com/ru/companies/aenix/articles/832824/

MemOps 🤨

MemOps 😃

State of DevOps 2024. Туда и обратно. Часть 2: Искусственный интеллект

Сегодня продолжаем разбирать отчёт State of DevOps 2024. В прошлой статье мы обсудили DORA-метрики, а в этой обсудим искусственный интеллект. Пока он ещё не созрел (но это не точно), чтобы самостоятельно писать на Хабр обзоры про себя и отвечать на комментарии…

Авто статьи: Сергей Задорожный, руководитель отдела платформенных решений банка «Центр-инвест».

Первая часть обзора: State of DevOps 2024. Туда и обратно: 1. DORA-метрики и элитность

📌 Подробнее: https://habr.com/ru/companies/yandex_praktikum/articles/861286/

MemOps 🤨

MemOps 😃

Apache Airflow: нестандартное применение

Python разработчик в команде dBrain рассказывает, как в dBrain внедрили собственную стратегию тестирования, которая в разы сокращает количество действий работающих с платформой инженеров. Применили альтернативный вариант тестирования - с помощью сервиса Apache Airflow.

📌 Подробнее: https://habr.com/ru/companies/dbraincloud/articles/861842/

MemOps 🤨

MemOps 😃

Кто ведёт оркестр? Kubernetes vs Docker Swarm vs Nomad

Существует несколько популярных решений для оркестрации, среди которых Kubernetes, Docker Swarm и Nomad. Каждое из этих решений имеет свои особенности, преимущества и ограничения.

▪️ Kubernetes является мощным и гибким инструментом, способным справляться с крупномасштабными задачами, но требует определённых усилий для настройки и эксплуатации.

▪️ Docker Swarm же проще в использовании и идеально подходит для проектов средней сложности, но ограничен в функционале.

▪️ Nomad, в свою очередь, представляет собой универсальное решение для оркестрации не только контейнеров, но и других типов рабочих нагрузок.

📌 Подробнее: https://hackernoon.com/container-orchestration-smackdown-kubernetes-vs-docker-swarm-vs-nomad

MemOps 🤨

MemOps 😃

OpenShift: улучшенный Kubernetes или переплата за техподдержку?

В статье говорится об OpenShift, который позиционируется, как "корпоративная" версия Kubernetes. Но так ли всё радужно, как рассказывают на презентациях?

📌 Подробнее: https://habr.com/ru/companies/cdnnow/articles/862380/

MemOps 🤨

MemOps 😃

Docker и микросервисы для начинающих: полный курс с практическими примерами использования Docker Compose. Продолжительность: 1:35:01

📌 Подробнее: https://www.youtube.com/watch?v=ENr2QvcHrL4

MemOps 🤨

MemOps 😃

kube-startup-cpu-boost - это контроллер, который увеличивает запросы и ограничения ресурсов процессора во время запуска рабочей нагрузки Kubernetes. Как только рабочая нагрузка запущена, ресурсы возвращаются к исходным значениям.

📌 Подробнее: https://github.com/google/kube-startup-cpu-boost

MemOps 🤨