SadServers

Linux & DevOps Сценарии устранения неполадок SaaS

https://github.com/fduran/sadservers

#devops #девопс

Подпишись 👉 @i_DevOps

MaaS, или мониторинг как сервис

Меня зовут Валентин Лебедев, я отвечаю за мониторинг в Газпромбанке. Мой опыт в области построения систем мониторинга — более двенадцати лет, из которых последние шесть — строил мониторинг для крупного и сверхкрупного бизнеса.

Статья будет полезна специалистам, строящим ядро/платформу мониторинга, и пользователям, ежедневно с ним взаимодействующим.

Мы поговорим о пяти этапах взросления мониторинга. Так уж совпало, что эти пять этапов накладываются на сервисные IT-слои:

Инфраструктурный мониторинг;
Прикладной мониторинг;
Бизнес-мониторинг;
Application Performance Monitoring;
Real User Monitoring.

https://habr.com/ru/companies/oleg-bunin/articles/806779/

#devops #девопс

Подпишись 👉 @i_DevOps

Масштабирование Kafka для обеспечения роста объема данных PayPal

Apache Kafka - это платформа распределенной потоковой передачи событий с открытым исходным кодом, которая используется в PayPal для конвейеров потоковой передачи данных, интеграции и ввода данных. Она поддерживает наши самые критически важные приложения и принимает триллионы сообщений в день, что делает ее одной из самых надежных платформ для обработки огромных объемов данных, которые мы обрабатываем каждый день.

https://medium.com/paypal-tech/scaling-kafka-to-support-paypals-data-growth-a0b4da420fab

#devops #девопс

Подпишись 👉 @i_DevOps

Создание кластера MicroK8s

Хотя MicroK8s разработан как сверхлегкая реализация Kubernetes, создание кластера MicroK8s все же возможно и полезно. В этой статье рассказывается о том, как добавлять и удалять узлы и что требуется для обеспечения высокой доступности кластера.

https://microk8s.io/docs/clustering

#devops #девопс

Подпишись 👉 @i_DevOps

Robusta KRR

Robusta KRR (Kubernetes Resource Recommender) - это CLI-инструмент для оптимизации распределения ресурсов в кластерах Kubernetes. Он собирает данные об использовании подов из Prometheus и выдает рекомендации по запросам и лимитам на процессор и память. Это позволяет снизить затраты и повысить производительность.

📊 Получайте точные рекомендации по ресурсам
⏱ Немедленно
🔥 На основе истории, уже имеющейся в Prometheus
📁 Встроенные функции отчетности
⚙️ Прозрачные и понятные алгоритмы

https://github.com/robusta-dev/krr

#devops #девопс

Подпишись 👉 @i_DevOps

Kubernetes - Курс по Kubernetes для Начинающих

00:00:00 YouTube Intro
00:00:29 Введение в курс по Kubernetes
00:04:28 Что такое Kubernetes
00:08:09 Составляющие части кластера Kubernetes
00:16:28 Управление кластером с помощью kubectl
00:18:30 Программы для курса
00:24:30 Windows - Какой терминал использовать
00:25:52 Установка kubectl
00:31:08 Установка Minikube
00:36:30 Установка Docker Desktop
00:40:24 Создание кластера K8S с помощью Minikube
00:46:50 Проверка статуса кластера Minikube
00:51:19 Настройка алиаса для команды kubectl
00:54:11 Исследование кластера Minikube
00:56:46 Запущенные поды и контейнеры
01:01:00 Сравнение версий Docker
01:04:03 Создание одного пода в кластере
01:08:05 Детальная информация о поде
01:10:53 Проверка доступности веб сервера nginx в контейнере
01:14:41 Подключение внутрь контейнера
01:17:50 Почему под и контейнер недоступны снаружи кластера
01:20:18 Удаление и создание пода заново
01:22:26 Создание деплоймента
01:34:39 Изменение количества подов в деплойменте
01:41:04 IP адреса подов и их доступность
01:46:08 Итоги по масштабированию деплоймента nginx

источник

#devops #девопс

Подпишись 👉 @i_DevOps

Kubeflow: учимся устанавливать и запускать Kubeflow на локальной машине

Пошаговое руководство по установке и конфигурированию всех компонентов kubeflow на локальной машине.

Kubeflow – это созданная Google опенсорсная платформа, на которой разворачивается весь жизненный цикл разрабатываемой модели машинного обучения. Kubeflow представляет собой инструментарий, каждый компонент которого применяется для отработки каждой из стадий жизненного цикла при машинном обучении, а именно: исследования данных, конструирования признаков, преобразования признаков, обучения модели, оценки модели, тонкой настройки модели, предоставления модели и версионирования модели. Главный атрибут kubeflow заключается в том, что он предназначен для работы на базе kubernetes [2]. Таким образом, kubeflow пользуется именно теми преимуществами, которые предоставляет кластер kubernetes, в частности, оркестрацией контейнеров и автомасштабированием.

https://habr.com/ru/company/timeweb/blog/714172/

#devops #девопс

Подпишись 👉@i_DevOps

Отслеживание изменений базы данных SQLite в Git

SQLite хранит данные в двоичном виде. Если вы запустите cat mydb.sqlite, то увидите кучу тарабарщины, которая совсем не похожа на структурированные данные. Если вы хотите отслеживать изменения и обновления базы данных с помощью Git, то по умолчанию вы не сможете увидеть полные отличия. Вы увидите, что файл изменился, но не увидите, что именно изменилось:

diff --git a/mydb.sqlite b/mydb.sqlite
index f412c72..8f49ea5 100644
Binary files a/mydb.sqlite and b/mydb.sqlite differ

Так есть ли способ обойти это? Оказывается, есть! Вот разница между двумя состояниями SQLite-базы данных GnuCash, которую я сейчас пробую использовать для управления своими финансами. Потом я объясню, как я получил эту разницу:

https://garrit.xyz/posts/2023-11-01-tracking-sqlite-database-changes-in-git

#devops #девопс

Подпишись 👉@i_DevOps

CPU планировщики в Linux

В статье будет рассказано про основные алгоритмы, которые ядро Linux использует для планирования задач, готовых к выполнению. Как влияет приоритет задач и указанная для неё политика на то, как она будет получать процессорное время и сколько.

Сразу хочется оговориться, что помимо описанных ниже алгоритмов и классов планирования в Linux также реализованы дополнительные алгоритмы, основывающиеся на энергопотреблении системы, на cpu capacity и тд. Они встроены в классы, о которых поговорим ниже, но их самих мы затрагивать в рамках этой статьи не будем.

https://habr.com/ru/articles/807645/

#devops #девопс

Подпишись 👉@i_DevOps

Cloudflare Terraforming

Утилита командной строки для облегчения терраформирования существующих ресурсов Cloudflare.

https://github.com/cloudflare/cf-terraforming

#devops #девопс

Подпишись 👉@i_DevOps

Kubernetes 1.30: структурированные параметры для DRA, рекурсивное монтирование read-only-томов и другие фичи

Сегодня официально выпустили новую версию Kubernetes — 1.30. Среди главных нововведений — структурированные параметры для DRA, рекурсивное монтирование read-only-томов, синхронизация статусов задач сторонними контроллерами, более гибкие критерии успешности индексированных задач, обновлённое управление маршрутизацией трафика.

https://habr.com/ru/companies/flant/articles/808055/

#devops #девопс

Подпишись 👉@i_DevOps

Предварительные версии развертывания на Kubernetes

Предварительный просмотр развертывания, ставший популярным благодаря таким платформам, как Vercel и Netlify, не так часто встречается в микросервисных архитектурах. В Blueground мы внедрили предварительный просмотр развертывания в K8s с помощью ArgoCD. Это оказалось настолько удачным решением, что им стоит поделиться.

https://engineering.theblueground.com/deployment-previews/

#devops #девопс

Подпишись 👉@i_DevOps

Практическое руководство по созданию Helm чарта или как избавиться от рутины при работе с YAML манифестами

Я люблю манифесты Kubernetes. Правда, мне приносит большое удовольствие создавать по отдельности каждый ресурс командой kubectl apply. Но это только в начале... Когда у вас таких ресурсов больше пяти, а микросервисов и того больше, то управлять всем этим зоопарком становится болью. Вам необходимо манипулировать отдельными манифестами, если у вас несколько схожих сервисов, отличающихся небольшими деталями, то вам придётся для каждого создавать свою пачку манифестов. Про разные окружения я молчу.

Можно скинуть весь деплой ресурсов на CI/CD Pipeline и забыть о манифестах навсегда. Но если вам понадобится развернуть или, наоборот, "свернуть" приложение, то вышеперечисленных проблем не избежать. Таким образом, в этой статье я покажу свой опыт создания Helm чарта и его запуска, но перед этим изучив методы деплоя приложения без Helm.

https://habr.com/ru/articles/769046/

#devops #девопс

Подпишись 👉@i_DevOps

Повышение доступности и кэширование образов контейнеров благодаря kube-image-keeper

В компании Enix мы управляем сотнями кластеров Kubernetes для наших клиентов и собственного внутреннего использования. Облачные, локальные, большие и маленькие, от разработки до продакшена... И есть одна конкретная проблема, которая в тот или иной момент затрагивает все эти кластеры: процесс поиска изображений.

https://enix.io/en/blog/cache-image-docker-kubernetes/

#devops #девопс

Подпишись 👉@i_DevOps

KubiScan

KubiScan помогает администраторам кластеров выявить разрешения, которые злоумышленники могут использовать для компрометации кластеров. Это может быть особенно полезно в больших средах, где существует множество разрешений, которые сложно отследить. KubiScan собирает информацию о рискованных ролях\clusterroles, привязках ролей\clusterrolebindings, пользователях и подсистемах, автоматизируя традиционные ручные процессы и обеспечивая администраторам видимость, необходимую для снижения риска.

https://github.com/cyberark/KubiScan

#devops #девопс

Подпишись 👉@i_DevOps

Checkov

Checkov сканирует конфигурации облачной инфраструктуры, чтобы найти неправильные конфигурации до их развертывания.

Checkov использует общий интерфейс командной строки для управления и анализа результатов сканирования инфраструктуры как кода (IaC) на таких платформах, как Terraform, CloudFormation, Kubernetes, Helm, ARM Templates и Serverless framework.

https://www.checkov.io/

#devops #девопс

Подпишись 👉@i_DevOps

Обзор инструмента DefectDojo: почему его выбирают?

Сегодня мы поговорим про инструмент управления уязвимостями DefectDojo, а также рассмотрим подход ASPM. О чем это мы?

Практика ASOC (Application Security Orchestration and Correlation, оркестрация и корреляция безопасности приложений), интегрирующая инструменты анализа защищенности со стеком разработки ПО, сегодня широко известна в сфере безопасной разработки. О ней много писали мы и другие авторы на Хабре. Эта концепция была переосмыслена и вышла на новый уровень. Специалисты Gartner даже ввели для нее новый термин ASPM, обозначающий практику, которая вместе с анализом уязвимостей и прочих задач ASOC включает в себя управление рисками. Особенности этого подхода, а также его реализацию в продукте DefectDojo мы и разберем ниже.

https://habr.com/ru/companies/swordfish_security/articles/808615/

#devops #девопс

Подпишись 👉@i_DevOps

Управление оповещениями Prometheus в Kubernetes в масштабе с помощью GitOps

Prometheus - это популярное решение для мониторинга и оповещения с открытым исходным кодом. Оно широко используется в экосистеме Kubernetes и является частью Cloud Native Computing Foundation.

Prometheus имеет мощный механизм оповещения, который позволяет пользователям определять оповещения на основе метрик, собранных Prometheus. Оповещения могут быть настроены на отправку уведомлений по различным каналам, таким как Slack, PagerDuty, Email и т. д.

https://faun.pub/managing-prometheus-alerts-in-kubernetes-at-scale-using-gitops-25d0ab4a2e2d

#devops #девопс

Подпишись 👉@i_DevOps

Комплексная автоматизация GitOps с помощью ArgoCD и Jenkins на Kubernetes

Часть 1 Почему стоит обратить внимание на ArgoCD?
https://emrah-t.medium.com/extending-your-ci-cd-pipeline-with-gitops-an-end-to-end-automation-with-argocd-and-jenkins-on-f6c39b3dcb21


Часть 2 Пайплайн для Java-приложения
https://emrah-t.medium.com/extending-your-ci-cd-pipeline-with-gitops-an-end-to-end-automation-with-argocd-and-jenkins-on-b456a8760a11

Часть 3 Защита секретов K8S с помощью ArgoCD и Vault
https://emrah-t.medium.com/extending-your-ci-cd-pipeline-with-gitops-an-end-to-end-automation-with-argocd-and-jenkins-on-4211c56cc9b1

#devops #девопс

Подпишись 👉@i_DevOps

Docker — не то, чем кажется

Меня зовут Матвей Мочалов, я — компьютерный инженер и один из авторов корпоративного блога cdnnow! Мы с вами познакомились в этом посте про историю DRM для видеоконтента. Сегодня я хочу поговорить с вами про Docker, а точнее про то, о чём многие забывают: различиях в нём для разных систем. Нам, как CDN-провайдеру Docker, все его 50 оттенков близки и знакомы. И, к счастью, наше взаимодействие с ним происходит из-под Linux, но, увы, не всем так везёт.

Как это часто бывает, с мультиплатформенностью и прочими «красивыми» словами в IT, всё не так однозначно. У всего своя цена, и под капотом один и тот же инструмент на разных системах, по сути своей может представлять из себя несколько разных вещей с различными принципами работы и производительностью. А обещания революции скрывают за собой эволюцию, либо вовсе регресс и топтание на месте.

https://habr.com/ru/companies/cdnnow/articles/809481/

#devops #девопс

Подпишись 👉@i_DevOps