Kubernetes: Ingress, ошибка 502, readinessProbe и livenessProbe

Имеется приложение на Go, API-бекенд. Периодически начинает возвращать 502 ошибку, хотя сам под работает и в статусе Running. Что бы рассмотреть, как и почему Ingress и Service могут возвращать 502, и как работают readinessProbe и livenessProbe в Kubernetes Deployment – напишем простой веб-сервер на Go, в котором опишем два ендпоинта – один будет возвращать нормальный…

https://rtfm.co.ua/kubernetes-ingress-oshibka-502-readinessprobe-i-livenessprobe/

Kubernetes: обновление DNS в Route53 при создании Ingress

Задача: при создании Ingress ресурса – создавать запись на DNS, которая будет привязана к URL создаваемого Ingress, потому что сейчас это приходится делать руками для каждого нового Application Load Balancer, который создаётся из Ingress через ALB Ingress controller. Для решения – используем ExternalDNS, который будет ходить в наш AWS Route53, и добавлять записи. Документация на…

https://rtfm.co.ua/kubernetes-obnovlenie-dns-v-route53-pri-sozdanii-ingress/

Kubernetes: ServiceAccounts, JWT-токены, аутентификация и RBAC-авторизация

Для аутентицикации и авторизации в Kubernetes имеются такие понятия как User Accounts и Service Accounts. User Accounts – профили обычных пользователей, используемые для доступа к клатеру снаружи кластера, тогда как Service Accounts используются для аутентификации сервисов внутри кластера. ServiceAccounts предназначены для предоставления идентификатора, используя который Kubernetes Pod, а точнее контейнер(ы) в нём, могут быть аутенифицированы…

https://rtfm.co.ua/kubernetes-serviceaccounts-jwt-tokeny-autentifikaciya-i-rbac-avtorizaciya/

ArgoCD: обзор, запуск, настройка SSL, деплой приложения

ArgoCD помогает деплоить приложения в Kubernetes, используя GitOps подход, т.е. когда приложения, конфиги, манифесты и тому подобные данных хранятся в Git-репозитории. Поддерживает работу с “голыми” манифестами Kubernetes, kustomize, ksonnet, jsonnet и то, чем пользуемся мы – Helm-шаблонами. ArgoCD запускает свой контроллер в Kubernetes-кластере, и отслеживает изменения в Git-репозиториях, синхронизируя приложения в кластере с их манифестами…

https://rtfm.co.ua/argocd-obzor-zapusk-nastrojka-ssl-deploj-prilozheniya/

ArgoCD: деплой Helm-чарта и работа с Helm Secrets через AWS KMS

В предыдущем посте ArgoCD: обзор, запуск, настройка SSL, деплой приложения потрогали ArgoCD, запустили тестовый инстанс, и задеплоили приложение из его готовых примеров. Но наша цель – деплоить наши Helm-чарты, а потому посмотрим, как это можно сделать. Самое интересное ожидаемо коснулось работы с Helm secrets. Пришлось покостылить, но в результате всё заработало так, как и ожидалось.…

https://rtfm.co.ua/argocd-deploj-helm-charta-i-rabota-s-helm-secrets-cherez-aws-kms/

Ansible: модуль community.kubernetes и установка Helm-чарта с ExternalDNS

В посте Kubernetes: обновление DNS в Route53 при создании Ingress выполнили ручную установку ExternalDNS, и посмотрели, как он работает – пора добавить автоматизацию его установки на кластера. В роли Configuration Management Tool у нас используется Ansible, для которого существует модуль community.kubernetes – используем его. Вообще, есть много модулей для работы с Helm, например – helm…

https://rtfm.co.ua/ansible-modul-community-kubernetes-i-ustanovka-helm-charta-s-externaldns/

ArgoCD: CIOps vs GitOps и деплой приложения из TravisCI

Штош, пришло время подумать о том, как мы будем деплоить наши приложения. Сейчас у нас используются Github-репозитории с кодом и Helm-шаблонами, и Jenkins. Билд в Jenkins в большинстве проектов запускается вручную, после чего: Jenkins-джоба клонирует репозиторий с кодом и манифестами, билдит Docker-образ пушит его в Docker Hub вызывает helm upgrade --install, которому через --set передаёт…

https://rtfm.co.ua/argocd-ciops-vs-gitops-i-deploj-prilozheniya-iz-travisci/

Prometheus: Alertmanager Web UI и Silence алертов

Частота отправки активных алертов из Alertmanager определяется параметром repeat_interval в файле /etc/alertmanager/config.yml. У нас этот интервал задан в 15 минут, в результате чего в Slack каждые 15 минут приходят уведомления обо всех активных алертах в системе. Но некоторые алерты это такие себе “known issue”, когда о проблеме мы знаем, девелоперы её взяли в работу для…

https://rtfm.co.ua/prometheus-alertmanager-web-ui-i-silence-alertov/

Logz.io: сбор логов из Kubernetes – fluentd vs filebeat

У нас для сбора логов из Kubernetes-кластера и их просмотра используется Logz.io (есть и локальный Loki). Конкретно сбором и отправкой логов занимается Fluentd-под на каждой WorkerNode, которые деплоятся из DaemonSet в его дефотной конфигурации, см. документацию logzio-k8s. Столкнулся с проблемой, что эти поды используют слишком много CPU – до 3000 millicpu, при том, что на…

https://rtfm.co.ua/logz-io-sbor-logov-iz-kubernetes-fluentd-vs-filebeat/

Linux: Mutt и Neomutt – консольный почтовый клиент

Mutt, и его “наследник” Neomutt – консольный почтовый клиент, MUA – Mail User Agent. Поддерживает чтение и получение почты по IMAP/POP3, отправку по SMTP. Ниже рассмотрим настройку IMAP и SMTP для обычного почтового сервера (не Gmail, хотя принципиальной разницы нет) на примере Freehost.com.ua, плюс примеры настроек для отображения списка каталогов в ящике и цветовой схемы.…

https://rtfm.co.ua/linux-mutt-i-neomutt-konsolnyj-pochtovyj-klient/

Yandex.Tank: нагрузочное тестирование

Кроме горячолюбимых Apache Bench и JMeter имеется интересная утилита Yandex Tank. Ей давно пользуются наши QA, пришло время и мне его потрогать для проверки одной проблемы с Kubernetes, о которой поговорим в следующем посте. В этом – посмотрим на базовые возможности Yandex.Tank. Из особенно приятного – в отличии от Apache Bench выводит статистику по кодам…

https://rtfm.co.ua/yandex-tank-nagruzochnoe-testirovanie/

Kubernetes: NGINX/PHP-FPM graceful shutdown – избавляемся от 502 ошибок

Имеется PHP-приложение, работает в Kubernetes в подах с двумя контейнерами – NGINX и PHP-FPM. Проблема: во время скейлинга приложения начинают проскакивать 502 ошибки. Т.е. при остановке подов – некорректно отрабатывает завершение подключений. Рассмотрим процесс остановки подов вообще, и особенности NGINX и PHP-FPM в частности. Тестировать будем приложение в AWS Elastic Kubernetes Service с помощью Yandex.Tank.…

https://rtfm.co.ua/kubernetes-nginx-php-fpm-graceful-shutdown-izbavlyaemsya-ot-502-oshibok/

Jenkins: запуск slaves в Kubernetes и билд Docker-образов

Имеется у нас Jenkins, который запускает в Docker-контейнерах свои задачи. Со временем столкнулись с тем, что инстанс t2.2xlarge (8 CPU, 32 RAM) при пиковых нагрузках уже не справляется – забиваются и память, и процессорное время. Варианты – либо продолжать вертикальный скейлинг одного мастер-инстанса, и на нём дальше в Docker запускать джобы – или вынести запуск…

https://rtfm.co.ua/jenkins-zapusk-slaves-v-kubernetes-i-bild-docker-obrazov/

OpsGenie: настройка Incidents и Incidents Management проекта в целом

Со временем в проекте пришли к тому, что пора бы записывать все инциденты, влияющие на работу сервисов и приложний. Раньше вели документ в Confluence, который заполняли руками – но решение так себе, ибо 90% инцидентов просто решали без добавления записей о них. Захотелось как-то навести порядок, ввести более адекватный Incidents Management (IcM), и вообще автоматизировать…

https://rtfm.co.ua/opsgenie-nastrojka-incidents-i-incidents-management-proekta-v-celom/

Kubernetes: что такое Endpoints

Практически все знают, что такое Kubernetes Service, но не все могут быть в курсе, что такое Endpoint, так как обычно он работает “за кулисами”, и мы его не видим, аналогично тому, как мы пользуемся Deployment, но редко видим ReplicaSet-ы. Contents Kubernetes ServiceKubernetes EndpointsCustom EndpointexternalName Kubernetes Service Итак, Service – это абстракция Kubernetes, которая, используя labels,…

https://rtfm.co.ua/kubernetes-chto-takoe-endpoints/

Istio: обзор и запуск service mesh в Kubernetes

Istio- одна из реализацией концепии Service Mesh, позволяющая реализовать Service Discovery, Load Balancing, контроль над трафиком, canary rollouts и blue-green deployments, мониторить трафик между приложениями. Мы будем использовать Istio в AWS Elastic Kubernetes Service для мониторинга трафика, в роли API gateway, разграничения трафика и, возможно, для реализации различных deployment strategies. В этом посте рассмотрим что…

https://rtfm.co.ua/istio-obzor-i-zapusk-service-mesh-v-kubernetes/

Istio: интеграция Inrgress Gateway с AWS Application LoadBalancer

В предыдущем посте – Istio: обзор и запуск service mesh в Kubernetes – запустили Istio в AWS Elastic Kubernetes Service, познакомились с основными компонентами. Следующая задача – добавить AWS Application Load Balancer (ALB) перед Istio Inrgress Gateway, так как Istio Gateway Service с типом LoadBalancer создаёт AWS Classic LoadBalancer, к которому можно подключить только один…

https://rtfm.co.ua/istio-integraciya-inrgress-gateway-s-aws-application-loadbalancer/

Istio: установка с Ansible и Helm

В первом посте серии – Istio: обзор и запуск service mesh в Kubernetes – мы деплоили Istio с помощью istioctl. Теперь, используем Ansible и Helm, что бы запустить Istio и настроить его сервисы. Не нашёл Хельм-репозитория с чартом, судя по всему его и нет, хотя обсуждения есть, см. Proposal: Publish Helm chart to a chart repository.…

https://rtfm.co.ua/istio-ustanovka-s-ansible-i-helm/

DevOpsDays Kyiv 2021

20–22 апреля присоединяйтесь к DevOpsDays Kyiv 2021 – бесплатной онлайн конференции о культуре и процессах, на которых строится работа инженеров. Вас ждут три вечера со спикерами из Google, VMWare, PagerDuty, Dojo and Co, Datadog, fireside чат с одним из создателей Kubernetes – Joe Beda, и не только. 💻 В программе: 5 докладов о культуре DevOps;…

https://rtfm.co.ua/devopsdays-kyiv-2021/

Istio: общий Ingress/AWS ALB, Helm-чарт с условиями, Istio и ExternalDNS

Продолжаем баловаться с Istio. Предыдущие части: Istio: обзор и запуск service mesh в Kubernetes Istio: интеграция Ingress Gateway с AWS Application LoadBalancer Кроме Istio, мы будем настраивать ExternalDNS, см. Kubernetes: обновление DNS в Route53 при создании Ingress. Всё описанное ниже пока в статусе Proof of Concept, и деплоится на единый Dev-кластер AWS Elastic Kubernetes Service.…

https://rtfm.co.ua/istio-obshhij-ingress-aws-alb-helm-chart-s-usloviyami-istio-i-externaldns/

AWS: оптимизация расходов – покупка и анализ RDS Reserved Instances

Сейчас активно внедряю решения по уменьшению расходов на инфрастуктуру AWS, решил закинуть пару постов на эту тему. Первым будет тема AWS RDS Reserved Instances. Суть проста: вы обязуетесь использовать определённые инстансы один или три года. При этом есть возможность как оплатить их использование сразу на весь период – тогда скидка будет больше, либо частично, либо…

https://rtfm.co.ua/aws-optimizaciya-rasxodov-pokupka-i-analiz-rds-reserved-instances/