🔸Building a secure CI/CD pipeline for Terraform Infrastructure as Code

How the OVO team created a model for delivering infrastructure changes with robust security practices, and used to it build a secure Terraform CI/CD solution for AWS.

https://tech.ovoenergy.com/building-a-secure-ci-cd-pipeline-for-terraform-infrastructure-as-code/

#aws

GCP Config Connector & AWS Controllers for Kubernetes: GitOps для инфраструктуры

Как бы я не любил Terraform, но если посмотреть правде в глаза - он не всегда удобен, и есть проблемы, которые HashiCorp еще нужно решить.

Одна из серьезных проблем - Wall of Confusion, который мы построили снова. Есть инфраструктура в Terraform, туда доступ только у DevOps, есть чарты в репозитории каждой апки - там может что-то поправить и разработчик приложения, и DevOps. Но в инфраструктуру разработчику нельзя. Грустно.

Почему нельзя разработчику в Terraform инфраструктуру? У каждого свой вариант:
- не актуальный стейт, половина ресурсов с изменениями
- непонятная структура даже для самих DevOps
- нужно обучать девелоперов, в том числе и в модули
- разница приоритетов: по сути DevOps команда осталась Ops, и только она отвечает за стабильность

Вторая серьезная проблема - неймспейсы. Большинство инженеров не слышали, что в Terraform есть неймспейсы, а те кто слышали - стараются их не использовать.

Неймспейсы в Terraform были созданы как ответ на запрос "хотим точно такую же инфру, только без копипасты". Как результат - Terraform рождает кучу месса, остаются те же проблемы с неактуальностью стейта, суперсложно завернуть его в Jenkins/Atlantis и т.п. и т.д.

Получается, что задача создать динамический environment (как прод, например) и потушить его после какого-то действия по задумке - easy, а в реализации - ламучий мрак.

И в этот момент где-то далеко виднеется GitOps для инфраструктуры. После того, как все заценили ArgoCD и все прелести GitOps подхода - мы увидели первые зачатки реализаций GitOps, но уже для инфраструктуры.

В чем суть и как работает:
- мы устанавливаем в Kubernetes cluster контроллер (aka operator с новыми CRD)
- имплементим инфраструктурные зависимости внутри чарта с помощью CRD
- деплоим в кластер, контроллер подхватывает манифесты и деплоит вместе с приложением

Таким образом, мы получаем GitOps для инфраструктуры:
- можно конфигурить апку и зависимости вместе
- отдать это девелоперам, которым понятно YAML и не понятно HCL
- врапнуть чем угодно (helm/kustomize/jsonnet etc)

Стоит заметить что GCP немного впереди и уже работает (реализация - Config Connector), а AWS пока не догоняет - половина ресурсов в Beta, а вторая половина совсем не реализована. Я отлично вижу как определенные рутинные и неудобные куски выносятся из Terraform и врапаются любой билд тулой, например:
- вместо мануального менеджмента IAM делаем отдельный реп, показываем девелоперам как пользоваться, и ставим апруверами SecOps —> вообще убираем себя из этого флоу
- также выносим куски с ASg, размерами инстансов, тестовыми инстансами и т.п.
- делаем амбрелла чарт, который умеет инклудить приложения компании и докидывает туда зависимости (временные S3, SQS, RDS, etc) и делаем динамический энв на PR

Уже доступные ресурсы можно посмотреть по ссылкам:
👉 https://cloud.google.com/config-connector/docs/reference/overview
👉 https://aws-controllers-k8s.github.io/community/services/

Всем привет!
Я к вам с невероятной новостью: сегодня официально был опубликован один из самых свежих и лучших workshop по мониторингу и анализу затрат (cost) в рамках AWS. Он был разработан людьми, которые каждый день помогают большым компаниям разобраться в затратах и включает в себя как Well Architected Framework, так и их личный опыт. В рамках него вы сможете найти ответы почти на все вопросы (точно на самые популярные): откуда трафик между зонами, операции по отдельным S3 bucket и очень очень много других деталей.

Вся визуализация построена на Amazon Quicksight и разворачивается за 20 минут.

Я очень рекомендую всем попробовать и скорее всего вы уже не захотите это удалять никогда!

Пара важных моментов:
1. Мы очень хотим услышать ваше мнение и пожелания по улучшению. В описании на сайте есть кнопочка для обратной связи
2. Создатели оценивают стоимость необходимых ресурсов в 35$ в месяц для небольших accounts (что по их мнению «небольшие» я не знаю)

А вот и ссылка!

https://cudos.workshop.aws/intro.html

Bad Pods: Kubernetes Pod Privilege Escalation
https://labs.bishopfox.com/tech-blog/bad-pods-kubernetes-pod-privilege-escalation

Краткий разбор оригинала тут https://news.1rj.ru/str/k8security/187 был, а теперь и перевод подъехал на Хабр

Проблемные поды: эскалация привилегий подов в Kubernetes
https://habr.com/ru/company/southbridge/blog/540216/

For #kubernetes addicted there awesome site to find jobs related to this platform https://kube.careers/

MySQL под нагрузкой > 40000 QPS, что может пойти не так

https://telegra.ph/MySQL-pod-nagruzkoj--40-000-QPS-chto-mozhet-pojti-ne-tak-02-04

#mysql #percona

Стал общедоступным официальный Terraform оператор для #k8s

Our official Terraform operator for Kubernetes is now GA! We announced it almost a year ago and have been continuously making improvements ever since. Manage and trigger #terraform runs via #kubernetes CRDs.

Demo

#hashicorp #operator

Introduction to GitOps on Kubernetes with Flux v2

https://blog.sldk.de/2021/02/introduction-to-gitops-on-kubernetes-with-flux-v2/

#k8s #kubernetes #gitops #git #flux #devops

PacBot (Policy as Code Bot)

#java #aws #security #cloud

Лучшие практики для деплоя высокодоступных приложений в Kubernetes в 2х частях:

Часть первая
Часть вторая - заключительная

#k8s #kubernetes #bestpractice

PS: а еще скоро ждите от Фланта свой дистрибутив для kubernetes

What Are Terraform Modules and How Do They Work?

#terraform #hashicorp

Братцы! Как насчет воскресной Kafka?

🔹 Введение в Apache Kafka, первая тема открытого базового курса

🔹 Основы технологии Apache Kafka, вторая тема открытого базового курса

🔹 Установка Kafka и работа с кластером из одного брокера, третья тема открытого базового курса


🔹 Митап "Apache Kafka в вопросах и ответах" 🔥

#kafka

ctop - показывает потребление ресурсов контейнерами в реальном времени. Имеет встроенную поддержку Docker и runC.

👉 https://github.com/bcicen/ctop

#tools #docker #containers

Начиная с версии GitLab 13.0 поддерживает хранение Terraform State 🔥

👉 https://bit.ly/3epLaiy
#terraform

Подборка Terraform Best Practices для тех, кто работает с AWS и не только 🤩

👉 https://bit.ly/3eloOQu

#terraform

Minimal self-contained examples of standard Kubernetes features and patterns in YAML

#k8s #kubernetes #yaml