​Mastering Kubernetes (2020)
Автор: Gigi Sayfan
Количество страниц: 642

Третье издание Mastering Kubernetes позволяет изучить новейшие фичи Kubernetes 1.18. Эта книга в первую очередь концентрируется на глубоком погружении в сложные концепции и передовые практики Kubernetes, чтобы помочь вам овладеть навыками проектирования и развертывания больших кластеров на различных облачных платформах. К концу этой книги вы перейдете от среднего к продвинутому уровню работы с Kubernetes.

Во время чтения книги вы:
✔️Освоите основы архитектуры и дизайна Kubernetes;
✔️Научитесь создавать и запускать приложения с отслеживанием состояния и сложные микросервисы в Kubernetes;
✔️Используете такие инструменты, как Kubectl и Helm, для управления ресурсами и хранилищем;
✔️Узнаете, как обеспечить высокую доступность кластеров.

Достоинства:
➕Актуальность материала;
➕Широкий спектр тем.

Недостатки:
➖Не замечено.

Скачать книгу

#english #book #advanced

Автоматизация парсинга сайтов на Python

В эру машинного обучения информация становится нефтью 21го века. Проекты, связанные со сбором и анализом данных, выходят на первые позиции в глобальных компаниях и в стартапах.

Как собирать и обрабатывать информацию? В зависимости от целей проекта данные могут собираться абсолютно разные. На вебинаре мы рассмотрим один из наиболее распространенных подходов – парсинг сайтов.

Смотреть

@itlecture

https://habr.com/ru/post/532596/

#gitops #helm #helmwave

Полезняшка для любителей менеджера ssh/sftp сессий

Кроссплатформенный терминальный клиент WindTerm 1.9

https://github.com/kingToolbox/WindTerm

Если вы пользуетесь vyos.io, то вам таки будет полезна веб панелька под неё https://github.com/vycontrol/vycontrol

#vyos #firewall

Субботний пост с полезностями
https://www.brainboard.co

Если коротко - то накидали схемку, потом задеплоили, без написания кода yaml/terraform/etc. Ну если верить сервису и его заверениям конечно.

"Improving Kubernetes and container security with user namespaces"

Наверно лучшая статья, которую я читал по безопасности Kubernetes в этом году.

Из этой статьи вы узнаете, что такое и зачем нужен user namespace, как он влияет на безопасность контейнеров. И самое интересное, что необходимо изменить со стороны файловой системы, Container Runtime и Kubernetes volumes, чтобы это наконец смогло заработать в самом Kubernetes. Работа кипит и за ней можно следить тут.

Статья просто MUST READ, в процессе чтения раскрывается много не самых простых и очевидных базовых моментов работы контейнеров, который очень важны для понимания.

Дополнительно можно почитать как к таким изменениям подошел Netflix в своей системе оркестрации контейнеров Titus.

NGINX Cookbook
Advanced Recipes for High-Performance Load Balancing

Derek DeJonghe

2021

​​Distributed Load Testing on AWS

Автоматизация тестирования не заканчивается кликанием кнопок в браузере. Нашел достаточно интересную статью про Load тестирование с использванием AWS. Очень рекомендую ознакомиться

https://aws.amazon.com/solutions/implementations/distributed-load-testing-on-aws/

[1] Умный VPN-сервер на Raspberry Pi: Ещё немного теории

Продолжаем свой путь по настройке Raspberry Pi как VPN сервера для частного использования.

Я очень доволен стабильностью и мощностью Raspberry Pi и кодом, который я приложу немного позже, чтобы собрать все части вместе и сделать его максимально необслуживаемым и настолько умным, насколько нам нужно.

В этом цикле статей вы встретите несколько сценариев кода, их можно перепечатать, копировать / вставлять гораздо проще и меньше подвержено ошибкам.

читать далее

#raspberry #tor #vpn

Using Jenkins, Vault, Terraform, Ansible, and Consul to Deliver an End-to-End CI/CD Pipeline

Серия статей и видео, посвященных выстраиванию инфраструктуры эффективного деплоймента, покрывая концепции IaC, CI/CD, управления секретами, динамических секретов, проблемы концепции secret zero, service mesh и так далее.

Тулстек:
- HashiCorp Packer
- HashiCorp Terraform
- HashiCorp Vault
- HashiCorp Consul
- Jenkins
- Ansible
- Microsoft Azure

Да, здесь нет статики, динамики и различных проверок образов, но практика показывает, что те, кто идут в DevSecOps, далеко не всегда люди из DevOps. Чаще всего это специалисты со стороны ИБ, которым еще предстоит разобраться во всем многообразии инструментов.

#ops #dev #vault

хорошая обучалка по эксплуатации побега из docker контейнера и получение рута на хосте

форкнуто от моего коллеги и немного доработано. Привет, Костя, хоть ты меня и не читаешь)

https://github.com/bykvaadm/secinfo-docker

#IaaC #book

DBaaS on Kubernetes: Under the Hood

https://www.percona.com/blog/2021/02/08/dbaas-on-kubernetes-under-the-hood/

#k8s #kubernetes #percona #sql #mysql #postgresql #dbaas #docker

🔸Building a secure CI/CD pipeline for Terraform Infrastructure as Code

How the OVO team created a model for delivering infrastructure changes with robust security practices, and used to it build a secure Terraform CI/CD solution for AWS.

https://tech.ovoenergy.com/building-a-secure-ci-cd-pipeline-for-terraform-infrastructure-as-code/

#aws

GCP Config Connector & AWS Controllers for Kubernetes: GitOps для инфраструктуры

Как бы я не любил Terraform, но если посмотреть правде в глаза - он не всегда удобен, и есть проблемы, которые HashiCorp еще нужно решить.

Одна из серьезных проблем - Wall of Confusion, который мы построили снова. Есть инфраструктура в Terraform, туда доступ только у DevOps, есть чарты в репозитории каждой апки - там может что-то поправить и разработчик приложения, и DevOps. Но в инфраструктуру разработчику нельзя. Грустно.

Почему нельзя разработчику в Terraform инфраструктуру? У каждого свой вариант:
- не актуальный стейт, половина ресурсов с изменениями
- непонятная структура даже для самих DevOps
- нужно обучать девелоперов, в том числе и в модули
- разница приоритетов: по сути DevOps команда осталась Ops, и только она отвечает за стабильность

Вторая серьезная проблема - неймспейсы. Большинство инженеров не слышали, что в Terraform есть неймспейсы, а те кто слышали - стараются их не использовать.

Неймспейсы в Terraform были созданы как ответ на запрос "хотим точно такую же инфру, только без копипасты". Как результат - Terraform рождает кучу месса, остаются те же проблемы с неактуальностью стейта, суперсложно завернуть его в Jenkins/Atlantis и т.п. и т.д.

Получается, что задача создать динамический environment (как прод, например) и потушить его после какого-то действия по задумке - easy, а в реализации - ламучий мрак.

И в этот момент где-то далеко виднеется GitOps для инфраструктуры. После того, как все заценили ArgoCD и все прелести GitOps подхода - мы увидели первые зачатки реализаций GitOps, но уже для инфраструктуры.

В чем суть и как работает:
- мы устанавливаем в Kubernetes cluster контроллер (aka operator с новыми CRD)
- имплементим инфраструктурные зависимости внутри чарта с помощью CRD
- деплоим в кластер, контроллер подхватывает манифесты и деплоит вместе с приложением

Таким образом, мы получаем GitOps для инфраструктуры:
- можно конфигурить апку и зависимости вместе
- отдать это девелоперам, которым понятно YAML и не понятно HCL
- врапнуть чем угодно (helm/kustomize/jsonnet etc)

Стоит заметить что GCP немного впереди и уже работает (реализация - Config Connector), а AWS пока не догоняет - половина ресурсов в Beta, а вторая половина совсем не реализована. Я отлично вижу как определенные рутинные и неудобные куски выносятся из Terraform и врапаются любой билд тулой, например:
- вместо мануального менеджмента IAM делаем отдельный реп, показываем девелоперам как пользоваться, и ставим апруверами SecOps —> вообще убираем себя из этого флоу
- также выносим куски с ASg, размерами инстансов, тестовыми инстансами и т.п.
- делаем амбрелла чарт, который умеет инклудить приложения компании и докидывает туда зависимости (временные S3, SQS, RDS, etc) и делаем динамический энв на PR

Уже доступные ресурсы можно посмотреть по ссылкам:
👉 https://cloud.google.com/config-connector/docs/reference/overview
👉 https://aws-controllers-k8s.github.io/community/services/

Всем привет!
Я к вам с невероятной новостью: сегодня официально был опубликован один из самых свежих и лучших workshop по мониторингу и анализу затрат (cost) в рамках AWS. Он был разработан людьми, которые каждый день помогают большым компаниям разобраться в затратах и включает в себя как Well Architected Framework, так и их личный опыт. В рамках него вы сможете найти ответы почти на все вопросы (точно на самые популярные): откуда трафик между зонами, операции по отдельным S3 bucket и очень очень много других деталей.

Вся визуализация построена на Amazon Quicksight и разворачивается за 20 минут.

Я очень рекомендую всем попробовать и скорее всего вы уже не захотите это удалять никогда!

Пара важных моментов:
1. Мы очень хотим услышать ваше мнение и пожелания по улучшению. В описании на сайте есть кнопочка для обратной связи
2. Создатели оценивают стоимость необходимых ресурсов в 35$ в месяц для небольших accounts (что по их мнению «небольшие» я не знаю)

А вот и ссылка!

https://cudos.workshop.aws/intro.html