⁠Просто и со вкусом или --query в aws-cli

Очередная текущая задача, где в терминале нужно было быстро найти нужный VPC ID по известному диапазону адресов для неё (CIDR block).

Выполняем очевидную команду для этого:

aws ec2 describe-vpcs

На выходе обычно простыня параметров, где даже замучаешься скроллировать и выискивать нужное. А если нужно выбрать, не ошибиться или просто сделать красиво (для себя)?

Для этого многие ставят jq, который сделает что угодно с json выводом. Однако не нужно забывать про флажок --query, который из коробки есть в любой #aws_cli.

Итак, смотрим верхние строчки результата работы:

{
   "Vpcs": [
       {
           "VpcId": "vpc-04bec1a347f431036",
...
           "CidrBlock": "10.11.0.0/16",
...

Нас интересуют элементы VpcId и CidrBlock, для этого перебираем все выведенные Vpcs, получается следующая конструкция:

aws ec2 describe-vpcs --query Vpcs[*].[VpcId,CidrBlock]

[
   [
       "vpc-04bec1a347f431036",
       "10.11.0.0/16"
   ],
   [
       "vpc-6b9b1111",
       "172.31.0.0/16"
   ]
]

Уже хорошо, лишь то, что нужно, можно довольствоваться. А можно сделать ещё и красиво:

aws ec2 describe-vpcs --query Vpcs[*].[VpcId,CidrBlock] --output table

#query

⁠Какие AWS сервисы используют Security groups?

Решили расчистить заброшенный аккаунт от ненужного и обнаружили сотню-другую неизвестно чьих и используемых ли security groups?

Зачистка

Самый простой способ почистить ненужные-неиспользуемые #sg - просто взять и удалить. Вот так просто выделить все и удалить.

Эту операцию особо приятно проделывать на проде, быстренько нажав подтверждение Yes в присутствии кого-нибудь важного. Вы-то знаете, что все хоть как-то задействованные sg-группы останутся и удалятся лишь бесхозные, не прикреплённые ни к какому сервису и на которые никто не ссылается. А лицезрящий ваш самоубиственный поступок руководитель - нет.

Прополка

Если вас ещё не уволили, то далее предстоит поиск используемых кем-то заведомо ненужных sg-групп. То бишь тех, что вы хотите удалить, а не получается. Не получается по нескольким причинам.

Либо на группу кто-то ссылается (в том числе она сама на себя - см.картинку). Либо её использует какой-то инстанс, в том числе остановленный. Или даже некоторое время (до получаса бывает) удалённый.

Сервисы

Когда инстансы прошерстили и всё равно не удаляется - вспоминаем, что sg используется не только в EC2, но и в RDS! Точно, находим таким образом забытые сто лет жрущие деньги никому не нужные базы данных, гасим, гордимся собой за сэкономленным в будущем казёные деньги и снова удаляем.

Часть удалилось, но часть нет. Какие же сервисы ещё используют security groups? Напрягаем логику и вспоминаем про Лямбду (умеющую ходить в VPC) и что у нас бесхозный Redis в углу завалялся из ElastiCache, который тоже имеет security group. StackOverflow подсказывает, что sg ещё есть у EMR и Redshift. Всё?

А вот и не всё. Вот полный список сервисов, использующих security groups:

AppStream
Batch
CodeBuild
DAX
DMS
DocDB
EC2 (AutoScaling, ELB, ALB, NLB)
ECS
EFS
EKS
ElastiCache
Elasticsearch
EMR
Events
FSx
Glue
Lambda
MediaLive
MSK
Neptune
OpsWorks
RDS
Redshift
Route53 (Route53Resolver)
SageMaker

Удачной борьбы с сорняками!

#security_groups

⁠Поиск по IAM политикам

Для этого есть очень хороший секретный ресурс:

https://iam.cloudonaut.io/reference

Здесь находится список всех #IAM политик на текущий момент с возможностью разнообразного поиска.

Например, для поиска tag-supported сервисов в поле Conditions задаём ResourceTag и получаем актуальный список для такой манипуляции.

#info

Microservices Testing Strategies, Types & Tools: A Complete Guide

Краткий обзор существующих стратегий тестирования микросервисов.

https://www.simform.com/microservice-testing-strategies

Free for developers

Список полезных бесплатных облачных сервисов для разработчиков.

https://free-for.dev

Сегодня начинается один из самых интересных ежегодных событий 24х часовой All Day DevOps 2019
список ссылок на все сессии здесь
https://www.alldaydevops.com/2019-live-schedule

наткнулся на интересный CI/CD, может кому понадобится
https://buildkite.com/features

Наследие Go
Эта презентация была разработана для GoLab во Флоренции, Италия. Она была представлена в качестве заключительного выступления на конференции. Презентация рассказывает о наследии Go, глядя в прошлое и в будущее. Присутствующие назвали эту презентацию красивой, вдохновляющей и удивительной. Как вам?

“Intro to Skaffold for easy Kubernetes development” by Flant staff https://link.medium.com/i1wJCH89M1

кстати, недавно в подлодке был выпуск посвещенный SRE
http://podlodka.io/138
думаю имеет смысл послушать
если кто не слушал оттуда же
http://podlodka.io/120 - Kubernetes
http://podlodka.io/104 - DevOps

да и вообще для развития T-shape рекомендую данный подкаст, каждый выпуск расширяет горизонты и часто заставляет задуматься и дать еще один пинок для самостоятельного развиваться

Прямо сейчас проходит AWS re:Invent, так что новостей об Амазоне будет ого-го.

Пока из самого интересного (субъективно):

- Amazon EKS on AWS Fargate Now Generally Available - теперь можно не париться ЕС2 нодами и просто кормить ямлы в кластер

- AWS launches Fargate Spot, save up to 70% for fault tolerant applications - гоняем всё тот же Фаргейт на спотах

- Announcing the Amazon ECS CLI v2 - про CLI теперь можно без Python и со встроенным SSO

P.S.: И ещё буквально две штуки, не связанные с Амазон. Однако, решил добавить в этот пост, чтобы не спамить.

- CrossGuard от Pulumi для управления политиками
- Thanos(хранилище метрики для Prometheus) вышел версией 0.9.0

#aws #iac #observability

Блок-схема дебага k8s Deployments

Вместе со схемой, большая статья, в которой объясняются многие пункты и разбираются типовые ошибки

#kubernetes