4 мая в рамках Virtual KubeCon + CloudNativeCon Europe пройдет очередной Cloud Native Security Day.

Уже сейчас доступно расписание данной секции. В докладах будут рассмотрены и затронуты такие темы:
- Безопасность Open Source кода (разработка, проверка, распространение - в общем весь supply chain)
- Как WebAssembly может быть использован для написания Kubernetes admission политик
- Как eBPF инструменты могут помочь при решении threat detection задач в Kubernetes окружении
- Как Hierarchical Namespace Controller (HNC) и `Kyverno могут вместе помочь реализовать “namespaces-as-a-service”
- Проблемы расследования инцидентов в Cloud Native окружениях
- Представят новый фреймворк для оценки рисков в Kubernetes на базе CIS benchmarks и матрицы MITRE ATT&CK для containers/Kubernetes


Также будет Capture The Flag в Kubernetes окружении!

Из рубрики наблюдений. Заметил, что очень много людей пытаются начинать строить безопасность Kubernetes сразу исходя из пунктов различных документов best-practices.

Мое мнение, что нужно идти от себя, от собственных рисков, моделей нарушителей, моделей угроз и т.д., в общем со знанием дела что и для чего вы меняете/добавляете, а не от общепринятых практик, которые могут быть лишь ориентиром для вас. Некоторые и них могут вам не подходить, даже может что-то ломать (нужно помнить о Dev, Ops команд) и уж точно не учитывать ваши особенности. Не говоря, что уже есть собственные финансовые, временные, человеческие, процессные ограничения и особенности.

Со временем, опытом и знанием вы точно придёте к тому что из этого списка best-practices вам актуально и вы будете их отслеживать и контролировать.

Тема создания Network Policy в Kubernetes не такая простая как кажется на первый взгляд. Недавно авторы CNI Cilium создали проект NetworkPolicy Editor, который позволяет создавать, визуализировать и делится сетевыми политиками в online формате на странице https://editor.cilium.io/.

Отдельно отмечу правый нижний угол, где есть 6 полезных туториалов с теорией. Если вам этого недостаточно, то посмотрите вебинар "Demystifying Kubernetes Network Policy".

А если и этого недостаточно, то сегодня в 20:00 (Мск) можно посмотреть по данной теме и технический тренинг "Securing Kubernetes w/ Network Policies", где также будут покрыты темы CNI Cilium и eBPF.

Статья "Using Kubelet Client to Attack the Kubernetes Cluster".

Данный материал хорошо раскрывает аспект безопасности Kubernetes кластера со стороны его компонента под названием kubelet. Этот компонент присутствует на каждой Node и является связующим звеном между Kubernetes API и Container Runtime.

В статье рассматриваются такие моменты как:
- Описание целей и задач kubelet
- kubelet API с его недокументированными возможностями
- Утилита kubeletctl, очень полезная при pentest
- Слабые настройки kubelet, которые могут приводить к удаленным атакам на кластер
- Пути повышения безопасности для kubelet

Пройти мимо безопасности данного компонента нельзя, так как он есть всегда и везде и отказаться от него нельзя. Естественно, сама сеть Kubernetes не должна быть видна/доступна из других ваших подсетей, чтобы исключить вообще возможность такой коммуникации для сторонних лиц.

Спустя год Microsoft обновила матрицу Adversarial Tactics, Techniques & Common Knowledge (ATT&CK) для Kubernetes, актуализировав и дополнив ее с учетом новых угроз и изменений в Kubernetes.

Убрали:
- Техники связанные с Kubernetes Dashboard (если k8s у вас старый, то это еще актуально)
- Технику с Tiller endpoint от Helm 2 (если у вас не Helm 3, то еще актуально)

Добавили:
- Exposed sensitive interfaces — это когда привилегированные сервисы без аутентификации для всех желающих выставляют
- Sidecar injection - техника выполнения своего кода без порождения новых подозрительных Pods
- Malicious admission controller - закрепление в системе по мотивам вот этого доклада
- Access managed identity credential - про доступ к Instance Metadata Service (IMDS)
- CoreDNS poisoning - название говорит само за себя, а атака идет на его ConfigMap
- ARP poisoning and IP spoofing - живее всех живых в 2021
- Images from private registry - техника из добавленной тактики Collection

Не думал, что когда-нибудь пересекусь с Vmware Tanzu, но в итоге пришлось. Для тех, кто не знает это Cloud штука от Vmware с поддержкой Kubernetes со множеством имен:
- Project Pacific
- vSphere with Kubernetes
- VMware Tanzu Kubernetes Grid (TKG) и VMware Tanzu Kubernetes Grid Integrated Edition (TKGI)
- + различные редакции Basic/Standart/Advanced

Может еще как-то и что-то - может где-то и ошибся, но разобраться с тем, что понаписал их маркетинг не просто.

Из интресного:
1) Как и в OpenShift (речь о project), тут namespace это security boundary
2) Основной Container Runtime это MicroVM (а не контейнер) под названием CRX (Сontainer Runtime eXecutive). Это такая мини-виртуальная машина с ядром Linux внутри (на базе ответвления Photon OS). При этом Pod под таким управлением называется Native Pod или vSphere Pod. Поддержка Open Container Initiative (OCI) в наличии
3) Работа сети лежит на NSX-T

Было бы интересно послушать людей кто работал с этим решением.

Сегодня рассмотрим сервис AWS IAM, как основной инструмент для аутентификации и авторизации AWS EKS.
Для аутентификации EKS использует Webhook Authentication Token, API-серверу передаётся специально сформированный токен, в котором передаётся идентификатор ARN (Amazon Resource Name) IAM-пользователя/роли.

Далее API-сервер, с помощью AWS IAM Authenticator обращается к сервису AWS IAM, который проверяет имеет ли данный пользователь права обращаться к кластеру AWS EKS, сравнивая ARN запроса с ARN mapRoles в aws-auth ConfigMap.

После того, как пользователь прошёл аутентификацию, Kubernetes должен c помощью Role Based Access Control проверить сам запрос — есть ли у данного клиента право на выполнение запрошенных действий, например — выполнение вызова kubectl get pods. Так же для аутентификации AWS EKS в качестве альтернативы может использоваться OpenID Connect (OIDC).
Таким образом, при условии грамотной конфигурации, AWS IAM представляет собой мощный инструмент для обеспечения безопасности AWS EKS.

На этой неделе будет небольшой цикл постов про sensor-based решения по безопасности для Kubernetes. Мне с командой довелось посмотреть, покопаться во внутренностях во всех широко известных решения на сегодняшний день (знаю, как там работает любая функциональность). Ну и плюс мы сами занимаемся разработкой решения для observability и visibility происходящего в Kubernetes кластере, также в sensor-based архитектуре и знаем разные тонкие и не очевидные моменты, которыми можем поделиться. Рассказывать я буду без упоминаний брендов, при этом считаю, что у каждого из них есть как свои слабые, так и сильные стороны, так что у каждого найдется своя аудитория. При этом имея обширный опыт работы с сенсорами от Antivirus, EDR (Endpoint Detection and Response) решений позволит мне провести параллели и с ними.

Sensor-based решения раскатываются на все Node (обычно как DaemonSet) и затрагивают все приложения на них, поэтому очень важно знать и понимать, что и как они делают, чтобы не пострадала ни надежность, ни производительность, ни безопасность.

В комментариях к этому посту вы можете написать вопросы, и я постараюсь на все ответить либо сразу, либо в постах цикла.

Пару недель назад, AWS анонсировал релиз дополнения policy validation для IAM Access Analyzer - инструмент, позволяющий провести проверку конфигурации IAM политик на соответствие требованиям безопасности (более 100 проверок на основе AWS AIM best practices) и детальные рекомендации по настройке IAM в соответствии с принципами least privilege.

Пользоваться можно прямо из веб-интерфейса IAM Console при создании IAM политик, а та же CLI/API aws accessanalyzer validate-policy для интеграции с пользовательскими CI/CD workflows, без необходимости использования сторонних инструментов.

С точки зрения безопасника, это очень полезный и востребованный функционал, который призван хотя бы частично решить проблему мисконфигов связанных с излишними привилегиями при конфигурации IAM политик.

Первая часть из цикла про sensor-based решения по безопасности для Kubernetes.

Основная их задача, чтобы происходящее внутри контейнеров не было "черной коробкой" - видны процессы, их взаимодействие с файловой системой и сетью.

Сбор этой информации может происходить как ИЗ контейнера, так и ВНЕ его. Для первого случая решения используют sidecar- контейнеры, подмену системного компонента runc и встраивание (injection) собственных библиотек в процессы, пользовательских приложений. Для второго случая используются модули ядра и eBPF пробы.

1) Самым надежным и правильным решением на сегодняшний день считаются eBPF пробы - просто, быстро, стабильно.
2) Модули ядра предлагают, как вариант, когда ядро младше 4.19. При этом нужно понимать, что при ошибке в модуле и его падении - упадет и вся Node.
3) Sidecar- контейнеры могут помочь видеть только сеть и при этом дают значительные ресурсные издержки на каждый Pod.
4) Подмена runc обычно идет в связке со встраиванием собственных библиотек через LD_PRELOAD, dlopen, патчинг GOT таблиц и т.д. Все для того, чтобы подготовить окружение для запускаемого контейнера для его мониторинга - то есть происходит модификация окружения (контейнеры под таким решением и без него могут вести себя по-разному). Данная библиотека производит перехват нужных функций на user-space уровне. Получаем такой классический антивирус из нулевых. При этом накладные расходы по ресурсам размываются с расходами самого приложения и сложно сказать на сколько они в итоге повышаются, но точно падает скорость работы.

Для окружений с MicroVM (типа AWS Fargate) или serverless-функциями (типа AWS Lambda) работает только 4 вариант со встраиванием собственной библиотеки для перехвата ряда функций.

Вторая часть из цикла [1] про sensor-based решения по безопасности для Kubernetes.

Prevention - желание многих security-команд и страшный сон SRE-команд, так как это может как сломать что-то, так и просто внести неясность в работу из-за того, что изменения/правила известны только тем, кто их внес и могут быть видны только в инструменте, где были применены.

Sensor'ы могут это обеспечить по-разному (со своими плюсами и минусами): через системные механизмы, CRI и собственными силами.

1) Системные механизмы значит, что сам sensor этим не занимается, а занимается ОС с помощью seccomp, AppArmor, SeLinux в режиме prevention, а в случаи сети это вообще NetworkPolicy самого Kubernetes. В таком случаи sensor может помочь подготовить политики для данных механизмов, но применять их будет ОС. Обеспечивает высокий уровень надежности и контроля с высокой наглядностью для всех команд (так как можно прописать прям в YAML).
2) Сценарий с CRI (Container Runtime Interface) означает контроль на уровне работы всего контейнера - запуск, пауза, остановка. Реализации бывают разные и некоторые способны только на response, никакого реального prevention.
3) Категория собственными силами самая обширная и полностью зависит от способа работы (рассматривали в прошлом посте) самого sensor. В случае встраивания библиотек, тут классический антивирус - подгружающий в себя все что нельзя и на каждый системный вызов проверяющий можно это или нет. В случае eBPF все может быть очень красиво на базе KRSI (Kernel Runtime Security Instrumentation), но требует ядро > 5.8. Явным плюсом тут является возможность на лету менять сами политики/правила.

Важно понимать, что sensor как и ContainerRuntime достаточно опосредованно понимает, что такое сущности Kubernetes и мыслит в терминах контейнеров и происходящего в нем. Также sensor заранее не знает где и какой workload будет запущен и ряд проверок будет делать там, где это и не надо, замедляя работу даже тех сущностей, к которым prevention и не относится.

Третья часть из цикла [1,2] про sensor-based решения по безопасности для Kubernetes.

Согласитесь исполняемый файл bash запущенный в контейнере от entrypoint (runc) и bash запущенный вашим, например, java и python приложениями это 3 разных действия с точки зрения поведения bash. Или еще пример: Обращение к файлам в директории /var/run/secrets/kubernetes.io/serviceaccount/ двумя разными процессами в контейнере это 2 разных действия. К чему это все? А к тому, что разные sensor-based решения на происходящее внутри контейнеров смотрят с разным уровнем гранулярности (точности), которая потом ложиться в основу модели поведения или политики.

Я для себя выделил 3 типа гранулярности политик: слабое/низкое (1), среднее/гибридное (2) и сильное/высокое (3):
1) Все происходящее в контейнере относительно процессов, файлов и сетевого взаимодействия отражается в виде списков. То есть список процессов, что там был запущен, список файлов к которым было обращение и список сетевых endpoint'ов к которым было обращение. При этом эти списки не связана. Таким образом, если процесс bash есть, то непонятно от кого и он всегда разрешен, если есть обращение к /var/run/secrets/kubernetes.io/serviceaccount то это можно всем, соединение на определенный IP возможет от любого процесса в контейнере.
2) Это что-то среднее между низким и высоким уровнем гранулярности политик, относительно тех или иных связей между процессами, файлами и сетевыми операциями. Может быть много вариаций, в плоть до полного отказа от контроля от файловых операций. В основном, оставляют связи на уровни родитель-потомок.
3) Все происходящее в контейнере относительно процессов, файлов и сетевого взаимодействия отражается в виде графа. Это означает наличие иерархии взаимодействия между процессами и для каждого из них собственная иерархия взаимодействия с файловой системой и сетью. При этом каждый процесс в такой иерархии может иметь свои права доступа к файлам (r,w,rw).

Для решения той или иной задачи в определенных условиях, окружении может быть достаточно и слабой гранулярности, но понять это можно для начала имея полную картину происходящего.

Четвертая часть из цикла [1,2,3] про sensor-based решения по безопасности для Kubernetes.

Что это за контейнеры, за которыми идет наблюдение разные решения могут видеть на разном уровне детализации. Тут нужно вспомнить как работает Kubernetes с Container Runtime через CRI. Вся цепочка создания Pod сокращенно выглядит так: создаётся ресурс Pod, далее Container Runtime создает контейнер и происходит обновление статуса ресурса через добавление информации о контейнере, который работает в данном Pod'е. Kubernetes только уже после фактического запуска контейнера связывает информацию с ресурсом Pod.

В связи с этой не очень простой схемой разные решения к контейнеру присоединяют (enrichment стадия) разное количество информации. Самый полный комплект выглядит таким образом:
- Image : k8s.gcr.io/etcd
- Digest : sha256:303ce5db0e90dab1c5728ec70d21091201a23cdf8aeca70ab54943bbaaf0833f
- Tags : k8s.gcr.io/etcd:3.4.3-0
- Container ID : eaadea8d867e2833b1fee449a993ec96c2708bbec37e9349369a6541f796d9ae
- Container Name : etcd
- Cluster : PROD
- Node : flex-f94c4afe-1
- Namespace : kube-system
- Pod : etcd-flex-f94c4afe-1
- Kubernetes Resource : StaticPod:etcd
- UID : 816f47b8-02bd-456d-8b1e-3b1a3f1fa318

Чем больше решение присоединяет информации к контейнеру или событию в нем, тем проще расследовать сбои и инциденты.

Пятая и заключительная (на данный момент) часть из цикла [1,2,3,4] про sensor-based решения по безопасности для Kubernetes.

Важный момент — это потребления сенсорами ресурсов: CPU (millicore) и Memory RAM (Gb).

Чаще всего разработчики явно задают Request это в итоге:
- Для CPU от 20 до 1000, тоесть от 2% от ядра до 1 ядра.
- Для Memory RAM от 0,5 до 1 Gb

С Limits все сложнее и не все даже это указывают. Но у некоторых в документации можно найти:
- Для CPU до 2 ядер
- Для Memory RAM до 4 Gb

Стоит понимать, что нагрузка на sensor и необходимые для его работы ресурсы зависят от:
- Размеров/храктеристик Node - Node с 80 ядрами это не тоже самое что и с 8 ядрами.
- Активности приложений на Node - Сколько их всего работает на Node. Приложение, что устанавливает соединение и обрабатывает все в памяти генерирует во много раз меньше нагрузки (системных вызовов), тем то, что еще попутно что-то перекладывает на файловой системе

P.S. 24 марта этого года данному каналу исполнился 1 год. Большое спасибо всем, кто читает, комментирует, делится постами, помогает увеличению сообщества! Я совсем забыл об этом так как в это же день в этом году у меня родился сын =)

В продолжении темы про конфигурацию AWS IAM, в традициях лучших практик, сегодня рассмотрим инструмент CloudQuery, который позволяет проводить проверку настроек IAM политик с использованием синтаксиса SQL запросов и обеспечивает возможность визуального мониторинга изменений с помощью Neo4j базы данных. CloudQuery содержит встроенный набор IAM политик, созданный на основе AWS CIS Benchmark. Помимо AWS, CloudQuery поддерживает работу с следующими провайдерами: Azure, GCP, Okkta.

Для того чтобы начать пользоваться, необходимо просто скачать и запустить pre-compiled binaries, либо развернуть готовый образ контейнера в Docker, создать файл конфигурации, описывающий сервисы, которых необходимо проверить, выбрать предпочтительную базу данных postgresql/neo4j, авторизоваться и использовать знакомый и понятный синтаксис SQL запросов, например чтобы показать все образы EC2 инстансов: SELECT * FROM aws_ec2_images;

Таким образом, мы имеем еще один инструмент для конфигурации IAM-политик и мониторинга использования облачных сервисов с поддержкой SQL и удобной графовой визуализацией Neo4j, который точно не будет лишним для решения проблем избыточных привилегий IAM.

Инструмент KICS (Keeping Infrastructure as Code Secure) - Find security vulnerabilities, compliance issues, and infrastructure misconfigurations early in the development cycle of your infrastructure-as-code.

Так как движение infrastructure as code не стоит на месте и набирает обороты/популярность, то известные решения в области статического анализа исходного кода не могли остаться в стороне. Данное решение как раз от одного из таких вендоров. На текущий момент инструмент уже умеет анализировать:
- Terraform
- Kubernetes
- Docker
- CloudFormation
- Ansible
- Helm

По заверению авторов есть более 1000 запросов/правил/проверок - под капотом которых Open Policy Agent (тоесть язык Rego). Все проверки (80 штук) связанные с Kubernetes можно посмотреть тут в очень хорошей документации. Естественно, встраивается в CI, есть инструкции для Github Actions, GitLab CI, Azure Pipelines, Bitbucket Pipelines. А отчеты можно получать в форматах JSON, SARIF, HTML.

Статья "PodSecurityPolicy Deprecation: Past, Present, and Future".

Под таким недвусмысленным и широким названием вышла статья в официальном блоге Kubernetes. Данную статью можно считать, как официальную позицию по ситуации с PodSecurityPolicy, вокруг которой последнее время много разной движухи.

Краткая выжимка:
- PodSecurityPolicy (PSP) перейдет в статус deprecated в версии 1.21
- Alpha релиз замены должен состояться в версии 1.22
-Старая версия будет удалена скорее всего в версии 1.25
- Разрабатывается замена для покрытия ключевых потребностей
- Изменения связанные с PSP никаким образом не повлияют на PodSecurityContext
- Основная причина отказа от текущей реализации – не удобство в использовании
- K-Rail, Kyverno и OPA/Gatekeeper это хорошо, но надо иметь простую, гибкую и встроенную реализацию
- За разработкой замены можно следить в Kubernetes Enhancement Proposal (KEP 2579)