Отладка Terraform Provider: Пошаговое руководство

Terraform - это инструмент компании HashiCorp для создания инфраструктуры как кода (IAC). Он позволяет определять ресурсы и инфраструктуру в человекочитаемых, декларативных конфигурационных файлах и управлять жизненным циклом инфраструктуры. Плагины Terraform позволяют Terraform взаимодействовать с облачными платформами и другими сервисами через их API. Эти плагины называются провайдерами. Многие провайдеры были написаны HashiCorp и сообществами разработчиков с открытым исходным кодом.

https://medium.com/@narinderkaurmakkar1/terraform-provider-debugging-a-step-by-step-guide-8c6d771637a1

#devops #девопс

Подпишись 👉@i_DevOps

etcdadm - это инструмент командной строки для управления кластером etcd. С его помощью можно легко создать новый кластер, добавить участника или удалить участника из существующего кластера. Его пользовательский интерфейс вдохновлен kubeadm.

https://github.com/kubernetes-sigs/etcdadm

#devops #девопс

Подпишись 👉@i_DevOps

Практические истории из наших SRE-будней

Современная веб-инфраструктура состоит из множества компонентов разного назначения, имеющих очевидные и не очень взаимосвязи. Это становится особенно хорошо видно при эксплуатации приложений, использующих разные программные стеки, что с приходом микросервисов стало встречаться буквально на каждом шагу. Ко всеобщему «веселью» добавляются и внешние факторы (сторонние API, сервисы и т.п.), что усложняют и без того непростую картину.

В общем, даже если эти приложения и будут объединены общими архитектурными идеями и решениями, для устранения необычных проблем в них зачастую приходится пробираться через очередные незнакомые дебри. Случатся ли такие проблемы — лишь вопрос времени. Вот таким примерам из нашей последней практики и посвящена эта статья. В ролях: Golang, Sentry, RabbitMQ, nginx, PostgreSQL и другие.

🔹 Часть 1 https://habr.com/ru/company/flant/blog/471892/

🔹 Часть 2 https://habr.com/ru/company/flant/blog/510486/

🔹 Часть 3 https://habr.com/ru/company/flant/blog/531686/

🔹 Часть 4 https://habr.com/ru/company/flant/blog/558346/

🔹 Часть 5 https://habr.com/ru/company/flant/blog/648175/

🔹 Часть 6 https://habr.com/ru/company/flant/blog/662459/

#devops #девопс

Подпишись 👉@i_DevOps

Наглядное руководство по устранению неполадок в развертывании Kubernetes

#devops #девопс

Подпишись 👉@i_DevOps

Мониторинг СronJob в Kuberenetes / Анна Гобрусева (Ozon)

В докладе расскажу, как устроен мониторинг в Ozon в целом, и как мы организовали мониторинг CronJob в Kubernetes на базе готовых решений Prometheus-Thanos-Grafana и Kube-state-metrics при наличии давно сформированной инфраструктуры мониторинга.

источник

#devops #девопс

Подпишись 👉@i_DevOps

История о жрущем память API-сервере Kubernetes

Наша команда занимается сопровождением кластеров Kubernetes внутри компании. Мы стараемся построить модель предоставления кластера как услуги, насколько это возможно в наших реалиях. Несколько месяцев назад коллеги, работающие с одним из кластеров Kubernetes в dev-окружении, обратились с проблемой недоступности API-сервера Kubernetes (далее kube-api). Dev-среды обычно не подключены к дежурной смене, и решением проблем занимаются владельцы или, если проблемы нестандартные, обращаются к профильным специалистам. В ходе диагностики оказалось, что kube-api стал потреблять значительно больше памяти. Это приводило к возникновению ошибки с OOM.

Давайте будем честными — если бы это произошло в production-окружении, мы, скорее всего, закинули бы больше памяти и успешно бы забыли про проблему. Но dev-стенд не имеет жёстких SLA с финансовой ответственностью, и это дало нам возможность и время разобраться с прожорливым kube-api.

https://habr.com/ru/companies/rtlabs/articles/732858/

#devops #девопс

Подпишись 👉@i_DevOps

Обзор архитектуры быстрого сборщика логов на Go
Владимир Витковский (Ozon)

Поговорим о лучших практиках, на которых основан очень быстрый сборщик логов, используемый в Ozon.
Расскажем, как c помощью этого инструмента мы сократили издержки на сбор логов в 10 раз по CPU и добились 100% доставляемости логов.

источник

#devops #девопс

Подпишись 👉@i_DevOps

Как происходит утечка секретов в конвейерах CI/CD

Утечка секретов в конвейерах CI/CD происходит регулярно. Рабочие процессы непрерывной интеграции/развертывания (CI/CD) обычно требуют от разработчиков предоставления достоверных учетных данных для сторонних ресурсов, с которыми взаимодействует конвейер. Хотите автоматически развернуть изменения кода на экземпляре EC2? Предоставьте ключ доступа к AWS. Хотите развернуть артефакт в NPM? Предоставьте ключ API NPM.

https://trufflesecurity.com/blog/secrets-leak-in-ci-cd/

#devops #девопс

Подпишись 👉@i_DevOps

Деобфускация и анализ клиентского JavaScript‑кода для обнаружения DOM‑based XSS
Андрей Козлов

Основная цель доклада — описание нового, разработанного докладчиком, автоматизированного метода анализа JavaScript‑кода, использующего статический и динамический анализ, а также сравнение результатов его работы с существующими автоматизированными сканерами веб‑уязвимостей

источник

#devops #девопс

Подпишись 👉@i_DevOps

Как быстрее выполнять запросы Loki metric с более точными результатами

Сегодня я хочу поговорить о метрических запросах. Точнее, я хочу рассказать о важной концепции, которая сделает ваши запросы быстрее, даст более точные результаты и сделает ваших операторов Grafana Loki (таких, как я) намного счастливее.

count_over_time({app=”foo”}[1m])

https://grafana.com/blog/2023/07/05/how-to-run-faster-loki-metric-queries-with-more-accurate-results/

#devops #девопс

Подпишись 👉@i_DevOps

Мониторинг AWS Lambda — полное руководство по Serverless подходу

Бессерверные вычисления коренным образом изменили подход к разработке программного обеспечения, сместив акцент с управления серверами на создание бизнес-логики, приносящей реальную пользу.

https://aws.plainenglish.io/aws-lambda-monitoring-a-full-guide-3cc68c6052fd

#devops #девопс

Подпишись 👉@i_DevOps

Сегодня у меня для вас рекомендация — два полезных канала для системных администраторов:

📚 @it_secur — Литература для системных администраторов и ИБ специалистов любого уровня и направления. Читайте, развивайтесь, практикуйте.

👨🏻‍💻 @infosecurity — Авторский Telegram канал, посвященный информационной безопасности, OSINT и социальной

Capacity planning — сколько серверов нужно в будущем и как они нагружены сейчас
Евгений Сударчиков

Этот рассказ про разработку сервиса анализа и планирования Capacity на сравнительно большом количестве серверов. В рассказе будут детали:
* какие метрики нужны, как собираются и сколько их;
* как используются метрики RPS и стресс-тестов;
* куда все это собирается, как агрегируется, сколько занимает места;
* в итоге, как и чем строится прогноз нужного количества серверов.

источник

#devops #девопс

Подпишись 👉@i_DevOps

Технический радар от ThoughtWorks - Technology Radar Volume 29

#devops #девопс

Подпишись 👉@i_DevOps

Automating DevOps with GitLab CI/CD Pipelines: Build efficient CI/CD pipelines to verify, secure, and deploy your code using real-life examples
Автор: Chris Timberlake (2023)

Эта книга начинается с основ Git и GitLab, показывая, как коммитить и ревьюить код. Вы научитесь настраивать GitLab Runners для выполнения и автомасштабирования CI/CD конвейеров, а также создавать и настраивать конвейеры для многих этапов жизненного цикла разработки программного обеспечения. Вы также узнаете, где найти результаты работы конвейеров в GitLab и как интерпретировать эти результаты. В ходе работы над книгой вы приобретете навыки развертывания кода в различных средах, освоите такие возможности CI/CD-конвейеров, как подключение GitLab к кластеру Kubernetes и использование GitLab с Terraform, запуск конвейеров и повышение производительности конвейеров, использование лучших практик и советов по устранению неисправностей в неработающих конвейерах.

#devops #девопс

Подпишись 👉@i_DevOps

Governing Multi-Tenant Kubernetes Clusters with Kyverno

https://medium.com/compass-true-north/governing-multi-tenant-kubernetes-clusters-with-kyverno-3e11ba4a64ad

#devops #девопс

Подпишись 👉@i_DevOps

10 лет Docker: от революционной идеи до современной практики

На момент написания статьи я занимаюсь надёжностью (SRE) в компании Workday, а ещё помогаю студентам в Практикуме осваивать курс по DevOps.
Сейчас виртуализация стала фундаментальной технологией для оптимизации работы серверов, упрощения процессов разработки и развёртывания приложений. Однако до появления Docker она оставалась относительно сложным и медленным процессом.

В последние 10 лет Docker перевернул мир виртуализации и стал незаменимым инструментом для DevOps-практик. За это время контейнеризация стала настолько распространённой и привычной, что многие даже не задумываются, как она устроена изнутри. Из моего опыта интервьюирования вопрос «Что такое Docker?» нередко ставит людей в тупик. Я считаю, что полезно досконально разбираться в вещах, чтобы эффективно решать проблемы и понимать, на каком из слоев системы что-то идёт не так.

В этой статье я поделюсь кратким обзором истории Docker, его ключевыми концепциями и мисконцепциями. Надеюсь, это будет полезно для новичков и студентов, изучающих DevOps-практики и виртуализацию.

https://habr.com/ru/companies/yandex_praktikum/articles/760076/

#devops #девопс

Подпишись 👉@i_DevOps

Разворачиваем Kubernetes-платформу Deckhouse в Yandex Cloud

Платформу Deckhouse можно устанавливать на виртуальные машины облачных провайдеров, на bare metal-серверы, в закрытый контур и не только. В статье рассмотрим вариант установки Deckhouse в Yandex Cloud. А чтобы убедиться, что все внутренние ресурсы и компоненты работают как надо, заглянем в веб-интерфейсы платформы, в том числе Grafana и Kubernetes Dashboard.

https://habr.com/ru/company/flant/blog/707422/

#devops #девопс

Подпишись 👉@i_DevOps

Обзор программ для управления Docker контейнерами.

источник

#devops #девопс

Подпишись 👉@i_DevOps

Terraform-target-autocompletion 🎯💨

Нажмите клавишу tab после --target и получите предложения по ресурсам и модулям.

Это программа на языке Go, которая полагается на terraform-config-inspect для выполнения тяжелой работы. Поэтому она должна работать с любой версией Terraform. Вам не потребуется ничего, кроме бинарного файла и скриптов завершения. Но в настоящее время для самостоятельной сборки программы требуется установленный Go 1.21.0.

https://github.com/shellwhale/terraform-target-autocompletion

#devops #девопс

Подпишись 👉@i_DevOps

Эксплуатация уязвимостей HTTP Request Splitting
Сергей Бобров

В своем докладе Сергей расскажет об уязвимостях HTTP Request Splitting / CRLF Injection в проксировании HTTP‑запросов пользователя между веб‑серверами. Будут освещены методы обнаружения подобных уязвимостей при автоматическом сканировании и варианты их эксплуатации на примере популярных багбаунти-программ

https://www.youtube.com/watch?v=p1ClNhaoZQ8

#devops #девопс

Подпишись 👉@i_DevOps