Мониторинг СronJob в Kuberenetes / Анна Гобрусева (Ozon)

В докладе расскажу, как устроен мониторинг в Ozon в целом, и как мы организовали мониторинг CronJob в Kubernetes на базе готовых решений Prometheus-Thanos-Grafana и Kube-state-metrics при наличии давно сформированной инфраструктуры мониторинга.

источник

#devops #девопс

Подпишись 👉@i_DevOps

История о жрущем память API-сервере Kubernetes

Наша команда занимается сопровождением кластеров Kubernetes внутри компании. Мы стараемся построить модель предоставления кластера как услуги, насколько это возможно в наших реалиях. Несколько месяцев назад коллеги, работающие с одним из кластеров Kubernetes в dev-окружении, обратились с проблемой недоступности API-сервера Kubernetes (далее kube-api). Dev-среды обычно не подключены к дежурной смене, и решением проблем занимаются владельцы или, если проблемы нестандартные, обращаются к профильным специалистам. В ходе диагностики оказалось, что kube-api стал потреблять значительно больше памяти. Это приводило к возникновению ошибки с OOM.

Давайте будем честными — если бы это произошло в production-окружении, мы, скорее всего, закинули бы больше памяти и успешно бы забыли про проблему. Но dev-стенд не имеет жёстких SLA с финансовой ответственностью, и это дало нам возможность и время разобраться с прожорливым kube-api.

https://habr.com/ru/companies/rtlabs/articles/732858/

#devops #девопс

Подпишись 👉@i_DevOps

Обзор архитектуры быстрого сборщика логов на Go
Владимир Витковский (Ozon)

Поговорим о лучших практиках, на которых основан очень быстрый сборщик логов, используемый в Ozon.
Расскажем, как c помощью этого инструмента мы сократили издержки на сбор логов в 10 раз по CPU и добились 100% доставляемости логов.

источник

#devops #девопс

Подпишись 👉@i_DevOps

Как происходит утечка секретов в конвейерах CI/CD

Утечка секретов в конвейерах CI/CD происходит регулярно. Рабочие процессы непрерывной интеграции/развертывания (CI/CD) обычно требуют от разработчиков предоставления достоверных учетных данных для сторонних ресурсов, с которыми взаимодействует конвейер. Хотите автоматически развернуть изменения кода на экземпляре EC2? Предоставьте ключ доступа к AWS. Хотите развернуть артефакт в NPM? Предоставьте ключ API NPM.

https://trufflesecurity.com/blog/secrets-leak-in-ci-cd/

#devops #девопс

Подпишись 👉@i_DevOps

Деобфускация и анализ клиентского JavaScript‑кода для обнаружения DOM‑based XSS
Андрей Козлов

Основная цель доклада — описание нового, разработанного докладчиком, автоматизированного метода анализа JavaScript‑кода, использующего статический и динамический анализ, а также сравнение результатов его работы с существующими автоматизированными сканерами веб‑уязвимостей

источник

#devops #девопс

Подпишись 👉@i_DevOps

Как быстрее выполнять запросы Loki metric с более точными результатами

Сегодня я хочу поговорить о метрических запросах. Точнее, я хочу рассказать о важной концепции, которая сделает ваши запросы быстрее, даст более точные результаты и сделает ваших операторов Grafana Loki (таких, как я) намного счастливее.

count_over_time({app=”foo”}[1m])

https://grafana.com/blog/2023/07/05/how-to-run-faster-loki-metric-queries-with-more-accurate-results/

#devops #девопс

Подпишись 👉@i_DevOps

Мониторинг AWS Lambda — полное руководство по Serverless подходу

Бессерверные вычисления коренным образом изменили подход к разработке программного обеспечения, сместив акцент с управления серверами на создание бизнес-логики, приносящей реальную пользу.

https://aws.plainenglish.io/aws-lambda-monitoring-a-full-guide-3cc68c6052fd

#devops #девопс

Подпишись 👉@i_DevOps

Сегодня у меня для вас рекомендация — два полезных канала для системных администраторов:

📚 @it_secur — Литература для системных администраторов и ИБ специалистов любого уровня и направления. Читайте, развивайтесь, практикуйте.

👨🏻‍💻 @infosecurity — Авторский Telegram канал, посвященный информационной безопасности, OSINT и социальной

Capacity planning — сколько серверов нужно в будущем и как они нагружены сейчас
Евгений Сударчиков

Этот рассказ про разработку сервиса анализа и планирования Capacity на сравнительно большом количестве серверов. В рассказе будут детали:
* какие метрики нужны, как собираются и сколько их;
* как используются метрики RPS и стресс-тестов;
* куда все это собирается, как агрегируется, сколько занимает места;
* в итоге, как и чем строится прогноз нужного количества серверов.

источник

#devops #девопс

Подпишись 👉@i_DevOps

Технический радар от ThoughtWorks - Technology Radar Volume 29

#devops #девопс

Подпишись 👉@i_DevOps

Automating DevOps with GitLab CI/CD Pipelines: Build efficient CI/CD pipelines to verify, secure, and deploy your code using real-life examples
Автор: Chris Timberlake (2023)

Эта книга начинается с основ Git и GitLab, показывая, как коммитить и ревьюить код. Вы научитесь настраивать GitLab Runners для выполнения и автомасштабирования CI/CD конвейеров, а также создавать и настраивать конвейеры для многих этапов жизненного цикла разработки программного обеспечения. Вы также узнаете, где найти результаты работы конвейеров в GitLab и как интерпретировать эти результаты. В ходе работы над книгой вы приобретете навыки развертывания кода в различных средах, освоите такие возможности CI/CD-конвейеров, как подключение GitLab к кластеру Kubernetes и использование GitLab с Terraform, запуск конвейеров и повышение производительности конвейеров, использование лучших практик и советов по устранению неисправностей в неработающих конвейерах.

#devops #девопс

Подпишись 👉@i_DevOps

Governing Multi-Tenant Kubernetes Clusters with Kyverno

https://medium.com/compass-true-north/governing-multi-tenant-kubernetes-clusters-with-kyverno-3e11ba4a64ad

#devops #девопс

Подпишись 👉@i_DevOps

10 лет Docker: от революционной идеи до современной практики

На момент написания статьи я занимаюсь надёжностью (SRE) в компании Workday, а ещё помогаю студентам в Практикуме осваивать курс по DevOps.
Сейчас виртуализация стала фундаментальной технологией для оптимизации работы серверов, упрощения процессов разработки и развёртывания приложений. Однако до появления Docker она оставалась относительно сложным и медленным процессом.

В последние 10 лет Docker перевернул мир виртуализации и стал незаменимым инструментом для DevOps-практик. За это время контейнеризация стала настолько распространённой и привычной, что многие даже не задумываются, как она устроена изнутри. Из моего опыта интервьюирования вопрос «Что такое Docker?» нередко ставит людей в тупик. Я считаю, что полезно досконально разбираться в вещах, чтобы эффективно решать проблемы и понимать, на каком из слоев системы что-то идёт не так.

В этой статье я поделюсь кратким обзором истории Docker, его ключевыми концепциями и мисконцепциями. Надеюсь, это будет полезно для новичков и студентов, изучающих DevOps-практики и виртуализацию.

https://habr.com/ru/companies/yandex_praktikum/articles/760076/

#devops #девопс

Подпишись 👉@i_DevOps

Разворачиваем Kubernetes-платформу Deckhouse в Yandex Cloud

Платформу Deckhouse можно устанавливать на виртуальные машины облачных провайдеров, на bare metal-серверы, в закрытый контур и не только. В статье рассмотрим вариант установки Deckhouse в Yandex Cloud. А чтобы убедиться, что все внутренние ресурсы и компоненты работают как надо, заглянем в веб-интерфейсы платформы, в том числе Grafana и Kubernetes Dashboard.

https://habr.com/ru/company/flant/blog/707422/

#devops #девопс

Подпишись 👉@i_DevOps

Обзор программ для управления Docker контейнерами.

источник

#devops #девопс

Подпишись 👉@i_DevOps

Terraform-target-autocompletion 🎯💨

Нажмите клавишу tab после --target и получите предложения по ресурсам и модулям.

Это программа на языке Go, которая полагается на terraform-config-inspect для выполнения тяжелой работы. Поэтому она должна работать с любой версией Terraform. Вам не потребуется ничего, кроме бинарного файла и скриптов завершения. Но в настоящее время для самостоятельной сборки программы требуется установленный Go 1.21.0.

https://github.com/shellwhale/terraform-target-autocompletion

#devops #девопс

Подпишись 👉@i_DevOps

Эксплуатация уязвимостей HTTP Request Splitting
Сергей Бобров

В своем докладе Сергей расскажет об уязвимостях HTTP Request Splitting / CRLF Injection в проксировании HTTP‑запросов пользователя между веб‑серверами. Будут освещены методы обнаружения подобных уязвимостей при автоматическом сканировании и варианты их эксплуатации на примере популярных багбаунти-программ

https://www.youtube.com/watch?v=p1ClNhaoZQ8

#devops #девопс

Подпишись 👉@i_DevOps

Комбинируем Prometheus, ChatGPT и Slack — получается Robusta

Что получится, если объединить Prometheus, работающий на Kubernetes, умный движок, взаимодействующий с ChatGPT, и мессенджер типа Slack? Вы получите платформу с открытым исходным кодом для поиска и устранения ошибок в Kubernetes под названием Robusta.

В этом посте мы рассмотрим применение Robusta поверх стека мониторинга Prometheus и покажем, почему возникают алерты и как их можно устранить.

https://blog.devops.dev/kubernetes-chatgpt-smart-alerting-robusta-c63bf410e438

#devops #девопс

Подпишись 👉@i_DevOps

Начните работу с расширением Microcks Docker Extension для тестирования API Mocking

В динамичной среде разработки программного обеспечения сотрудничество часто приводит к появлению инновационных решений, упрощающих сложные задачи. Партнерство Docker и Microcks является ярким примером того, как взаимоотношения двух лидеров отрасли могут повлиять на развитие локальных приложений.

Данная статья посвящена совместной работе компаний Docker и Microcks и рассказывает о появлении расширения Microcks Docker Desktop Extension и его преобразующем влиянии на экосистему разработки.

https://www.docker.com/blog/get-started-with-the-microcks-docker-extension-for-api-mocking-and-testing/

#devops #девопс

Подпишись 👉@i_DevOps

Разбираемся во внутренностях CI/CD Ozon
Даниил Разумов (Ozon)

В своем докладе расскажу:
* как устроен CI/CD в Ozon (архитектура и чуть детальнее рассмотрим каждый компонент);
* какие основные крон-джобы для автоматизации рутинных задач мы используем;
* на примере покажу, как происходит взаимодействие компонентов...

источник

#devops #девопс

Подпишись 👉@i_DevOps

Сборник и дорожная карта для всех, кто стремится к DevSecOps

https://github.com/hahwul/DevSecOps

#devops #девопс

Подпишись 👉@i_DevOps