Service-Hub

JovianX Service Hub - это инструмент, обеспечивающий самообслуживание для внутренних заинтересованных сторон. Он предоставляет каталог инфраструктурных сервисов по требованию (например, базы данных, s3 buckets, выполнение рабочих процессов Airflow, сервисы с предварительно настроенными или предварительно загруженными наборами данных и т. д.) через простой пользовательский интерфейс самообслуживания и CLI.

https://github.com/JovianX/Service-Hub

#devops #девопс

Подпишись 👉@i_DevOps

Отладка дедлока FUSE в ядре Linux

Наша команда вычислительных ресурсов Netflix (Compute team) отвечает за администрирование AWS, в том числе за автомасштабирование и развертывание контейнеризованных приложений, включая решение возникающих проблем. В мои обязанности входит разбор разного рода странных ошибок, о которых сообщают пользователи.

https://netflixtechblog.com/debugging-a-fuse-deadlock-in-the-linux-kernel-c75cd7989b6d

#devops #девопс

Подпишись 👉@i_DevOps

Оптимизация масштабируемости и экономичности Kubernetes с помощью Karpenter

В этом посте вы узнаете об основаниях и подходе, которые команда вычислений Miro использовала для повышения масштабируемости и эффективности кластеров Kubernetes. Этого удалось достичь благодаря применению пулов узлов без групп с использованием Karpenter, что помогло снизить затраты на вычисления в непроизводственных кластерах до 60% и повысить эффективность использования ресурсов в производственных кластерах до 95%.

https://medium.com/miro-engineering/optimizing-kubernetes-scalability-and-cost-efficiency-with-karpenter-356153fcf546

#devops #девопс

Подпишись 👉@i_DevOps

«Грамотный DevOps»: пишем конфигурацию с помощью Emacs, Org и Jinja

Что такое вообще «Грамотный DevOps»?
Если совсем коротко: «грамотный DevOps» (Literate DevOps) – это использование принципов «грамотного программирования» (Literate programming) для работы с инфраструктурой в виде кода. Термин Literate DevOps придумал Говард Абрамс, и он же показал, как реализовать его с помощью Emacs и Org.

Теперь подробнее.

Как все знают, концепцию «грамотного программирования» (мне больше нравится вариант перевода «литературное программирование», он как-то больше соответствует духу этой концепции, но раз уж в Википедии употребляется вариант «грамотное», то пусть будет так) создал великий Дональд Кнут. В этой концепции комментарии и программный код как бы меняются местами: текст программы выглядит не как код, к которому где-то приписаны комментарии, а как связное и последовательное («литературное») описание логики работы, структуры данных и так далее, в которое вставлены блоки программного кода. Далее специальная программа может извлечь из этого текста все блоки кода и расставить их в нужном порядке, создав, таким образом, исходный код, который можно скомпилировать, получив работающую программу. Эта процедура, в терминах Кнута, называется tangle («запутывание»). Другая процедура, под названием weave («сплетение») позволяет из того же текста получить очень красиво отформатированный документ.

https://habr.com/ru/articles/752384/

#devops #девопс

Подпишись 👉@i_DevOps

DCGM-Exporter

Экспортер метрик NVIDIA GPU для Prometheus с использованием DCGM

Чтобы собирать метрики на узле с GPU, просто запустите контейнер dcgm-exporter:

docker run -d --gpus all --rm -p 9400:9400 nvcr.io/nvidia/k8s/dcgm-exporter:3.3.8-3.6.0-ubuntu22.04
curl localhost:9400/metrics
# HELP DCGM_FI_DEV_SM_CLOCK SM clock frequency (in MHz).
# TYPE DCGM_FI_DEV_SM_CLOCK gauge
# HELP DCGM_FI_DEV_MEM_CLOCK Memory clock frequency (in MHz).
# TYPE DCGM_FI_DEV_MEM_CLOCK gauge
# HELP DCGM_FI_DEV_MEMORY_TEMP Memory temperature (in C).
# TYPE DCGM_FI_DEV_MEMORY_TEMP gauge
...
DCGM_FI_DEV_SM_CLOCK{gpu="0", UUID="GPU-604ac76c-d9cf-fef3-62e9-d92044ab6e52"} 139
DCGM_FI_DEV_MEM_CLOCK{gpu="0", UUID="GPU-604ac76c-d9cf-fef3-62e9-d92044ab6e52"} 405
DCGM_FI_DEV_MEMORY_TEMP{gpu="0", UUID="GPU-604ac76c-d9cf-fef3-62e9-d92044ab6e52"} 9223372036854775794
...

https://github.com/NVIDIA/dcgm-exporter

#devops #девопс

Подпишись 👉@i_DevOps

Настраиваем работу конвейера CI/CD (почти) без рук. Опыт использования Orchestra R в энтерпрайзе

Компании, что используют Jenkins в качестве CI/CD‑инструмента, обычно делают несколько экземпляров, если в разработке участвует множество команд или приходится работать с большим количеством проектов. При этом оркестрация Jenkins-ов в командах — не самая простая работа, а во многом ещё и рутинная. С одной стороны, сложно соблюдать все требования сборки и тестирования и вовремя находить согласующих. С другой, одним скриптом невозможно решить всю задачу от получения доступов до вывода релизов в эксплуатацию.

Есть правило, что если система становится слишком сложной, то люди чаще ищут способы обойти алгоритмы, а не следовать им. Чтобы не усложнять систему, а разложить всё по ролям и этапам, мы пришли к созданию собственного инструмента — Orchestra R. С его помощью мы хотели не только автоматизировать работу конвейера CI/CD, но и упростить жизнь всех DevOps‑инженеров. В этом материале поделимся особенностями работы инструмента и опытом эксплуатации в СберТехе.

https://habr.com/ru/companies/sberbank/articles/855556/

#devops #девопс

Подпишись 👉@i_DevOps

Docker vs. Kubernetes. Что мы должны использовать?

Что такое Docker?
Docker - это платформа с открытым исходным кодом, которая упрощает создание, распространение и запуск приложений с помощью контейнеров. Она позволяет создавать легкие, переносимые, самодостаточные контейнеры из любого приложения со всеми его зависимостями.

Что такое Kubernetes?
Kubernetes, также известная как K8s, - это система с открытым исходным кодом для автоматизации развертывания, масштабирования и управления контейнерными приложениями. Она группирует контейнеры, из которых состоит приложение, в логические блоки для удобства управления и обнаружения в кластере машин. Для запуска контейнеров в Kubernetes используются не Docker Engine, а такие среды выполнения контейнеров, как containerd и CRI-O.

Чем они отличаются?
Docker ориентирован на автоматизацию создания и развертывания отдельных контейнеров на одном узле. Хотя он может управлять коллекциями контейнеров с помощью Docker Swarm, он более ограничен по сравнению с Kubernetes с точки зрения масштабируемости и возможностей.

Kubernetes продвинулась дальше в области оркестровки контейнеров, управляя кластерами узлов, на которых работают Linux-контейнеры. Она обеспечивает планирование, балансировку нагрузки и предоставляет надежную платформу для автоматизации развертывания, масштабирования и обеспечения требуемого состояния приложений.

Таким образом, Docker отлично справляется с управлением контейнерами на одной системе, а Kubernetes предназначен для управления и масштабирования многоконтейнерных приложений в кластерах.

#devops #девопс

Подпишись 👉@i_DevOps

Бесплатные книги по DevOps (книги старые)

Здесь собрана коллекция бесплатных электронных книг по DevOps, доступных в Интернете.

https://github.com/rootusercop/Free-DevOps-Books-1/tree/master

#devops #девопс

Подпишись 👉@i_DevOps

Руководство по Kubernetes для хейтеров Kubernetes

Есть среди программистов такая фракция, в которой Kubernetes пользуется дурной репутацией как чрезмерно сложный пожиратель времени и технология, которой следует сторониться стартапам. Использовать Kubernetes в рамках небольшой команды — явный признак инженерного переусложнения.

Я и сам замешан в перемывании косточек на эту тему.

https://habr.com/ru/companies/timeweb/articles/804259/

Original https://paulbutler.org/2024/the-haters-guide-to-kubernetes/

#devops #девопс

Подпишись 👉@i_DevOps