💡Kubernetes и kernel panic: опыт Netflix

В статье описывается, как платформа контейнеров Titus справляется с проблемой "осиротевших" pod'ов, возникающих из-за сбоев ядра Linux (kernel panic). Такие pod'ы не завершаются корректно, что особенно критично для batch-задач, требующих точного кода завершения.

Для решения этой проблемы Netflix внедрил механизм аннотаций pod-termination-reason, позволяющий фиксировать причину завершения pod'а. При возникновении kernel panic используется модуль netconsole, который отправляет UDP-пакет с последним сообщением ядра перед сбоем. Специальный контроллер Kubernetes перехватывает эти пакеты, идентифицирует соответствующий узел и связанные с ним pod'ы, аннотирует их с указанием причины сбоя и удаляет, обеспечивая прозрачность и оперативность в обработке подобных ситуаций.

Такой подход повышает наблюдаемость и надежность платформы, предоставляя пользователям информацию о причинах сбоев и позволяя быстрее реагировать на проблемы.

https://netflixtechblog.com/kubernetes-and-kernel-panics-ed620b9c6225

#devops #девопс

Подпишись 👉@i_DevOps

Как ArgoCD секреты из Vault не расшифровывал, или при чем тут App of Apps

Привет, меня зовут Антон, я DevOps-инженер в YADRO, работаю с платформой машинного обучения. Недавно столкнулся с интересным случаем, над которым мне пришлось поломать голову. Одной из задач нашей команды стало развертывание helm-чарта для Airflow с использованием ArgoCD. Это потребовалось для реализации DAG-пайплайнов, необходимых для обработки данных и автоматизации процессов в проектах машинного обучения.

В статье расскажу о сложностях при расшифровке секретов с использованием плагина ArgoCD Vault, о паттерне App of Apps для обхода этих сложностей и небольшом погружении в детали установки плагина в кластер, из-за которых возможно неочевидное поведение ArgoCD Applications.

https://habr.com/ru/companies/yadro/articles/873476/

#devops #девопс

Подпишись 👉@i_DevOps

Подборка Telegram каналов для программистов

Системное администрирование 📌
https://news.1rj.ru/str/sysadmin_girl Девочка Сисадмин
https://news.1rj.ru/str/srv_admin_linux Админские угодья
https://news.1rj.ru/str/linux_srv Типичный Сисадмин

https://news.1rj.ru/str/linux_odmin Linux: Системный администратор
https://news.1rj.ru/str/devops_star DevOps Star (Звезда Девопса)
https://news.1rj.ru/str/i_linux Системный администратор
https://news.1rj.ru/str/linuxchmod Linux
https://news.1rj.ru/str/sys_adminos Системный Администратор
https://news.1rj.ru/str/tipsysdmin Типичный Сисадмин (фото железа, было/стало)
https://news.1rj.ru/str/sysadminof Книги для админов, полезные материалы
https://news.1rj.ru/str/i_odmin Все для системного администратора
https://news.1rj.ru/str/i_odmin_book Библиотека Системного Администратора
https://news.1rj.ru/str/i_odmin_chat Чат системных администраторов
https://news.1rj.ru/str/i_DevOps DevOps: Пишем о Docker, Kubernetes и др.
https://news.1rj.ru/str/sysadminoff Новости Линукс Linux

1C разработка 📌
https://news.1rj.ru/str/odin1C_rus Cтатьи, курсы, советы, шаблоны кода 1С

Программирование C++📌
https://news.1rj.ru/str/cpp_lib Библиотека C/C++ разработчика
https://news.1rj.ru/str/cpp_knigi Книги для программистов C/C++
https://news.1rj.ru/str/cpp_geek Учим C/C++ на примерах

Программирование Python 📌
https://news.1rj.ru/str/pythonofff Python академия. Учи Python быстро и легко🐍
https://news.1rj.ru/str/BookPython Библиотека Python разработчика
https://news.1rj.ru/str/python_real Python подборки на русском и английском
https://news.1rj.ru/str/python_360 Книги по Python Rus

Java разработка 📌
https://news.1rj.ru/str/BookJava Библиотека Java разработчика
https://news.1rj.ru/str/java_360 Книги по Java Rus
https://news.1rj.ru/str/java_geek Учим Java на примерах

GitHub Сообщество 📌
https://news.1rj.ru/str/Githublib Интересное из GitHub

Базы данных (Data Base) 📌
https://news.1rj.ru/str/database_info Все про базы данных

Мобильная разработка: iOS, Android 📌
https://news.1rj.ru/str/developer_mobila Мобильная разработка
https://news.1rj.ru/str/kotlin_lib Подборки полезного материала по Kotlin

Фронтенд разработка 📌
https://news.1rj.ru/str/frontend_1 Подборки для frontend разработчиков
https://news.1rj.ru/str/frontend_sovet Frontend советы, примеры и практика!
https://news.1rj.ru/str/React_lib Подборки по React js и все что с ним связано

Разработка игр 📌
https://news.1rj.ru/str/game_devv Все о разработке игр

Библиотеки 📌
https://news.1rj.ru/str/book_for_dev Книги для программистов Rus
https://news.1rj.ru/str/programmist_of Книги по программированию
https://news.1rj.ru/str/proglb Библиотека программиста
https://news.1rj.ru/str/bfbook Книги для программистов
https://news.1rj.ru/str/books_reserv Книги для программистов

БигДата, машинное обучение 📌
https://news.1rj.ru/str/bigdata_1 Data Science, Big Data, Machine Learning, Deep Learning

Программирование 📌
https://news.1rj.ru/str/bookflow Лекции, видеоуроки, доклады с IT конференций
https://news.1rj.ru/str/coddy_academy Полезные советы по программированию
https://news.1rj.ru/str/rust_lib Полезный контент по программированию на Rust
https://news.1rj.ru/str/golang_lib Библиотека Go (Golang) разработчика
https://news.1rj.ru/str/itmozg Программисты, дизайнеры, новости из мира IT
https://news.1rj.ru/str/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻
https://news.1rj.ru/str/nodejs_lib Подборки по Node js и все что с ним связано
https://news.1rj.ru/str/ruby_lib Библиотека Ruby программиста

QA, тестирование 📌
https://news.1rj.ru/str/testlab_qa Библиотека тестировщика

Шутки программистов 📌
https://news.1rj.ru/str/itumor Шутки программистов

Защита, взлом, безопасность 📌
https://news.1rj.ru/str/thehaking Канал о кибербезопасности
https://news.1rj.ru/str/xakep_1 Статьи из "Хакера"

Книги, статьи для дизайнеров 📌
https://news.1rj.ru/str/ux_web Статьи, книги для дизайнеров

Английский 📌
https://news.1rj.ru/str/UchuEnglish Английский с нуля

Математика 📌
https://news.1rj.ru/str/Pomatematike Канал по математике
https://news.1rj.ru/str/phis_mat Обучающие видео, книги по Физике и Математике

Excel лайфхак📌
https://news.1rj.ru/str/Excel_lifehack

https://news.1rj.ru/str/tikon_1 Новости высоких технологий, науки и техники💡
https://news.1rj.ru/str/mir_teh Мир технологий (Technology World)

Вакансии 📌
https://news.1rj.ru/str/sysadmin_rabota Системный Администратор
https://news.1rj.ru/str/progjob Вакансии в IT

K8s ASA: Интерфейс хранения данных

Как и большинство серверов API, одной из основных функций сервера API Kubernetes, если не главной, является получение данных, их хранение и последующее возвращение по запросу. Сегодня мы сосредоточимся на том, как сервер API хранит данные.

https://danielmangum.com/posts/k8s-asa-the-storage-interface/

#devops #девопс

Подпишись 👉@i_DevOps

Как я уменьшил размер образа docker на 40%

Ежедневно по работе я сталкиваюсь с Dockerfile, написал несколько из них самостоятельно, создавал контейнеры и всё такое. Но я никогда не публиковал их в реестре docker hub. Мне хотелось создать ugit — инструмент для отмены команд git (написанный в виде шелл‑скрипта), который бы могли использовать люди, не любящие устанавливать случайные шелл‑скрипты из Интернета.

Да‑да, знаю. НАДО ПЕРЕПИСАТЬ ЕГО НА GO/RUST/ЕЩЁ КАКОМ‑ТО ВОЛШЕБНОМ ЯЗЫКЕ. Сейчас скрипт состоит из пятисот с лишним строк Bash, поэтому я перепишу его на другом языке только под страхом смертной казни. Кроме того, в ugit уже есть практически все функции (осталось реализовать отмену лишь небольшого количества команд, используемых не так часто).

В этой статье я расскажу о том, как написал официальный Dockerfile для ugit (шелл‑скрипта) и снизил размер образа почти на 40% (с 31,4 МБ до 17,6 МБ), выполняя пошаговые попытки по инструкции. Надеюсь, это замотивирует других любителей шелла тоже публиковать свои скрипты в виде образов docker!

https://habr.com/ru/articles/791426/

#devops #девопс

Подпишись 👉@i_DevOps

tofuenv — это лёгкий и удобный инструмент для управления виртуальными окружениями Python. Он создан с акцентом на минимализм и простоту использования, чтобы разработчики могли быстро создавать и переключаться между окружениями.

Основные возможности:
- Упрощённое создание и активация виртуальных окружений.
- Лёгкая интеграция с популярными инструментами.
- Минимальная зависимость от внешних библиотек.

https://github.com/tofuutils/tofuenv

#devops #девопс

Подпишись 👉@i_DevOps

😀

#devops #девопс

Подпишись 👉@i_DevOps

Каковы компоненты непрерывной интеграции и DevOps? Как вы относитесь к каждому из них?

Пример ответа: «Непрерывная интеграция включает в себя автоматическое тестирование и интеграцию кода, а DevOps охватывает весь конвейер доставки. Я подхожу к CI, настраивая автоматизированные конвейеры сборки и тестирования, а в DevOps я фокусируюсь на циклах сотрудничества, мониторинга и обратной связи.»

#devops #девопс

Подпишись 👉@i_DevOps

Как мы управляем инфраструктурой на более 1000 серверов при помощи Ansible

Мы системные инженеры X5 Tech — Алексей Кузнецов и Борис Мурашин. У нас за плечами больше 15 лет опыта, в том числе поддержка сервисов Rapida, CyberPlat, TeleTrade, сопровождение стека BigData и внедрение кластеров Hadoop.

В этой статье мы расскажем, как выбирали систему управления конфигурациями, какими критериями руководствовались, что в итоге выбрали, с какими проблемами столкнулись и как их решали.

Рассматривать вопрос, зачем вообще нужна система управления конфигурацией, не будем. Потому что считаем, что если у вас больше одного сервера, она уже необходима. Перейдём сразу к тому, почему мы выбрали именно Ansible.

https://habr.com/ru/companies/oleg-bunin/articles/788552/

#devops #девопс

Подпишись 👉 @i_DevOps

DevSecOps

#devops #девопс

Подпишись 👉 @i_DevOps

Безопасность контейнерных сред: как отбить атаки киберпиратов

В современном мире практически ни одна разработка программного обеспечения не обходится без использования средств контейнеризации, что связано с удобством хранения артефактов и зависимостей. Киберпираты следуют трендам DevSecOps, чтобы повышать энтропию атак на контейнерные среды. Кроме того, растет количество APT группировок, что является сегодня довольно значимой проблемой. В данной статье мы подробно рассматриваем техники злоумышленников, а также рассказываем о существующих тактиках защиты для того, чтобы разработчики или DevOps-инженеры смогли применять их в своей повседневной работе.

https://habr.com/ru/companies/neoflex/articles/837946/

#devops #девопс

Подпишись 👉@i_DevOps

🌟 GitHub Actions для Terraform 🌟

Если вы используете Terraform и хотите интегрировать его с CI/CD процессами на GitHub Actions, используйте библиотеку terraform-github-actions.

С её помощью вы сможете:
- Автоматизировать и тестировать Terraform-код.
- Настраивать проверки terraform plan и terraform apply.
- Ускорить деплой инфраструктуры.

Документация в репозитории описывает примеры использования и тонкости настройки.

https://github.com/dflook/terraform-github-actions

#devops #девопс

Подпишись 👉@i_DevOps

Привет всем пользователям и администраторам Linux! Специально для вас я создал канал @/usr/bin, в котором регулярно делюсь своим опытом и опытом других людей по администрированию ОС и приложений на ней. Каждый день в канале публикуется новая интересная статья.

В планах собрать интересную базу знаний, которой потом можно будет постоянно пользоваться.

Топ последних постов, опубликованных на канале:

🚀 Подстроки в Bash: извлечение и обработка

🚀 Как устроен кэш Linux: руководство для начинающих

🚀 Статья о том, как стать grep-ниндзей

🚀 Буферный кэш PostgreSQL: автоматизация анализа с помощью bash-скрипта

🚀 Как проверить, используется ли папка службами в Linux

Подписывайтесь на канал /usr/bin, чтобы не пропустить новые интересные статьи.

Есть и другие каналы, которыми тоже занимаюсь:

🚀 @monitorim_it — всё о мониторинге

🚀 @zabbix_ru — лайфхаки в Zabbix

🚀 @elasticstack_ru — лайфхаки ElasticSearch/OpenSearch

💡Local Path Provisioner — это удобное решение для предоставления локального хранилища в Kubernetes-кластерах. Оно позволяет пользователям создавать PersistentVolume на узлах с использованием локального хранилища.

Основные преимущества:
- Простая настройка и использование.
- Гибкость в указании путей для хранения.
- Отличный выбор для разработки и тестирования.


https://github.com/rancher/local-path-provisioner/tree/master

#devops #девопс

Подпишись 👉@i_DevOps

Redis-operator

Создает/настраивает/управляет высокой доступностью redis

https://github.com/spotahome/redis-operator

#devops #девопс

Подпишись 👉@i_DevOps