Миграция из Kubernetes в Docker Compose

Как и многие, давным‑давно мы все деплоили ручками. Заходили на сервер, git pull, выполняли команды миграции. Потом вспоминали, что при миграции забыли выполнить какую‑то команду, что‑то поломалось и пошло‑поехало.

А еще в процессе можно было и полежать, пока сайт обновлялся, так как код, например, мог уже обновится, а миграция в базе данных — нет. И упаси боже, если у нас dev, stage, prod! На каждый зайди, ручками разверни. А как‑то мы захотели развернуть несколько веток параллельно и тоже пришлось вручную…Кошмар, страшно вспомнить, но ностальгия приятная.

https://habr.com/ru/articles/733394/

#devops #девопс

Подпишись 👉@i_DevOps

Мониторинг веб-приложения Rust с помощью Prometheus и Grafana

В этой статье я покажу вам, как настроить мониторинг веб-приложения Actix. Приложение будет выводить метрики Prometheus, которые будут визуализироваться с помощью Grafana.

https://betterprogramming.pub/monitoring-a-rust-web-application-using-prometheus-and-grafana-3c75d9435dec

#devops #девопс

Подпишись 👉@i_DevOps

Grafana Mimir - наше путешествие к бесконечной мудрости с помощью 5m активных временных рядов

Более глубокое понимание производительности и поведения наших приложений приводит к повышению надежности и лучшему пониманию наших систем. Это очень важно для любой технологической среды, которая быстро развивается и стремится к совершенству. Полезность метрик трудно переоценить. Две основные проблемы, связанные с этой темой в контексте данного поста, - как хранить данные и как их запрашивать. Мы считаем, что исторические данные имеют большой потенциал для сравнительного анализа, поэтому наша цель - собрать и сохранить как можно больше информации, не забывая при этом о стоимости, эффективности и затраченных усилиях.

https://tech.loveholidays.com/grafana-mimir-our-journey-towards-infinite-wisdom-with-5m-active-time-series-7a262ba53a3f

#devops #девопс

Подпишись 👉@i_DevOps

11 языков программирования для DevOps и их применение

Почти любая статья про DevOps начинается с определения, что же представляет собой это понятие. Не нарушая традицию, отметим, что у слова DevOps два значения.

Во-первых, это набор методов для решения различных задач, с которыми сталкиваются разработчики. Это и написание сценариев для автоматизации инфраструктуры, и оптимизация процесса разработки программного обеспечения (например, развертывание приложений в различных средах). Сюда же относится управление инфраструктурой, в том числе мониторинг состояния и масштабирование серверной базы, обеспечение быстродействия при высокой нагрузке, а также задачи в области тестирования приложений и сетевой инфраструктуры.

А во-вторых, под словом DevOps подразумевают тех людей, которые выполняют все эти задачи, то есть DevOps-инженеров. Нередко встречается мнение, что DevOps не профессия, а, цитируем, «прежде всего культура разработки, методология и только потом инструменты и специальности». Но одно другого не исключает, тем более, что в списке вакансий всё чаще фигурирует DevOps Engineer. Так что де-факто это уже стало профессией, но более грамотно всё же называть этих специалистов не просто «девопсами», а DevOps-инженерами или командой DevOps, если речь идет о целом отделе.

https://habr.com/ru/companies/first/articles/678994/

#devops #девопс

Подпишись 👉@i_DevOps

🔥 Главная в России конференция про Kubernetes®

22 июня 2023 года состоится Kuber Conf — конференция для всех, кто работает с Kubernetes®. Вас ждёт 9 докладов, 12 спикеров, 180 минут техноконтента:

➡️ технические доклады, продуктовые обзоры, лучшие практики от разработчиков и экспертов по контейнерным технологиям;
➡️ создание сервисов и решение бизнес-задач с помощью Kubernetes в финтехе, e-commerce, HoReCa и не только;
➡️ неформальное общение с профессиональным сообществом, встреча старых друзей и новые знакомства.

Регистрируйтесь по ссылке, чтобы получить доступ к онлайн-трансляции Kuber Conf’23!

Kubeflow: учимся устанавливать и запускать Kubeflow на локальной машине

Пошаговое руководство по установке и конфигурированию всех компонентов kubeflow на локальной машине.

Kubeflow – это созданная Google опенсорсная платформа, на которой разворачивается весь жизненный цикл разрабатываемой модели машинного обучения. Kubeflow представляет собой инструментарий, каждый компонент которого применяется для отработки каждой из стадий жизненного цикла при машинном обучении, а именно: исследования данных, конструирования признаков, преобразования признаков, обучения модели, оценки модели, тонкой настройки модели, предоставления модели и версионирования модели. Главный атрибут kubeflow заключается в том, что он предназначен для работы на базе kubernetes [2]. Таким образом, kubeflow пользуется именно теми преимуществами, которые предоставляет кластер kubernetes, в частности, оркестрацией контейнеров и автомасштабированием.

https://habr.com/ru/company/timeweb/blog/714172/

#devops #девопс

Подпишись 👉@i_DevOps

Кто победит: средненагруженный Kubernetes или простой list-запрос?

В статье мы расскажем, как столкнулись со множественными запросами к API-серверу Kubernetes от одного из приложений, к чему это привело и каким образом проблема была решена.

https://habr.com/ru/companies/flant/articles/733268/

#devops #девопс

Подпишись 👉@i_DevOps

3 канала для системных администраторов:

📚 @it_secur — Литература для системных администраторов и ИБ специалистов любого уровня и направления. Читайте, развивайтесь, практикуйте.

👨🏻‍💻 @infosecurity — Самый крупный ресурс в Telegram, посвященный информационной безопасности, OSINT и Cоциальной Инженерии.

🔖 @infosec_work — Актуальные предложения от самых крупных работодателей и лидеров рынка в сфере информационной безопасности.

Watchtower: лучший способ автоматически обновлять Docker контейнеры

В этом видео мы рассмотрим, как использовать Docker Watchtower для автоматического обновления контейнеров Docker. Watchtower - это удобный инструмент, который может существенно упростить процесс обновления контейнеров Docker. Мы покажем, как настроить Watchtower для автоматического обновления ваших контейнеров и расскажем о преимуществах этого подхода.

источник

#devops #девопс

Подпишись 👉@i_DevOps

🚀 Хотите узнать, как собирать и анализировать данные в Telegram?

Тогда подключайтесь к бесплатному вебинару 20 июня 2023 года в 12:00.

Мы подробно расскажем и покажем, как с помощью serverless-сервисов реализовать упрощённый пайплайн поставки данных в Managed ClickHouse и визуализировать их в DataLens. На вебинаре:
• мы сделаем обзор serverless-сервисов и DataLens;
• вы узнаете, как решить задачи поставки и визуализации данных, используя связку: Managed ClickHouse, serverless-сервисов, DataLens, — и как реализовать эти задачи на примере аналитики данных Telegram-чатов.

Вебинар будет полезен бэкенд- и фронтенд-разработчикам, DevOps-специалистам, аналитикам и PM-ам.

Вебинар бесплатный — нужна только регистрация.

Поднимаем Kubernetes с нуля

Создание кластера Kubernetes может казаться сложным процессом, который включает в себя множество настроек, но сложные вещи могут стать более понятными, когда их разложить на части. В этой статье мы демистифицируем процесс создания кластера Kubernetes, поднимая минимальный набор компонентов и настроек, необходимых для запуска Kubernetes кластера.

https://habr.com/ru/articles/734928/

#devops #девопс

Подпишись 👉@i_DevOps

OpenTelemetry: The Star of KubeCon 2023

Стремительный рост популярности микросервисных приложений оказывает огромное давление на организации в плане проактивного мониторинга и быстрого устранения проблем со здоровьем и производительностью, которые могут повлиять на работу конечного пользователя. Традиционный подход к раздельному сбору и анализу журналов, метрик и трассировок на уровнях инфраструктуры, сети, базы данных, приложений и устройств должен быть заменен интегрированной стратегией наблюдаемости, которая отслеживает телеметрические данные в контексте бизнеса. Ввиду срочности и сложности этой задачи, наблюдаемость и, в частности, OpenTelemetry были самыми горячими темами на KubeCon 2023 в Амстердаме. В дополнение к этой статье я создал приборную панель, показывающую, что еще интересовало посетителей KubeCon на прошлой неделе.

https://faun.pub/opentelemetry-the-star-of-kubecon-2023-c1e2b504850d

#devops #девопс

Подпишись 👉@i_DevOps

👨‍💻 Yandex Cloud, Yandex 360 и Yandex Infrastructure — это точки притяжения талантливых инженеров

Приходите на прямой эфир, чтобы узнать про ключевые вызовы команды.

На встрече расскажем, как мы развиваем инфраструктуру Яндекса, строим публичную облачную платформу и виртуальный офис для клиентов.

📍20 июня 2023 г., в 16:00

Эфир будет полезен бэкенд-разработчикам и SRE, которым интересно узнать, какие задачи мы решаем и кого мы ищем.

Регистрируйтесь по ссылке!

Shell-operator - это инструмент для запуска управляемых событиями сценариев в кластере Kubernetes

Позволяет подписаться на события от объектов Kubernetes, а когда получает их, автоматически запускает какую-то внешнюю программу (например, тот самый bash-скрипт) и передает в нее информацию о событии.

https://github.com/flant/shell-operator

#devops #девопс

Подпишись 👉@i_DevOps

Я — айтишник, я не хочу много знать

За последнее время мне довелось провести немало технических собеседований на позицию DevOps инженера, в связи с чем появилась идея формализовать полученные выводы в этой статье. Хочу поделиться своими наблюдениями, субъективным мнением, и задать самому себе вопросы, ответы на которые, возможно, мне помогут получить читатели данной статьи.

Я понимаю, что под определение так называемого DevOps инженера от компании к компании подпадает очень разный набор навыков, следовательно, требования также будут заметно варьироваться. Поэтому попробую описать что такое DevOps инженер, или SRE (как мне привычнее) для меня в рамках нынешней организации: специалист, поддерживающий инфраструктуру проекта на всех уровнях, реализующий автоматизацию инфраструктуры, процессов разработки и тестирования, в некоторой степени DBA, конечно SRE и евангелист DevOps культуры. Так как цель статьи в другом, то не хотелось бы тут размышлять на тему того, кто такой DevOps инженер, существует ли он, маркетинговый ли это термин и вот это вот всё, оставим этот холивар. Я думаю, что в основном понятно, о каких специалистах я говорю.

Я являюсь тимлидом команды именно таких инженеров. Мы не профилируемся внутри команды по направлениям, каждый занимается бóльшей частью из перечисленного.

https://habr.com/ru/articles/739452/

#devops #девопс

Подпишись 👉@i_DevOps

Мультиарендность в Kubernetes

Могут ли несколько команд использовать один и тот же кластер Kubernetes?
Можно ли безопасно запускать ненадежные рабочие нагрузки от ненадежных пользователей?
Поддерживает ли Kubernetes мультиарендность?
В этой статье рассмотрим проблемы запуска кластера с несколькими арендаторами.

Rus https://habr.com/ru/companies/southbridge/articles/735404/

Eng https://itnext.io/multi-tenancy-in-kubernetes-332ff88d55d8

#devops #девопс

Подпишись 👉@i_DevOps

Шпаргалка по Docker

Запуск контейнеров

docker run -it ubuntu bash Run container and specify command
docker run -it ubuntu Run container
docker run -tid ubuntu Run container detatched
docker create -ti ubuntu Create a container without starting it
docker run -tid --name smelly-hippo ubuntu named container
docker ps show running containers
docker ps -a show all containers
docker ps --filter name=web1 show matching containers
docker ps --filter name=web1 -q show matching container ID
docker inspect smelly-hippo inspect container


Жизненный цикл контейнера

docker start smelly-hippo start
docker stop smelly-hippo stop
docker stop smelly-hippo funny-frog stop mutliple
docker restart smelly-hippo restart container
docker pause smelly-hippo pauses a running container, freeze in place
docker unpause smelly-hippo unpause a container
docker wait smelly-hippo blocks until running container stops
docker kill smelly-hippo sends SIGKILL, faster than stop
docker rm smelly-hippo remove
docker rm smelly-hippo funny-frog remove multiple
docker rm -f smelly-hippo force remove
docker container rm -f $(docker ps -aq) Remove all containers, running or stopped


Лимиты и контроль ресурсов

docker run -tid -c 512 ubuntu 50% cpu
docker run -tid --cpuset-cpus=0,4,6 ubuntu use these cpus
docker run -tid -m 300M ubuntu limit memory
docker create -ti --storage-opt size=120G ubuntu limit storage, not on aufs


Статистика, журналы и события

docker stats resourse stats for all containers
docker stats smelly-hippo resource stats for one container
docker top smelly-hippo shows processes in a container
docker logs web container logs
docker events watch events in real time
docker port nostalgic_colden shows public facing port of container
docker diff practical_sinoussi show changes to a container's file system


#devops #девопс

Подпишись 👉@i_DevOps

Зачем рассказывать про контейнеризацию в 2023 году

Меня зовут Иван, я работаю главным техническим руководителем разработки в Газпромбанке. Сегодня попробую раскрыть эту тему немного под другим углом. Поэтому пройдёмся по базису с другого ракурса:

Базис, на котором строится современная контейнеризация.
Отличия от виртуализации.
Linux namespaces и что общего у firefox с docker.
Nsenter — давайте закинем приложение внутрь исполняемого контейнера на низком уровне.
Unshare и изоляция без docker.

https://habr.com/ru/companies/gazprombank/articles/735790/

#devops #девопс

Подпишись 👉@i_DevOps

DevOps спит, Gitlab CI работает…

Можно ли построить удобный для всех pipeline, приложив усилия один раз, а не 100? Об этом расскажет Виктория Вольферц. Она работает в БКС DevOps-инженером в управлении микросервисной архитектуры. БКС предоставляет брокерские и банковские услуги для клиентов. Их основные продукты — это мобильное приложение БКС Мир Инвестиций и веб-кабинет для клиентов.

Виктория поделится опытом своей компании, как им удалось решить проблему больших временных затрат на релиз-менеджмент и Time to Market с помощью подключения проектов к CI/CD. Она расскажет о том, как они автоматизировали процессы и закрыли слабые места.

https://habr.com/ru/companies/oleg-bunin/articles/736998/

#devops #девопс

Подпишись 👉@i_DevOps

Коллеги, приглашаем вас на вебинар, где Валерий Харисов расскажет о том, как искать и находить неочевидные утечки исходного кода и содержащихся в них секретов.
🕚 29 июня в 15:00 (МСК)

Leak-Search — сервис сканирования публичных репозиториев на наличие утечек исходного кода, конфигураций и конфиденциальных данных компании.
Разработан и поддерживается командой по ИБ группы компаний QIWI

👨‍💻На вебинаре рассмотрим:

- как программный код и секреты компании попадают в сеть
- какие векторы утечек часто остаются вне фокуса
- сколько это может стоить бизнесу
- и главное, как не стать жертвой утечки данных

Все на реальных кейсах крупнейших российских и зарубежных компаний, утечки которых были найдены с помощью Leak-Search, либо известны публично.

Для участия на вебинаре зарегистрируйтесь по ссылке
https://link.webinar.fm/register/55392181/7xyczjsv

🕚Ждем вас 29 июня в 15:00 (МСК)

❗️На вебинаре вы получите доступ к пробному периоду❗️