Устранение проблем с отсутствующими логами Kubernetes в Elasticsearch
Отсутствующие логи могут стать настоящей проблемой для многих пользователей Kubernetes. В этой статье мы разберемся, почему это происходит, и как этого избежать.
Я исследовал случай отсутствующих логов Kubernetes в Elasticsearch, который в моем случае агрегирует логи для подов Kubernetes. У меня стандартная настройка Elasticsearch и Fluentd, и время от времени в Elasticsearch появляется пропуск, когда в течение нескольких секунд нет логов.
https://povilasv.me/troubleshooting-missing-kubernetes-logs-in-elasticsearch/
#devops #девопс
Подпишись 👉@i_DevOps
Отсутствующие логи могут стать настоящей проблемой для многих пользователей Kubernetes. В этой статье мы разберемся, почему это происходит, и как этого избежать.
Я исследовал случай отсутствующих логов Kubernetes в Elasticsearch, который в моем случае агрегирует логи для подов Kubernetes. У меня стандартная настройка Elasticsearch и Fluentd, и время от времени в Elasticsearch появляется пропуск, когда в течение нескольких секунд нет логов.
https://povilasv.me/troubleshooting-missing-kubernetes-logs-in-elasticsearch/
#devops #девопс
Подпишись 👉@i_DevOps
👍5❤1
Хотите свести к минимуму риск потери информации?
Тогда ждём вас на вебинаре «Как обеспечить отказоустойчивость хранилищ данных»
В результате вы сможете:
- Разобраться в стратегии репликации, резервного копирования и автоматического фейловера
- Изучить архитектурные решения и инструменты для проектирования систем с высокой доступностью
- Эффективно сохранять данные при сбоях
- Улучшить пользовательский опыт
Будет интересно сисадминам, разработчикам, архитекторам ПО, IT-менеджерам, администраторам БД.
Спикер: Дмитрий Золотов, Kotlin-разработчик в «Яндексе».
Бонус! Всем участникам – скидка 5% на любой курс и гайд «Разбор ошибок: 5 распространённых проблем при проектировании отказоустойчивых хранилищ»
3 апреля, в 19:00 МСК, Бесплатно
Записаться на событие - https://otus.pw/bVxl/?erid=2W5zFGehnHW
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
Тогда ждём вас на вебинаре «Как обеспечить отказоустойчивость хранилищ данных»
В результате вы сможете:
- Разобраться в стратегии репликации, резервного копирования и автоматического фейловера
- Изучить архитектурные решения и инструменты для проектирования систем с высокой доступностью
- Эффективно сохранять данные при сбоях
- Улучшить пользовательский опыт
Будет интересно сисадминам, разработчикам, архитекторам ПО, IT-менеджерам, администраторам БД.
Спикер: Дмитрий Золотов, Kotlin-разработчик в «Яндексе».
Бонус! Всем участникам – скидка 5% на любой курс и гайд «Разбор ошибок: 5 распространённых проблем при проектировании отказоустойчивых хранилищ»
3 апреля, в 19:00 МСК, Бесплатно
Записаться на событие - https://otus.pw/bVxl/?erid=2W5zFGehnHW
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
This media is not supported in your browser
VIEW IN TELEGRAM
Постройте облегченную внутреннюю платформу для разработчиков с помощью Argo CD и Kubernetes Labels
Эта статья в блоге демонстрирует, как создать облегченную внутреннюю платформу для разработчиков, не полагаясь на Backstage, но при этом предоставляя разработчикам возможность самообслуживания. Используя GitOps с Argo CD и применяя Kubernetes labels, этот метод предлагает упрощенное и эффективное решение для управления и развертывания вашей инфраструктуры.
https://itnext.io/build-a-lightweight-internal-developer-platform-with-argo-cd-and-kubernetes-labels-4c0e52c6c0f4
#devops #девопс
Подпишись 👉@i_DevOps
Эта статья в блоге демонстрирует, как создать облегченную внутреннюю платформу для разработчиков, не полагаясь на Backstage, но при этом предоставляя разработчикам возможность самообслуживания. Используя GitOps с Argo CD и применяя Kubernetes labels, этот метод предлагает упрощенное и эффективное решение для управления и развертывания вашей инфраструктуры.
https://itnext.io/build-a-lightweight-internal-developer-platform-with-argo-cd-and-kubernetes-labels-4c0e52c6c0f4
#devops #девопс
Подпишись 👉@i_DevOps
👍3❤1
Kluctl Webui
Руководством по Kluctl Webui, который является следующей вехой в экосистеме Kluctl. Он обеспечивает видимость и контроль над развертыванием Kluctl, независимо от того, происходит ли оно через локальную командную строку, конвейер CI/CD или контроллер Kluctl GitOps.
https://medium.com/kluctl/introducing-the-kluctl-webui-bcd3ea4b264d
https://github.com/kluctl/kluctl/releases/tag/v2.21.0
#devops #девопс
Подпишись 👉 @i_DevOps
Руководством по Kluctl Webui, который является следующей вехой в экосистеме Kluctl. Он обеспечивает видимость и контроль над развертыванием Kluctl, независимо от того, происходит ли оно через локальную командную строку, конвейер CI/CD или контроллер Kluctl GitOps.
https://medium.com/kluctl/introducing-the-kluctl-webui-bcd3ea4b264d
https://github.com/kluctl/kluctl/releases/tag/v2.21.0
#devops #девопс
Подпишись 👉 @i_DevOps
👍2
Ansible в действии: развернем кластер с Kuberspray и запустим AI-приложение 🚀
Приглашаем на бесплатный вебинар от Слёрма, на котором расскажем и покажем:
🔸 Как развернуть нейронную сеть в контейнере и сделать её доступной для всего мира?
🔸 Как быстро настроить кластер и управлять им?
🔸 Как Kubernetes управляет AI-приложениями?
🔸 Как Docker работает в Kubernetes?
🎁 Бонус: каждый зритель получит репозиторий для собственного Kubernetes-кластера с AI-приложением и полную инструкцию по развертыванию.
Дата: 9 апреля 19:00
Занять место — через бота 👈
erid: 2W5zFJpiPkt
Приглашаем на бесплатный вебинар от Слёрма, на котором расскажем и покажем:
🔸 Как развернуть нейронную сеть в контейнере и сделать её доступной для всего мира?
🔸 Как быстро настроить кластер и управлять им?
🔸 Как Kubernetes управляет AI-приложениями?
🔸 Как Docker работает в Kubernetes?
🎁 Бонус: каждый зритель получит репозиторий для собственного Kubernetes-кластера с AI-приложением и полную инструкцию по развертыванию.
Дата: 9 апреля 19:00
Занять место — через бота 👈
erid: 2W5zFJpiPkt
👍3
Deckhouse Prom++: мы добавили плюсы к Prometheus и сократили потребление памяти в 7,8 раза
Хотя Prometheus и стал стандартом мониторинга для микросервисов в Kubernetes, он потребляет слишком много ресурсов. А что, если мы скажем, что добавили пару плюсов к Prometheus и получили почти бесплатный мониторинг?
Prometheus для хранения 1 миллиона метрик, собираемых раз в 30 секунд на протяжении 2 часов, требуются 500 МБ на диске и 5 ГБ памяти. Нам показалось, что это слишком много. Вместо этого хотелось получить «бесплатный» мониторинг, который не будет требовать значительных затрат на инфраструктуру.
Больше двух лет мы работали над этой задачей. Её результатом стал Deckhouse Prom++. Это Open Source-система мониторинга, которой в среднем требуется в 7,8 раза меньше памяти и в 2,2 раза меньше ресурсов CPU, чем Prometheus v2.53. И здесь ещё есть пространство для оптимизации.
В статье мы расскажем, как появилась идея Deckhouse Prom++, что уже получилось оптимизировать, какие результаты показывает наше решение по сравнению с Prometheus и VictoriaMetrics, а также о ближайших планах.
https://habr.com/ru/companies/flant/articles/878282/
#devops #девопс
Подпишись 👉 @i_DevOps
Хотя Prometheus и стал стандартом мониторинга для микросервисов в Kubernetes, он потребляет слишком много ресурсов. А что, если мы скажем, что добавили пару плюсов к Prometheus и получили почти бесплатный мониторинг?
Prometheus для хранения 1 миллиона метрик, собираемых раз в 30 секунд на протяжении 2 часов, требуются 500 МБ на диске и 5 ГБ памяти. Нам показалось, что это слишком много. Вместо этого хотелось получить «бесплатный» мониторинг, который не будет требовать значительных затрат на инфраструктуру.
Больше двух лет мы работали над этой задачей. Её результатом стал Deckhouse Prom++. Это Open Source-система мониторинга, которой в среднем требуется в 7,8 раза меньше памяти и в 2,2 раза меньше ресурсов CPU, чем Prometheus v2.53. И здесь ещё есть пространство для оптимизации.
В статье мы расскажем, как появилась идея Deckhouse Prom++, что уже получилось оптимизировать, какие результаты показывает наше решение по сравнению с Prometheus и VictoriaMetrics, а также о ближайших планах.
https://habr.com/ru/companies/flant/articles/878282/
#devops #девопс
Подпишись 👉 @i_DevOps
👍6
Основы виртуализации. Часть 1
1.Основы виртуализации. Введение
2.Основы виртуализации. История развития виртуализации
3.Основы виртуализации. Серверы
4.Основы виртуализации. Виртуальные машины
5.Основы виртуализации. Гипервизоры второго типа
6.Основы виртуализации. Лабораторная работа №1. Создаем VM
7.Основы виртуализации. Гипервизоры первого типа
8.Основы виртуализации. Лабораторная работа №2. ESXi
источник
#devops #девопс
Подпишись 👉 @i_DevOps
1.Основы виртуализации. Введение
2.Основы виртуализации. История развития виртуализации
3.Основы виртуализации. Серверы
4.Основы виртуализации. Виртуальные машины
5.Основы виртуализации. Гипервизоры второго типа
6.Основы виртуализации. Лабораторная работа №1. Создаем VM
7.Основы виртуализации. Гипервизоры первого типа
8.Основы виртуализации. Лабораторная работа №2. ESXi
источник
#devops #девопс
Подпишись 👉 @i_DevOps
👍8
История и приготовление Docker «для самых маленьких»
Если вы новичок в ИТ или DevOps, поверхностно знакомы с контейнеризацией и только начали осваивать Docker, то встречаемся 10 апреля в 19:00 на вебинаре «Управление контейнерами».
Что в программе?
▪️Эволюция ИТ-инфраструктуры от виртуализации к контейнеризации
▪️Архитектура Docker
▪️Какими бывают контейнеры
▪️Паттерны и антипаттерны dockerfile
▪️Инструменты управления
🔗 Регистрация
Если вы новичок в ИТ или DevOps, поверхностно знакомы с контейнеризацией и только начали осваивать Docker, то встречаемся 10 апреля в 19:00 на вебинаре «Управление контейнерами».
Что в программе?
▪️Эволюция ИТ-инфраструктуры от виртуализации к контейнеризации
▪️Архитектура Docker
▪️Какими бывают контейнеры
▪️Паттерны и антипаттерны dockerfile
▪️Инструменты управления
🔗 Регистрация
👍2
kr8s — это минималистичная, асинхронная и типизированная обёртка над Kubernetes API для Python.
Она предназначена для тех, кто хочет писать Kubernetes-автоматизацию или контроллеры (операторы) на чистом Python без необходимости использовать
Пример:
Библиотека полностью асинхронна и поддерживает современные возможности Python, включая
https://github.com/kr8s-org/kr8s
#devops #девопс
Подпишись 👉 @i_DevOps
Она предназначена для тех, кто хочет писать Kubernetes-автоматизацию или контроллеры (операторы) на чистом Python без необходимости использовать
kubectl, YAML или громоздкие библиотеки.Пример:
from kr8s import cluster, get
with cluster() as c:
pods = get("pods", namespace="default")
for pod in pods:
print(pod.name, pod.status.phase)
Библиотека полностью асинхронна и поддерживает современные возможности Python, включая
async for, тайпинги и кастомные ресурсы.https://github.com/kr8s-org/kr8s
#devops #девопс
Подпишись 👉 @i_DevOps
👍2❤1
Forwarded from Bash Советы
🧯Как отключить историю Bash — навсегда и без следов
Иногда не хочется, чтобы команды сохранялись в истории (~/.bash_history). Особенно при работе с конфиденциальными данными.
🔒 Отключение истории в текущей сессии
Просто обнуляем переменные истории:
💥 После этого Bash не будет сохранять историю вообще. Даже после выхода из сессии.
🧼 Стереть историю прямо сейчас
🔁 Отключить навсегда (для пользователя)
Добавь в ~/.bashrc или ~/.bash_profile:
📌 После перезапуска оболочки история вестись не будет.
🧙 Дополнительно (опционально)
Чтобы Bash не пытался писать историю на выходе:
🛑 Будь осторожен! Без истории сложнее откатить действия. Но иногда это нужно: безопасность превыше всего 🔐
👉@bash_srv
Иногда не хочется, чтобы команды сохранялись в истории (~/.bash_history). Особенно при работе с конфиденциальными данными.
🔒 Отключение истории в текущей сессии
Просто обнуляем переменные истории:
unset HISTFILE
export HISTSIZE=0
export HISTFILESIZE=0
💥 После этого Bash не будет сохранять историю вообще. Даже после выхода из сессии.
🧼 Стереть историю прямо сейчас
history -c # очистить историю из памяти
> ~/.bash_history # стереть файл истории
🔁 Отключить навсегда (для пользователя)
Добавь в ~/.bashrc или ~/.bash_profile:
export HISTFILE=
export HISTSIZE=0
export HISTFILESIZE=0
📌 После перезапуска оболочки история вестись не будет.
🧙 Дополнительно (опционально)
Чтобы Bash не пытался писать историю на выходе:
unset HISTFILE
trap "" EXIT
🛑 Будь осторожен! Без истории сложнее откатить действия. Но иногда это нужно: безопасность превыше всего 🔐
👉@bash_srv
👍5
➕ Открытый практикум DevOps by Rebrain: Managed Kubernetes и облачные сервисы. Как работать эффективнее с Yandex Cloud
↘️ Регистрация
Время проведения:
10 апреля (четверг) в 12:00 по МСК
Программа практикума:
🟢Ценность Kubernetes и облачных сервисов — зачем в этом нужно разбираться
🟢Работа с Yandex Managed Service for Kubernetes и другими сервисами
🟢Полезные практические сценарии — разбор интересных решений
🟢Типичные ошибки пользователей и сложности при работе на платформе Yandex Cloud — на демостенде
Кто ведёт?
Нурсултан Калниязов — архитектор облачных решений. Помогает развивать облачные сервисы, имеет большой опыт работы с Kubernetes. C 2022 года работает в Yandex Cloud.
Василий Озеров — Co-Founder Rebrain, руководитель международной команды Fevlake. Спикер RootConf / DevopsConf.
✉️ Вас ждут кейсы про первые шаги в Yandex Cloud и лайфхаки администрирования Managed Kubernetes®
Реклама. ООО "РЕБРЕИН", ИНН: 7727409582, erid: 2W5zFJcxsep
↘️ Регистрация
Время проведения:
10 апреля (четверг) в 12:00 по МСК
Программа практикума:
🟢Ценность Kubernetes и облачных сервисов — зачем в этом нужно разбираться
🟢Работа с Yandex Managed Service for Kubernetes и другими сервисами
🟢Полезные практические сценарии — разбор интересных решений
🟢Типичные ошибки пользователей и сложности при работе на платформе Yandex Cloud — на демостенде
Кто ведёт?
Нурсултан Калниязов — архитектор облачных решений. Помогает развивать облачные сервисы, имеет большой опыт работы с Kubernetes. C 2022 года работает в Yandex Cloud.
Василий Озеров — Co-Founder Rebrain, руководитель международной команды Fevlake. Спикер RootConf / DevopsConf.
✉️ Вас ждут кейсы про первые шаги в Yandex Cloud и лайфхаки администрирования Managed Kubernetes®
Реклама. ООО "РЕБРЕИН", ИНН: 7727409582, erid: 2W5zFJcxsep
👍1
Сбор данных мониторинга из Frontend JS приложений используя Grafana Faro
Здравствуйте. В данной статье будет выполнено рассмотрение и установка инструмента Grafana Faro для осуществления сбора данных мониторинга из Frontend приложений написанных на JavaScript. Также, перед непосредственным использованием Grafana Faro, выполним установку в кластере Kubernetes всех остальных необходимых компонентов Grafana стека.
https://habr.com/ru/articles/812065/
#devops #девопс
Подпишись 👉 @i_DevOps
Здравствуйте. В данной статье будет выполнено рассмотрение и установка инструмента Grafana Faro для осуществления сбора данных мониторинга из Frontend приложений написанных на JavaScript. Также, перед непосредственным использованием Grafana Faro, выполним установку в кластере Kubernetes всех остальных необходимых компонентов Grafana стека.
https://habr.com/ru/articles/812065/
#devops #девопс
Подпишись 👉 @i_DevOps
👍1
Transaction Outbox: как избежать потери данных в распределённых системах
В распределённых системах потеря данных — это не редкость. Как гарантировать целостность информации и обеспечить надёжную передачу сообщений? Transaction Outbox — шаблон, который решает проблему согласованности данных.
📅 7 апреля в 20:00 (мск)
🎓 Открытый вебинар с Олегом Мифле
💡 Что разберём?
✅ Проблемы согласованности данных в распределённых системах
✅ Как работает Transaction Outbox
✅ Как связать локальные базы данных с брокерами сообщений (Kafka, RabbitMQ)
✅ Реальные примеры внедрения шаблона в микросервисную архитектуру
🎯 Что получите?
✔️ Понимание принципов согласованности данных в распределённых системах
✔️ Практические навыки работы с Transaction Outbox
✔️ Готовые решения для построения надёжной микросервисной архитектуры
👉 Регистрация: https://vk.cc/cKsyMa
Занятие приурочено к старту курса Highload Architect, обучение на котором позволит освоить решения, которые выдерживают большое количество запросов в секунду и правильно оптимизировать работоспособность серверов.
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
В распределённых системах потеря данных — это не редкость. Как гарантировать целостность информации и обеспечить надёжную передачу сообщений? Transaction Outbox — шаблон, который решает проблему согласованности данных.
📅 7 апреля в 20:00 (мск)
🎓 Открытый вебинар с Олегом Мифле
💡 Что разберём?
✅ Проблемы согласованности данных в распределённых системах
✅ Как работает Transaction Outbox
✅ Как связать локальные базы данных с брокерами сообщений (Kafka, RabbitMQ)
✅ Реальные примеры внедрения шаблона в микросервисную архитектуру
🎯 Что получите?
✔️ Понимание принципов согласованности данных в распределённых системах
✔️ Практические навыки работы с Transaction Outbox
✔️ Готовые решения для построения надёжной микросервисной архитектуры
👉 Регистрация: https://vk.cc/cKsyMa
Занятие приурочено к старту курса Highload Architect, обучение на котором позволит освоить решения, которые выдерживают большое количество запросов в секунду и правильно оптимизировать работоспособность серверов.
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576