Коллеги, всем добрый вечер!=)
Прошел Selectel Kubernetes MeetUP
Запись трансляции доступна по ссылочке
Фоточки с мероприятия для новых аватарок доступны по ссылочке
А вот фоточек из ЦОДа не будет, увы требование безопасности 😤
Мероприятие мне понравилось, греет душу то что кажется что
мой доклад был актуален и полезен для коллег =)
Хотел бы отдельно ответить более полно на пару вопросов
Вопрос - трейсинг на балансировщиках, например в DMZ зонах
Да, такое можно сделать, будет появляться новый span
НО есть пара нюанасов:
-- скорее всего у вас стоит какой нибудь NLB, который "максимально тупой"
и работает на L4 модели OSI, то есть никакие манипуляции с трафиком там не производятся, по этому необходимость в span`е с него потенциально отпадает
-- далее за NLB может стоять условный Nginx (у нас в Magnit Tech именно так и сделано),
и на Nginx`е могут производиться манипуляции с трациком, все зависит от настройки
Если у вас более/менее стандартный конфиг с секциями server, терминацией SSL
сформировать span при помощи opentelemtry модуля вы сможете, при этом nginx будет работать сильно медленее, а для нас это огромный импакт на производительности системы
По этому Nginx`ы у нас стоят в stream режиме
Вопрос - трейсинг для кастомных k8s операторов
Да, думаю вполне такое можно реализовать
Опаратор же начинает свою работу (периодическая проверка чего то, работа с добавленным менифестом, хелсчеки и тд) и на все эти действия можно вполне себе навесить формирование span и trace
Важно только определиться с группировкой действий =)

Коллеги, всем пятнички!=)

Как то мимо меня прошла новость о том что в бету вышел Prometheus 3 (спойлер - скорее всего у вас 2.x)
Что там нового:
-- Новый интерфейс, добавили темную тему - не ну такое срочно в прод надо 💃
-- Новый интерфейс для графиков и алертов - вцелом, я всегда использовал интерфейс Prometheus для дебага чего либо, если новый интерфейс позволит делать это удобнее/быстрее - отлично =)
-- Remote Write 2.0 - многие используют remote write что бы "сливать" метрики в какую то большую хранилку, интересно что добавили отсылку exemplars и тд
-- Поддержка OpenTelemetry - а вот это уже действительно круто, так как OpenTelemetry врывается в индустрию и очень скоро станет стандартом, предполагаю что будет возможность пушить метрички напрямую в Prometheus, это точно будет удобно для каких нибудь CronJob
Чего лично мне не хватило, с Prometheus вот все хорошо, кроме потребления ресурсов, особеноо в кластерах в большим количеством сервисов, и потребление ресурсов у Prometheus просто невероятное. Если вопрос потребления ресурсов каким либо образом "порешают", будет вообще пушка-гонка-красота =)

Оригинальный пост вы можете прочитать тут

Ииии всем хорошей пятнички =)

Коллеги, всем привет!=)

Как восстанавливливать дашборды Grafana если они "внезапно" испарились?0_o
Пришли к нам разработчики с вопросом - "Мы тут наводили порядок в своей директории и парочка важных дашбордов у нас испарилась, спасите, помогите!!!"
Вцелом то ничего страшного, в качестве бекэнда у нас используется Postgresql который к слову бекапится и все такое
Подумали, что достаточно развернуть базe из бекапа, завести вторую Grafana и вытащить Json, ну а дальше его импортнуть
Но все оказалось сильно проще💻
В базе Grafana есть табличка dashboard в которой как раз и хранятся наши дашборды в Json формате, то есть поднимать вторую Grafana уже и не надо, достаточно просто "вытащить" нужный нам дашборд, а потом импортировать. Grafana у нас 11.3.0 версии, у предыдущих версий думаю хранение организовано так же
Вот так мы сэкономили немного вермени, пользуйтесь, коллеги!^_^

Коллеги, всем привет! =)

Небольшой экскурс про то как катить миграции баз данных приложений которые развернуты в k8s.
Очень часто на просторах интернетов вы можете столкнуться к тем, что катить миграции предлагают при помощи инит контайнеров в подах. План надежный как швейцарские часы, но есть одно большое НО😤
Миграции в случае использования инит контейнеров будут прокатываться всегда, например когда вы поскейлили количество подов или отработал HPA. И потенциально миграции могут приводить к локам таблиц БД, что в проде, да еще в рабочее время максимально не весело.
Как еще есть варианты?
Конечно же использовать jobs в k8s.
Суть заключается в том, что “джоба” эта такая сущность, которая может отработать только один раз. Соотвественно у нас не будет проблем с повторной накаткой миграций.
Ну сделали мы джобу, а дальше то что? Как сделать так что бы джоба отрабатывала перед началом, к примеру обновления, самого приложения?
В случае с helm нам на помощь придут helm hooks
В нашем случае, нам прекрасно подойдет pre-install и pre-upgrade.
И если вы проставите эти хуки в аннотация соотвествующих ресурсов, а мы с вами говорим про джобы, то эти ресурсы будут задеплоины первыми и уже после них будут задеплоины оставшиеся ресурсы.

Зачем я это пишу - обновлял я тут defectdojo в k8s и что-то пошло не так. Посмотрел, хуки на месте, install и upgrade. Посмотрел внимательно, а хуки то post-install и post-upgrade, то есть миграции defectdojo исходя из конфига должны отрабатывать после всех действий. И все благополучно падало =)