Досталась мне на новой работе интересная задача. Нужно привести в порядок генерацию и хранение SSL сертификатов для балансировщиков. Чтобы блять сделать и забыть навсегда про это гавно.

Проблема заключалась в том, что на 100500 серверах-балансировщиках, каждый сервер ходил по acme и получал себе нужный сертификат. Так же есть пачка тестовых серверов, которые доступны по тому же домену если прописать их в hosts, соответственно тестировщики испытывали анальные боли когда сертификат обновлялся на проде, но не обновлялся на тестовых серверах. Приходилось идти и копировать руками. Хуйня кароче отнимающая время и нервы.

Ну и вишенкой на торте — вся эта залупень работала совсем нестабильно, иногда сертификат продлялся иногда нет, постоянно такие качели, все это на каком-то супербаше обернуто и падает через раз. В мониторинг естественно нихуя не заведено, слепошарое уебанство.

Как я решил задачу

Да блять проще простого, яж нахуй охуенный! Сертификаты я решил складывать в vault, а из ваульта уже забирать ансиблом и катить на все необходимые сервера. Так и сделал, написал небольшую обертку для получения и обновления сертов, засунул ее в докер, ну и шедуллер раз в месяц чтобы поднимал контейнер и делал магию.

Скрипт продляет сертификаты, аккуратно складывает в vault, в awx каждый час прогоняются плейбуки, таск лезит в vault и забирает новые серты если такие есть, раскладывает на балансировщики и тестовые сервера, релоадид nginx и haproxy. Все счастливы. Так же добавил проверку сертификатов на валидность перед тем как зарелоадить, а то может хуйня произойти.

Дополнительно сделал графики просрочки сертов с алертингом через alertmanager. Пока полет нормальный. Скрин графаны скину в комменты.

Вдовесок получил респекты от разработчиков, теперь они сами могут сходить в vault, забрать нужный серт и локально протестировать всякие оплаты и прочую херабору.

А как вы управляете SSL сертификатами на пачке машин?

Показываю пацанам мой новый пайплайн и как он умеет выкатывать круглый релиз

ссылка на pdf журнал в комментариях

сбалансированный пайплайн

QA проводит нагрузочное тестирование

Релиз менеджер выкатывает новые фичи в продакшен

Когда взял на первый взгляд простую задачку и проебался с ней весь спринт

Будни рядового инженера

Идеальная картина — фронтенд + бекенд. Но обычно все иначе

Пиэм показывает на демо каких целей добилась команда за спринт

Раздел - О компании

Продолжение истории. Суть такая — СТО перевел мне 58к, я вернул их обратно и затребовал 120к за схему инфраструктуры #Bragin_VS_CTO

Продолжение. Начало тут, в комментах есть ссылки на предыдущие #Bragin_VS_CTO

Когда все уволились и ты стал самым главным в отделе с неограниченными правами на инфраструктуру. Ну пизда тебе ВСЁ!

Когда к тебе в отдел залетела чайка в лице менеджера или директора и ты такой — бля бля иди нахуй нахуй, у нас тут все нормально, нахуй нахуй иди!!

Продолжение сериала, все части доступны по тегу #Bragin_VS_CTO

Ну сами понимаете…

Пулреквест

проект на демо / проект на проде

После встречи с топами

Как я провожу инвентаризацию в селектеле