После выходных мне буквально приходиться тащить свою ленивую жопу на утренний стендап

@devopsina

Первое знакомство с нагрузочным тестированием

@devopsina

В день 2 раза вот это упражнение делай и сможешь сидеть в своей любимой IDE круглосуточно.

@devopsina

Разработчик, который пытается работать, но пиэмы забили весь его день встречами и бесполезными созвонами, суки такие!

@devopsina

работая на удалёнке притяжение земли усиливается в несколько раз

@devopsina

Что обычно происходит в девопс отделах. А там всё хорошо, ребята постоянно работают над интересными задачами и прокачивают свои хард/софт скиллы

@devopsina

Пытаюсь самостоятельно разобраться с новым фреймворком, но как обычно нихрена не получается ((

@devopsina

Синдром самозванца — явление, при котором человек не верит в собственные силы и приписывает свои достижения совпадениям и удачи, у него появляется чувство некомпетентности.

@devopsina

О том как сливаются бюджеты

@devopsina

Когда тебя тегнули в слаке и нужно что-то написать в ответ

@devopsina

Каждый день по своему чудесен

@devopsina

Каждый день по своему чудесен, ну а в выходные у нас были охуительные приключения с облачным провайдером.

В начале года мы заложили в бюджет полмиллиона/месяц на инфраструктуру, все ок, рутина. Прошло время и пришел тот самый день, облачные провайдеры подняли ценник, бюджета стало хватать впритык. Мы создали тикет где подробно со службой поддержки отключили блокировку нашей инфраструктуры если баланс уйдет в минус. Старались в минус не уходить, но в эти выходные проебались, так как подняли несколько дополнительный и жирных инстансов.

Головой понимали что уйдем в минус по балансу, но ведь у нас были договоренности, где специалист службы поддержки нам оставил свои пруфы, что защита от блокировки включена.

На выходные звонит техдир и орет — ёбанарот, что с нашим продом? А я хуй знает, что с нашим продом, алерты не приходили, везде тишина, всё заебись.

Собственно ставлю техдира на паузу с уверенностью, что у нас всё в порядке и это у него интернет гавно. Но так же на всякий случай проверяю, иииии..... что я вижу? Баланс в минусе, ВСЕ сервера отключены, ВСЕ БЛЯТЬ до одного!

Система мониторинга не смогла нам ничего сообщить так как тоже была отключена. Вот тут-то рождается таска — нужен дополнительный внешний мониторинг, никак не связанный с текущим провайдером услуг.

Оперативно бабок закинуть не можем, выходные, саппорт пишет — ждите ответа, ваша заявка принята (дождались только в будни). Попытка закинуть денег с личной карты закончилась блокировкой карты, большая сумма, служба безопасности заблокировала до выяснения (потом 3 дня еще понадобилось чтобы ее разблокировать и объяснить сберу что у меня все ок)

Короче какими-то блять правдами и неправдами закинули денег через ВТБ, серваки начали приходить в себя, но прод нихуя не заводился. Ну а как иначе.

Серваки в аптайме были несколько лет без перезагрузки, кто-то fstab корявый прописал, кто-то апдейты поставил, где-то папка run не создалась и nginx не мог стартануть, короче очередной уровень пиздеца. Ну и это победили спустя пару часов, завели нахуй.

А так как денег закинули не так много, через несколько часов наша облачная инфраструктура заблокировалась снова )))) Ебаны пасатижи. Очередная итерация, очередные костыли и поднятия сервисов. В общем ладно, оживили.

Какие выводы сделали
— всегда нужна дополнительная и внешняя система мониторинга, которая в случае падения внешнего провайдера, на ранних стадиях пиздеца даст понять что произошел инцидент.

— никому не доверять, если тебе сказали — всё будет заебись! В это верить особо не надо, даже если у нотариуса заверили. Заебись будет, но в каком контексте заебись хуй его знает.

— облачный провайдер все правильно сделал, тут претензий нет, мы ушли в минус, они нас отключили.

— периодически надо перезагружать сервера и проверять что все сервисы стартуют и все поднимается автоматически (а вообще не допускать ручных изменений в конфигах).

— даже если у тебя есть карта с балансом, 99% ее заблочит система безопасности если попытаешься потратить за раз с нее полмиллиона тем более через онлайн оплату.

ну как-то так друзья-коллеги, следите за своими бюджетами, чтобы не возникало подобных ситуаций, добра всем и рабочих продакшенов!

@devopsina