и самым сложным было убедить людей что это нужно и правильно

Люди, особенно админы, противятся изменениям

потому что если что-то сдохло - им чинить

даже ночью

Главный вопрос - "оно работает, зачем менять?"

И эти аргументы эмоциональные

а не технические

в основном

Еще проблема - много систем тесно связаны и работают параллельно

Но есть такая штука - Toil

Toil - любая работа которую надо периодически делать вручную

и которая растет с количеством систем которыми ты управляешь

Например затыкание дыр и починка железа - Toil

Поддержка Legacy - Toil

В начале внедрения системы нужно постараться сделать переход как можно более легким

Нужно при этом показывать людям что оно позволит делать меньше работы

и начать это все делать быстро

Для Alert системы важны слеющие вещи:

1. Если по поводу алерта ничего нельзя сделать - не надо алертить

2. Если это не срочно (ждет утра например) - не надо будить по этому поводу ночью

3. Важные но не срочные вещи - делай в рабочее время