Отключить городской в казахтелекоме

#херакс #алматы
сеть нлс не работает в половине города, по сообщениям абонентов

#херакс #интернет #алматы #ahost

Пояснения от ЦОД A-Host по последним авариям.

Сама вставка находится в фарфоровом корпусе и ее состояние не видно. Проблемы создает то, что эта вставка не перегорает одномоментно. Сначала она оплавится до тоненькой ниточки. Именно в это время через нее проходят экстремальные токи, которые жгут оборудование внутри ЦОД.
И только через некоторое время она разрывается. Собственно за этот временной интервал и происходят все коллизии с выходом оборудования из строя.

В свой приезд Аварийная бригада заменила тугоплавкую вставку , но поставила вставку меньшего номинала чем требуется, мотивируя тем что других нет. Хотя, конечно же надо было нарастить ее как обычный «жучок». Вставка меньшего номинала тоже перегорела в третьем случае , что стало причиной повторного инцидента за день.

В обоих последних инцидентах, ИБП на одном плече не выдержало, второе ушло в оверлоад и держало полную нагрузку только 3 минуты.
На данный момент все тугоплавки вставки нашей ТП заменены на новые, с требуемым номиналом 100А (у высоковольтных линий расчет другой чем в сетях 220В).

На данный момент на одном плече работает ИБП 200 кВа.
На втором мы разбираемся с проблемой оверлоад.

В первом случае моргушки выбили из работы автомат включения ДГУ (АВР дизеля).
ДГУ завелся, но он не подавал электричество в ЦОД из-за выбитого АВР в ГРЩ.
В следствии моргушек был поврежден один из Источников бесперебоыного энергоснабжения (ИБП).

Питание перешло на другое плечо внутри ЦОД, на котором установлены два ИБП работающие в параллели (2N).
Но это плечо не отработало в параллели, уйдя в режим оверлоад. В этом режиме ИБП работает только несколько минут. После чего ИБП отключается. Так было два последних раза. Из-за чего возникла версия что ЦОД1 перегружен.

Отвечаю: ЦОД1 не перегружен. И наша ТП не перегружена.
Загрузка ТП менее 550 кВТ при ТУ 720 кВТ.
Чистое питание ЦОД1 менее 160квт разбросанные по трем ИБП.

Режим оверлоад возник из-за отказа ИБП на одном плече и отказа параллели на другом плече.
Но в целом плечо 1 отработало 3 минуты. ДГУ не включился в цепь по причине отказа отключения устройств защитного отключения (УЗО), вызванного экстратоками от города в момент перегорания вставки.

В причинах отказа параллели мы сейчас разбираемся. Но на другом плече установлен ИБП который должен выдержать всю нагрузку.

На данный момент, основные проблемы решены.
Во избежание повторения инцидентов закупаются новые ИБП, и заключен договор на установку новой ТП мощностью 1200 кВт с АВР ТП позволяющей переходить на другой ввод без участия энергетиков с доступом 10кв.
Срок реализации три месяца. Также закуплены дополнительные Аккумуляторные батареи.

У нас часть гелиевых АКБ бренда WBR в ЦОД со сроком службы 1 год, часть со сроком 5 лет. Поэтому, наш ЦОД , проработавший на рынке 12 лет с уверенностью смотрит в будущее . Мы планируем запуск еще 60 шкафов в ЦОД-2.
Мы надеемся на ваше понимание в вопросах анализа аварий.
Аварии бывают у всех. Например, на наших авто СТО можно увидеть машины самых известных и дорогих марок.
Даже самое совершенное и самое дорогое «железо», иногда подводит.

К сожалению, в момент аварий эмоции зашкаливали. Часть клиентов дошла до оскорблений.
Мы не заслужили такого отношения. Весь коллектив ЦОД работал трое суток и отвечать на сообщения в whatsapp не всегда было возможно, особенно когда сидишь фонариком светишь на Manual UPS в момент когда приходят вопросы разного уровня.

В соседней РФ был блэкаут приморья, были проблемы в ЦОД мировых ИТ гигантов. Уверен, и у них в момент аварий не до вежливости. Мы очень надеемся, что диалог с нами у тех, кто продолжит сотрудничество, вернется в рабочее русло.
Без миндальничания , но и без оскорблений.

Дополнительно сообщаем. Что наши извещения о профилактических и ремонтных работах носят уведомительный, а не согласовательный характер.
Поэтому , когда мы сообщаем, что запланировано переключение с одного ввода на другой, с одного ИБП на другой, или сообщаем о других работах, то мы просим не требовать от нас отложить работы на длительный срок.

Мы просим Вас перенести свои работы (например Back up) на время ремонтных работ в ЦОД. У каждого клиента свой график работ и выполнить все пожелания очень сложно. И это при том что угроза аварии может быть на очень высоком уровне, если своевременно не провести нужные работы.
Сегодня ночью мы перевели ЦОД с одного городского ввода на другой. То есть оба плеча ИБП выдержили прерывание электроэнергии.

Один из клиентов даже пригласил из Москвы на место аварии своих архитекторов ЦОД. Они контролируют московские ЦОДы МТС. Если оставить за рамками, как нам показалось излишне строгий, немного назидательный тон, с гордостью хочу сообщить, что мы совместно с инженером из CBS Enginiering мы отстояли свои технические решения. Замечания по бардаку на столах инженеров, отсутствию некоторой документами мы принимаем частично. Потому что в такие моменты не до эстетики.

Еще раз приносим свои извинения коллегам и надеемся на продолжение сотрудничества

От имени администрации ЦОД единственный участник ТОО-оператора ЦОД и его директор
Т.Такабаев
написал более менее простым языком для ФБ.
Многие просят разъяснений. Есть кто с пониманием. Есть кто злорадствует. Официальный релиз выйдет чуть позже.

#ALLkzIT

Коллеги, к нам в чат Сеть.kz присоединился Иса Тоқтыбаев, который организовал отличный проект "Чай с экспертом". Очень по-казахски между прочим, төрлетіңіз мархабат!

Я предложил Исе сделать данный чат площадкой для обсуждения очередной встречи, так что встречайте:

https://news.1rj.ru/str/ethkz/57773

Пришло время ежегодных опросов.
ЗП указывается НА РУКИ
Все опросы в канале https://news.1rj.ru/str/rootway/1320