Финальное исправление для небольшой части серверов проходит дольше запланированного. ETA приблизительно 2 часа.

Проблему можно решить самостоятельно через рестарт сервера – для этого необходимо выключить и включить сервер в панели управления. Обычная перезагрузка не решит проблему.

🟢 Работы завершены. Для затронутых серверов на обновленных нодах сеть поднимается автоматически. Позже опубликуем разбор инцидента.

Разбор сетевой проблемы

29 октября с 11:00 мск зафиксировали проблемы с сетью на некоторых облачных серверах.

Причина — ошибка в новой конфигурации во время планового рефакторинга сетевых сервисов, отвечающих за старт сети при создании и миграции облачных серверов.

Это привело к тому, что стартовый скрипт, поднимающий сеть, некорректно обрабатывал события запуска и рестарта облачных серверов.

Хронология событий:

11:00 — заметили проблему с недоступностью части серверов, приступили к локализации.

11:57 — выпустили минорный фикс и для части серверов серверов восстановили доступность. Проблема сохранялась на вновь запускаемых облачных сервисах и части сервисов, которым фикс не помог.

12:32 — доставили финальный фикс в прод по всем нодам. По первичной оценке восстановление ожидалось в течение 20 минут.

13:36 — финальное исправление для небольшой части серверов заняло больше времени (ETA ~2 часа). Было рекомендовано временное решение — выключить и включить сервер в панели управления (простая перезагрузка не помогала).

14:28 — восстановили работу всех сервисов.

Что сделали:

Ввели дополнительные ручные проверки и алгоритм канареечного деплоя, чтобы в будущем уменьшить влияние на клиентские сервисы.

🛑 Сетевая недоступность
🌐 Зона: KZ
⚒️ Проблема: Наблюдаем недоступность управления серверами в локации Казахстан и её связность с другими зонами Timeweb.
При этом внешняя доступность серверов из интернета сохраняется.
Инженеры погружены в выявление проблемы и её решение.

🛑 Частичная сетевая недоступность
🌐 Зона: KZ
⚒️ Проблема: Наблюдали недоступность управления серверами в KZ C ~2:09 до 2:53, инженеры провели работы.
Сейчас проблем уже не должно быть.
✅ Проблема решена

Часть пользователей сталкивается с недоступностью подключения к инфраструктуре через сети российских операторов связи. При этом наши сети и серверы работают без ограничений.

Наиболее вероятная причина в фильтрации трафика на промежуточном оборудовании вне нашей сети.

Сейчас этими кейсами занимаются сетевые инженеры — сообщим, когда появится доп информация.

Дополнительно находимся в плотном контакте с регулятором.

14 ноября получили от регулятора ответ, что в систему фильтрации внесены изменения.

За прошедшие несколько суток не фиксируем массовых обращений, связанных с недоступностью инфраструктуры через сети российских операторов связи. Таким образом можем говорить о том, что проблема устранена.

Рабочая группа, созданная по этому вопросу, продолжит существовать и мониторить подобные кейсы в дальнейшем.

🛑 Возник программный сбой с S3 хранилищем.

Все данные на месте. Инженеры работают над решением проблемы.

Инженеры продолжают устранение неполадок.

Сбой также влияет на создание новых ресурсов и выполнение отдельных операций в K8s, реестрах контейнеров и Apps.

✅ Работа S3 восстановлена в 13:45 мск. Инженеры продолжают наблюдать за стабильностью работы сервиса.

🛑 Наблюдаем проблемы в создании новых управляемых сервисов.
Ранее созданные услуги работают корректно.

Наши инженеры уже занимаются восстановлением.

✅ Проблема решена в 22:50 мск.

🛑 Наблюдаем проблемы в создании и изменении конфигурации облачных серверов.

Наши инженеры уже занимаются устранением неполадок.

✅ Проблема решена в 16:16 мск.

🛑 Проблема с сетевой доступностью стойки

VDS в стойке недоступны.
Все данные на месте. Инженеры работают над решением проблемы.

✅ Проблема решена в 14:10 мск.

🛑 Проблема с доступностью стойки в Москве.

VDS в стойке недоступны.
Все данные на месте. Инженеры работают над решением проблемы.

✅ Проблема решена в 16:39 мск.

🛑 Недоступность локации Франкфурт

Инженеры погружены в выявление проблемы и её решение.

Недоступность локации вызвана неполадками на стороне дата-центра.

Ожидаем информацию о сроках восстановления доступности наших сервисов.

Проблемы с электропитанием в части помещений ДЦ вызвало недоступность сетевого оборудования на уровне выхода в городскую сеть.

Мы получили подтверждение наличия питания на самих серверных стойках. Ожидаем устранение неполадок со стороны инженерных служб подрядчиков.