🛑 Наблюдаем проблемы в работе Frontend Apps в локации СПб.

Наши инженеры уже занимаются восстановлением.

✅ Работа Frontend Apps восстановлена.

🛑 Возник программный сбой в работе S3-хранилища.

Это влияет на доступность реестра контейнеров. Уже решаем проблему. Все данные на месте.

✅ Работа S3 восстановлена в 13:35 мск.

🛑 Авария на трассе Франкфурт - Москва

Могут быть задержки и замедления. Сетевые инженеры перераспределяют трафик до момента устранения аварии.

✅ Авария устранена в 21:55 мск.

🛑 Наблюдаем проблемы в создании облачных серверов.

Наши инженеры уже занимаются устранением неполадок.

✅ Создание облачных серверов снова доступно, неполадки устранены.

🛑 Наблюдаются проблемы с сетевой доступностью виртуальных серверов во всех локациях.

Инженеры работают над решением проблемы.

Для большой части уже созданных серверов неполадки с доступностью устранены.

Проблема сохраняется для вновь запускаемых серверов, работаем над исправлением.

Фикс запущен, доступность большинства виртуальных серверов восстановлена. Для части клиентов исправление ожидается в течение 20 минут.

Финальное исправление для небольшой части серверов проходит дольше запланированного. ETA приблизительно 2 часа.

Проблему можно решить самостоятельно через рестарт сервера – для этого необходимо выключить и включить сервер в панели управления. Обычная перезагрузка не решит проблему.

🟢 Работы завершены. Для затронутых серверов на обновленных нодах сеть поднимается автоматически. Позже опубликуем разбор инцидента.

Разбор сетевой проблемы

29 октября с 11:00 мск зафиксировали проблемы с сетью на некоторых облачных серверах.

Причина — ошибка в новой конфигурации во время планового рефакторинга сетевых сервисов, отвечающих за старт сети при создании и миграции облачных серверов.

Это привело к тому, что стартовый скрипт, поднимающий сеть, некорректно обрабатывал события запуска и рестарта облачных серверов.

Хронология событий:

11:00 — заметили проблему с недоступностью части серверов, приступили к локализации.

11:57 — выпустили минорный фикс и для части серверов серверов восстановили доступность. Проблема сохранялась на вновь запускаемых облачных сервисах и части сервисов, которым фикс не помог.

12:32 — доставили финальный фикс в прод по всем нодам. По первичной оценке восстановление ожидалось в течение 20 минут.

13:36 — финальное исправление для небольшой части серверов заняло больше времени (ETA ~2 часа). Было рекомендовано временное решение — выключить и включить сервер в панели управления (простая перезагрузка не помогала).

14:28 — восстановили работу всех сервисов.

Что сделали:

Ввели дополнительные ручные проверки и алгоритм канареечного деплоя, чтобы в будущем уменьшить влияние на клиентские сервисы.

🛑 Сетевая недоступность
🌐 Зона: KZ
⚒️ Проблема: Наблюдаем недоступность управления серверами в локации Казахстан и её связность с другими зонами Timeweb.
При этом внешняя доступность серверов из интернета сохраняется.
Инженеры погружены в выявление проблемы и её решение.

🛑 Частичная сетевая недоступность
🌐 Зона: KZ
⚒️ Проблема: Наблюдали недоступность управления серверами в KZ C ~2:09 до 2:53, инженеры провели работы.
Сейчас проблем уже не должно быть.
✅ Проблема решена

Часть пользователей сталкивается с недоступностью подключения к инфраструктуре через сети российских операторов связи. При этом наши сети и серверы работают без ограничений.

Наиболее вероятная причина в фильтрации трафика на промежуточном оборудовании вне нашей сети.

Сейчас этими кейсами занимаются сетевые инженеры — сообщим, когда появится доп информация.

Дополнительно находимся в плотном контакте с регулятором.

14 ноября получили от регулятора ответ, что в систему фильтрации внесены изменения.

За прошедшие несколько суток не фиксируем массовых обращений, связанных с недоступностью инфраструктуры через сети российских операторов связи. Таким образом можем говорить о том, что проблема устранена.

Рабочая группа, созданная по этому вопросу, продолжит существовать и мониторить подобные кейсы в дальнейшем.

🛑 Возник программный сбой с S3 хранилищем.

Все данные на месте. Инженеры работают над решением проблемы.

Инженеры продолжают устранение неполадок.

Сбой также влияет на создание новых ресурсов и выполнение отдельных операций в K8s, реестрах контейнеров и Apps.

✅ Работа S3 восстановлена в 13:45 мск. Инженеры продолжают наблюдать за стабильностью работы сервиса.