🛑 Авария на трассе Амстердам - СПб

Могут быть задержки и замедления. Сетевые инженеры перераспределяют трафик до момента устранения аварии.

✅ Авария устранена в 23:22 мск.

Решение сетевой проблемы

Разобрались в ситуации и делимся результатами. По последним данным — проблема обнаружена и устранена на стороне операторов связи.

Причина инцидента: технические ошибки в фильтрации на промежуточном оборудовании вне нашей сети и зоны ответственности.

Что выяснили:

• Наша сеть не подвергалась блокировкам или ограничениям
• Внутренняя инфраструктура работала стабильно — задержки и трафик не демонстрировали аномалий
• Корректировка системы фильтрации полностью решила проблему

Сейчас подключение стабилизировано, сбоев не наблюдается. Мы продолжаем усиливать координацию с операторами, чтобы быстрее выявлять подобные инциденты.

🛑 Наблюдаются проблемы в создании управляемых сервисов.

Наши инженеры уже занимаются устранением неполадок.

✅ Создание управляеых сервисов снова доступно, неполадки устранены.

🛑 Сбой в работе с образами в панели управления.

Создание образов недоступно. Наши инженеры уже занимаются восстановлением.

Остальные сервисы работают в штатном режиме.

✅ Создание образов работает исправно, неполадки устранены.

🛑 Наблюдаем проблемы в работе Frontend Apps в локации СПб.

Наши инженеры уже занимаются восстановлением.

✅ Работа Frontend Apps восстановлена.

🛑 Возник программный сбой в работе S3-хранилища.

Это влияет на доступность реестра контейнеров. Уже решаем проблему. Все данные на месте.

✅ Работа S3 восстановлена в 13:35 мск.

🛑 Авария на трассе Франкфурт - Москва

Могут быть задержки и замедления. Сетевые инженеры перераспределяют трафик до момента устранения аварии.

✅ Авария устранена в 21:55 мск.

🛑 Наблюдаем проблемы в создании облачных серверов.

Наши инженеры уже занимаются устранением неполадок.

✅ Создание облачных серверов снова доступно, неполадки устранены.

🛑 Наблюдаются проблемы с сетевой доступностью виртуальных серверов во всех локациях.

Инженеры работают над решением проблемы.

Для большой части уже созданных серверов неполадки с доступностью устранены.

Проблема сохраняется для вновь запускаемых серверов, работаем над исправлением.

Фикс запущен, доступность большинства виртуальных серверов восстановлена. Для части клиентов исправление ожидается в течение 20 минут.

Финальное исправление для небольшой части серверов проходит дольше запланированного. ETA приблизительно 2 часа.

Проблему можно решить самостоятельно через рестарт сервера – для этого необходимо выключить и включить сервер в панели управления. Обычная перезагрузка не решит проблему.

🟢 Работы завершены. Для затронутых серверов на обновленных нодах сеть поднимается автоматически. Позже опубликуем разбор инцидента.

Разбор сетевой проблемы

29 октября с 11:00 мск зафиксировали проблемы с сетью на некоторых облачных серверах.

Причина — ошибка в новой конфигурации во время планового рефакторинга сетевых сервисов, отвечающих за старт сети при создании и миграции облачных серверов.

Это привело к тому, что стартовый скрипт, поднимающий сеть, некорректно обрабатывал события запуска и рестарта облачных серверов.

Хронология событий:

11:00 — заметили проблему с недоступностью части серверов, приступили к локализации.

11:57 — выпустили минорный фикс и для части серверов серверов восстановили доступность. Проблема сохранялась на вновь запускаемых облачных сервисах и части сервисов, которым фикс не помог.

12:32 — доставили финальный фикс в прод по всем нодам. По первичной оценке восстановление ожидалось в течение 20 минут.

13:36 — финальное исправление для небольшой части серверов заняло больше времени (ETA ~2 часа). Было рекомендовано временное решение — выключить и включить сервер в панели управления (простая перезагрузка не помогала).

14:28 — восстановили работу всех сервисов.

Что сделали:

Ввели дополнительные ручные проверки и алгоритм канареечного деплоя, чтобы в будущем уменьшить влияние на клиентские сервисы.