Amazon наконец выкатил детальный разбор недавнего падения половины интернетов из-за`us-east-1`, и это чтиво для настоящих ценителей каскадных сбоев. Корень зла, как оказалось, в автоматике, управляющей DNS-записями для DynamoDB.

Чтобы понять механику сбоя, нужно вникнуть в их архитектуру. У них есть два независимых компонента: DNS Planner, который мониторит балансировщики и создает планы обновления DNS, и DNS Enactor, который эти планы применяет через Route 53. Для надежности в каждой зоне доступности работает свой независимый Enactor (или применяющий компонент). Все началось с того, что один Enactor столкнулся с аномально высокими задержками и завис, пытаясь применить старый план. В это время Planner продолжал генерировать новые, более свежие планы. Другой, более быстрый Enactor, подхватил свежий план, быстро его применил и запустил процедуру очистки. В рамках этой очистки он удалил тот самый старый план, с которым все еще возился первый, зависший Enactor. И ровно в этот момент первый Enactor наконец завершил свою затянувшуюся работу и применил свой, уже удаленный из системы, план. В итоге для регионального эндпоинта dynamodb.us-east-1.amazonaws.com была создана пустая DNS-запись, а система вошла в неконсистентное состояние, заблокировав дальнейшие автоматические обновления.

Дальше начался каскадный ад. Внутренний сервис EC2 под названием DropletWorkflow Manager (DWFM), отвечающий за управление жизненным циклом физических серверов, критически зависит от DynamoDB. Когда DNS отвалился, DWFM перестал продлевать временную блокировку (leases) на физические хосты. После того, как DNS для DynamoDB подняли вручную, DWFM попытался пересоздать аренду для всего парка EC2 в регионе одновременно. Это вызвало состояние, которое инженеры Amazon назвали congestive collapse, типа "застойный коллапс", когда система захлебнулась в собственном потоке задач на восстановление, и ее пришлось реанимировать вручную, выборочно перезапуская хосты.

Этот коллапс вызвал огромную очередь на обновление сетевых конфигураций в Network Manager, из-за чего новые инстансы EC2 запускались без сети. Это, в свою очередь, привело к хаосу в Network Load Balancer: хелсчеки новых инстансов проваливались, NLB выкидывал их из ротации, потом сеть поднималась, хелсчек проходил, NLB возвращал их обратно. Эта постоянная чехарда вызвала деградацию самого сервиса хелсчеков. Ну а дальше по цепочке посыпались Lambda, ECS, EKS, Fargate и все остальные, кто зависит от нормальной работы EC2.

В итоге система, созданная для предотвращения сбоя, вызвала сбой. Система, созданная для восстановления после сбоя, рухнула от нагрузки во время восстановления. Вот вам и отказоустойчивость 🎩

Типичный 🥸 Сисадмин

Когда списали оборудование и тебе выпал легендарный дроп 🎩

Типичный 🥸 Сисадмин

Ваш TCP/IP-стек скоро попросит Госуслуги 👨‍🔬

Подвезли немаловажный анонс из Госдумы, который стоит нашего внимания. Зампред комитета по информполитике Андрей Свинцов заявил, что в течение ближайших 3-5 лет россиян ждет полная деанонимизация в сети. Формулировка такая: доступ в интернет будет предоставляться только после идентификации через специализированный идентификатор, который подтвердит личность и возраст. В качестве аналогии приводится система Госуслуг.

В голове крутятся размышления о том, как это вообще может работать на уровне железа и протоколов. Это выглядит как фундаментальное изменение архитектуры доступа. Операторов связи, скорее всего, обяжут интегрироваться с единой системой идентификации (привет, ЕСИА) и проверять каждый сеанс связи. На уровне DPI трафик будет маркироваться меткой конкретной личности. По сути, это попытка встроить паспортные данные чуть ли не в заголовок TCP-пакета.

Конечно, основная масса пользователей, для которых интернет это лента с котиками\мемчиками и новости, этого перехода даже не заметит. Это те самые люди с вечным аргументом "мне нечего скрывать". Но для любого технически грамотного человека, да и просто для того, кому некомфортно, когда ему постоянно заглядывают через плечо, это станет точкой невозврата. Это неизбежно породит вторую, теневую сеть, где расцветут peer-to-peer каналы, I2P и новые, еще более хитрые методы обхода, а на торрентах появятся "Госуслуги-Keygen" 😬

Типичный 🥸 Сисадмин

Однажды молодой Эникей обратился к старому Сисадмину:
— Учитель, тут говорят, что для порядка в сети нужно открыть все порты и назвать имя каждого хоста. Ведь честной сети нечего скрывать. Что скажете?

Старый Сисадмин ответил:
— Благородный муж начинает настройку файрвола с правила DENY ALL. Он открывает порты не из страха, а с определенной целью. Настоящая уязвимость - это не закрытая дверь, а та, которую ты не можешь закрыть, когда захочешь.

Типичный 👀 Сисадмин

🐲 Свой BIOS с блекджеком и чиплетами

Китай решил, что с него хватит, и выкатил новый стандарт UBIOS. Это фундаментальная попытка переосмыслить всю архитектуру загрузки железа, выкинув наследие раздутого UEFI и Intel TianoCore на свалку истории. Давайте посмотрим, что у них под капотом, и почему нам всем стоит за этим следить.

В основе UBIOS лежит не монолитная структура, как у UEFI, а модульная система, построенная вокруг двух ключевых идей: UBIOS Interface и Unified Virtual Bus (UVB). По сути, UVB - это универсальная виртуальная шина, по которой общаются все компоненты: модули прошивки, операционная система, BMC-контроллер и платы расширения. Это позволяет без танцев поддерживать сложные гетерогенные системы с несколькими разными процессорами или чиплетами, где у каждого свой вычислительный домен. В UEFI для такого приходится городить костыли, а здесь это заложено в архитектуру, чтобы лучше поддерживать не-x86 платформы вроде ARM, RISC-V и их собственного LoongArch.

В опубликованных документах нет ни единого упоминания аналогов Secure Boot. Как будет строиться корень доверия, как управлять ключами (KEK/DB), как реализовать измеренную загрузку (Measured Boot) с TPM — все это пока полное хз.

В общем, перед нами надвигается Великий Китайский BIOS, и скоро его придётся осваивать. Просто потому, что однажды он может оказаться единственным доступным 😬

Типичный 🥸 Сисадмин

Куда делся наш интернет?

Помните времена, когда интернет был диким, свободным и веселым? Когда главным контентом были фотожабы, Упячка воевала с Лепрозорием, а пределом мечтаний был инвайт на Dirty. Это было пространство для творчества и стеба, а не бесконечная лента тревожных новостей, политики и рекламы курсов по саморазвитию. Что, черт возьми, случилось?

Интернет перестал быть клубом для своих и превратился в общественное достояние. Децентрализованные форумы, где нужно было заслужить репу, сменились гигантскими централизованными платформами, главная задача которых - удержать твое внимание любой ценой. А лучше всего внимание удерживает гнев, страх и скандал. Алгоритмы быстро просекли эту фишку и теперь скармливают нам самый токсичный и кликбейтный контент.

Раньше мы его создавали. Открывали Фотошоп и делали смешную картинку. Теперь мы его в основном потребляем, пассивно скролля ленту.

Или это просто мы постарели, и трава раньше была зеленее?

➡️@itmemas

Состояние нашей инфраструктуры перед внезапным аудитом безопасности 😬

Типичный 🥸 Сисадмин

👎 Роскомнадзор заблокировал MyAnimeList

Крупнейшая международная платформа для поклонников аниме и манги позволяет пользователям создавать собственные списки просмотренного и прочитанного, оценивать произведения по шкале от 1 до 10, а также вести заметки и писать рецензии.

🥸 godnoTECH - Новости IT

Intel избавился от 35 тысяч сотрудников за два года. Большинство были инженеры 🚫

В Intel идет настоящая резня. Новый CEO, Лип-Бу Тан, пришедший спасать компанию, за три месяца уволил 20 500 человек. Если прибавить к этому 15 000 уволенных предыдущим руководством, то получится, что за два года Intel сократил штат на 35 500 сотрудников. Это почти треть всей компании.

Изначально новый глава обещал сделать компанию более плоской и сократить менеджеров среднего звена. На деле же только 8% уволенных были менеджерами. Остальные это инженеры и техники. Одновременно с этим бюджет на исследования и разработки был урезан на $800 миллионов. Проекты, которые были на разных стадиях разработки, просто закрыли 🥂

Вся эта оптимизация привела к тому, что ключевые для сообщества проекты, такие как драйверы для Linux, начали умирать из-за отсутствия людей. Руководство называет это приведением компании к правильному размеру и фокусом на проектах с высокой отдачей, таких как процесс 18A и ИИ

Инженерная культура проигрывает культуре менеджеров, скоро ли финал?

Типичный 🥸 Сисадмин

🥸 Mozilla заставит расширения Firefox открыто показывать, какие данные пользователей они собирают

C 3 ноября даже если дополнение ничего не хранит, об этом придётся сообщить в манифесте. Информация будет видна при установке и в менеджере дополнений. Расширения без таких сведений будут блокироваться.

Типичный 🥸 Сисадмин

Тут Microsoft запустила опрос среди админов, в котором прощупывает почву для внедрения ИИ-помощника в Exchange Server 👨‍🔬

Примерно он звучит так:

Будет ли ваша организация чувствовать себя комфортно, включив Copilot для Exchange Server, если для этого потребуется отправлять некоторые данные из вашего Exchange Server к нам в облако?

Весь смысл существования локального Exchange для большинства компаний, особенно в секторах с жесткими ИБ-требованиями, заключается именно в том, чтобы в том числе не отправлять никакие данные в облака Microsoft 🤣

В опросе Microsoft как бы невзначай интересуется, какие функции были бы полезны (например, краткое изложение писем или мониторинг здоровья сервера) и т.д.

Это, конечно, пока что просто опрос. Но уже на опыте можно понять, что это прощупывание почвы.

Типичный 🥸 Сисадмин

🥸 Unity официально всё? Проект ищет программистов, чтобы просто выжить

Помните Unity? Ту самую оболочку, которую Canonical когда-то агрессивно продвигала, а потом так же резко бросила ради GNOME. Сообщество подхватило знамя, и Ubuntu Unity даже получил статус официального дистрибутива. Но, похоже, история повторяется. Один из двух основных разработчиков, Майк Адамиец, опубликовал крик о помощи, что проект на грани выживания.

Суть проблемы в нехватке людей с техническими навыками. Разработчики признаются, что у них нет ни технических, ни девелоперских скиллов, чтобы исправлять баги. Лид проекта давно отошел от дел из-за учебы в университете, а второй разработчик занимался в основном модерацией и поддержкой сообщества. В итоге накопились критические ошибки, из-за которых даже не состоялся релиз Ubuntu Unity 25.10.

По словам Майка, сейчас оболочка сломана и нуждается в починке, причем баги проявляются не только в свежей установке, но и при обновлении с предыдущих версий. Команда из двух энтузиастов-нетехнарей просто не в состоянии поддерживать кодовую базу на плаву. Они открыто просят помощи у сообщества и других разработчиков Ubuntu, чтобы хоть как-то дотянуть до следующего LTS-релиза 26.04.

К сожалению, случился классический опенсорс-проект, когда есть два модератора и ноль программистов 😶

Типичный 🥸 Сисадмин

🥸Тут FreeBSD выкатили новость, от которой веет олдскульной инженерной мощью. В грядущей пятнадцатой ветке для полной сборки системы и всех ее артефактов больше не нужны права root. Весь процесс, от создания файлов устройств до монтирования файловых систем, теперь работает из-под обычного пользователя.

Вдобавок они добили воспроизводимые сборки. Теперь любой может взять исходники и получить на выходе бинарник, идентичный официальному до последнего байта.

Пока в Linux-сообществе годами идут войны за системные менеджеры и форматы пакетов - бородатые админы из мира BSD молча решают фундаментальные инженерные задачи 👨‍🦳

Типичный 🥸 Сисадмин

Поминки по последнему 775 на работе. Прах к праху, кремний к кремнию ⚰️

Типичный 🥸 Сисадмин