Апокалипсис. День 1

Безумное событие для мировой инфраструктуры: Crowdstrike BSOD 👨‍🦳 Упали системы десятков тысяч компаний по всему миру, включая финансовый сектор, рынок авиаперевозок и тд.

Проблема не будет решена быстро. Затронутые компьютеры находятся в состоянии, когда они не подключены к сети, поэтому Crowdstrike не может просто выпустить обновление, чтобы все исправить.

Нельзя пренебрегать главным правилом - пятницы только для чтения!

Временное решение:
1. Boot Windows into Safe Mode or the Windows Recovery Environment
2. Navigate to the C:\Windows\System32\drivers\CrowdStrike directory
3. Locate the file matching “C-00000291*.sys”, and delete it.
4. Boot the host normally.

Еще одно временное решение для csagent.sys:
Загрузитесь в безопасном режиме, зайдите в реестр и отредактируйте следующий ключ:

HKLM:\SYSTEM\CurrentControlSet\Services\CSAgent\Start from a 1 to a 4

Это отключает загрузку csagent.sys загрузку.

_________________
Ну и комментарии некоторых админов по произошедшему:

Yes, just had 160 servers all BSOD. This is NOT going to be a fun evening.

I was woken up and had to drive into work for this mess! 16K windows and over 2k servers. Thanks a lot CrowdStrike.

We lost over 960 instances in the datacenter. Workstations across the globe lost. The recovery for staff workstations is going to be insane.

I love being woken up for this bullshit in the middle of the night!

This shit fucked my whole company end users and servers

We have 1000+ employees and 6 help desk guys. Even if it only takes them 5 minutes for each person(lmao) that's 1000 x 5 / 60 / 6 = 14 straight hours of work from each of them. That's not a feasible solution. I literally don't know what we're gonna do lol.

Только что получил звонок, что это происходит в больнице, в которой я работаю. все 4000 клиентов переходят в режим восстановления

У меня 4000 офисных ПК. 1000 производственных ПК. И около 3000 магазинов, в которых есть как минимум 2-3 POS
Боже, помоги мне и нашей команде

Идеальное время для моего отпуска. Наблюдаю, как мир ИТ приходит в замешательство, и я могу просто наблюдать со стороны. Зная, что моя организация не использует CrowdStrike

Типичный 🥸 Сисадмин

США запрещают Kaspersky

Crowdstrike на следующий же день..

Типичный 🤔 Сисадмин

Crowdstrike: Невозможно получить вредоносное ПО, если ваш сервер\пк не загружается!

Типичный 😢 Сисадмин

Безопасность за счет простоя. Грамотно.

Типичный 🎹 Сисадмин

Не видел синего экрана около 15 лет...

I see screens of blue
And qr bright white
Every blessed day
Ads filled all the way
The privacy nightmare
Everyday you have to bear
And I think to myself
Garbage OS of the world

The colors of rainbow
A Linux distro will show
Control in your palms
In waves comes the calm
I see devs shaking hands
Shipping features and
Collaborating across lands
And I think to myself
Oh what a wonderful OS of the world

Linux / Линукс 🥸

Цена ошибки пятничного деплоя. Прикиньте лица сотрудников принимающих решения 😶

Типичный 👨‍🦳 Сисадмин

Да, давно таких пятниц небыло.

Типичный 😏 Сисадмин

CrowdStrike остановил работу большинства аэропортов Индии. Индусам выдают посадочные талоны, написанные от руки.

Вся эта история с 2000 годом немного запоздала.

Типичный ✍️ Сисадмин

Последствия сбоя Microsoft.

Химтрейлы? 🏥

Типичный 🕵️‍♂️ Сисадмин

«Чтобы исправить «синий экран смерти« из-за CrowdStrike, просто перезагрузите компьютер 15 раз подряд», – Microsoft.

Эксперты из Microsoft пояснили СМИ, что для исправления «синего экран смерти» из-за CrowdStrike нужно просто перезагрузить компьютер 15 раз подряд.

Этот совет предназначен специально для системных администраторов виртуальных машин, использующих Azure и столкнувшихся с глобальным сбоем в работе ПК и серверов на Windows из-за некорректного обновления ИБ-приложения CrowdStrike.

Надо запомнить на всякий случай в качестве «полезного« совета: «А ты комп 15 раз перезагрузил?» 🌚

🥸 godnoTECH - Новости IT

Восстановление IT-систем из-за сбоя ПО CrowdStrike в Windows может занять несколько недель ⌚️

По информации профильных СМИ, восстановление работоспособности IT-систем из-за сбоя ПО CrowdStrike в Windows во многих компаниях может занять недели. Компания признала, что совершила логическую ошибку в коде в файле обновления C-00000291-*.sys, которое в итоге ушло тысячам клиентов по всему миру.

🤔 Примечательно, что текущий глава CrowdStrike Джордж Куртц являлся техническим директором ИБ-компании McAfee в 2010 году, когда произошёл колоссальный сбой в работе Windows XP, из-за которого отключилась значительная часть Интернета. Человек, который в то время был техническим директором McAfee, теперь является генеральным директором Crowdstrike. Инцидент с McAfee стоил компании так дорого, что в итоге она была продана Intel.

Типичный 🥸 Сисадмин

CrowdStrike сломал Debian и Rocky Linux в апреле и мае, но никто не заметил, а ИБ-разработчики не торопились с патчем

Обновление ПО CrowdStrike сломало серверные сборки на Debian и Rocky Linux в апреле и мае этого года. Но этого особо никто не заметил, кроме нескольких клиентов. ИБ-разработчики неделями тянули с закрытием тикетов и писали отписки клиентам, долго выпускав нужный патч. Пользователи тогда заметили, что уровень тестирования и техподдержки в CrowdStrike оставляет желать лучшего. Хотя защитные сервисы этого разработчика используют 29 тыс. крупных компаний в мире. Оказалось, что большая часть из них предпочитает Windows, а техподдержка CrowdStrike оперативно реагирует только при глобальной проблеме.

В апреле обновление CrowdStrike привело к одновременному сбою всех серверов Debian Linux в гражданской технической лаборатории. Обновление CrowdStrike оказалось несовместимым с последней стабильной версией Debian, несмотря на то, что предположительно разработчиками поддерживалась конкретная конфигурация Linux. ИТ-команда лаборатории обнаружила, что удаление кода ПО CrowdStrike позволяет серверам на Linux загружаться штатно, и сообщила об инциденте ИБ-разработчикам.

ИБ-разработчикам потребовались недели, чтобы провести анализ первопричин после того, как они признали свои ошибки. Анализ показал, что конфигурация Debian Linux не была включена в их тестовую матрицу.

Linux / Линукс 🥸