Стратегия выявления угроз: на чем сосредоточить усилия при разработке методов обнаружения?
Как достичь эффективности при выявлении угроз при ограниченном ресурсе? Как оценить качество методов обнаружения? Встретил серию статей, автор которых ищет ответы на эти вопросы.
Security-инженеры и аналитики SOC знают, что ключевая цель при выявлении угроз заключается в создании механизмов для обнаружения и предотвращения как можно большего количества методов, которые использует злоумышленник для продвижения к своей цели.
То есть, эта цель превращается в решение задачи: не допустить, чтобы атакующий прошел все этапы своего пути до цели и остался незамеченным. С этого момента начинается игра вероятностей: насколько вероятно, что атакующий пойдет по пути, который не заметит защищающийся?
Здесь помогает следующая модель:
1. представляем каждую технику матрицы Mitre ATT&CK в виде точки;
2. путь атакующего от получения первичного доступа до продвижения цели можно представить в виде определенной последовательности точек;
3. техники матрицы, у которых есть множество подтехник, можно также разложить на группы точек (размер группы увеличивает вероятность выполнения данной техники);
4. каждую подтехнику можно выполнить с помощью разных процедур и инструментов - это добавляет еще больше точек в группы;
5. тактика выявления: чем больше процедур в рамках одной подтехники охватывает метод обнаружения, тем лучше данный метод. Эффективный метод обнаружения - тот, который выявляет процедуру с наибольшим количеством связей с другими процедурами.
И вот тут гипотеза, которую можно проверить в рамках исследовательской работы: составить граф всех процедур Mitre ATT&CK и определить узлы с наибольшим количеством связей (пример на рисунке отмечен желтым).
Эти узлы станут базой для выстраивания системы защиты и помогут определить приоритеты в условиях ограниченных ресурсов. Аналитик центра мониторинга получит еще одну возможность количественно обосновать необходимость разработки нового детекта или покупку «того самого» средства защиты.
#Инсайт
Как достичь эффективности при выявлении угроз при ограниченном ресурсе? Как оценить качество методов обнаружения? Встретил серию статей, автор которых ищет ответы на эти вопросы.
Security-инженеры и аналитики SOC знают, что ключевая цель при выявлении угроз заключается в создании механизмов для обнаружения и предотвращения как можно большего количества методов, которые использует злоумышленник для продвижения к своей цели.
То есть, эта цель превращается в решение задачи: не допустить, чтобы атакующий прошел все этапы своего пути до цели и остался незамеченным. С этого момента начинается игра вероятностей: насколько вероятно, что атакующий пойдет по пути, который не заметит защищающийся?
Здесь помогает следующая модель:
1. представляем каждую технику матрицы Mitre ATT&CK в виде точки;
2. путь атакующего от получения первичного доступа до продвижения цели можно представить в виде определенной последовательности точек;
3. техники матрицы, у которых есть множество подтехник, можно также разложить на группы точек (размер группы увеличивает вероятность выполнения данной техники);
4. каждую подтехнику можно выполнить с помощью разных процедур и инструментов - это добавляет еще больше точек в группы;
5. тактика выявления: чем больше процедур в рамках одной подтехники охватывает метод обнаружения, тем лучше данный метод. Эффективный метод обнаружения - тот, который выявляет процедуру с наибольшим количеством связей с другими процедурами.
И вот тут гипотеза, которую можно проверить в рамках исследовательской работы: составить граф всех процедур Mitre ATT&CK и определить узлы с наибольшим количеством связей (пример на рисунке отмечен желтым).
Эти узлы станут базой для выстраивания системы защиты и помогут определить приоритеты в условиях ограниченных ресурсов. Аналитик центра мониторинга получит еще одну возможность количественно обосновать необходимость разработки нового детекта или покупку «того самого» средства защиты.
#Инсайт
👍5🔥2
Forwarded from RED Security
Media is too big
VIEW IN TELEGRAM
Риски кибератак в телекоммуникационной отрасли 📡
Вчера на форуме «Телеком-2024» CTO МТС RED Денис Макрушин принял участие в дискуссии, посвящённой кибербезопасности и выявлению киберугроз в отрасли.
Конечно, с точки зрения расследования инцидентов в телекоме нет каких-то особенностей — сбор логов ИТ-систем, данных мониторинга и т. д. Однако, как и в других субъектах КИИ, прерывание ключевых процессов грозит серьёзными последствиями — проблемы со связью и другими связанными сервисами, например, мобильным и интернет-банкингом 📲
И несмотря на то, что наряду с банками телеком является одной из привлекательных мишеней для хакеров, на него приходится всего 4% от всех кибератак (по данным МТС RED SOC). А вот доля критичных инцидентов в общей массе стабильно очень высока. Это говорит о том, что отрасль обладает достаточно высоким уровнем зрелости в отношении защиты от киберугроз, а простые атаки редко приводят к результату 🎯
Денис также отметил ключевые проблемы киберустойчивости любого бизнеса в РФ:
1️⃣ Большое количество ресурсов, за которыми нужно следить и которые нужно оперативно защищать.
2️⃣ Уровень наблюдаемости событий. У большинства компаний доля обеспеченной мониторингом инфраструктуры не достигает и 70%, а многие вообще не осуществляют его, хотя с их уровнем зрелости следовало бы. Тем не менее рынок активно наращивает уровень наблюдаемости, и спрос на сервисы мониторинга постоянно растёт.
Вчера на форуме «Телеком-2024» CTO МТС RED Денис Макрушин принял участие в дискуссии, посвящённой кибербезопасности и выявлению киберугроз в отрасли.
Конечно, с точки зрения расследования инцидентов в телекоме нет каких-то особенностей — сбор логов ИТ-систем, данных мониторинга и т. д. Однако, как и в других субъектах КИИ, прерывание ключевых процессов грозит серьёзными последствиями — проблемы со связью и другими связанными сервисами, например, мобильным и интернет-банкингом 📲
И несмотря на то, что наряду с банками телеком является одной из привлекательных мишеней для хакеров, на него приходится всего 4% от всех кибератак (по данным МТС RED SOC). А вот доля критичных инцидентов в общей массе стабильно очень высока. Это говорит о том, что отрасль обладает достаточно высоким уровнем зрелости в отношении защиты от киберугроз, а простые атаки редко приводят к результату 🎯
Денис также отметил ключевые проблемы киберустойчивости любого бизнеса в РФ:
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥4❤3
Forwarded from RED Security
Media is too big
VIEW IN TELEGRAM
Звёздные кибервойны. Эпизод 1
12 апреля 1961 г. — Юрий Гагарин стал первым человеком в космосе 👨🚀
27 апреля 1986 г. — первый случай взлома спутника на орбите 🛰
Как видите, человечеству понадобились тысячи лет, чтобы покорить космос, а после — всего 25 лет, чтобы навести там хакерскую суету.
Казалось бы, после такого серьёзного инцидента компании могли научиться обеспечивать киберзащиту космических аппаратов и передаваемой через них информации. Но в целях экономии этим озаботились далеко не все. В общем, всё как на Земле.
О взломах в космосе с Земли и наоборот — читайте в нашем новом материале на Хабре 👈
P.S. За статью спасибо СТО МТС RED Денису Макрушину и отдельное спасибо Юре за космос! 🚀
12 апреля 1961 г. — Юрий Гагарин стал первым человеком в космосе 👨🚀
27 апреля 1986 г. — первый случай взлома спутника на орбите 🛰
Как видите, человечеству понадобились тысячи лет, чтобы покорить космос, а после — всего 25 лет, чтобы навести там хакерскую суету.
Казалось бы, после такого серьёзного инцидента компании могли научиться обеспечивать киберзащиту космических аппаратов и передаваемой через них информации. Но в целях экономии этим озаботились далеко не все. В общем, всё как на Земле.
О взломах в космосе с Земли и наоборот — читайте в нашем новом материале на Хабре 👈
P.S. За статью спасибо СТО МТС RED Денису Макрушину и отдельное спасибо Юре за космос! 🚀
🔥13❤4🎉3
Анализ уязвимостей нулевого дня, которые применялись для атак в 2023
Исследователи Google опубликовали отчет с разбором 0day уязвимостей, которые эксплуатировались в 2023 году.
Интересные факты:
1. Проанализировано 92 уязвимости, из которых 61 обнаружена в продуктах и платформах для конечных пользователей. Остальные - в корпоративном софте. Интерес злоумышленников к пользовательским данным по-прежнему стабилен.
2. Атакующие смещают фокус к компрометации сторонних компонент и библиотек. Сохраняется тренд атак на цепочку поставок.
3. Снижается доля 0day, использованных для атак с целью финансовой выгоды. Этот пункт можно объяснить тем, что использование дорогих средств эксплуатации для подобных атак - экономически нецелесообразно. Для злодея есть более дешевые альтернативы, которые ведут к аналогичному результату.
Исследователи Google опубликовали отчет с разбором 0day уязвимостей, которые эксплуатировались в 2023 году.
Интересные факты:
1. Проанализировано 92 уязвимости, из которых 61 обнаружена в продуктах и платформах для конечных пользователей. Остальные - в корпоративном софте. Интерес злоумышленников к пользовательским данным по-прежнему стабилен.
2. Атакующие смещают фокус к компрометации сторонних компонент и библиотек. Сохраняется тренд атак на цепочку поставок.
3. Снижается доля 0day, использованных для атак с целью финансовой выгоды. Этот пункт можно объяснить тем, что использование дорогих средств эксплуатации для подобных атак - экономически нецелесообразно. Для злодея есть более дешевые альтернативы, которые ведут к аналогичному результату.
👍6🔥3👏1
Фундамент в data science: экспресс-погружение в математический анализ
⠀
В прошлый раз были разобраны материалы по линейной алгебре - дисциплине, представляющей способы описания структур и объектов для хранения информации, а также некоторые методы для работы с ними. Математический анализ, в свою очередь, предоставляет средства для детального изучения и исследования этих структур.
Где это может пригодиться в машинном обучении?
* В первую очередь, для понимания процесса обучения модели. Каким образом подбираются оптимальные веса для модели? Ключевые аспекты: функция потерь и нахождение ее минимума с помощью градиентного спуска.
* Оценка модели. Модель переобучилась или недообучилась? Изменить тренировочный процесс с помощью введения регуляризации или же попробовать усложнить модель для лучшей интерполяции.
Чтобы понимать, как работают эти процессы, стоит познакомиться с необходимым минимумом.
Видео-материалы
* Производная функции
* Градиент. Вычисление производной
* Градиентная оптимизация
Визуализация приложений математического анализа (плейлист):
* Производная
* Сложные функции
* Еще один взгляд на производную
Литература с практическими примерами:
* Производная и градиент функции (аналогично на английском)
* Функции многих переменных
* Сложные функции
* Преобразования функций (аналогично на английском)
* Интенсив-курс
Конспекты в jupyter-тетрадках:
* Производная функции
* Функции многих переменных и градиент
* Дифференцирование
Для самостоятельного решения:
* Нелинейные уравнения и графики функций
* Производная функции и функции нескольких переменных
* Дифференцирование
* Исследование функции
Фундаментальная литература:
* Ильин, Позняк, Основы математического анализа (2005) — МГУ.
* Тер-Крикоров, Шабунин. Курс математического анализа (2001) — МФТИ. Содержит много примеров.
* Иванов. Лекции по математическому анализу (2000) — МФТИ. Очень короткое, но исчерпывающее изложение материала.
⠀
В прошлый раз были разобраны материалы по линейной алгебре - дисциплине, представляющей способы описания структур и объектов для хранения информации, а также некоторые методы для работы с ними. Математический анализ, в свою очередь, предоставляет средства для детального изучения и исследования этих структур.
Где это может пригодиться в машинном обучении?
* В первую очередь, для понимания процесса обучения модели. Каким образом подбираются оптимальные веса для модели? Ключевые аспекты: функция потерь и нахождение ее минимума с помощью градиентного спуска.
* Оценка модели. Модель переобучилась или недообучилась? Изменить тренировочный процесс с помощью введения регуляризации или же попробовать усложнить модель для лучшей интерполяции.
Чтобы понимать, как работают эти процессы, стоит познакомиться с необходимым минимумом.
Видео-материалы
* Производная функции
* Градиент. Вычисление производной
* Градиентная оптимизация
Визуализация приложений математического анализа (плейлист):
* Производная
* Сложные функции
* Еще один взгляд на производную
Литература с практическими примерами:
* Производная и градиент функции (аналогично на английском)
* Функции многих переменных
* Сложные функции
* Преобразования функций (аналогично на английском)
* Интенсив-курс
Конспекты в jupyter-тетрадках:
* Производная функции
* Функции многих переменных и градиент
* Дифференцирование
Для самостоятельного решения:
* Нелинейные уравнения и графики функций
* Производная функции и функции нескольких переменных
* Дифференцирование
* Исследование функции
Фундаментальная литература:
* Ильин, Позняк, Основы математического анализа (2005) — МГУ.
* Тер-Крикоров, Шабунин. Курс математического анализа (2001) — МФТИ. Содержит много примеров.
* Иванов. Лекции по математическому анализу (2000) — МФТИ. Очень короткое, но исчерпывающее изложение материала.
👍4🔥3😁2❤1
Отличие поведения предпринимателя от поведения менеджера в период кризиса
На сингапурском мероприятии CXO Seminar, на котором рассказывал про необходимость создания команды Crisis Response Team в структуре организаций, мне задали интересный вопрос, связанный с темой доклада: в чем принципиальное отличие участника команды, которая работает с кризисными ситуациями бизнеса, от участника команды управления этим бизнесом?
На него я в тот момент не ответил.
Теперь этот же вопрос напомнил о себе в новой форме в процессе обучения: в чем отличие поведения предпринимателя от поведения менеджера в период кризиса?
Чтобы вывести ответ, возьму упрощенную структуру исследований, которые проводятся для защиты кандидатских работ. Потому что считаю эту структуру проверенным стандартом для анализа любой гипотезы. Что-то вроде шаблона для синтеза нового знания:
1. формулирование гипотезы для проверки;
2. определение цели для того, чтобы подтвердить или опровергнуть гипотезу;
3. определение ключевых задач для выполнения цели;
4. поиск и анализ существующих исследований, которые имели похожую цель или схожие задачи;
5. определение ограничений существующих исследований и формирование методики для проверки гипотезы.
Сфокусируюсь на пунктах 1 и 2, а остальные оставлю исследователям.
Гипотеза: поведение предпринимателя от поведения менеджера в период кризиса отличается системой определения и принятия управленческих решений. Если упростить, то отличие скрыто где-то в том, как делается выбор между несколькими возможными вариантами событий. Не всех событий, которые возможны в развитии бизнеса, а в их ограниченном подмножестве, которое называется «кризисом».
Взгляд на кризис у каждого свой. Как пишут в нон-фикшн литературе:
Нет. Кризис - это путь к завершению бизнеса. И он одинаково понятен для всех. Без субъективных интерпретаций. Кризис = конец.
В следующем посте точнее определим понятие кризиса и сформулируем показатели для оценки гипотезы.
На сингапурском мероприятии CXO Seminar, на котором рассказывал про необходимость создания команды Crisis Response Team в структуре организаций, мне задали интересный вопрос, связанный с темой доклада: в чем принципиальное отличие участника команды, которая работает с кризисными ситуациями бизнеса, от участника команды управления этим бизнесом?
На него я в тот момент не ответил.
Теперь этот же вопрос напомнил о себе в новой форме в процессе обучения: в чем отличие поведения предпринимателя от поведения менеджера в период кризиса?
Чтобы вывести ответ, возьму упрощенную структуру исследований, которые проводятся для защиты кандидатских работ. Потому что считаю эту структуру проверенным стандартом для анализа любой гипотезы. Что-то вроде шаблона для синтеза нового знания:
1. формулирование гипотезы для проверки;
2. определение цели для того, чтобы подтвердить или опровергнуть гипотезу;
3. определение ключевых задач для выполнения цели;
4. поиск и анализ существующих исследований, которые имели похожую цель или схожие задачи;
5. определение ограничений существующих исследований и формирование методики для проверки гипотезы.
Сфокусируюсь на пунктах 1 и 2, а остальные оставлю исследователям.
Гипотеза: поведение предпринимателя от поведения менеджера в период кризиса отличается системой определения и принятия управленческих решений. Если упростить, то отличие скрыто где-то в том, как делается выбор между несколькими возможными вариантами событий. Не всех событий, которые возможны в развитии бизнеса, а в их ограниченном подмножестве, которое называется «кризисом».
Взгляд на кризис у каждого свой. Как пишут в нон-фикшн литературе:
кризис - это возможность для предпринимателя
Нет. Кризис - это путь к завершению бизнеса. И он одинаково понятен для всех. Без субъективных интерпретаций. Кризис = конец.
В следующем посте точнее определим понятие кризиса и сформулируем показатели для оценки гипотезы.
🔥8👍2❤1
Отличие поведения предпринимателя от поведения менеджера в период кризиса (2/2)
Попробуем как-то формализовать критерии «кризиса», на котором остановились в предыдущем посте. Для этого определим множество ситуаций, которые ведут организацию к концу. Сразу же вспоминаю основные события из мира ИТ, которые могут поставить на колени неподготовленный бизнес:
* нарушение целостности или доступности данных, критичных для бизнеса (например: финансовые данные компании, данные о ее клиентах, данные о партнерах);
* остановка процессов, которые реализуются с помощью ИТ-систем.
Если допустить, что эти события могут случиться не только в ИТ инфраструктуре компании, а вообще в любых аспектах ее деятельность, то «конец» уже можно формально описать. Кризис - это множество событий, которые останавливают финансовый поток коммерческой организации. При этом для многих собственников бизнеса не только остановка, но даже значительное снижение денежного потока - уже кризис. Исследовательские публикации “Exploring the Concept of Crisis in Business” и “Crisis Management Process - A Literature Review and a Conceptual Integration” подтверждают это описание.
Формальное отличие ролей «менеджер» и «предприниматель» определить легче. Оно находится не в области «психологии», и даже не в области управления рисками. Все проще: предприниматель или владелец - роль, которая инвестирует в достижение стратегических целей компании, а менеджер - наемный сотрудник этой компании. Да, есть много сценариев, при которых эти роли могут совмещаться в одном человеке (например, в семейном бизнесе), но мы не будем рассматривать эти сценарии.
В исследовании «Bank Owners or Bank Managers: Who is Keen on Risk? Evidence from the Financial Crisis» от 2013 года был определен факт: владельцы склонны к большему риску в отличии от менеджеров. В 2019 году авторы исследования «Risk attitudes and personality traits of entrepreneurs and venture team members» еще раз подтвердили эту гипотезу и доказали, что предприниматели более толерантны к риску, чем менеджеры.
Эти выводы легли в основу работы «Owners vs. Managers», в которой исследователи методом опроса собрали данные и определили разницу в отношении к бизнес-рискам (стратегическим, рыночным, финансовым и кадровым) у менеджеров и владельцев предприятий. Основной вывод: статистически подтверждено отличие в отношении к рискам между менеджером и владельцем бизнеса. Отличие заключается в более позитивном отношении предпринимателя к оценке стратегических рисков. Авторы предполагают, что именно низкая толерантность менеджеров к стратегическим рискам ведет к тому, что они принимают менее качественные стратегические решения.
Выход из кризиса - процесс стратегический, который требует оперативного принятия качественных решений. А значит, мы можем вывести две характеристики для оценки нашей гипотезы:
* скорость принятия решения в условиях кризиса (время, которое тратится на сбор информации для принятия решения);
* скорость исполнения принятого решения (временной интервал между моментом принятия решения и моментом оценки данного решения).
Используя эти характеристики, можно еще точнее сформулировать гипотезу:
Другими словами: скорость следования по маршруту «боль - анализ - прогресс» у предпринимателя выше.
Попробуем как-то формализовать критерии «кризиса», на котором остановились в предыдущем посте. Для этого определим множество ситуаций, которые ведут организацию к концу. Сразу же вспоминаю основные события из мира ИТ, которые могут поставить на колени неподготовленный бизнес:
* нарушение целостности или доступности данных, критичных для бизнеса (например: финансовые данные компании, данные о ее клиентах, данные о партнерах);
* остановка процессов, которые реализуются с помощью ИТ-систем.
Если допустить, что эти события могут случиться не только в ИТ инфраструктуре компании, а вообще в любых аспектах ее деятельность, то «конец» уже можно формально описать. Кризис - это множество событий, которые останавливают финансовый поток коммерческой организации. При этом для многих собственников бизнеса не только остановка, но даже значительное снижение денежного потока - уже кризис. Исследовательские публикации “Exploring the Concept of Crisis in Business” и “Crisis Management Process - A Literature Review and a Conceptual Integration” подтверждают это описание.
Формальное отличие ролей «менеджер» и «предприниматель» определить легче. Оно находится не в области «психологии», и даже не в области управления рисками. Все проще: предприниматель или владелец - роль, которая инвестирует в достижение стратегических целей компании, а менеджер - наемный сотрудник этой компании. Да, есть много сценариев, при которых эти роли могут совмещаться в одном человеке (например, в семейном бизнесе), но мы не будем рассматривать эти сценарии.
В исследовании «Bank Owners or Bank Managers: Who is Keen on Risk? Evidence from the Financial Crisis» от 2013 года был определен факт: владельцы склонны к большему риску в отличии от менеджеров. В 2019 году авторы исследования «Risk attitudes and personality traits of entrepreneurs and venture team members» еще раз подтвердили эту гипотезу и доказали, что предприниматели более толерантны к риску, чем менеджеры.
Эти выводы легли в основу работы «Owners vs. Managers», в которой исследователи методом опроса собрали данные и определили разницу в отношении к бизнес-рискам (стратегическим, рыночным, финансовым и кадровым) у менеджеров и владельцев предприятий. Основной вывод: статистически подтверждено отличие в отношении к рискам между менеджером и владельцем бизнеса. Отличие заключается в более позитивном отношении предпринимателя к оценке стратегических рисков. Авторы предполагают, что именно низкая толерантность менеджеров к стратегическим рискам ведет к тому, что они принимают менее качественные стратегические решения.
Выход из кризиса - процесс стратегический, который требует оперативного принятия качественных решений. А значит, мы можем вывести две характеристики для оценки нашей гипотезы:
* скорость принятия решения в условиях кризиса (время, которое тратится на сбор информации для принятия решения);
* скорость исполнения принятого решения (временной интервал между моментом принятия решения и моментом оценки данного решения).
Используя эти характеристики, можно еще точнее сформулировать гипотезу:
в условиях кризиса предприниматель быстрее принимает решение и быстрее собирает обратную связь для его оценки.
Другими словами: скорость следования по маршруту «боль - анализ - прогресс» у предпринимателя выше.
🔥4🤔2
Фундамент в data science: экспресс-погружение в математическую статистику
Ранее были разобраны материалы, посвященные линейной алгебре и математическому анализу. Эти две дисциплины формируют систему, которая способна предоставить подход к решению практически любой задачи и дает способы описания произвольных объектов для их последующего анализа.
Казалось бы, чего еще не хватает для полного счастья? Правильно: механизма оценки данных и результатов конечной модели. В этом, завершающем математический цикл, посте пойдет речь о математической статистике.
Ключевые аспекты, которые лежат в основе данного инструмента:
* Сравнение моделей
Действительно ли одна модель лучше другой другой? Или это стало случайностью?
Может показаться, что результатов на тестовой выборке достаточно, чтобы сделать окончательный вывод. Однако для полной уверенности необходимо провести проверку статистических гипотез, чтобы убедиться, что причина не в случайном факторе.
* Особенности и тенденции, скрытые в данных или feature engineering
Корреляция между двумя или более переменными может быть использована, чтобы понять, совокупность каких признаков сильнее всего влияет при обучении модели и в дальнейшем принять решение об их объединении или удалении из выборки.
* Метрики
На чем мы хотим сделать акцент при интерпритации результатов?
На среднем значении величины ошибки прогноза, где направления завышения или занижения не учитываются? Или непропорционально штрафовать большие отклонения?
Обратимся к фундаментальному минимуму для детального пониманиях этих аспектов.
Видео-материалы:
* Математическое ожидание
* Дисперсия
* Случайные величины
* Распределение случайных величин и его основная идея
* Нормальное распределение
* Корреляция и ее вычисление
Литература с практическими примерами:
* Экспресс-курс от TidyData
* Интеративный экпресс-курс от Brown University (на английском)
Конспекты в jupyter-тетрадках:
* Презентация со всеми основными понятиями статистики и соотвествующий конспект
* Среднее, медиана и мода
* Дисперсия
* Нормальное распределение
Для самостоятельного решения:
* Основные понятия статистики
* Математическое ожидание и дисперсия
* Распределение случайных величин
Фундаментальная литература:
* Кибзун, Горяинова. Теория вероятностей и математическая статистика. Базовый курс с примерами и задачами.
* Уилан. Голая статистика. Самая интересная книга о самой скучной науке.
* П. Брюс, Э. Брюс, Гедек, Практическая статистика для специалистов Data Science.
И в заключение – целый портал посвященный материалам по математической статистике.
Ранее были разобраны материалы, посвященные линейной алгебре и математическому анализу. Эти две дисциплины формируют систему, которая способна предоставить подход к решению практически любой задачи и дает способы описания произвольных объектов для их последующего анализа.
Казалось бы, чего еще не хватает для полного счастья? Правильно: механизма оценки данных и результатов конечной модели. В этом, завершающем математический цикл, посте пойдет речь о математической статистике.
Ключевые аспекты, которые лежат в основе данного инструмента:
* Сравнение моделей
Действительно ли одна модель лучше другой другой? Или это стало случайностью?
Может показаться, что результатов на тестовой выборке достаточно, чтобы сделать окончательный вывод. Однако для полной уверенности необходимо провести проверку статистических гипотез, чтобы убедиться, что причина не в случайном факторе.
* Особенности и тенденции, скрытые в данных или feature engineering
Корреляция между двумя или более переменными может быть использована, чтобы понять, совокупность каких признаков сильнее всего влияет при обучении модели и в дальнейшем принять решение об их объединении или удалении из выборки.
* Метрики
На чем мы хотим сделать акцент при интерпритации результатов?
На среднем значении величины ошибки прогноза, где направления завышения или занижения не учитываются? Или непропорционально штрафовать большие отклонения?
Обратимся к фундаментальному минимуму для детального пониманиях этих аспектов.
Видео-материалы:
* Математическое ожидание
* Дисперсия
* Случайные величины
* Распределение случайных величин и его основная идея
* Нормальное распределение
* Корреляция и ее вычисление
Литература с практическими примерами:
* Экспресс-курс от TidyData
* Интеративный экпресс-курс от Brown University (на английском)
Конспекты в jupyter-тетрадках:
* Презентация со всеми основными понятиями статистики и соотвествующий конспект
* Среднее, медиана и мода
* Дисперсия
* Нормальное распределение
Для самостоятельного решения:
* Основные понятия статистики
* Математическое ожидание и дисперсия
* Распределение случайных величин
Фундаментальная литература:
* Кибзун, Горяинова. Теория вероятностей и математическая статистика. Базовый курс с примерами и задачами.
* Уилан. Голая статистика. Самая интересная книга о самой скучной науке.
* П. Брюс, Э. Брюс, Гедек, Практическая статистика для специалистов Data Science.
И в заключение – целый портал посвященный материалам по математической статистике.
🔥4👍1
CTO Day. Часть 2: выходные в Дубае.
В прошлом году мы встречались в Сербии. В этот раз удивительное место можно описать тремя словами: жарко, мокро, ярко.
Коллеги из Яндекса собрали технологических лидеров в Дубае - центре инноваций Ближнего Востока. В ОАЭ я впервые, поэтому к впечатлениям от прогулок по музеям и выставкам, добавил инсайты:
* Чемпионов недостаточно. На круглом столе, посвященном вопросам безопасности в разработке, пришли к выводу, что программа подготовки Security Champions должна совершить эволюционный переход к программе повышения культуры разработки, в которой безопасность будет базой для каждого специалиста в команде.
* Стохастическое поведение и экономия энергии при принятии решения - это особенности работы естественной нейросети, которые обеспечивают ее выживание. И это отличиет ее от искусственной нейросетки. В докладе «Нейросети естественные и искусственные: взгляд нейробиолога» Вячеслав Дубынин описал ключевые отличия в поведении естественного интеллекта от поведения ИИ. Случайные отклонения при принятии решения позволяют организму быть непредсказуемым для хищника и обеспечивают его выживаемость в естественной среде. Возможно, эта концепция стохастического поведения может пригодиться для задач кибербезопасности.
* Дождь может затопить пустыню.
В прошлом году мы встречались в Сербии. В этот раз удивительное место можно описать тремя словами: жарко, мокро, ярко.
Коллеги из Яндекса собрали технологических лидеров в Дубае - центре инноваций Ближнего Востока. В ОАЭ я впервые, поэтому к впечатлениям от прогулок по музеям и выставкам, добавил инсайты:
* Чемпионов недостаточно. На круглом столе, посвященном вопросам безопасности в разработке, пришли к выводу, что программа подготовки Security Champions должна совершить эволюционный переход к программе повышения культуры разработки, в которой безопасность будет базой для каждого специалиста в команде.
* Стохастическое поведение и экономия энергии при принятии решения - это особенности работы естественной нейросети, которые обеспечивают ее выживание. И это отличиет ее от искусственной нейросетки. В докладе «Нейросети естественные и искусственные: взгляд нейробиолога» Вячеслав Дубынин описал ключевые отличия в поведении естественного интеллекта от поведения ИИ. Случайные отклонения при принятии решения позволяют организму быть непредсказуемым для хищника и обеспечивают его выживаемость в естественной среде. Возможно, эта концепция стохастического поведения может пригодиться для задач кибербезопасности.
* Дождь может затопить пустыню.
👍7🔥4❤2🤣1
Media is too big
VIEW IN TELEGRAM
Зашел в гости к коллегам для участия в круглом столе FinDevSecOps, а там награды вручают. За вклад в развитие сообщества, которое строит безопасносную разработку финансовых технологий и продуктов.
Мир, автоматизированный_Труд, Май!
Мир, автоматизированный_Труд, Май!
👍11🔥8❤2🤣1🍾1
Где обитает техдир
На мероприятии в Дубае познакомился с уставшим техдиром. Оказалось, что автор - совсем не уставший Глеб, рассказывает разработчикам о важности понимания бизнес-контекста их деятельности. Например, в подкасте проводит разбор метрик разработки, которые являются совершенно неоднозначными показателями эффективности.
Глеб пригласил поучаствовать в кэмпе South HUB 2024, где в июне собираются более 400 C-level и IT-лидеров, чтобы учиться, знакомиться, заниматься спортом, медитировать и саморазвиваться. Кстати, про саморазвитие: доклад «Школа выживания технического руководителя в суровом мире бизнеса» Александра Ложечкина можно точно добавлять в закладки. Опыт Александра и то, как он его упаковывает - это всегда нетривиально. Инсайт про управление энергией мне помогает до сих пор. А провокационный тезис «почему стоит стать чуть менее техническими, но чуть более руководителями» добавляет еще один доклад «Школа выживания технического руководителя в суровом мире бизнеса» в закладки.
Нетворкинг и участие в мероприятиях - еще один челлендж для технического эксперта. О том, для чего и как правильно исследователю участвовать в подобных событиях я уже рассказывал, но напомню:
* познакомиться с соавторами и партнерами своего следующего большого проекта;
* выйти «из ящика» и впитать опыт коллег;
* поделиться своими результатами с единомышленниками и получить обратную связь;
* отдохнуть от онлайна.
Поэтому буду в Сочи. Вместе с организаторами SH24 дарим промокод на скидку:
Айда со мной.
На мероприятии в Дубае познакомился с уставшим техдиром. Оказалось, что автор - совсем не уставший Глеб, рассказывает разработчикам о важности понимания бизнес-контекста их деятельности. Например, в подкасте проводит разбор метрик разработки, которые являются совершенно неоднозначными показателями эффективности.
Глеб пригласил поучаствовать в кэмпе South HUB 2024, где в июне собираются более 400 C-level и IT-лидеров, чтобы учиться, знакомиться, заниматься спортом, медитировать и саморазвиваться. Кстати, про саморазвитие: доклад «Школа выживания технического руководителя в суровом мире бизнеса» Александра Ложечкина можно точно добавлять в закладки. Опыт Александра и то, как он его упаковывает - это всегда нетривиально. Инсайт про управление энергией мне помогает до сих пор. А провокационный тезис «почему стоит стать чуть менее техническими, но чуть более руководителями» добавляет еще один доклад «Школа выживания технического руководителя в суровом мире бизнеса» в закладки.
Нетворкинг и участие в мероприятиях - еще один челлендж для технического эксперта. О том, для чего и как правильно исследователю участвовать в подобных событиях я уже рассказывал, но напомню:
* познакомиться с соавторами и партнерами своего следующего большого проекта;
* выйти «из ящика» и впитать опыт коллег;
* поделиться своими результатами с единомышленниками и получить обратную связь;
* отдохнуть от онлайна.
Поэтому буду в Сочи. Вместе с организаторами SH24 дарим промокод на скидку:
SH24MAKRUSHIN
Айда со мной.
👍5🔥4❤1🤣1🤗1🫡1
Распространение вредоносного кода через комментарии GitHub
Исследователи обнаружили троян, который распространяется под видом игровых читов и крадет инфу с зараженной станции. Сам зловред вряд ли чем-то примечателен, но интересен способ его распространения. Источник, в котором опубликован загрузчик трояна - официальные GitHub-репозитории Microsoft.
Пример URL с вредоносным кодом:
GitHub позволяет злоумышленникам обходить правила блокировки на основе черных и белых списков.
Как троян там оказался:
1. злодей создает комментарий к любому коммиту или issue в репозитории Microsoft.
2. В комментарий загружается вложение с произвольным файлом.
3. Файл будет загружен в GitHub CDN и привязан к проекту с уникальной ссылкой. Формат ссылки:
4. Комментарий может быть не опубликован, но при этом ссылка становится активной.
Атакующий может прикрепить вредоносный файл к любому репозиторию. Пока что, единственный вариант уберечь свой проект от подобного использования - отключить комментарии.
Исследователи обнаружили троян, который распространяется под видом игровых читов и крадет инфу с зараженной станции. Сам зловред вряд ли чем-то примечателен, но интересен способ его распространения. Источник, в котором опубликован загрузчик трояна - официальные GitHub-репозитории Microsoft.
Пример URL с вредоносным кодом:
https://github[.]com/microsoft/vcpkg/files/14125503/Cheat.Lab.2.7.2.zip
GitHub позволяет злоумышленникам обходить правила блокировки на основе черных и белых списков.
Как троян там оказался:
1. злодей создает комментарий к любому коммиту или issue в репозитории Microsoft.
2. В комментарий загружается вложение с произвольным файлом.
3. Файл будет загружен в GitHub CDN и привязан к проекту с уникальной ссылкой. Формат ссылки:
https://www.github.com/{project_user}/{repo_name}/files/{file_id}/{file_name}4. Комментарий может быть не опубликован, но при этом ссылка становится активной.
Атакующий может прикрепить вредоносный файл к любому репозиторию. Пока что, единственный вариант уберечь свой проект от подобного использования - отключить комментарии.
👍4🔥1👀1
IBM покупает HashiCorp. И что?
IBM объявила о приобретении компании-разработчика ПО для облачной инфраструктуры HashiCorp. Сумма сделки внушительная - $6.4млрд, но для нас интересны технологические причины этой покупки и тренды, которые она усиливает:
* усиление технологий IBM в гибридной инфраструктуре и частных облаках. Платформа ИИ Watsonx научится лучше понимать события в локальных средах.
* Совершенствование систем обеспечения и управления ресурсами в закрытых инфраструктурах.
* Движение к гиперавтоматизации всех бизнес-процессов. И это подтверждает наш прогноз, который мы делали в начале года.
Даже если IBM не изменит лицензии продуктов HashiCorp, то сообщество начнет миграцию на альтернативные opensource-продукты (здравствуй, OpenTofu). Прямо или косвенно эта сделка подтолкнет развитие программного обеспечения с открытым исходным кодом.
IBM объявила о приобретении компании-разработчика ПО для облачной инфраструктуры HashiCorp. Сумма сделки внушительная - $6.4млрд, но для нас интересны технологические причины этой покупки и тренды, которые она усиливает:
* усиление технологий IBM в гибридной инфраструктуре и частных облаках. Платформа ИИ Watsonx научится лучше понимать события в локальных средах.
* Совершенствование систем обеспечения и управления ресурсами в закрытых инфраструктурах.
* Движение к гиперавтоматизации всех бизнес-процессов. И это подтверждает наш прогноз, который мы делали в начале года.
Даже если IBM не изменит лицензии продуктов HashiCorp, то сообщество начнет миграцию на альтернативные opensource-продукты (здравствуй, OpenTofu). Прямо или косвенно эта сделка подтолкнет развитие программного обеспечения с открытым исходным кодом.
👍3🤔2🔥1🤣1
Обзор перспективных исследований
Изучил, какие гипотезы и идеи занимают умы исследователей в кибербезопасности, и подготовил подборку перспективных направлений. Заодно поделился результатами нашей исследовательской команды и освежил колонку. Делюсь.
#Дайджест @makrushin
Изучил, какие гипотезы и идеи занимают умы исследователей в кибербезопасности, и подготовил подборку перспективных направлений. Заодно поделился результатами нашей исследовательской команды и освежил колонку. Делюсь.
#Дайджест @makrushin
xakep.ru
Обзор перспективных исследований. Колонка Дениса Макрушина
Сегодня мы с тобой пройдемся по последним трендам в ИБ, посмотрим, какие новые идеи занимают умы специалистов по безопасности (в том числе моей команды) и какие публикации на эту тему можно почитать.
🔥4👍3🤣2
RSA Conference 2024: ключевые анонсы
На этой неделе прошло крупное мероприятие в ИБ. Изучаем интересные анонсы:
* ArmorCode, компания-разработчик решения класса Application Security Posture Management (ASPM), интегрировала в свою платформу ИИ для корреляции уязвимостей и ускорения обработки дефектов.
* Checkmarx выпустила функции AI Security для защиты кода, который был сгенерирован с помощью LLM. И также добавила возможности авто-исправления уязвимостей.
* Cloud Security Alliance выпустил руководство для безопасного внедрения ИИ. Опубликованы три ключевых документа, с которыми обязательно должны ознакомиться директор по информационной безопасности и руководители направлений AI: “AI Organizational Responsibilities”, “AI Resilience” и “Principles to Practice”.
* Компания Protect AI запустила базу данных уязвимостей в ИИ/ML. По мнению компании, существующие базы уязвимостей CVE и NVD не закрывают потребности в информации об уязвимых ML-моделях и проблемах ИИ.
* Стартап Torq, упомянутый здесь в контексте гиперавтоматизации, выпустил решение HyperSOC, которое добавляет аналитику силу в виде LLM для автоматизации оценки критичности угрозы, определения оптимального пути ее обработки и экскалации. «Исключить выгарание специалистов SOC» - необычная ценность, которую закладывают разработчики данной технологии.
Теперь давай найдем что-то общее во всех этих анонсах. А я пока посмотрю на мост Golden Gate где-то в Сан-Франциско неподалеку от RSA Conf 2017.
На этой неделе прошло крупное мероприятие в ИБ. Изучаем интересные анонсы:
* ArmorCode, компания-разработчик решения класса Application Security Posture Management (ASPM), интегрировала в свою платформу ИИ для корреляции уязвимостей и ускорения обработки дефектов.
* Checkmarx выпустила функции AI Security для защиты кода, который был сгенерирован с помощью LLM. И также добавила возможности авто-исправления уязвимостей.
* Cloud Security Alliance выпустил руководство для безопасного внедрения ИИ. Опубликованы три ключевых документа, с которыми обязательно должны ознакомиться директор по информационной безопасности и руководители направлений AI: “AI Organizational Responsibilities”, “AI Resilience” и “Principles to Practice”.
* Компания Protect AI запустила базу данных уязвимостей в ИИ/ML. По мнению компании, существующие базы уязвимостей CVE и NVD не закрывают потребности в информации об уязвимых ML-моделях и проблемах ИИ.
* Стартап Torq, упомянутый здесь в контексте гиперавтоматизации, выпустил решение HyperSOC, которое добавляет аналитику силу в виде LLM для автоматизации оценки критичности угрозы, определения оптимального пути ее обработки и экскалации. «Исключить выгарание специалистов SOC» - необычная ценность, которую закладывают разработчики данной технологии.
Теперь давай найдем что-то общее во всех этих анонсах. А я пока посмотрю на мост Golden Gate где-то в Сан-Франциско неподалеку от RSA Conf 2017.
👍5🔥1
Повышение уровня наблюдаемости процессов DevSecOps
Университет Карнеги-Меллона представил фреймворк Polar, который повышает наблюдаемость данных внутри платформы разработки ПО. Цель: увеличить скорость и качество управленческих решений внутри существующего DevSecOps-пайплайна.
В основе архитектуры фреймворка находится графовая БД, которая отвечает за управление данными и их представление в виде графа. В основе этого графа находится отношение между несколькими ролями, которые осуществляют работу с данными:
* Observers - компоненты, которые отвечают за мониторинг ресурсов и сред.
* Information Processors - связующие звенья, которые преобразуют необработанные данные от Observers в структурированные данные графовой БД.
* Policy Agents - ведут контроль всех компонентов системы и с помощью конфигураций обеспечивают их работу в рамках заданных параметров.
В итоге граф является моделью данных, которая показывает актуальные взаимосвязи в операционной деятельности бизнеса.
Предлагаю кейс использования: анализ существующих процессов DevSecOps для последующей оптимизации и снижения показателя “Time to Deploy”.
#Инсайт
Университет Карнеги-Меллона представил фреймворк Polar, который повышает наблюдаемость данных внутри платформы разработки ПО. Цель: увеличить скорость и качество управленческих решений внутри существующего DevSecOps-пайплайна.
В основе архитектуры фреймворка находится графовая БД, которая отвечает за управление данными и их представление в виде графа. В основе этого графа находится отношение между несколькими ролями, которые осуществляют работу с данными:
* Observers - компоненты, которые отвечают за мониторинг ресурсов и сред.
* Information Processors - связующие звенья, которые преобразуют необработанные данные от Observers в структурированные данные графовой БД.
* Policy Agents - ведут контроль всех компонентов системы и с помощью конфигураций обеспечивают их работу в рамках заданных параметров.
В итоге граф является моделью данных, которая показывает актуальные взаимосвязи в операционной деятельности бизнеса.
Предлагаю кейс использования: анализ существующих процессов DevSecOps для последующей оптимизации и снижения показателя “Time to Deploy”.
#Инсайт
👍2🔥2🤓1
Агенты LLM способны автономно эксплуатировать известные уязвимости
И делают это с вероятностью успеха 87%.
Исследователи собрали набор из 15 известных уязвимостей и скормили их описание из CVE агенту на базе разных генеративных моделей. В результате агент с GPT-4 успешно построил последовательность шагов для эксплуатации уязвимостей. А для некоторых веб-уязвимостей (XSS, SQL-inj) успешно сделал это без описания из CVE.
Это исследование подтверждает, что способности LLM подтолкнут развитие систем симуляции атак.
И делают это с вероятностью успеха 87%.
Исследователи собрали набор из 15 известных уязвимостей и скормили их описание из CVE агенту на базе разных генеративных моделей. В результате агент с GPT-4 успешно построил последовательность шагов для эксплуатации уязвимостей. А для некоторых веб-уязвимостей (XSS, SQL-inj) успешно сделал это без описания из CVE.
Это исследование подтверждает, что способности LLM подтолкнут развитие систем симуляции атак.
👍5🔥2🤣2