Forwarded from Makrushin (Denis)
RSA Conference 2024: ключевые анонсы
На этой неделе прошло крупное мероприятие в ИБ. Изучаем интересные анонсы:
* ArmorCode, компания-разработчик решения класса Application Security Posture Management (ASPM), интегрировала в свою платформу ИИ для корреляции уязвимостей и ускорения обработки дефектов.
* Checkmarx выпустила функции AI Security для защиты кода, который был сгенерирован с помощью LLM. И также добавила возможности авто-исправления уязвимостей.
* Cloud Security Alliance выпустил руководство для безопасного внедрения ИИ. Опубликованы три ключевых документа, с которыми обязательно должны ознакомиться директор по информационной безопасности и руководители направлений AI: “AI Organizational Responsibilities”, “AI Resilience” и “Principles to Practice”.
* Компания Protect AI запустила базу данных уязвимостей в ИИ/ML. По мнению компании, существующие базы уязвимостей CVE и NVD не закрывают потребности в информации об уязвимых ML-моделях и проблемах ИИ.
* Стартап Torq, упомянутый здесь в контексте гиперавтоматизации, выпустил решение HyperSOC, которое добавляет аналитику силу в виде LLM для автоматизации оценки критичности угрозы, определения оптимального пути ее обработки и экскалации. «Исключить выгарание специалистов SOC» - необычная ценность, которую закладывают разработчики данной технологии.
Теперь давай найдем что-то общее во всех этих анонсах. А я пока посмотрю на мост Golden Gate где-то в Сан-Франциско неподалеку от RSA Conf 2017.
На этой неделе прошло крупное мероприятие в ИБ. Изучаем интересные анонсы:
* ArmorCode, компания-разработчик решения класса Application Security Posture Management (ASPM), интегрировала в свою платформу ИИ для корреляции уязвимостей и ускорения обработки дефектов.
* Checkmarx выпустила функции AI Security для защиты кода, который был сгенерирован с помощью LLM. И также добавила возможности авто-исправления уязвимостей.
* Cloud Security Alliance выпустил руководство для безопасного внедрения ИИ. Опубликованы три ключевых документа, с которыми обязательно должны ознакомиться директор по информационной безопасности и руководители направлений AI: “AI Organizational Responsibilities”, “AI Resilience” и “Principles to Practice”.
* Компания Protect AI запустила базу данных уязвимостей в ИИ/ML. По мнению компании, существующие базы уязвимостей CVE и NVD не закрывают потребности в информации об уязвимых ML-моделях и проблемах ИИ.
* Стартап Torq, упомянутый здесь в контексте гиперавтоматизации, выпустил решение HyperSOC, которое добавляет аналитику силу в виде LLM для автоматизации оценки критичности угрозы, определения оптимального пути ее обработки и экскалации. «Исключить выгарание специалистов SOC» - необычная ценность, которую закладывают разработчики данной технологии.
Теперь давай найдем что-то общее во всех этих анонсах. А я пока посмотрю на мост Golden Gate где-то в Сан-Франциско неподалеку от RSA Conf 2017.
Talks from the RSA 2024 security conference, which took place last week, are available on YouTube
https://www.youtube.com/@RSAConference/playlists
https://www.youtube.com/@RSAConference/playlists
https://www.schneier.com/blog/archives/2024/05/llms-data-control-path-insecurity.html
"But generative AI comes with a lot of security baggage—in the form of prompt-injection attacks and other security risks. We need to take a more nuanced view of AI systems, their uses, their own particular risks, and their costs vs. benefits. Maybe it’s better to build that video traffic-detection system with a narrower computer-vision AI model that can read license places, instead of a general multimodal LLM. And technology isn’t static. It’s exceedingly unlikely that the systems we’re using today are the pinnacle of any of these technologies. Someday, some AI researcher will figure out how to separate the data and control paths. Until then, though, we’re going to have to think carefully about using LLMs in potentially adversarial situations…like, say, on the Internet."
"But generative AI comes with a lot of security baggage—in the form of prompt-injection attacks and other security risks. We need to take a more nuanced view of AI systems, their uses, their own particular risks, and their costs vs. benefits. Maybe it’s better to build that video traffic-detection system with a narrower computer-vision AI model that can read license places, instead of a general multimodal LLM. And technology isn’t static. It’s exceedingly unlikely that the systems we’re using today are the pinnacle of any of these technologies. Someday, some AI researcher will figure out how to separate the data and control paths. Until then, though, we’re going to have to think carefully about using LLMs in potentially adversarial situations…like, say, on the Internet."
https://thehackernews.com/2024/05/the-2024-browser-security-report.html
"The 2024 Browser Security Report Uncovers How Every Web Session Could be a Security Minefield"
"The 2024 Browser Security Report Uncovers How Every Web Session Could be a Security Minefield"
Записи с конференции Британского ФСТЭК NCSC CyberUK
https://youtube.com/@cyberukonline?feature=shared
https://youtube.com/@cyberukonline?feature=shared
👍2
Forwarded from Пост Лукацкого
Ну и снова про M&A-сделки. Погрузился тут в задачу Due Diligence 🔍 поглощаемых компаний с точки зрения кибербезопасности. Я про эту тему уже писал в 2008-м году, а тут пришлось вновь сдуть пыль с этой темы. И вот, как по заказу, на RSAC наткнулся на мини-план проведения due diligence по вопросам кибербезопасности в сделках слияния и поглощения (M&A) 🤝 Если собрать все на одном слайде, то выглядит хоть и высокоуровнево, но вполне себе 👍
ЗЫ. Тем временем рынок тоже ошарашен сделкой IBM и PaloAlto🙄
ЗЫ. Тем временем рынок тоже ошарашен сделкой IBM и PaloAlto
Please open Telegram to view this post
VIEW IN TELEGRAM
https://www.sec.gov/news/press-release/2024-58
"SEC Adopts Rule Amendments to Regulation S-P to Enhance Protection of Customer Information"
"SEC Adopts Rule Amendments to Regulation S-P to Enhance Protection of Customer Information"
Forwarded from Борис_ь с ml (Boris Protoss)
AI Security Framework от Snowflake
#иб_для_ml
Ссылка на статью по системе
О чем документ
Об угрозах, которые существуют для систем с ИИ. Каждая угроза из перечисляемых в отчете имеет свою категорию или ассоциированный актив, область риска (по сути информация или ее свойство, подвергаемые риску) и причины возникновения. Помимо этого, к каждой угрозе они приводят возможный ущерб и примеры, а также дают рекомендации по снижению таких рисков.
Приведены такие угрозы, как, Утечка тренировочных данных (Training Data Leakage), Конфиденциальность данных (Privacy, имеется в виду угроза inference-атаки доступа к обучающим данным через модель), Неточность модели (Bias, то есть способность ошибаться в критичных ситуациях), и еще 16 других.
Даже такое есть
Sponge samples
Угроза возникновения атаки, заключающейся в попадании в модель таких входных данных, что значительно увеличат ее потребление энергии и время на вычисление ответа.
Последствия - значительное падение качества всех ответов мл-сервиса, производительности вплоть до отказа в обслуживании, а также возможность комбинировать эту технику с другими атаками для усиления их эффекта (например, с evasion-атакой)
Пример атаки - чатбот (прим. авт.: например ассистент в банковском приложении) на основе языковой модели, в которого злоумышленник может закинуть что-то очень большое или сложное.
Меры защиты - валидация инпута, троттлинг аппаратуры мл-сервиса, обучение модели на "плохих" примерах.
Плюсы и минусы
➕ Формализация угроз, полнота их описаний, наличие примеров и мер предотвращения
➕ Легкий "порог вхождения" за счет простой организации документа
➕ Наличие ссылок на научные статьи и некоторые кейсы атак на ПО, LLM-модели и данные
➖ Все еще отсутствие ссылок на реальные кейсы атак на машинное обучение
➖ Ориентировка на конкретные угрозы подвержена устареванию
➖ Нет представления способа использования конкретных инструментов хотя бы в рамках своего облака для реализации предлагаемых к каждому риску защитных мер (как в DASF, например)
Мое личное мнение - полезный фреймворк.
#иб_для_ml
Ссылка на статью по системе
О чем документ
Об угрозах, которые существуют для систем с ИИ. Каждая угроза из перечисляемых в отчете имеет свою категорию или ассоциированный актив, область риска (по сути информация или ее свойство, подвергаемые риску) и причины возникновения. Помимо этого, к каждой угрозе они приводят возможный ущерб и примеры, а также дают рекомендации по снижению таких рисков.
Приведены такие угрозы, как, Утечка тренировочных данных (Training Data Leakage), Конфиденциальность данных (Privacy, имеется в виду угроза inference-атаки доступа к обучающим данным через модель), Неточность модели (Bias, то есть способность ошибаться в критичных ситуациях), и еще 16 других.
Даже такое есть
Угроза возникновения атаки, заключающейся в попадании в модель таких входных данных, что значительно увеличат ее потребление энергии и время на вычисление ответа.
Последствия - значительное падение качества всех ответов мл-сервиса, производительности вплоть до отказа в обслуживании, а также возможность комбинировать эту технику с другими атаками для усиления их эффекта (например, с evasion-атакой)
Пример атаки - чатбот (прим. авт.: например ассистент в банковском приложении) на основе языковой модели, в которого злоумышленник может закинуть что-то очень большое или сложное.
Меры защиты - валидация инпута, троттлинг аппаратуры мл-сервиса, обучение модели на "плохих" примерах.
Плюсы и минусы
Мое личное мнение - полезный фреймворк.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
https://thehackernews.com/2024/05/new-xm-cyber-research-80-of-exposures.html
"The findings shine a critical light on the continuing over-emphasis on remediating CVEs in cybersecurity programs. In fact, XM Cyber found that CVE-based vulnerabilities account for less than 1% of the average organizations' On-prem exposure landscape. Even when factoring in high-impact exposures that present a risk of compromise to business-critical assets, these CVEs still represent only a small percentage (11%) of the exposure risk profile."
"The findings shine a critical light on the continuing over-emphasis on remediating CVEs in cybersecurity programs. In fact, XM Cyber found that CVE-based vulnerabilities account for less than 1% of the average organizations' On-prem exposure landscape. Even when factoring in high-impact exposures that present a risk of compromise to business-critical assets, these CVEs still represent only a small percentage (11%) of the exposure risk profile."