Forwarded from DevSecOps Talks
Web LLM attacks
Всем привет!
На сайте Web Security Academy от PortSwigger можно найти небольшой урок, посвященный атакам на LLM.
Он состоит из разделов:
🍭 Overview
🍭 Exploiting LLM APIs, functions and plugins
🍭 Indirect prompt injection
🍭 Leaking sensitive training data
🍭 Defending against LLM attacks
Как и любой материал на в Web Security Academy урок состоит из нескольких частей: теоретическая и практическая.
На текущий момент доступно 4 лабораторные работы: Exploiting LLM APIs with excessive agency, Exploiting vulnerabilities in LLM APIs, Indirect prompt injection и Exploiting insecure output handling in LLMs.
Всем привет!
На сайте Web Security Academy от PortSwigger можно найти небольшой урок, посвященный атакам на LLM.
Он состоит из разделов:
🍭 Overview
🍭 Exploiting LLM APIs, functions and plugins
🍭 Indirect prompt injection
🍭 Leaking sensitive training data
🍭 Defending against LLM attacks
Как и любой материал на в Web Security Academy урок состоит из нескольких частей: теоретическая и практическая.
На текущий момент доступно 4 лабораторные работы: Exploiting LLM APIs with excessive agency, Exploiting vulnerabilities in LLM APIs, Indirect prompt injection и Exploiting insecure output handling in LLMs.
portswigger.net
Web LLM attacks | Web Security Academy
Organizations are rushing to integrate Large Language Models (LLMs) in order to improve their online customer experience. This exposes them to web LLM ...
👍2
Forwarded from Ассоциация ФинТех
74% финтех-компаний концентрируют защитные меры на этапе подготовки данных и тестирования моделей, а 60% – уже внедряют комплексные меры по защите своих ИИ-систем.
В число наиболее распространенных практик входят регулярный мониторинг и аудит работы моделей, активное тестирование на уязвимости, обязательное обучение сотрудников основам AI Security, разработка внутренних стандартов и политик безопасности. Такие данные приводятся в совместном исследовании Ассоциации ФинТех и ГК Swordfish Security.
81% компаний российского финтеха определяют машинное обучение (ML) и большие языковые модели (LLM) как ядро своих ИИ-стратегий. При этом, более 25% респондентов уже несколько раз столкнулись с инцидентами безопасности, связанными с атаками на ИИ-системы. 75% финтех-организаций выделяют утечку конфиденциальных данных в качестве ключевой угрозы безопасности при использовании ИИ, 62% — применяют гибридный подход к оценке результатов и выводов в работе с ИИ-решениями и только 12% респондентов внедряют системную оценку этических рисков ИИ.
Исследование показывает, что участники финтех-рынка планируют уделять больше внедрению практик AI Security. Так, 88% респондентов сообщили, что в 2026 году намерены работать над повышение осведомленности и обучением сотрудников в этой области, 75% займутся разработкой внутренней политики по AI Security, 63% займутся интеграцией инструментов защиты, а 62% — проведением аудита или тестирования ИИ-систем.
🗣 Руководитель управления стратегии, исследований и аналитики Ассоциации ФинТех Марианна Данилина: Современная стратегия AI Security строится на постоянном развитии компетенций сотрудников и формировании культуры осведомленности на всех уровнях организации. И хотя ИИ автоматизирует многие процессы, в том числе в кибербезопасности, все-таки роль специалистов ИБ станет в будущем еще значительнее, трансформируясь с фокусом на ИИ. Взаимное проникновение между ИИ и безопасностью изменит роль руководителя ИБ «у штурвала»: именно он задаст курс, примет ключевые решения для безопасной и корректной работы решений на базе ИИ.
🗣 Директор по стратегии и генеральный партнер Swordfish Security Юрий Сергеев: Разработка безопасного ПО трансформируется в связи с развитием искусственного интеллекта. AI открывает как новые возможности для ускорения всех процессов, так и форсировано формирует новые угрозы для людей и организаций. Высокая ценность ИИ очевидна, но вместе с тем растет запрос на его защиту и кибербезопасность. AI Security – новый виток развития проектирования ИИ, при котором меры безопасности интегрированы в его архитектуру и программный код.
В число наиболее распространенных практик входят регулярный мониторинг и аудит работы моделей, активное тестирование на уязвимости, обязательное обучение сотрудников основам AI Security, разработка внутренних стандартов и политик безопасности. Такие данные приводятся в совместном исследовании Ассоциации ФинТех и ГК Swordfish Security.
81% компаний российского финтеха определяют машинное обучение (ML) и большие языковые модели (LLM) как ядро своих ИИ-стратегий. При этом, более 25% респондентов уже несколько раз столкнулись с инцидентами безопасности, связанными с атаками на ИИ-системы. 75% финтех-организаций выделяют утечку конфиденциальных данных в качестве ключевой угрозы безопасности при использовании ИИ, 62% — применяют гибридный подход к оценке результатов и выводов в работе с ИИ-решениями и только 12% респондентов внедряют системную оценку этических рисков ИИ.
Исследование показывает, что участники финтех-рынка планируют уделять больше внедрению практик AI Security. Так, 88% респондентов сообщили, что в 2026 году намерены работать над повышение осведомленности и обучением сотрудников в этой области, 75% займутся разработкой внутренней политики по AI Security, 63% займутся интеграцией инструментов защиты, а 62% — проведением аудита или тестирования ИИ-систем.
🗣 Руководитель управления стратегии, исследований и аналитики Ассоциации ФинТех Марианна Данилина: Современная стратегия AI Security строится на постоянном развитии компетенций сотрудников и формировании культуры осведомленности на всех уровнях организации. И хотя ИИ автоматизирует многие процессы, в том числе в кибербезопасности, все-таки роль специалистов ИБ станет в будущем еще значительнее, трансформируясь с фокусом на ИИ. Взаимное проникновение между ИИ и безопасностью изменит роль руководителя ИБ «у штурвала»: именно он задаст курс, примет ключевые решения для безопасной и корректной работы решений на базе ИИ.
🗣 Директор по стратегии и генеральный партнер Swordfish Security Юрий Сергеев: Разработка безопасного ПО трансформируется в связи с развитием искусственного интеллекта. AI открывает как новые возможности для ускорения всех процессов, так и форсировано формирует новые угрозы для людей и организаций. Высокая ценность ИИ очевидна, но вместе с тем растет запрос на его защиту и кибербезопасность. AI Security – новый виток развития проектирования ИИ, при котором меры безопасности интегрированы в его архитектуру и программный код.
😁1
Forwarded from Ассоциация ФинТех
АФТ_AI Security в финтехе.pdf
2.2 MB
Forwarded from CyberSecurityTechnologies
Cisco_AI_Security_Framework_Report.pdf
267.5 KB
#MLSecOps
#Threat_Modelling
"Cisco Integrated AI Security and Safety Framework Report", Dec. 2025.
]-> Cisco AI security and safety taxonomy
// This paper presents Cisco’s Integrated AI Security and Safety Framework, a unified, lifecycleaware taxonomy and operationalization framework that can be used to classify, integrate, and operationalize the full range of AI risks. It integrates AI security and AI safety across modalities, agents, pipelines, and the broader ecosystem
#Threat_Modelling
"Cisco Integrated AI Security and Safety Framework Report", Dec. 2025.
]-> Cisco AI security and safety taxonomy
// This paper presents Cisco’s Integrated AI Security and Safety Framework, a unified, lifecycleaware taxonomy and operationalization framework that can be used to classify, integrate, and operationalize the full range of AI risks. It integrates AI security and AI safety across modalities, agents, pipelines, and the broader ecosystem
Forwarded from AISecure
Будущее за SLM (small language model), конечно не с чистом виде, но в комбинации с LLM через интеллектуальный роутинг
Так например для задач ИБ это уже давно (в новой реальность ИИ, где день за месяц) стало быть очевидно
Ловите наглядный найд по SLM 🙂
Так например для задач ИБ это уже давно (в новой реальность ИИ, где день за месяц) стало быть очевидно
Ловите наглядный найд по SLM 🙂
❤1
Forwarded from CyberSecurityTechnologies
Safe2Harm_Semantic_Isomorphism_Attacks.pdf
2.4 MB
#MLSecOps
"Safe2Harm: Semantic Isomorphism Attacks for Jailbreaking Large Language Models", Dec. 2025.
// Most existing jailbreak methods revolve around Prompt Engineering or adversarial optimization, yet we identify a previously overlooked phenomenon: many harmful scenarios are highly consistent with legitimate ones in terms of underlying principles. Based on this finding, this paper proposes the Safe2Harm Semantic Isomorphism Attack method
"Safe2Harm: Semantic Isomorphism Attacks for Jailbreaking Large Language Models", Dec. 2025.
// Most existing jailbreak methods revolve around Prompt Engineering or adversarial optimization, yet we identify a previously overlooked phenomenon: many harmful scenarios are highly consistent with legitimate ones in terms of underlying principles. Based on this finding, this paper proposes the Safe2Harm Semantic Isomorphism Attack method
🐳2
Forwarded from MarketTwits
🇷🇺#ии #россия #регулирование
Минцифры до 13 марта представит предложения по регулированию технологии ИИ в России
Минцифры до 13 марта представит предложения по регулированию технологии ИИ в России
😁1
Forwarded from GitHub Community
NL2SQL — этот проект представляет собой интерфейс на Python для преобразования вопросов на естественном языке в SQL-запросы с использованием языковых моделей OpenAI. Он включает в себя автоматическое определение схемы, проверку запросов и обработку ошибок.
Характеристики:
— Преобразование естественного языка в SQL
— Автоматическое определение схемы базы данных
— Обработка имён таблиц с учётом регистра
— Проверка запроса перед выполнением
🐱 GitHub
Характеристики:
— Преобразование естественного языка в SQL
— Автоматическое определение схемы базы данных
— Обработка имён таблиц с учётом регистра
— Проверка запроса перед выполнением
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Love. Death. Transformers.
Towards a Science of Scaling Agent Systems
Если вы хоть раз писали агента то сталкивались с классическими архитектурными приколами - а как вообще правильно вызывать субагентов? что лучше - все разом или с оркестратором? Нужен ли majority voting? Обычно решается классическим "ну э, мы делаем так потому что X так", потом пишет на свой фреймворк/пишут на ленгчейне, кончается одиноково - хорошей мужской оргией и вопросом "кто это понаписал блять, а он уволился? пиздец."
а и decentrilized архитектура агента лучше соседей
paper
Если вы хоть раз писали агента то сталкивались с классическими архитектурными приколами - а как вообще правильно вызывать субагентов? что лучше - все разом или с оркестратором? Нужен ли majority voting? Обычно решается классическим "ну э, мы делаем так потому что X так", потом пишет на свой фреймворк/пишут на ленгчейне, кончается одиноково - хорошей мужской оргией и вопросом "кто это понаписал блять, а он уволился? пиздец."
а и decentrilized архитектура агента лучше соседей
paper
Forwarded from ИИиКБ
Искусственный интеллект как незаменимый помощник в обеспечении корпоративной безопасности
🤖 В статье рассматривается, как искусственный интеллект (ИИ) играет ключевую роль в обеспечении корпоративной безопасности. Узнайте, как передовые технологии помогают защищать данные и предотвращать угрозы!
ИИ становится незаменимым инструментом для анализа данных и выявления потенциальных рисков, связанных с безопасностью. Читайте статью на сайте [Sec-Company](https://sec-company.ru/articles/security/iskusstvennyy_intellekt_kak_nezamenimyy_pomoshchnik_v_obespechenii_korporativnoy_bezopasnosti/) и узнайте больше о том, как ИИ помогает бизнесу минимизировать угрозы и защищать активы.
🤖 В статье рассматривается, как искусственный интеллект (ИИ) играет ключевую роль в обеспечении корпоративной безопасности. Узнайте, как передовые технологии помогают защищать данные и предотвращать угрозы!
ИИ становится незаменимым инструментом для анализа данных и выявления потенциальных рисков, связанных с безопасностью. Читайте статью на сайте [Sec-Company](https://sec-company.ru/articles/security/iskusstvennyy_intellekt_kak_nezamenimyy_pomoshchnik_v_obespechenii_korporativnoy_bezopasnosti/) и узнайте больше о том, как ИИ помогает бизнесу минимизировать угрозы и защищать активы.
ИД Советник
Новости
Журнал "Директор по безопасности"
Forwarded from CodeCamp
Занимаемся безопасностью: автономный ИИ-хакер, который найдет дыры в вашем коде раньше злоумышленников 😏
Результаты впечатляют: 96.15% успеха на бенчмарке XBOW (без подсказок) и более 20 критических уязвимостей, найденных в OWASP Juice Shop.
Что умеет:
— Работает по принципу whitebox: анализирует исходный код, чтобы найти векторы атаки;
— Не просто алертит, а эксплуатирует уязвимости: проводит инъекции, обходит авторизацию и ломает логику;
— Генерирует отчеты с готовыми PoC (Proof-of-Concept), чтобы вы могли повторить взлом и закрыть дыру;
— Умеет в 2FA/TOTP и даже вход через Google;
— Использует под капотом Nmap, Subfinder и другие тулзы для разведки.
Красная кнопка для вашей безопасности👍
Результаты впечатляют: 96.15% успеха на бенчмарке XBOW (без подсказок) и более 20 критических уязвимостей, найденных в OWASP Juice Shop.
Что умеет:
— Работает по принципу whitebox: анализирует исходный код, чтобы найти векторы атаки;
— Не просто алертит, а эксплуатирует уязвимости: проводит инъекции, обходит авторизацию и ломает логику;
— Генерирует отчеты с готовыми PoC (Proof-of-Concept), чтобы вы могли повторить взлом и закрыть дыру;
— Умеет в 2FA/TOTP и даже вход через Google;
— Использует под капотом Nmap, Subfinder и другие тулзы для разведки.
Красная кнопка для вашей безопасности
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Forwarded from CyberSecurityTechnologies
NIST_IR_8596.pdf
2.2 MB
#Infosec_Standards
NIST IR 8596 (iprd):
"Cybersecurity Framework Profile for Artificial Intelligence (Cyber AI Profile)", Dec.2025.
// The Cybersecurity Framework Profile for Artificial Intelligence (AI) Profile ("Cyber AI Profile" or "The Profile") will provide guidelines for managing cybersecurity risk related to AI systems as well as identifying opportunities for using AI to enhance cybersecurity capabilities
NIST IR 8596 (iprd):
"Cybersecurity Framework Profile for Artificial Intelligence (Cyber AI Profile)", Dec.2025.
// The Cybersecurity Framework Profile for Artificial Intelligence (AI) Profile ("Cyber AI Profile" or "The Profile") will provide guidelines for managing cybersecurity risk related to AI systems as well as identifying opportunities for using AI to enhance cybersecurity capabilities
1. crucible.dreadnode.io
2. https://huggingface.co/spaces/invariantlabs/ctf-summer-24/tree/main
3. https://promptairlines.com/
4. burp labs: https://portswigger.net/web-security/llm-attacks
5. в обычных ctf тоже появляются куски с ml/llm, например, в http://poll-vault.chal.hackthe.vote/
6. https://myllmdoc.com/
7. https://gandalf.lakera.ai/
8. AI CTF с PHDFest2 2024: https://aictf.phdays.fun/
9. https://aiinsec.ru/
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4❤1