DevSecOps Assessment Framework для ML от "Инфосистемы Джет"

🔍 Что это и зачем это нужно?

Недавно команда "Инфосистемы Джет" выпустила DevSecOps Assessment Framework для ML. Это подробная модель зрелости процессов безопасной разработки систем искусственного интеллекта.

В ней структурированный чек-лист/дорожная карта, которая помогает понять, на каком уровне находится ваша организация в части MLSecOps: от базового контроля зависимостей до продвинутой защиты от специфических угроз ИИ.

🛡 Основные положения фреймворка

• Контроль зависимостей, артефактов и SBOM/ML-BOM
• Защита сред разработки, секретов, CI/CD и SCM
• Анализ и очистка обучающих/валидационных данных (отравление, PII, jailbreak в RAG)
• Динамическое тестирование LLM на jailbreak, prompt injection и другие атаки
• Мониторинг, аудит и реагирование в продакшене
• Обучение команд требованиями ИБ

В документе в качестве примеров полезных инструментов для поиска уязвимостей в LLM упоминаются HiveTrace Red и Llamator — приятный комплимент инструментам сообщества 🤝

Если тема AI Security вам близка, рекомендуем изучить и использовать как чек-лист или дорожную карту для улучшений.

Ссылка на релиз:
https://github.com/Jet-Security-Team/DevSecOps-Assessment-Framework/releases/tag/2025.12.26

#MLSecOps #AISecurity #DevSecOps #LLMsecurity

Разбор Никиты Беляевского, разработчика HiveTrace Red (https://hivetrace.ru/red)

Взгляд из 1983 года на возможные каналы утечки информации из автоматизированных систем. От разгадывания паролей до использования программ-лазеек.

(Из учебного пособия Московского энергетического института «Защита информации в автоматизированных системах обработки данных и управления» под авторством Владимира Герасименко и Владимира Мясникова.)

⚠️🤖🚨 В 2025 году будут актуальны 11 видов атак на ИИ в реальном времени, включая прямые и косвенные инъекции, скрытые атаки и мошенничество с подделкой личностей. Злоумышленники используют приемы, которые обходят традиционные средства защиты. Главная задача для ИТ-безопасности — автоматизировать обновления, отслеживать контекст диалогов и защищать данные на всех этапах взаимодействия с ИИ.

Подробнее

☝️ T2F News | ✍️ Канал про AI

LoRA-as-an-Attack! Piercing LLM Safety Under The Share-and-Play Scenario
https://arxiv.org/html/2403.00108v1

LoRATK: LoRA Once, Backdoor Everywhere in the Share-and-Play Ecosystem
https://arxiv.org/html/2403.00108v2

Attack on LLMs: LoRA Once, Backdoor Everywhere in the Share-and-Play Ecosystem
https://openreview.net/forum?id=0owyEm6FAk

LoBAM: LoRA-Based Backdoor Attack on Model Merging
https://arxiv.org/html/2411.16746v4

Causal-Guided Detoxify Backdoor Attack of Open-Weight LoRA Models
https://arxiv.org/html/2512.19297v1

LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models
https://arxiv.org/html/2507.18302

TrojanStego: Your Language Model Can Secretly Be A Steganographic Privacy Leaking Agent
https://aclanthology.org/2025.emnlp-main.1386.pdf

This Is How Your LLM Gets Compromised
https://www.trendmicro.com/en_us/research/25/i/prevent-llm-compromise.html

How private are your chat adapters? Evaluating the privacy of LoRA fine-tuned large language models with membership inference attacks
https://www.spiedigitallibrary.org/conference-proceedings-of-spie/13476/1347608/How-private-are-your-chat-adapters-Evaluating-the-privacy-of/10.1117/12.3053265.short

🚀 Новый подход к условной памяти: Engram от DeepSeek 🧠

💡 DeepSeek представил новую работу, посвященную решению проблемы эффективного хранения и извлечения знаний в больших языковых моделях (LLM).

Проще говоря, это попытка дать модели «встроенную энциклопедию», к которой она может обращаться мгновенно, освобождая вычислительные ресурсы для сложных рассуждений.

🔍 В чём проблема современных LLM?
Современные большие модели вроде GPT-4 или Gemini используют смесь экспертов (MoE) для экономии вычислений. Это называется «условные вычисления»: для каждого запроса активируется только часть параметров модели.

Но у Transformers до сих пор нет эффективного встроенного механизма для быстрого поиска готовых знаний. Модели вынуждены «изображать» поиск по памяти через медленные последовательные вычисления.

💡 Решение от DeepSeek: Engram
Новый модуль Engram — это и есть та самая «условная память». Его задача — хранить статические знания (факты, шаблоны) отдельно от динамической логики рассуждений.

Как это работает (упрощённо):
1. Для текущего слова или фразы (N-gram) модель вычисляет уникальный хэш (цифровой отпечаток).
2. По этому хэшу из специальной таблицы (памяти Engram) мгновенно (O(1)) извлекается заранее сохранённый вектор знаний.
3. Этот вектор корректируется с учётом контекста и добавляется к основным вычислениям модели.

📈 Экспериментальные результаты:
- Engram-27B и Engram-40B показали значительное улучшение на различных бенчмарках, включая MMLU (+3.4), CMMLU (+4.0), BBH (+5.0), ARC-Challenge (+3.7) и другие.
- В задачах с длинными контекстами, Engram также демонстрирует превосходство, например, точность Multi-Query NIAH увеличилась с 84.2 до 97.0.

🚀 Что это значит?
Работа явно указывает на архитектуру DeepSeek v4. Это будет гибридная модель, сочетающая:
1. Условные вычисления через MoE (для эффективности).
2. Условную память через Engram (для знаний и скорости их извлечения).

GitHub

#КитайскийИИ #КитайAI #УсловнаяПамять #Engram

#Research
#MLSecOps
"A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Doubao 1.8, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5", 2026.
]-> Repo

// This report presents a comprehensive safety evaluation of the latest foundation models released in 2026, including GPT-5.2, Gemini 3 Pro, and others. We analyze safety alignment across text, vision-language, and text-to-image modalities, highlighting vulnerabilities in current safeguards against adversarial attacks and regulation compliance