ML&|Sec Feed – Telegram
ML&|Sec Feed
914 subscribers
924 photos
57 videos
237 files
1.46K links
Feed for @borismlsec channel

author: @ivolake
Download Telegram
⚠️🤖🚨 В 2025 году будут актуальны 11 видов атак на ИИ в реальном времени, включая прямые и косвенные инъекции, скрытые атаки и мошенничество с подделкой личностей. Злоумышленники используют приемы, которые обходят традиционные средства защиты. Главная задача для ИТ-безопасности — автоматизировать обновления, отслеживать контекст диалогов и защищать данные на всех этапах взаимодействия с ИИ.

Подробнее

☝️ T2F News | ✍️ Канал про AI
Forwarded from EFEMERA: AI news (Вова Казаков)
ИИ помощники для изучения и анализа научных статей

В 2026 постараюсь больше уделять время и публиковать интересные исследования. А пока полезное — всем, кто тоже любит читать отчёты, попробуйте использовать ассистентов 👇🏼

✦ HuggingChat
На днях Hugging Face внедрили своего ассистента HuggingChat в раздел Papers. Теперь по научным публикациям можно получать выжимку, объяснения, искать нужные данные прямо на странице статьи ✍🏼

✦ ArXiv Research Agent
Research Agent даёт объяснения и краткие изложения к статьям, есть персональные рекомендации по интересам. Также находит публикации с arXiv, bioRxiv, medRxiv и Semantic Scholar, проводит обзор и предлагает инсайты 😎

#полезное@EF9MERA
EFEMERA
1
LoRA-as-an-Attack! Piercing LLM Safety Under The Share-and-Play Scenario
https://arxiv.org/html/2403.00108v1

LoRATK: LoRA Once, Backdoor Everywhere in the Share-and-Play Ecosystem
https://arxiv.org/html/2403.00108v2

Attack on LLMs: LoRA Once, Backdoor Everywhere in the Share-and-Play Ecosystem
https://openreview.net/forum?id=0owyEm6FAk

LoBAM: LoRA-Based Backdoor Attack on Model Merging
https://arxiv.org/html/2411.16746v4

Causal-Guided Detoxify Backdoor Attack of Open-Weight LoRA Models
https://arxiv.org/html/2512.19297v1

LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models
https://arxiv.org/html/2507.18302

TrojanStego: Your Language Model Can Secretly Be A Steganographic Privacy Leaking Agent
https://aclanthology.org/2025.emnlp-main.1386.pdf

This Is How Your LLM Gets Compromised
https://www.trendmicro.com/en_us/research/25/i/prevent-llm-compromise.html

How private are your chat adapters? Evaluating the privacy of LoRA fine-tuned large language models with membership inference attacks
https://www.spiedigitallibrary.org/conference-proceedings-of-spie/13476/1347608/How-private-are-your-chat-adapters-Evaluating-the-privacy-of/10.1117/12.3053265.short
Forwarded from Китай.AI
🚀 Новый подход к условной памяти: Engram от DeepSeek 🧠

💡 DeepSeek представил новую работу, посвященную решению проблемы эффективного хранения и извлечения знаний в больших языковых моделях (LLM).

Проще говоря, это попытка дать модели «встроенную энциклопедию», к которой она может обращаться мгновенно, освобождая вычислительные ресурсы для сложных рассуждений.

🔍 В чём проблема современных LLM?
Современные большие модели вроде GPT-4 или Gemini используют смесь экспертов (MoE) для экономии вычислений. Это называется «условные вычисления»: для каждого запроса активируется только часть параметров модели.

Но у Transformers до сих пор нет эффективного встроенного механизма для быстрого поиска готовых знаний. Модели вынуждены «изображать» поиск по памяти через медленные последовательные вычисления.

💡 Решение от DeepSeek: Engram
Новый модуль Engram — это и есть та самая «условная память». Его задача — хранить статические знания (факты, шаблоны) отдельно от динамической логики рассуждений.

Как это работает (упрощённо):
1. Для текущего слова или фразы (N-gram) модель вычисляет уникальный хэш (цифровой отпечаток).
2. По этому хэшу из специальной таблицы (памяти Engram) мгновенно (O(1)) извлекается заранее сохранённый вектор знаний.
3. Этот вектор корректируется с учётом контекста и добавляется к основным вычислениям модели.

📈 Экспериментальные результаты:
- Engram-27B и Engram-40B показали значительное улучшение на различных бенчмарках, включая MMLU (+3.4), CMMLU (+4.0), BBH (+5.0), ARC-Challenge (+3.7) и другие.
- В задачах с длинными контекстами, Engram также демонстрирует превосходство, например, точность Multi-Query NIAH увеличилась с 84.2 до 97.0.

🚀 Что это значит?
Работа явно указывает на архитектуру DeepSeek v4. Это будет гибридная модель, сочетающая:
1. Условные вычисления через MoE (для эффективности).
2. Условную память через Engram (для знаний и скорости их извлечения).

GitHub

#КитайскийИИ #КитайAI #УсловнаяПамять #Engram
1
Forwarded from DevSecOps Talks
A2A Security Scanner

Всем привет!

Безопасность Agent-to-Agent взаимодействий становится все более и более актуальной задачей.

Если что-то «пойдет не так», то могут случиться разные последствия: кража ценной информации, повышение привилегий, подмена артефактов, prompt-injection атаки и многое другое.

Для анализа A2A можно воспользоваться open-source решением от CiscoA2A Security Scanner.

Из основных функций можно выделить:
🍭 Множество специализированных анализаторов: YARA-правила, идентификация угроз с LLM, использование эвристики и не только
🍭 Покрытие множества A2A угроз
🍭 Наличие API и CLI для реализации интеграций и не только

Подробнее со сканером (в том числе с видами угроз, которые он может идентифицировать) можно ознакомиться в GitHub-репозитории и в статье от Cisco, где они его анонсировали.
Forwarded from AM Live
Один клик — и Copilot сливает данные: как работает атака Reprompt

Исследователи по информационной безопасности обнаружили новый метод атаки на Microsoft Copilot, получивший название Reprompt. Уязвимость позволяла злоумышленникам получить доступ к пользовательской сессии ИИ-помощника и незаметно выкачивать конфиденциальные данные — всего после одного клика по ссылке.

🔥 AM Live
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AM Live
Новая Методика ФСТЭК: как теперь проводить анализ уязвимостей и кого это касается

С 25 ноября 2025 года анализ защищенности ключевых информационных систем в России проводится по новой, утвержденной ФСТЭК России, Методике. Это обязательный порядок работ для госорганов, ОПК, КИИ и операторов персональных данных.

В статье эксперты «Национального аттестационного центра» (НАЦ) подробно разбирают, какие системы попадают под действие, из каких этапов состоит процесс и с помощью каких средств проводится процесс сканирования. Рассмотрены нюансы практического применения Методики.
Forwarded from CyberSecurityTechnologies
MLLMs_2026_Safety_Report.pdf
26.4 MB
#Research
#MLSecOps
"A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Doubao 1.8, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5", 2026.
]-> Repo

// This report presents a comprehensive safety evaluation of the latest foundation models released in 2026, including GPT-5.2, Gemini 3 Pro, and others. We analyze safety alignment across text, vision-language, and text-to-image modalities, highlighting vulnerabilities in current safeguards against adversarial attacks and regulation compliance
AI-агенты и мультиагентные системы, MCP и A2A. Основные угрозы и подходы к обеспечению безопасности

Борис Захир, независимый эксперт и автор канала "Борис_ь с ml", описал основы функционирования AI-агентов и мультиагентных систем (МАС), а также рассмотрел угрозы безопасности и меры противодействия им.

➡️ Читать статью на Хабре

Вы узнаете:
*️⃣определения AI-агентов и МАС
*️⃣устройство агентов с точки зрения MCP и A2A
*️⃣основные угрозы для AI-агентов на основе MCP и A2A
*️⃣что делать в первую очередь для обеспечения безопасности таких AI-агентов

#опытэкспертов
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Из серии "Не забыть"...
🧠 Европейский стандарт по безопасности ИИ "Securing Artificial Intelligence (SAI); Baseline Cyber Security Requirements for AI Models and Systems" от ETSI описывает 13 принципов безопасности ИИ на 5 стадиях жизненного цикла - от проектирования и разработки систем с ИИ до внедрения, поддержки и вывода из эксплуатации. Оооочень высокоуровневый стандарт, описывающий, ЧТО надо делать.
🧠 Более детальное, на 300+ страниц, руководство по защите ИИ от OWASP (проект AI Exchange). Выделенная в отдельный домен, это точка входа в тему, начиная от моделей угроз для разных типов ИИ-систем и заканчивая темой культурологических и религиозных ограничений и нюансов применения ИИ. В отличие от стандарта ETSI также содержит два выделенных блока рекомендаций "КАК делать" применительно к тестированию защищенности ИИ-решений и вопросам приватности при использовании ИИ.

#ии #bestpractice
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2