ML&|Sec Feed – Telegram
ML&|Sec Feed
914 subscribers
924 photos
57 videos
237 files
1.46K links
Feed for @borismlsec channel

author: @ivolake
Download Telegram
Forwarded from DevSecOps Talks
Building Secure AI Applications.pdf
2.7 MB
Building Secure AI Applications

Всем привет!

В приложении можно скачать небольшой методический материал (~ 40 страниц), посвященный тому, на что обращать внимание при обеспечении ИБ при разработке приложений, использующих AI.

Материал основан на OWASP Top 10 для LLM:
🍭 LLM01 Prompt Injection
🍭 LLM02 Sensitive Information Disclosure
🍭 LLM03 Supply Chain
🍭 LLM04 Data and Model Poisoning
🍭 LLM05 Improper Output Handling и не только

Для каждого раздела описаны общие рекомендации по повышению уровня защищенности и перечень инструментов, которые можно использовать для автоматизации.

Дополнительно в материале представлена концептуальная архитектура с соотношением рассматриваемых угроз.
Forwarded from RoboFuture
У Anthropic вышло очень интересное видео на тему универсальных агентов (general-purpose agents), которое у меня максимально отзывается. Основной посыл - не нужно делать специализированных агентов, нужно делать одного качественного универсального, а его уже кастомизировать под свои задачи

Само видео (16 минут) и короткая статья по нему от businessinsider

Инженеры из Anthropic предлагают вместо набора агентов использовать скилы для агента, который изначально создан для написания кода (Claude Code). Дальше они говорят, что skills будут использовать не только инженеры, но и нетехнические специалисты - врачи, менеджеры, трейдеры и тд, которые будут кастомизировать этого агента под себя

По их логике, один general-purpose агент + библиотека skills становится “универсальной основой” для множества задач — без зоопарка спецагентов

Иными словами, такой агент - универсальный интерфейс к миру

А вот с тем, что CLI-агент подходит нетехническим специалистам, я не согласен… Все-таки инструмент достаточно специфичный. Мне кажется, что будущее действительно за универсальными агентами, но не совсем такими.
Для работы будут использоваться агенты, которые выглядят как чатовый интерфейс (как ChatGPT)

Примерно год назад наша команда загорелась идеей универсального агента GigaAgent, которого недавно представили на AIJ. Уже довольно много коллег разработчиков мне отписалось о тестировании, на AIJ и Conversations заинтересовались компании. Здесь могу только порадоваться, напомнить ставить звездочки нашему опенсорс-агенту и присылать PR :) Круто, что большие игроки тоже увидели будущее в этом подходе!

P.S. У нас большое обновление в dev ветке - MCP, RAG, долговременная память
👍3
Forwarded from MLTimes
Gartner предупредила о киберрисках при использовании ИИ-браузеров

Gartner выпустила рекомендацию для организаций по блокировке агентских ИИ-браузеров. Речь о продуктах вроде Comet от Perplexity и ChatGPT Atlas от OpenAI. Причина - высокие киберриски для корпоративных данных.

Документ называется "Кибербезопасность должна пока блокировать браузеры с ИИ". Его подготовили вице-президент по исследованиям Деннис Сюй, старший директор-аналитик Евгений Миролюбов и вице-президент-аналитик Джон Уоттс. Главная претензия - настройки по умолчанию ставят удобство выше безопасности.

https://mltimes.ai/gartner-predupredila-o-kiberriskah-pri-ispolzovanii-ii-brauzerov/
Forwarded from Градиент обреченный (Sergei Averkiev)
Все про кодовые модели

Хороший обзор Code LLMs, от фундаментальных моделей до агентов.

🟢 Какие задачи есть в кодогенерации. Неплохая таксономия (code completion, FIM, оптимизация кода, ревью, генерация тестов и т.д.)

🟢 Как обучают, про претрейн для кода, SFT и RL. Какие есть метрики и бенчи под них.

Добавляем в закладки, когда-нибудь почитаем.

https://arxiv.org/pdf/2511.18538
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Forwarded from SecPost
🧠Рынок кибербезопасности для ИИ готовится к взрывному росту, прогнозируя объём в миллиарды рублей уже к 2026 году. Его подстёгивают первые громкие инциденты с утечками данных через AI-модели, которые создают спрос на защиту.

При этом интеграция ИИ в бизнес опережает внедрение систем контроля, открывая новое поле для кибератак и формируя стремительно растущий сегмент рынка, подробнее в материале SecPost😍
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AISecure
Начал проходить AI Red Teamer от Hack The Box (делают вместе с Google).

Это путь про red team-подходы к AI-системам: LLM, prompt injection, атаки на данные, evasion-атаки, безопасность AI-приложений и всё вокруг этого. Формат классический для HTB — теория + практика.

Что показалось интересным — курс довольно быстро расширяется.
Когда начинал, в пути было 5 модулей, сейчас уже 12, и часть из них добавили совсем недавно.

Текущий состав модулей:

- Fundamentals of AI
- Applications of AI in InfoSec
- Introduction to Red Teaming AI
- Prompt Injection Attacks
- LLM Output Attacks
- AI Data Attacks
- Attacking AI — Application and System
- AI Evasion — Foundations
- AI Evasion — First-Order Attacks
- AI Evasion — Sparsity Attacks
- AI Privacy (NEW)
- AI Defense (NEW)

Причём все уроки уровня — Medium / Hard, так что это не «ознакомительный курс», а достаточно плотный материал.
И с пометкой NEW - совсем свежие модули,

Сам ещё в процессе, поэтому финальные выводы делать рано. Но как структурированная обучалка по AI red teaming и безопасности ИИ в целом — выглядит интересно, плюс видно, что путь активно допиливают и расширяют.

Если тема AI security откликается — стоит глянуть.


#security #HTB #AI #RedTeam
👍2
Forwarded from Innovation & Research
AI-агенты летят в космос

Космические аппараты становятся слишком сложными, слишком автономными и слишком удаленными от Земли, чтобы полагаться на статические правила и наземные исследования. Мультиагентный подход к AI-разработке дает практичный, поэтапный, оперативно совместимый метод обнаружения, понимания и реагирования на аномалии — особенно на те, которые ранее не наблюдались.

Этот подход повышает надежность миссии, улучшает безопасность и готовит космические системы к реалиям работы в условиях отсутствия связи с Землей.

Такой подход, основанный на совместном мышлении, обеспечивает ряд оперативных преимуществ:

- Чувствительность к тонким закономерностям: Благодаря специализации агентов, они могут обнаруживать отклонения на ранних стадиях, которые упускаются из виду в рамках широких монолитных моделей.
- Снижение количества ложных срабатываний: Согласованность действий агентов повышает уверенность и снижает уровень шума в ходе выполнения миссии.
- Охват неизвестных неизвестных: Агенты могут отслеживать отклонения без необходимости использования предопределенных меток или исторических примеров.
- Бортовое, независимое от Земли распознавание: При развертывании на орбите агенты могут диагностировать проблемы даже при длительных перебоях в связи.

По мере расширения лунных, марсианских и космических миссий это становится структурным требованием. Миссии должны обеспечивать безопасную работу, не полагаясь исключительно на наземный контроль.

Небольшая заметка об этом от основателя стартапа, работающего над мультиагентной архитектурой для космических миссий.
https://spacenews.com/how-multi-agent-ai-can-strengthen-space-missions-against-the-unknown/
Forwarded from GitHub Community
Eigent — это первое в мире настольное приложение Multi-agent Workforce, которое позволяет создавать, управлять и внедрять собственную рабочую силу на основе ИИ, способную превратить самые сложные рабочие процессы в автоматизированные задачи.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub Community
QueryWeaver — инструмент Text2SQL с открытым исходным кодом, который преобразует естественный язык в SQL с помощью анализа схемы на основе графов.

Задавайте вопросы базе данных на простом английском языке, а QueryWeaver сделает всё остальное.

🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
🔓 Безопасность ИИ: руководство по курсам, которые действительно учат безопасности и взлому

Прямо сейчас ваш корпоративный LLM-бот может "галлюцинировать", сливая базу клиентов, или выполнять скрытые команды хакеров через prompt injection. Поэтому AI Safety — это новая необходимость. Но есть проблема: учиться этому практически негде. Мы собрали для вас курсы, чтобы разобраться во всех нюансах безопасности нейросетей.

🍉BlueDot: Technical AI Safety Course
Курс для ML-инженеров и ресерчеров, его фишка — хардкорный трек. Учат методам интерпретируемости нейросетей и тому, как не создать “Скайнет” случайно.
Что внутри: 30-часовой курс, охватывающий текущие техники безопасности ИИ, выявление пробелов в защите.
Продолжительность: интенсивный режим (6 дней по 5ч/день) или долгий режим (6 недель по 5ч/неделю).
Стоимость: бесплатно.

🍉 HackTheBox: AI Red Teamer Job Role Path
Геймифицированная практика. Вы будете "пробивать" реальные LLM, красть промпты и обходить защиту. Это offensive security — учимся защищать, нападая. Разработан совместно с Google по их Secure AI Framework.
Что внутри: 10 модулей, среди которых Fundamentals of AI & ML, Prompt Injection Attacks, LLM Output Attacks, AI Data Attacks, Model Evasion и другие.
Продолжительность: 700+ уроков.
Стоимость: платно.

🍉 MIT: Introduction to ML Safety
Открытый курс, который охватывает фундаментальные темы для предотвращения экзистенциальных рисков от ИИ. Это, по сути, интерактивный учебник от Дэна Хендрикса — одного из топ-исследователей мира.
Что внутри: безопасность систем ИИ, управление рисками от ML моделей, интерпретируемость, обучение значениям, контроль целей системы, кооперативный ИИ, уклонение от экспоненциального роста способностей.
Продолжительность: семестр.
Стоимость: бесплатно.

🍉 Coursera: AI Security Specialization
Курс "белых воротничков". Учит защищать генеративный ИИ в бизнесе, соблюдать комплаенс, выявлять уязвимости и строить защищенные пайплайны. Три вложенных курса по безопасности генеративного ИИ с практическими проектами анализа уязвимостей и реальными сценариями развертывания.
Что внутри: Generative AI и LLM Security (выявление уязвимостей, атаки на тренировочные данные, защита supply chain), Securing AI Pipelines (реальная деплойментная практика), Threat modeling, red teaming (симуляции взломов).
Продолжительность: ~3 месяца.
Стоимость: платно.

🍉 DeepLearning.AI: Safe and Reliable AI via Guardrails
Короткий и супер-прикладной курс от команды Эндрю Ына. Учат использовать библиотеку Guardrails AI для валидации ответов LLM (чтобы бот не матерился и не галлюцинировал).
Что внутри: 10 видео-уроков с 7 примерами кода. Вы научитесь обнаруживать глюки в LLM, предотвращать prompt injection, создавать guardrails с нуля на практическом примере RAG-chatbot для пиццерии, использовать готовые guardrails из GuardrailsAI Hub.
Продолжительность: 1,5 ч.
Стоимость: бесплатно.

🍉 Microsoft: AI Red Teaming 101
Видеокурс от команды Microsoft AI Red Team. Рассказывают, как они сами ломают свои продукты (Copilot, OpenAI модели и все production ИИ-системы Microsoft) перед выпуском.
Что внутри: 10 эпизодов: как работают генеративные модели и где появляются уязвимости, Direct и Indirect Prompt Injection с реальными кейсами, Multi-turn атаки, Skeleton Key и Crescendo, Автоматизация red teaming.
Продолжительность: 1,5 ч.
Стоимость: бесплатно.

🍉 The AI Safety Institute: AI Safety, Ethics, and Society Virtual Course
Виртуальный курс на базе университетского учебника от The AI Safety Institute. Охватывает всё: от технических рисков до социальных угроз. По итогам прохождения курса слушатели получают сертификат.
Что внутри: лекции, чтения, обсуждения в малых группах, личный проект, AI Fundamentals — неделя для новичков.
Продолжительность: 12 недель.
Стоимость: платно.

💬 Тест Тьюринга. События в сфере ИИ. Подписаться
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍1