Forwarded from Похек AI (ОТПУСК | Сергей Зыбнев)
Top 10 угроз для Agentic AI
#OWASP #llm #top10
Пока мы обсуждали, prompt injections в LLM, хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют автономно: запоминают информацию между сессиями, самостоятельно выбирают, какие инструменты использовать, планируют последовательность действий и выполняют их. И чем больше автономии у AI-агента, тем выше цена ошибки.
➡️ AAI01: Memory Poisoning (Отравление памяти)
Атака, при которой злоумышленник внедряет ложную или вредоносную информацию в долгосрочную или краткосрочную память агента. Это приводит к постепенному изменению его поведения и принятию неверных решений.
➡️ AAI02: Tool Misuse (Злоупотребление инструментами)
Манипуляция агентом с целью заставить его использовать свои легитимные инструменты (API, shell, email) для выполнения вредоносных действий.
➡️ AAI03: Privilege Compromise (Компрометация привилегий)
Эксплуатация чрезмерных или неправильно настроенных прав доступа, предоставленных агенту, который становится идеальным вектором для эскалации привилегий.
➡️ AAI04: Resource Overload (Перегрузка ресурсов)
Атака, направленная на исчерпание вычислительных, сетевых или финансовых ресурсов агента (Denial of Service / Denial of Wallet).
➡️ AAI05: Cascading Hallucinations (Каскадные галлюцинации)
Распространение и усиление ложной информации (галлюцинаций) через взаимодействие нескольких агентов или в ходе повторяющихся циклов работы одного агента. Одна ошибка, сохраненная в памяти, становится основой для новых, еще более масштабных искажений.
➡️ AAI06: Intent Breaking & Goal Manipulation (Нарушение намерений и манипуляция целями)
Тонкая манипуляция процессом планирования Al-агента, при которой его первоначальная цель искажается или подменяется вредоносной.
➡️ AAI07: Misaligned and Deceptive Behaviors (Несогласованное и обманчивое поведение)
Агент выполняет вредоносные действия, которые формально соответствуют его цели, но нарушают неявные правила или этические нормы. В эту категорию входит и обманчивое выравнивание (deceptive alignment), когда агент только имитирует безопасное поведение.
➡️ AAI08: Repudiation & Untraceability (Отказ от ответственности и неотслеживаемость)
Невозможность достоверно определить причины действий агента из-за недостаточного, неполного или ненадежного логирования.
➡️ AAI09: Identity Spoofing & Impersonation (Подмена личности и имперсонация)
Атака, при которой агент (или атакующий) выдает себя за другого агента или пользователя для получения несанкционированного доступа или выполнения действий от его имени.
➡️ AAI10: Overwhelming Human-in-the-Loop (Перегрузка человека в цикле)
Генерация огромного количества запросов на подтверждение с целью вызвать у человека-оператора усталость от одобрений (approval fatigue) и заставить его по ошибке одобрить вредоносное действие.
🔗 Данный пост выжимка моей статьи на Habr, где я для каждой категории расписал сценарий атаки, с примерами промптов, рекомендаций и т.д. Очень советую прочитать всё
🌚 @poxek_ai
#OWASP #llm #top10
Пока мы обсуждали, prompt injections в LLM, хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют автономно: запоминают информацию между сессиями, самостоятельно выбирают, какие инструменты использовать, планируют последовательность действий и выполняют их. И чем больше автономии у AI-агента, тем выше цена ошибки.
Атака, при которой злоумышленник внедряет ложную или вредоносную информацию в долгосрочную или краткосрочную память агента. Это приводит к постепенному изменению его поведения и принятию неверных решений.
Манипуляция агентом с целью заставить его использовать свои легитимные инструменты (API, shell, email) для выполнения вредоносных действий.
Эксплуатация чрезмерных или неправильно настроенных прав доступа, предоставленных агенту, который становится идеальным вектором для эскалации привилегий.
Атака, направленная на исчерпание вычислительных, сетевых или финансовых ресурсов агента (Denial of Service / Denial of Wallet).
Распространение и усиление ложной информации (галлюцинаций) через взаимодействие нескольких агентов или в ходе повторяющихся циклов работы одного агента. Одна ошибка, сохраненная в памяти, становится основой для новых, еще более масштабных искажений.
Тонкая манипуляция процессом планирования Al-агента, при которой его первоначальная цель искажается или подменяется вредоносной.
Агент выполняет вредоносные действия, которые формально соответствуют его цели, но нарушают неявные правила или этические нормы. В эту категорию входит и обманчивое выравнивание (deceptive alignment), когда агент только имитирует безопасное поведение.
Невозможность достоверно определить причины действий агента из-за недостаточного, неполного или ненадежного логирования.
Атака, при которой агент (или атакующий) выдает себя за другого агента или пользователя для получения несанкционированного доступа или выполнения действий от его имени.
Генерация огромного количества запросов на подтверждение с целью вызвать у человека-оператора усталость от одобрений (approval fatigue) и заставить его по ошибке одобрить вредоносное действие.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5
⭐️ Стихи неожиданно ослабляют защиту ИИ
Ученые из DEXAI обнаружили, что большие языковые модели значительно хуже соблюдают правила безопасности, если вредоносный запрос подать в виде стихотворения или метафоры. В исследовании использовали два подхода: около 20 вручную написанных поэтических вредных запросов и более 1200 обычных инструкций, автоматически преобразованных в стихи.
При ручных стихах модели нарушали защиту примерно в 62% случаев. Автоматически сгенерированная поэзия давала около 43% успеха. Некоторые модели были особенно уязвимы, включая одну из версий Gemini, которая пропустила буквально все ручные стихотворные атаки. Модели OpenAI оказались гораздо устойчивее.
Авторы считают, что слабость возникает из-за того, что фильтры безопасности ориентированы на прямой, буквальный язык, а художественная подача маскирует истинный смысл запроса. Исследователи предлагают учитывать стиль текста и усиливать защиту так, чтобы модели одинаково корректно распознавали вредные инструкции независимо от формы речи.
Ученые из DEXAI обнаружили, что большие языковые модели значительно хуже соблюдают правила безопасности, если вредоносный запрос подать в виде стихотворения или метафоры. В исследовании использовали два подхода: около 20 вручную написанных поэтических вредных запросов и более 1200 обычных инструкций, автоматически преобразованных в стихи.
При ручных стихах модели нарушали защиту примерно в 62% случаев. Автоматически сгенерированная поэзия давала около 43% успеха. Некоторые модели были особенно уязвимы, включая одну из версий Gemini, которая пропустила буквально все ручные стихотворные атаки. Модели OpenAI оказались гораздо устойчивее.
Авторы считают, что слабость возникает из-за того, что фильтры безопасности ориентированы на прямой, буквальный язык, а художественная подача маскирует истинный смысл запроса. Исследователи предлагают учитывать стиль текста и усиливать защиту так, чтобы модели одинаково корректно распознавали вредные инструкции независимо от формы речи.
🔥4
⭐️ AI на фотонных чипах все ближе: ученые провели тензорные вычисления с помощью света
В Университете Аалто в Финляндии разработали чип, который использует свет для выполнения тензорных вычислений — базовой операции современных нейронных сетей. Исследование опубликовано в Nature Photonics и описывает прототип оптической системы, где все процессы выполняются с помощью фотонов вместо электрических сигналов. Такой подход ускоряет операции и снижает энергозатраты по сравнению с электронными схемами.
Как свет заменяет электронику в ИИ?
Тензоры — многомерные массивы чисел, используемые во всех ключевых задачах ИИ: распознавании лиц, переводе текстов, управлении роботами. Графические процессоры, такие как NVIDIA H100, перемножают эти массивы за микросекунды, но для больших моделей, вроде языковых сетей с триллионом параметров, требуется недели обучения и сотни ватт мощности. Команда Аалто под руководством Юфэна Чжана из группы фотоники нашла другой путь: кодировать данные в световые волны и выполнять тензорные операции за один оптический проход.
Продолжение: https://vk.com/wall-210601538_1944
В Университете Аалто в Финляндии разработали чип, который использует свет для выполнения тензорных вычислений — базовой операции современных нейронных сетей. Исследование опубликовано в Nature Photonics и описывает прототип оптической системы, где все процессы выполняются с помощью фотонов вместо электрических сигналов. Такой подход ускоряет операции и снижает энергозатраты по сравнению с электронными схемами.
Как свет заменяет электронику в ИИ?
Тензоры — многомерные массивы чисел, используемые во всех ключевых задачах ИИ: распознавании лиц, переводе текстов, управлении роботами. Графические процессоры, такие как NVIDIA H100, перемножают эти массивы за микросекунды, но для больших моделей, вроде языковых сетей с триллионом параметров, требуется недели обучения и сотни ватт мощности. Команда Аалто под руководством Юфэна Чжана из группы фотоники нашла другой путь: кодировать данные в световые волны и выполнять тензорные операции за один оптический проход.
Продолжение: https://vk.com/wall-210601538_1944
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ AI на фотонных чипах все ближе: ученые провели тензорные вычисления с помощью света
В Униве... Смотрите полностью ВКонтакте.
В Униве... Смотрите полностью ВКонтакте.
🔥3❤1
🔥 Яндекс скоро добавят функции ИИ-агентов в Алису AI, и это круто!
Забронировать ранний доступ и протестировать чуть раньше других можно по ссылке: https://alice.yandex.ru/waitlist#signup
Забронировать ранний доступ и протестировать чуть раньше других можно по ссылке: https://alice.yandex.ru/waitlist#signup
Это новая Алиса AI — встречайте
Запишитесь в лист ожидания, чтобы первыми получить ранний доступ к новым AI-агентам.
❤2🔥2
⭐️ Вебинар "Создание AI-агентов для бизнеса: архитектура, реализация и внедрение"
Ранее подписчики просили меня больше выкладывать информации про ИИ-агентов. Предлагаю посмотреть вебинар специалиста Егора Максимова из Академии Softline, который подробно рассказывает про ИИ-агентов, разбирает архитектуру, объясняет их специфику применения для бизнеса и отвечает на вопросы слушателей.
Особенно рекомендую тем, кто только начинает погружаться в эту тему.
Ссылка на вебинар: https://vk.com/video-18875334_456239264
Архитектор MLSecOps
Николай Павлов
Ранее подписчики просили меня больше выкладывать информации про ИИ-агентов. Предлагаю посмотреть вебинар специалиста Егора Максимова из Академии Softline, который подробно рассказывает про ИИ-агентов, разбирает архитектуру, объясняет их специфику применения для бизнеса и отвечает на вопросы слушателей.
Особенно рекомендую тем, кто только начинает погружаться в эту тему.
Ссылка на вебинар: https://vk.com/video-18875334_456239264
Архитектор MLSecOps
Николай Павлов
VK Видео
Создание AI-агентов для бизнеса архитектура реализация и внедрение
Приятного просмотра! И приходите к нам на обучение https://b-data.academyit.ru/ai-agents
🔥5👍2
Forwarded from Timur Nizamov
Друзья! Я рад анонсировать наши митапы по безопасности ИИ в Ереване и Санкт-Петербурге!
6 декабря (сб): Ереван, Армения
14:00 - 17:00 (UTC+4)
Letters and Numbers, 35G Tumanyan St
https://ods.ai/events/llamator-aisecurity-25
Спикеры расскажут статическом и динамическом тестировании моделей ML и LLM в частности, после чего обсудим, а как же можно защищать ML-модели и защищаться от них
12 декабря (пт): Санкт-Петербург, Россия
19:00 - 22:00 (UTC+3)
офис Selectel, улица Цветочная, д. 21, лит. А
https://ods.ai/events/llamator-aisecurity-selectel-25
Как выстроить MLSecOps-пайплайн в компании и рассказать коллегам и студентам о практиках безопасного использования ИИ – обсудим вместе со спикерами из ведущих университетов и компаний
Приходите, обсудим реальные практики MLSecOps и классно проведём время!
6 декабря (сб): Ереван, Армения
14:00 - 17:00 (UTC+4)
Letters and Numbers, 35G Tumanyan St
https://ods.ai/events/llamator-aisecurity-25
Спикеры расскажут статическом и динамическом тестировании моделей ML и LLM в частности, после чего обсудим, а как же можно защищать ML-модели и защищаться от них
12 декабря (пт): Санкт-Петербург, Россия
19:00 - 22:00 (UTC+3)
офис Selectel, улица Цветочная, д. 21, лит. А
https://ods.ai/events/llamator-aisecurity-selectel-25
Как выстроить MLSecOps-пайплайн в компании и рассказать коллегам и студентам о практиках безопасного использования ИИ – обсудим вместе со спикерами из ведущих университетов и компаний
Приходите, обсудим реальные практики MLSecOps и классно проведём время!
🔥6❤2
Forwarded from PWN AI (Artyom Semenov)
Сохранёнок у меня, как обычно, вагон, но вот структурировать всё это руки доходят не всегда. Был ещё и незакрытый вопрос: «А что есть в Китае по AI Security?».
Если глянуть публикации на arXiv, китайских исследователей можно увидеть везде. Но кто именно лидирует по публикациям? Какие компании делают open-source (и проприетарные) решения для защиты пайплайнов, а также применяют классический ML в ИБ? Кстати, с последним вопросов меньше всего.
В итоге пришла мысль собрать всё это в единый список. Так появился он:
☺️ https://github.com/wearetyomsmnv/Awesome-China-AI-Security/
Список получился подробным и структурированным, многое удалось выделить в отдельные блоки.
Всё ради того, чтобы интересующиеся могли сразу пропустить титанически сложный процесс поиска ресурсов. Переводить репо на другие языки я не планирую, но вы всегда можете кинуть pull request или сделать форк, добавив свои находки.
Если глянуть публикации на arXiv, китайских исследователей можно увидеть везде. Но кто именно лидирует по публикациям? Какие компании делают open-source (и проприетарные) решения для защиты пайплайнов, а также применяют классический ML в ИБ? Кстати, с последним вопросов меньше всего.
В итоге пришла мысль собрать всё это в единый список. Так появился он:
Список получился подробным и структурированным, многое удалось выделить в отдельные блоки.
Всё ради того, чтобы интересующиеся могли сразу пропустить титанически сложный процесс поиска ресурсов. Переводить репо на другие языки я не планирую, но вы всегда можете кинуть pull request или сделать форк, добавив свои находки.
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - wearetyomsmnv/Awesome-China-AI-Security
Contribute to wearetyomsmnv/Awesome-China-AI-Security development by creating an account on GitHub.
❤5🔥3
⭐️ AI security на практике: атаки и базовые подходы к защите
Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые могут обернуться серьезными потерями для компаний. А также разберемся, как от них защититься.
Почему это важно: немного цифр
Интеграция AI-сервисов остается одной из самых хайповых тем в ИТ в последние пару лет. Искусственный интеллект внедряют компании из разных отраслей, в разные процессы и под самые разные задачи.
При этом тема безопасности искусственного интеллекта в прикладном смысле только набирает обороты. Об этом говорит, например, исследование ландшафта угроз ИИ 2024-2025 от компании Hidden Layer.
Вот несколько цифр из этого отчета:
- 88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих лиц.
- 97% компаний используют предварительно обученные модели из репозиториев, таких как Hugging Face, AWS или Azure, но менее половины проверяют их на безопасность.
- 75% компаний сообщили об увеличении числа атак через ИИ-сервисы.
- 45% атак связаны с вредоносным ПО в моделях публичных репозиториев (прежде всего, Hugging Face).
При этом в России, согласно совместному исследованию VK и Prognosis, 70% компаний применяют ИИ.
Следом за массовой интеграцией ИИ-сервисов в бизнес, начало расти и количество кибератак на компании через этот вектор. Важно отметить, что часто для реализации инцидента злоумышленнику даже не нужно обладать специальными навыками – достаточно базово понимать логику работы нейросети и составить текстовый промт. Но об этом – в кейсах.
Ссылка на полную версию статьи на habr: https://habr.com/ru/companies/innostage/articles/970554
Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые могут обернуться серьезными потерями для компаний. А также разберемся, как от них защититься.
Почему это важно: немного цифр
Интеграция AI-сервисов остается одной из самых хайповых тем в ИТ в последние пару лет. Искусственный интеллект внедряют компании из разных отраслей, в разные процессы и под самые разные задачи.
При этом тема безопасности искусственного интеллекта в прикладном смысле только набирает обороты. Об этом говорит, например, исследование ландшафта угроз ИИ 2024-2025 от компании Hidden Layer.
Вот несколько цифр из этого отчета:
- 88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих лиц.
- 97% компаний используют предварительно обученные модели из репозиториев, таких как Hugging Face, AWS или Azure, но менее половины проверяют их на безопасность.
- 75% компаний сообщили об увеличении числа атак через ИИ-сервисы.
- 45% атак связаны с вредоносным ПО в моделях публичных репозиториев (прежде всего, Hugging Face).
При этом в России, согласно совместному исследованию VK и Prognosis, 70% компаний применяют ИИ.
Следом за массовой интеграцией ИИ-сервисов в бизнес, начало расти и количество кибератак на компании через этот вектор. Важно отметить, что часто для реализации инцидента злоумышленнику даже не нужно обладать специальными навыками – достаточно базово понимать логику работы нейросети и составить текстовый промт. Но об этом – в кейсах.
Ссылка на полную версию статьи на habr: https://habr.com/ru/companies/innostage/articles/970554
Хабр
AI security на практике: атаки и базовые подходы к защите
Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты...
🔥6
⭐️ Технологии безопасности Big Tech. MLSecOps в продакшене
Суперклассное видео с Павлом Литиковым, архитектором информационной безопасности AI-направления VK. Павел рассказывает о построении единой системы защиты для всех этапов жизненного цикла моделей.
В этом видео:
• как в VK обеспечивается безопасность на всех этапах — от данных до эксплуатации моделей
• архитектурные решения платформы и унификация защитных механизмов
• реальные примеры и уязвимости из практики VK
Срочно смотрим! :)
Ссылка: https://vk.com/video-777107_456239712
Архитектор MLSecOps
Николай Павлов
Суперклассное видео с Павлом Литиковым, архитектором информационной безопасности AI-направления VK. Павел рассказывает о построении единой системы защиты для всех этапов жизненного цикла моделей.
В этом видео:
• как в VK обеспечивается безопасность на всех этапах — от данных до эксплуатации моделей
• архитектурные решения платформы и унификация защитных механизмов
• реальные примеры и уязвимости из практики VK
Срочно смотрим! :)
Ссылка: https://vk.com/video-777107_456239712
Архитектор MLSecOps
Николай Павлов
VK Видео
Технологии безопасности Big Tech #6. MLSecOps в продакшене
Павел Литиков, архитектор информационной безопасности AI-направления VK, рассказывает о построении единой системы защиты для всех этапов жизненного цикла моделей. В выпуске: • Как мы обеспечиваем безопасность на всех этапах — от данных до эксплуатации моделей…
🔥5⚡1
⭐️ В Госдуме РФ выступили с предложением о маркировке видеоконтента, который создается с помощью ИИ
Автор инициативы — представитель партии «Справедливая Россия» Дмитрий Гусев. Согласно законопроекту, каждый такой ролик должен иметь специальную отметку: видимое обозначение, отображаемое при просмотре видео, и машиночитаемую метку в метаданных, содержащую сведения о применении ИИ, дате и владельце ресурса.
За нарушение требований могут последовать штрафы:
- для физических лиц — от 10 до 50 тысяч рублей;
- для должностных лиц — от 100 до 200 тысяч рублей;
- для юридических лиц — от 200 до 500 тысяч рублей.
Авторы идеи считает, что такой подход поможет сделать интернет более безопасным и прозрачным. Пользователи смогут легко отличать обычные видео от тех, что созданы с помощью ИИ, а значит, будет проще бороться с фейками и манипуляциями.
Продолжение: https://vk.com/wall-210601538_1949
Автор инициативы — представитель партии «Справедливая Россия» Дмитрий Гусев. Согласно законопроекту, каждый такой ролик должен иметь специальную отметку: видимое обозначение, отображаемое при просмотре видео, и машиночитаемую метку в метаданных, содержащую сведения о применении ИИ, дате и владельце ресурса.
За нарушение требований могут последовать штрафы:
- для физических лиц — от 10 до 50 тысяч рублей;
- для должностных лиц — от 100 до 200 тысяч рублей;
- для юридических лиц — от 200 до 500 тысяч рублей.
Авторы идеи считает, что такой подход поможет сделать интернет более безопасным и прозрачным. Пользователи смогут легко отличать обычные видео от тех, что созданы с помощью ИИ, а значит, будет проще бороться с фейками и манипуляциями.
Продолжение: https://vk.com/wall-210601538_1949
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ В Госдуме РФ выступили с предложением о маркировке видеоконтента, который создается с помощью ИИ<b... Смотрите полностью ВКонтакте.
🔥3👍2
Forwarded from Похек
PWNAI: Артём Семёнов о том, почему AI — это не SkyNet, а уязвимая система
#подкаст #chatgpt #llm #claude #deepseek #qwen #mistral
В этом выпуске подкаста «Обсуждаем Похек» мы погружаемся в мир безопасности искусственного интеллекта вместе с Артёмом Семёновым, автором популярного телеграм-канала PWNAI @pwnai. Узнайте, как выглядит AI Security изнутри: от практического применения OWASP Top 10 для LLM до глубоких дискуссий о будущем AI и его социальных последствиях. Артём делится своим опытом в области MLSecOps, раскрывая реальные кейсы атак на нейросети через prompt injection и jailbreaking, и объясняет, почему бесконечное масштабирование вычислительных мощностей — это технологический тупик.
Разбираем практические аспекты безопасности AI: как проводить Red Teaming для нейросетевых моделей, какие уязвимости скрываются в архитектуре современных LLM, и почему «отравление» обучающих данных может стать главной угрозой. Обсуждаем, как меняется ландшафт киберугроз с развитием AI, какие навыки необходимы современному AI Security Engineer, и как противостоять новым видам атак. Особое внимание уделяется фреймворку OWASP, который становится стандартом для защиты AI-приложений, и философским вопросам о пределах развития искусственного интеллекта.
Этот выпуск будет полезен AI Security Engineers, AI/LLM Engineers, специалистам по Red Team и пентесту, а также исследователям безопасности, которые хотят понять, как защищать AI-системы от современных и будущих киберугроз и какие фундаментальные ограничения есть у технологии.
🔗 Ссылки:
💬 Слушать в Telegram
📹 YouTube
📺 RuTube
💙 VK Видео
🎵 Apple Podcasts
🎵 Яндекс.Музыка
🔤 Mave
Обязательно смотрите/слушайте до конца!
P.s. натыкайте на этот пост много😪 , чтобы Артём высыпался перед подкастами)
🌚 @poxek | 📲 MAX |🌚 Блог | 📺 YT | 📺 RT | 📺 VK | ❤️ Мерч
#подкаст #chatgpt #llm #claude #deepseek #qwen #mistral
В этом выпуске подкаста «Обсуждаем Похек» мы погружаемся в мир безопасности искусственного интеллекта вместе с Артёмом Семёновым, автором популярного телеграм-канала PWNAI @pwnai. Узнайте, как выглядит AI Security изнутри: от практического применения OWASP Top 10 для LLM до глубоких дискуссий о будущем AI и его социальных последствиях. Артём делится своим опытом в области MLSecOps, раскрывая реальные кейсы атак на нейросети через prompt injection и jailbreaking, и объясняет, почему бесконечное масштабирование вычислительных мощностей — это технологический тупик.
Разбираем практические аспекты безопасности AI: как проводить Red Teaming для нейросетевых моделей, какие уязвимости скрываются в архитектуре современных LLM, и почему «отравление» обучающих данных может стать главной угрозой. Обсуждаем, как меняется ландшафт киберугроз с развитием AI, какие навыки необходимы современному AI Security Engineer, и как противостоять новым видам атак. Особое внимание уделяется фреймворку OWASP, который становится стандартом для защиты AI-приложений, и философским вопросам о пределах развития искусственного интеллекта.
Этот выпуск будет полезен AI Security Engineers, AI/LLM Engineers, специалистам по Red Team и пентесту, а также исследователям безопасности, которые хотят понять, как защищать AI-системы от современных и будущих киберугроз и какие фундаментальные ограничения есть у технологии.
Обязательно смотрите/слушайте до конца!
P.s. натыкайте на этот пост много
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5
⭐️ OWASP Top 10 for Agentic Applications for 2026: Разбор главных угроз завтрашнего дня
Привет, Хабр! С вами снова Сергей Зыбнев, автор теле... а об этом позже. После нашего глубокого погружения в OWASP AI Testing Guide, пришло время заглянуть в будущее, которое наступит менее чем через месяц. Сегодня мы разберем еще один важнейший документ от OWASP, который смотрит на шаг вперед — OWASP Top 10 for Agentic Applications for 2026.
Если LLM — это мозг, то агентные системы — это полноценный организм с руками и ногами. Это ИИ, которые не просто отвечают на вопросы, а могут самостоятельно ставить цели, планировать и выполнять многошаговые задачи, используя различные инструменты (API, shell, браузер). Они могут управлять вашим календарем, писать код, заказывать товары и многое другое. И, конечно, такая автономия порождает совершенно новый класс угроз.
Этот Top 10 — попытка осмыслить и классифицировать риски, которые несут в себе эти мощные системы. Мы пройдемся по каждому из 10 пунктов, разберем их на реальных примерах и поговорим о том, как от них защищаться.
Продолжение: https://habr.com/ru/companies/owasp/articles/975504
Привет, Хабр! С вами снова Сергей Зыбнев, автор теле... а об этом позже. После нашего глубокого погружения в OWASP AI Testing Guide, пришло время заглянуть в будущее, которое наступит менее чем через месяц. Сегодня мы разберем еще один важнейший документ от OWASP, который смотрит на шаг вперед — OWASP Top 10 for Agentic Applications for 2026.
Если LLM — это мозг, то агентные системы — это полноценный организм с руками и ногами. Это ИИ, которые не просто отвечают на вопросы, а могут самостоятельно ставить цели, планировать и выполнять многошаговые задачи, используя различные инструменты (API, shell, браузер). Они могут управлять вашим календарем, писать код, заказывать товары и многое другое. И, конечно, такая автономия порождает совершенно новый класс угроз.
Этот Top 10 — попытка осмыслить и классифицировать риски, которые несут в себе эти мощные системы. Мы пройдемся по каждому из 10 пунктов, разберем их на реальных примерах и поговорим о том, как от них защищаться.
Продолжение: https://habr.com/ru/companies/owasp/articles/975504
Хабр
OWASP Top 10 for Agentic Applications for 2026: Разбор главных угроз завтрашнего дня
Привет, Хабр! С вами снова Сергей Зыбнев, автор теле... а об этом позже. После нашего глубокого погружения в OWASP AI Testing Guide, пришло время заглянуть в будущее, которое наступит менее чем через...
🔥5❤1
⭐️ Вакансия AI Architect в крупную FinTech-компанию
Один из крупнейших FinTech-игроков Казахстана, который строит супер-приложение, объединяющее финансовые и повседневные сервисы в единой платформе в поисках опытного AI Architect для разработки и проектирования масштабируемой архитектуры для корпоративных AI-ассистентов.
Обязанности:
+ Проектирование архитектуры AI-ассистентов: интеграция LLM, данных, API и инструментов;
+ Разработка и оптимизация инфраструктуры для обучения, fine-tuning и эксплуатации моделей;
+ Создание систем контроля качества и автотестирования диалогов;
+ Построение конвейеров сбора, очистки и версиирования данных;
+ Внедрение RAG, memory management, multi-agent orchestration и адаптивных систем ответа;
+ Разработка архитектурных стандартов и практик observability.
Требования:
+ 5+ лет в AI/ML, 2+ года в архитектуре или системном дизайне AI-инфраструктуры;
+ Опыт создания LLM-ассистентов и глубокие знания LLM-архитектур и инструментов: n8n, LangChain, LlamaIndex, Haystack, Semantic Kernel, OpenDevin;
+ Опыт RAG, embeddings, vector search (FAISS, Pinecone, Weaviate, Qdrant, Elasticsearch);
+ Навыки настройки пайплайнов сбора и разметки данных (Label Studio, Prodigy и др.);
+ Опыт CI/CD для AI-моделей, Docker, Kubernetes, Prometheus, Grafana;
+ Уверенное владение Python (FastAPI, Pydantic, asyncio), REST/gRPC, микросервисы, event-driven;
+ Опыт с облачными AI-платформами: Azure OpenAI, AWS Bedrock, GCP Vertex, Hugging Face Hub.
+ Навыки внедрения eval-пайплайнов, reward models и feedback loops.
+ Желательно знание DevOps / MLOps стеков: MLflow, Airflow, DVC, Prefect, BentoML, Ray Serve (работать напрямую не требуется).
Условия:
+ Достойный уровень компенсации;
+ Офисный формат работы, офис в центре города Алматы (есть релокационный пакет);
+ ДМС;
+ График 5/2;
+ Официальное оформление по ТК РК;
+ Передовые и инновационные технологии, лучший технический стэк;
+ Позитивная и мотивированная команда;
+ Обучение, тренинги и курсы, языковые курсы за счет компании.
Контакт для отклика: @aveirochka
Спасибо всем за внимание! Желаю хорошего дня и отличных выходных!
Один из крупнейших FinTech-игроков Казахстана, который строит супер-приложение, объединяющее финансовые и повседневные сервисы в единой платформе в поисках опытного AI Architect для разработки и проектирования масштабируемой архитектуры для корпоративных AI-ассистентов.
Обязанности:
+ Проектирование архитектуры AI-ассистентов: интеграция LLM, данных, API и инструментов;
+ Разработка и оптимизация инфраструктуры для обучения, fine-tuning и эксплуатации моделей;
+ Создание систем контроля качества и автотестирования диалогов;
+ Построение конвейеров сбора, очистки и версиирования данных;
+ Внедрение RAG, memory management, multi-agent orchestration и адаптивных систем ответа;
+ Разработка архитектурных стандартов и практик observability.
Требования:
+ 5+ лет в AI/ML, 2+ года в архитектуре или системном дизайне AI-инфраструктуры;
+ Опыт создания LLM-ассистентов и глубокие знания LLM-архитектур и инструментов: n8n, LangChain, LlamaIndex, Haystack, Semantic Kernel, OpenDevin;
+ Опыт RAG, embeddings, vector search (FAISS, Pinecone, Weaviate, Qdrant, Elasticsearch);
+ Навыки настройки пайплайнов сбора и разметки данных (Label Studio, Prodigy и др.);
+ Опыт CI/CD для AI-моделей, Docker, Kubernetes, Prometheus, Grafana;
+ Уверенное владение Python (FastAPI, Pydantic, asyncio), REST/gRPC, микросервисы, event-driven;
+ Опыт с облачными AI-платформами: Azure OpenAI, AWS Bedrock, GCP Vertex, Hugging Face Hub.
+ Навыки внедрения eval-пайплайнов, reward models и feedback loops.
+ Желательно знание DevOps / MLOps стеков: MLflow, Airflow, DVC, Prefect, BentoML, Ray Serve (работать напрямую не требуется).
Условия:
+ Достойный уровень компенсации;
+ Офисный формат работы, офис в центре города Алматы (есть релокационный пакет);
+ ДМС;
+ График 5/2;
+ Официальное оформление по ТК РК;
+ Передовые и инновационные технологии, лучший технический стэк;
+ Позитивная и мотивированная команда;
+ Обучение, тренинги и курсы, языковые курсы за счет компании.
Контакт для отклика: @aveirochka
Спасибо всем за внимание! Желаю хорошего дня и отличных выходных!
❤3⚡2😁2
⭐️ Российский рынок защиты ИИ-систем обещает перевалить за 1 млрд руб. в 2026 году
Рынок кибербезопасности для ИИ готовится к взрывному росту, прогнозируя объём в миллиарды рублей уже к 2026 году. Его подстёгивают первые громкие инциденты с утечками данных через AI-модели, которые создают спрос на защиту. При этом интеграция ИИ в бизнес опасно опережает внедрение систем контроля, открывая новое поле для кибератак и формируя стремительно растущий сегмент рынка.
Рынок решений для обеспечения информационной безопасности ИИ перевалит в 2026 году отметку в 1 млрд руб. Рынок еще только формируется, но по оценке IT-компании AppSec Solutions, его рост происходит в геометрической прогрессии. На рост рынка влияет возникновение первых крупных инцидентов, связанных с ИИ.
Примечательно, что оценка AppSec Solutions — еще не самая оптимистичная из представленных на рынке. В 2026 году рынок ИБ в ИИ может достигнуть уже 3-4 млрд руб. При этом российский рынок генеративного ИИ в 2024 году составил 13 млрд руб., а к концу 2025 года достигнет 58 млрд руб.
Как отметил директор по кибербезопасности «СберТеха» Всеслав Соленик, в 2025 году уже были зафиксированы первые публичные инциденты, связанные с утечками персональных данных из ИИ-моделей. Также были утечки и коммерческой тайны. Все это создает новый сегмент рынка.
Продолжение: https://vk.com/wall-210601538_1952
Рынок кибербезопасности для ИИ готовится к взрывному росту, прогнозируя объём в миллиарды рублей уже к 2026 году. Его подстёгивают первые громкие инциденты с утечками данных через AI-модели, которые создают спрос на защиту. При этом интеграция ИИ в бизнес опасно опережает внедрение систем контроля, открывая новое поле для кибератак и формируя стремительно растущий сегмент рынка.
Рынок решений для обеспечения информационной безопасности ИИ перевалит в 2026 году отметку в 1 млрд руб. Рынок еще только формируется, но по оценке IT-компании AppSec Solutions, его рост происходит в геометрической прогрессии. На рост рынка влияет возникновение первых крупных инцидентов, связанных с ИИ.
Примечательно, что оценка AppSec Solutions — еще не самая оптимистичная из представленных на рынке. В 2026 году рынок ИБ в ИИ может достигнуть уже 3-4 млрд руб. При этом российский рынок генеративного ИИ в 2024 году составил 13 млрд руб., а к концу 2025 года достигнет 58 млрд руб.
Как отметил директор по кибербезопасности «СберТеха» Всеслав Соленик, в 2025 году уже были зафиксированы первые публичные инциденты, связанные с утечками персональных данных из ИИ-моделей. Также были утечки и коммерческой тайны. Все это создает новый сегмент рынка.
Продолжение: https://vk.com/wall-210601538_1952
VK
MLSECOPS | AI GOVERNANCE | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Российский рынок защиты ИИ-систем обещает перевалить за 1 млрд руб. в 2026 году
Рынок кибер... Смотрите полностью ВКонтакте.
Рынок кибер... Смотрите полностью ВКонтакте.
⚡3🔥2
Forwarded from Похек AI (Сергей Зыбнев)
MLSecOps: системный взгляд на угрозы и защиту на каждом этапе разработки и внедрения моделей
#ML #mlsecops #ai #devsecops #appsec
Таким образом, мировая тенденция однозначна – большинство компаний либо уже интегрировали ИИ в свои процессы, либо активно тестируют и изучают технологии для дальнейшего внедрения. Поскольку внедрение на уровне компаний неизбежно влечет за собой использование этих технологий сотрудниками, уже никто не будет спорить, что ИИ-инструменты стали нормой для большинства специалистов.
Но возникает новый, критически важный вопрос: сколько компаний уже используют MLSecOps?
Здесь статистика еще более призрачна. Если DevSecOps – это уже устоявшийся термин с формирующимся рынком (объем мирового рынка DevSecOps в 2024 году оценивался в $5,89 млрд, по данным отчета Data Bridge Market Research), то с MLSecOps ситуация иная. MLSecOps – это, по сути, применение тех же принципов безопасности к уникальному жизненному циклу моделей машинного обучения. Спрос на специалистов, которые могут закрыть этот пробел, растет взрывными темпами. Но, судя по всему, компаний с выстроенным, зрелым MLSecOps-процессом пока единицы.
🔗 Источник
🌚 @poxek_ai
#ML #mlsecops #ai #devsecops #appsec
Таким образом, мировая тенденция однозначна – большинство компаний либо уже интегрировали ИИ в свои процессы, либо активно тестируют и изучают технологии для дальнейшего внедрения. Поскольку внедрение на уровне компаний неизбежно влечет за собой использование этих технологий сотрудниками, уже никто не будет спорить, что ИИ-инструменты стали нормой для большинства специалистов.
Но возникает новый, критически важный вопрос: сколько компаний уже используют MLSecOps?
Здесь статистика еще более призрачна. Если DevSecOps – это уже устоявшийся термин с формирующимся рынком (объем мирового рынка DevSecOps в 2024 году оценивался в $5,89 млрд, по данным отчета Data Bridge Market Research), то с MLSecOps ситуация иная. MLSecOps – это, по сути, применение тех же принципов безопасности к уникальному жизненному циклу моделей машинного обучения. Спрос на специалистов, которые могут закрыть этот пробел, растет взрывными темпами. Но, судя по всему, компаний с выстроенным, зрелым MLSecOps-процессом пока единицы.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5
⭐ AI Secure Agentic Framework Essentials (AI-SAFE) от Яндекса доступен по ссылке, обязательно рекомендую ознакомиться, в том числе скачать полный отчет: https://yandex.cloud/ru/security/ai-safe?ysclid=mjaibby5em751161356&utm_referrer=https%3A%2F%2Fyandex.ru%2F
yandex.cloud
Защита безопасности данных искусственного интеллекта (ИИ) | Security AI Framework
Узнайте, как разработать стратегию безопасности в сфере искусственного интеллекта при помощи Security AI Framework
✔Методология безопасности AI-SAFE ✔Широкая база угроз ИИ-системам ✔Оценка рисков для ИИ и рекомендации защиты
✔Методология безопасности AI-SAFE ✔Широкая база угроз ИИ-системам ✔Оценка рисков для ИИ и рекомендации защиты
🔥7
⭐ Очень интересный отчет с массой статистических данных, полезных фреймворков и перечнем современных инструментов MLSecOps. Крайне рекомендую ознакомиться 💫
⭐️ Написанный ИИ программный код менее безопасен и имеет больше ошибок, багов и уязвимостей, чем человеческий
Исследование компании CodeRabbit показало, что код, созданный с использованием инструментов искусственного интеллекта, содержит больше ошибок и уязвимостей, чем код, написанный людьми. В запросах на слияние изменений в коде (Pull Request), созданных с помощью инструментов ИИ, в среднем фиксировалось 10,83 ошибки, по сравнению с 6,45 ошибками в запросах на слияние, созданных человеком. Это приводит в конечном итоге к увеличенному времени проверок и потенциальному увеличению количества ошибок, попадающих в финальную версию продукта.
В целом, ошибок в запросах на слияние, сгенерированных ИИ, было в 1,7 раза больше, критических и серьёзных ошибок — также было в 1,4 раза больше, что нельзя отнести к мелким недочётам, как отмечает TechRadar. Ошибки в логике и корректности (в 1,75 раза), качество и удобство сопровождения кода (в 1,64 раза), безопасность (в 1,57 раза) и производительность (в 1,42 раза) показали в среднем более высокий уровень ошибок. В отчёте ИИ также критикуется за то, что вносит больше серьёзных ошибок, которые затем приходится исправлять людям-рецензентам.
Если говорить о безопасности кода, то среди наиболее вероятных проблем, которые может внести ИИ, указывается неправильная обработка паролей, небезопасные ссылки на объекты, уязвимости XSS и небезопасная десериализация (серьёзная уязвимость приложений, возникающая, когда программа преобразует ненадёжные данные).
Продолжение: https://vk.com/wall-210601538_1954
Исследование компании CodeRabbit показало, что код, созданный с использованием инструментов искусственного интеллекта, содержит больше ошибок и уязвимостей, чем код, написанный людьми. В запросах на слияние изменений в коде (Pull Request), созданных с помощью инструментов ИИ, в среднем фиксировалось 10,83 ошибки, по сравнению с 6,45 ошибками в запросах на слияние, созданных человеком. Это приводит в конечном итоге к увеличенному времени проверок и потенциальному увеличению количества ошибок, попадающих в финальную версию продукта.
В целом, ошибок в запросах на слияние, сгенерированных ИИ, было в 1,7 раза больше, критических и серьёзных ошибок — также было в 1,4 раза больше, что нельзя отнести к мелким недочётам, как отмечает TechRadar. Ошибки в логике и корректности (в 1,75 раза), качество и удобство сопровождения кода (в 1,64 раза), безопасность (в 1,57 раза) и производительность (в 1,42 раза) показали в среднем более высокий уровень ошибок. В отчёте ИИ также критикуется за то, что вносит больше серьёзных ошибок, которые затем приходится исправлять людям-рецензентам.
Если говорить о безопасности кода, то среди наиболее вероятных проблем, которые может внести ИИ, указывается неправильная обработка паролей, небезопасные ссылки на объекты, уязвимости XSS и небезопасная десериализация (серьёзная уязвимость приложений, возникающая, когда программа преобразует ненадёжные данные).
Продолжение: https://vk.com/wall-210601538_1954
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ Написанный ИИ программный код менее безопасен и имеет больше ошибок, багов и уязвимостей, чем чело... Смотрите полностью ВКонтакте.
🔥4😱2
Forwarded from Похек AI (Сергей Зыбнев)
Евгений Кокуйкин: AI security в России, готовы ли мы?
#подкаст #ai #aisecurity
В этом выпуске подкаста «Обсуждаем Похек» мы разбираем самый острый вопрос современной технологии: готова ли Россия к вызовам AI Security? Нашим гостем является Евгений Кокуйкин — гендиректор HiveTrace, руководитель лаборатории AI Security Lab в ИТМО, и один из главных экспертов в области безопасности искусственного интеллекта в России.
Евгений рассказывает о своем пути от разработчика в Diasoft через Microsoft и Google к созданию первой в России специализированной лаборатории по безопасности генеративного AI.
Этот выпуск будет полезен:
➡️ AI Security Engineers и LLM Engineers
➡️ Специалистам по Red Team и пентесту
➡️ Руководителям компаний, внедряющим AI
➡️ Исследователям безопасности
➡️ Разработчикам, которые хотят понять, как защищать AI-системы от современных киберугроз
➡️ Всем, кто интересуется будущим AI в России и мире
🔗 Ссылки:
💬 Слушать в Telegram
📹 YouTube
📺 RuTube
💙 VK Видео
🎵 Apple Podcasts
🎵 Яндекс.Музыка
🔤 Mave
AI Security Lab ИТМО
Личный канал Евгения
Обязательно смотрите/слушайте до конца!
P.s. пишите в комментариях, кого пригласить в следующий раз
🌚 @poxek | 📲 MAX |🌚 Блог | 📺 YT | 📺 RT | 📺 VK | ❤️ Мерч
#подкаст #ai #aisecurity
В этом выпуске подкаста «Обсуждаем Похек» мы разбираем самый острый вопрос современной технологии: готова ли Россия к вызовам AI Security? Нашим гостем является Евгений Кокуйкин — гендиректор HiveTrace, руководитель лаборатории AI Security Lab в ИТМО, и один из главных экспертов в области безопасности искусственного интеллекта в России.
Евгений рассказывает о своем пути от разработчика в Diasoft через Microsoft и Google к созданию первой в России специализированной лаборатории по безопасности генеративного AI.
Этот выпуск будет полезен:
AI Security Lab ИТМО
Личный канал Евгения
Обязательно смотрите/слушайте до конца!
P.s. пишите в комментариях, кого пригласить в следующий раз
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7