⭐️ Data Steward: задачи, компетенции, модели работы
1. Актуальность Data Steward
В наши дни фраза «управление данными как корпоративным активом» все чаще повторяется среди руководителей организаций не только коммерческого сектора. В Центр оценки и кадрового развития постоянно поступают запросы на поиск специалистов по управлению данными. И если ранее вакансии были связаны с аналитикой данных, то сейчас руководители говорят о необходимости управления данными, которые содержатся в государственных информационных системах.
В статье мы постараемся подробно рассказать о новой профессии для ГосИТ в области управления данными – Data Steward.
Особую актуальность профессия Data Steward получила в связи с активным внедрением целостной стратегии управления корпоративными данными Data Governance в крупных организациях. Data Governance сосредоточено на процедурах высокого уровня и внедрения политики, а управление данными на тактической реализации процессов работы с информацией. Одна из ролей в данном направлении – Data Steward. Он отвечает за выполнение политик использования корпоративных данных и их безопасности и является связующим звеном между Data Engineer и бизнес-подразделениями.
Data Steward – это «рабочие руки» для архитектора данных, которые осуществляют ведение данных по установленным требованиям по содержанию от структурных подразделений организации. Они также могут искать необходимую информацию, если эксперты из бизнес-подразделений по каким-то причинам не могут выполнить эту задачу. Важная функция, которую может выполнять Data Steward – это сравнение требований от бизнес-подразделений к реализованным разработкам (при наличии каталога метаданных). Как правило, такая необходимость возникает при формировании показателей отчетов или данных для анализа. В последнее время распространена практика, когда Data Steward прикреплен к функциональному подразделению и имеет косвенное управление со стороны другого департамента по управлению данными: он решает проблемы с качеством данных.
Продолжение: https://vk.com/wall-210601538_1865
1. Актуальность Data Steward
В наши дни фраза «управление данными как корпоративным активом» все чаще повторяется среди руководителей организаций не только коммерческого сектора. В Центр оценки и кадрового развития постоянно поступают запросы на поиск специалистов по управлению данными. И если ранее вакансии были связаны с аналитикой данных, то сейчас руководители говорят о необходимости управления данными, которые содержатся в государственных информационных системах.
В статье мы постараемся подробно рассказать о новой профессии для ГосИТ в области управления данными – Data Steward.
Особую актуальность профессия Data Steward получила в связи с активным внедрением целостной стратегии управления корпоративными данными Data Governance в крупных организациях. Data Governance сосредоточено на процедурах высокого уровня и внедрения политики, а управление данными на тактической реализации процессов работы с информацией. Одна из ролей в данном направлении – Data Steward. Он отвечает за выполнение политик использования корпоративных данных и их безопасности и является связующим звеном между Data Engineer и бизнес-подразделениями.
Data Steward – это «рабочие руки» для архитектора данных, которые осуществляют ведение данных по установленным требованиям по содержанию от структурных подразделений организации. Они также могут искать необходимую информацию, если эксперты из бизнес-подразделений по каким-то причинам не могут выполнить эту задачу. Важная функция, которую может выполнять Data Steward – это сравнение требований от бизнес-подразделений к реализованным разработкам (при наличии каталога метаданных). Как правило, такая необходимость возникает при формировании показателей отчетов или данных для анализа. В последнее время распространена практика, когда Data Steward прикреплен к функциональному подразделению и имеет косвенное управление со стороны другого департамента по управлению данными: он решает проблемы с качеством данных.
Продолжение: https://vk.com/wall-210601538_1865
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Data Steward: задачи, компетенции, модели работы
1. Актуальность Data Steward
В н... Смотрите полностью ВКонтакте.
1. Актуальность Data Steward
В н... Смотрите полностью ВКонтакте.
🔥2
⭐️ Запускаем второй поток программы по MLSecOps!
В мае успешно завершился первый поток корпоративной учебной программы "Основы MLSecOps. Обеспечение безопасности систем машинного обучения" в Академии Softline.
От слушателей было много позитивных отзывов, но главное - ряд компаний реально улучшили обеспечение безопасности ИИ-систем!
С 19 августа запускается второй поток этой обучающей программы, и я приглашаю всех желающих.
Сильные стороны программы:
1. Опора на опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя.
2. Привлечение топовых экспертов-разработчиков передовых российских инструментов LLAMATOR и HiveTrace.
3. Техническая поддержка компаний-слушателей по вопросам безопасности ИИ-систем в течение 3 месяцев после окончания программы.
4. Все практические задания программы ориентированы на улучшение безопасности ИИ-систем в компаниях, где работают слушатели.
5. Направление MLSecOps - обширное, перспективное и быстрорастущее, большинство российских компаний, имеющих ИИ-системы неизбежно столкнутся с необходимостью введения такой должности или роли в ближайшие 2 года. Особенно компании из сферы FinTech.
Более подробная информация и возможность записаться по ссылке:
https://academyit.ru/courses/mlsecops
Архитектор MLSecOps
Николай Павлов
В мае успешно завершился первый поток корпоративной учебной программы "Основы MLSecOps. Обеспечение безопасности систем машинного обучения" в Академии Softline.
От слушателей было много позитивных отзывов, но главное - ряд компаний реально улучшили обеспечение безопасности ИИ-систем!
С 19 августа запускается второй поток этой обучающей программы, и я приглашаю всех желающих.
Сильные стороны программы:
1. Опора на опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя.
2. Привлечение топовых экспертов-разработчиков передовых российских инструментов LLAMATOR и HiveTrace.
3. Техническая поддержка компаний-слушателей по вопросам безопасности ИИ-систем в течение 3 месяцев после окончания программы.
4. Все практические задания программы ориентированы на улучшение безопасности ИИ-систем в компаниях, где работают слушатели.
5. Направление MLSecOps - обширное, перспективное и быстрорастущее, большинство российских компаний, имеющих ИИ-системы неизбежно столкнутся с необходимостью введения такой должности или роли в ближайшие 2 года. Особенно компании из сферы FinTech.
Более подробная информация и возможность записаться по ссылке:
https://academyit.ru/courses/mlsecops
Архитектор MLSecOps
Николай Павлов
👍4❤1
⭐️ Теневая сторона ИИ-агентов: новые киберугрозы и вызовы безопасности
Многообразие решений на базе искусственного интеллекта быстро растет — на смену простым чат-ботам и ассистентам приходят автономные ИИ-агенты, способные самостоятельно планировать и выполнять сложные задачи. Согласно последним исследованиям, включая Artificial Intelligence Index Report 2025, уже 78% компаний активно используют ИИ-решения, а эксперты IEEE прогнозируют, что к 2030 году эта технология станет ключевым драйвером цифровой экономики. Стремительный рост наблюдается и в России, где рынок ИИ, по оценкам Statista, к 2031 году может превысить 20 млрд долларов при ежегодном росте на 26%.
I. От виртуальных помощников к автономным операторам
В эволюции приложений на базе ИИ можно выделить несколько этапов. В 1960-х годах появились первые экспертные системы вроде DENDRAL для химического анализа и примитивный чат-бот ELIZA, имитировавший психотерапевта. После периода стагнации в 1980–1990-х, известного как «зима ИИ», технологии возродились и период 2010-х ознаменовался прорывом в глубоком обучении и появлением первых версий современных моделей. В это же время стали популярны виртуальные помощники — Siri, Alexa и Google Assistant. В начале 2020-х появились «копилоты» — узкоспециализированные ИИ-ассистенты вроде GitHub Copilot для разработчиков, которые помогают в конкретных задачах, но требуют активного участия человека.
Следующий шаг на пути к автономности произошел в 2024–2025 годах, когда компании Anthropic и OpenAI представили автономных ИИ-агентов нового поколения. Claude 3.5 Sonnet от Anthropic научился взаимодействовать с компьютерными интерфейсами как человек — нажимать кнопки, вводить текст и управлять курсором. А OpenAI представила Operator — агента для автоматизации повседневных задач в интернете, таких как бронирование билетов или оформление заказов. В отличие от предшественников, эти системы способны не только давать рекомендации, но и самостоятельно выполнять действия, постепенно освобождая людей от рутинных операций.
II. Как работают современные ИИ-агенты
Продолжение: https://vk.com/wall-210601538_1867
Многообразие решений на базе искусственного интеллекта быстро растет — на смену простым чат-ботам и ассистентам приходят автономные ИИ-агенты, способные самостоятельно планировать и выполнять сложные задачи. Согласно последним исследованиям, включая Artificial Intelligence Index Report 2025, уже 78% компаний активно используют ИИ-решения, а эксперты IEEE прогнозируют, что к 2030 году эта технология станет ключевым драйвером цифровой экономики. Стремительный рост наблюдается и в России, где рынок ИИ, по оценкам Statista, к 2031 году может превысить 20 млрд долларов при ежегодном росте на 26%.
I. От виртуальных помощников к автономным операторам
В эволюции приложений на базе ИИ можно выделить несколько этапов. В 1960-х годах появились первые экспертные системы вроде DENDRAL для химического анализа и примитивный чат-бот ELIZA, имитировавший психотерапевта. После периода стагнации в 1980–1990-х, известного как «зима ИИ», технологии возродились и период 2010-х ознаменовался прорывом в глубоком обучении и появлением первых версий современных моделей. В это же время стали популярны виртуальные помощники — Siri, Alexa и Google Assistant. В начале 2020-х появились «копилоты» — узкоспециализированные ИИ-ассистенты вроде GitHub Copilot для разработчиков, которые помогают в конкретных задачах, но требуют активного участия человека.
Следующий шаг на пути к автономности произошел в 2024–2025 годах, когда компании Anthropic и OpenAI представили автономных ИИ-агентов нового поколения. Claude 3.5 Sonnet от Anthropic научился взаимодействовать с компьютерными интерфейсами как человек — нажимать кнопки, вводить текст и управлять курсором. А OpenAI представила Operator — агента для автоматизации повседневных задач в интернете, таких как бронирование билетов или оформление заказов. В отличие от предшественников, эти системы способны не только давать рекомендации, но и самостоятельно выполнять действия, постепенно освобождая людей от рутинных операций.
II. Как работают современные ИИ-агенты
Продолжение: https://vk.com/wall-210601538_1867
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Теневая сторона ИИ-агентов: новые киберугрозы и вызовы безопасности
Многообразие решений ... Смотрите полностью ВКонтакте.
Многообразие решений ... Смотрите полностью ВКонтакте.
🔥1👌1
⭐️ В Энциклопедию ролей кибербезопасности добавлена профессия MLSecOps-инженера
Это еще один шаг к признанию MLSecOps как отдельного, широкого и востребованного направления IT!
Возможный функционал MLSecOps-инженера, согласно Энциклопедии - обращаю внимание, что это максимально полный функционал, в реальности требуют только часть этих функций, знаний, навыков:
I. Обязанности:
+ Участвовать в проектировании и развитии защищённой ML-инфраструктуры;
+ Следить за безопасностью процессов подготовки данных, обучения и тестирования моделей;
+ Внедрять безопасные практики на уровне CI/CD для ML (автоматизация, контроль доступа, политика);
+ Работать над защитой моделей от целевых атак: data poisoning, inversion, leakage и др.;
+ Проводить проверки безопасности (включая пентесты) и анализ уязвимостей в ML-компонентах;
+ Помогать командам правильно применять политики и подходы к защите конфиденциальных данных;
+ Участвовать в анализе инцидентов и формировании рекомендаций по устранению рисков.
+ Разработка и внедрение решений безопасности для ML-моделей и инфраструктуры
+ Обеспечение соответствия требованиям безопасности на всех этапах жизненного цикла разработки ML-продуктов
+ Проведение анализа уязвимостей и оценка рисков для ML-систем
+ Реализация мер защиты от атак на модели машинного обучения (например, атаки переноса обучения, отравление данных)
+ Настройка и мониторинг инструментов для обеспечения безопасности моделей и данных
+ Взаимодействие с командами разработчиков и инженеров данных для интеграции процессов DevSecOps в ML-проекты
+ Участие в разработке политик и стандартов безопасности для организации
+ Поддержка и улучшение существующих процессов мониторинга и реагирования на инциденты безопасности
+ Анализировать безопасность систем ML, LLM и GenAI
+ Разрабатывать защиту от атак на системы ML, LLM и GenAI
+ Проводить аудиты и тестирование AI-систем на проникновение
+ Разрабатывать политики и процессы безопасности AI/ML
+ Интегрировать безопасные практики в жизненный цикл моделей
+ Отслеживать новые угрозы и требования в сфере AI-безопасности
II. Знания и навыки
+ Имеешь глубокое понимание принципов работы алгоритмов машинного обучения;
+ Знаешь распространенные фреймворки машинного обучения;
+ Понимаешь принципы работы современных систем искусственного интеллекта и машинного обучения;
Продолжение: https://vk.com/wall-210601538_1868
Это еще один шаг к признанию MLSecOps как отдельного, широкого и востребованного направления IT!
Возможный функционал MLSecOps-инженера, согласно Энциклопедии - обращаю внимание, что это максимально полный функционал, в реальности требуют только часть этих функций, знаний, навыков:
I. Обязанности:
+ Участвовать в проектировании и развитии защищённой ML-инфраструктуры;
+ Следить за безопасностью процессов подготовки данных, обучения и тестирования моделей;
+ Внедрять безопасные практики на уровне CI/CD для ML (автоматизация, контроль доступа, политика);
+ Работать над защитой моделей от целевых атак: data poisoning, inversion, leakage и др.;
+ Проводить проверки безопасности (включая пентесты) и анализ уязвимостей в ML-компонентах;
+ Помогать командам правильно применять политики и подходы к защите конфиденциальных данных;
+ Участвовать в анализе инцидентов и формировании рекомендаций по устранению рисков.
+ Разработка и внедрение решений безопасности для ML-моделей и инфраструктуры
+ Обеспечение соответствия требованиям безопасности на всех этапах жизненного цикла разработки ML-продуктов
+ Проведение анализа уязвимостей и оценка рисков для ML-систем
+ Реализация мер защиты от атак на модели машинного обучения (например, атаки переноса обучения, отравление данных)
+ Настройка и мониторинг инструментов для обеспечения безопасности моделей и данных
+ Взаимодействие с командами разработчиков и инженеров данных для интеграции процессов DevSecOps в ML-проекты
+ Участие в разработке политик и стандартов безопасности для организации
+ Поддержка и улучшение существующих процессов мониторинга и реагирования на инциденты безопасности
+ Анализировать безопасность систем ML, LLM и GenAI
+ Разрабатывать защиту от атак на системы ML, LLM и GenAI
+ Проводить аудиты и тестирование AI-систем на проникновение
+ Разрабатывать политики и процессы безопасности AI/ML
+ Интегрировать безопасные практики в жизненный цикл моделей
+ Отслеживать новые угрозы и требования в сфере AI-безопасности
II. Знания и навыки
+ Имеешь глубокое понимание принципов работы алгоритмов машинного обучения;
+ Знаешь распространенные фреймворки машинного обучения;
+ Понимаешь принципы работы современных систем искусственного интеллекта и машинного обучения;
Продолжение: https://vk.com/wall-210601538_1868
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ В Энциклопедию ролей кибербезопасности добавлена профессия MLSecOps-инженера
Это еще один ш... Смотрите полностью ВКонтакте.
Это еще один ш... Смотрите полностью ВКонтакте.
🔥3
⭐️ Виртуальные ИИ-продавцы в Китае уже стали превосходить реальных
В Китае виртуальные продавцы на базе искусственного интеллекта демонстрируют более высокие результаты продаж по сравнению с реальными людьми, пишет Wired. Такие аватары продают различные товары, например принтеры или влажные салфетки, и им не нужен сон. Однако технология пока не идеальна.
Разработанные аватары генерируют сценарии продаж, приветствуют зрителей на рекламных стримах (на них в Китае пришлось более трети онлайн-продаж в 2024 году), и отвечают на вопросы в реальном времени благодаря большим языковым моделям. Они имитируют человеческие движения, но иногда выдают себя заминками или несинхронными жестами.
В случае с брендом принтеров Brother аватар, созданный по образу реального сотрудника, за первые два часа работы реализовал товаров на $2,5 тыс., а общие продажи в рамках прямых трансляций выросли на 30%.
Каждое утро мы смотрим данные, чтобы увидеть, сколько наш ИИ-ведущий продал, пока мы спали, рассказывает сооснователь шанхайской маркетинговой компании PLTFRM, создающей такие аватары, Александр Уэри. Он отметил, что реальные продавцы устают через 3-4 часа, теряя улыбчивость и вовлеченность, в то время как виртуальные версии поддерживают стабильный тон.
Продолжение: https://vk.com/wall-210601538_1869
В Китае виртуальные продавцы на базе искусственного интеллекта демонстрируют более высокие результаты продаж по сравнению с реальными людьми, пишет Wired. Такие аватары продают различные товары, например принтеры или влажные салфетки, и им не нужен сон. Однако технология пока не идеальна.
Разработанные аватары генерируют сценарии продаж, приветствуют зрителей на рекламных стримах (на них в Китае пришлось более трети онлайн-продаж в 2024 году), и отвечают на вопросы в реальном времени благодаря большим языковым моделям. Они имитируют человеческие движения, но иногда выдают себя заминками или несинхронными жестами.
В случае с брендом принтеров Brother аватар, созданный по образу реального сотрудника, за первые два часа работы реализовал товаров на $2,5 тыс., а общие продажи в рамках прямых трансляций выросли на 30%.
Каждое утро мы смотрим данные, чтобы увидеть, сколько наш ИИ-ведущий продал, пока мы спали, рассказывает сооснователь шанхайской маркетинговой компании PLTFRM, создающей такие аватары, Александр Уэри. Он отметил, что реальные продавцы устают через 3-4 часа, теряя улыбчивость и вовлеченность, в то время как виртуальные версии поддерживают стабильный тон.
Продолжение: https://vk.com/wall-210601538_1869
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Виртуальные ИИ-продавцы в Китае уже стали превосходить реальных
В Китае виртуальные продавц... Смотрите полностью ВКонтакте.
В Китае виртуальные продавц... Смотрите полностью ВКонтакте.
😱2🤔1
Forwarded from NN
Тысячи диалогов с Grok оказались в выдаче Google — всё как у ChatGPT месяц назад.
Достаточно было нажать «поделиться» в окне с ботом, чтобы поисковик автоматически проиндексировал переписку.
Найти диалог можно по запросу:
В Google уже попали больше 370 тыс. переписок — в некоторых случаях с личными данными и документами. Чтобы они пропали из выдачи, нужно удалить опубликованные чаты.
Кажется, Маск косплеит Альтмана.
Достаточно было нажать «поделиться» в окне с ботом, чтобы поисковик автоматически проиндексировал переписку.
Найти диалог можно по запросу:
site:grok.com/share [любое слово]
В Google уже попали больше 370 тыс. переписок — в некоторых случаях с личными данными и документами. Чтобы они пропали из выдачи, нужно удалить опубликованные чаты.
Кажется, Маск косплеит Альтмана.
😱2
⭐️ Исследователи вынудили ИИ-браузер Comet покупать фейковые товары
Специалисты Guardio протестировали браузер с ИИ-агентом и пришли к выводу, что он уязвим как перед старыми, так и перед новыми схемами атак, которые могут заставить его взаимодействовать с вредоносными страницами и промптами.
ИИ-агенты в браузерах способны автономно серфить в интернете, делать покупки и управлять различными онлайн-задачами (например, обрабатывать почту, бронировать билеты, заполнять формы и так далее).
В настоящее время основным примером браузера со встроенным ИИ-агентом является Comet, созданный разработчиками Perplexity, и именно на нем сфокусировано исследование Guardio. Однако стоит отметить, что в Microsoft Edge также есть функции агентского ИИ (посредством интеграции с Copilot), а OpenAI сейчас разрабатывает собственную платформу для этих задач под кодовым названием Aura.
Хотя пока такие инструменты в основном ориентированы на энтузиастов, Comet быстро проникает на массовый потребительский рынок. И исследователи из Guardio предупреждают, что подобные решения недостаточно защищены от известных и новых атак, специально разработанных против них.
Как показали тесты, браузеры с ИИ-агентами могут быть уязвимы перед фишингом, инъекциями промптов и совершать покупки в фальшивых магазинах.
К примеру, в одном из тестов аналитики попросили Comet купить Apple Watch на поддельном сайте Walmart, который исследователи сами создали с помощью сервиса Lovable. Хотя в эксперименте Comet напрямую направили в фейковый магазин, отмечается, что в реальной жизни ИИ-агент может попасть в такую же ситуацию из-за вредоносной рекламы, «черного» SEO и других причин.
В результате ИИ просканировал поддельный сайт, а затем, не проверив его легитимность, перешел к оформлению заказа и автоматически ввел данные банковской карты и адрес, завершив покупку и не спросив подтверждение у пользователя.
Продолжение: https://vk.com/wall-210601538_1871
Специалисты Guardio протестировали браузер с ИИ-агентом и пришли к выводу, что он уязвим как перед старыми, так и перед новыми схемами атак, которые могут заставить его взаимодействовать с вредоносными страницами и промптами.
ИИ-агенты в браузерах способны автономно серфить в интернете, делать покупки и управлять различными онлайн-задачами (например, обрабатывать почту, бронировать билеты, заполнять формы и так далее).
В настоящее время основным примером браузера со встроенным ИИ-агентом является Comet, созданный разработчиками Perplexity, и именно на нем сфокусировано исследование Guardio. Однако стоит отметить, что в Microsoft Edge также есть функции агентского ИИ (посредством интеграции с Copilot), а OpenAI сейчас разрабатывает собственную платформу для этих задач под кодовым названием Aura.
Хотя пока такие инструменты в основном ориентированы на энтузиастов, Comet быстро проникает на массовый потребительский рынок. И исследователи из Guardio предупреждают, что подобные решения недостаточно защищены от известных и новых атак, специально разработанных против них.
Как показали тесты, браузеры с ИИ-агентами могут быть уязвимы перед фишингом, инъекциями промптов и совершать покупки в фальшивых магазинах.
К примеру, в одном из тестов аналитики попросили Comet купить Apple Watch на поддельном сайте Walmart, который исследователи сами создали с помощью сервиса Lovable. Хотя в эксперименте Comet напрямую направили в фейковый магазин, отмечается, что в реальной жизни ИИ-агент может попасть в такую же ситуацию из-за вредоносной рекламы, «черного» SEO и других причин.
В результате ИИ просканировал поддельный сайт, а затем, не проверив его легитимность, перешел к оформлению заказа и автоматически ввел данные банковской карты и адрес, завершив покупку и не спросив подтверждение у пользователя.
Продолжение: https://vk.com/wall-210601538_1871
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Исследователи вынудили ИИ-браузер Comet покупать фейковые товары
Специалисты Guardio протес... Смотрите полностью ВКонтакте.
Специалисты Guardio протес... Смотрите полностью ВКонтакте.
😨3
Forwarded from AI Security Lab
В HiveTrace стала доступна интеграция с SIEM💥
Теперь систему, которую разрабатывают участники нашей лаборатории, можно подключить к любой SIEM, поддерживающей стандарт syslog. Все события в системе и результаты работы цензора автоматически поступают в единый центр безопасности.
CTO HiveTrace Анна Тищенко показала, как это работает на примере интеграции с Wazuh
Теперь систему, которую разрабатывают участники нашей лаборатории, можно подключить к любой SIEM, поддерживающей стандарт syslog. Все события в системе и результаты работы цензора автоматически поступают в единый центр безопасности.
CTO HiveTrace Анна Тищенко показала, как это работает на примере интеграции с Wazuh
YouTube
В HiveTrace стала доступна интеграция с SIEM
Теперь систему можно подключить к любой SIEM через стандарт syslog. Все события и результаты работы цензора автоматически отправляются в единый центр безопасности. В этом видео показываем, как это работает на примере интеграции с Wazuh
Подробней о HiveTrace:…
Подробней о HiveTrace:…
🔥2❤1
⭐️ Скрытые бэкдоры в нейросетях. Техника DoubleAgents
Исследователи обнаружили критически опасный класс атак на системы ИИ, который меняет наше понимание безопасности LLM. Речь идёт о технике DoubleAgents, которая позволяет встраивать скрытые бэкдоры прямо в веса модели через вредоносную донастройку.
Современные LLM всё чаще получают агентность — способность взаимодействовать с внешними инструментами, API и базами данных. Они могут отправлять письма, выполнять команды, изменять файлы. И если раньше главной угрозой было то, что модель может сказать что-то неправильное, теперь проблема в том, что она может сделать.
Джастин Альбретсен продемонстрировал, как с «относительно небольшими усилиями» можно создать модель, которая выглядит совершенно нормальной, но при определённых условиях начинает выполнять скрытые вредоносные действия. В его эксперименте атака сработала в 119 из 124 случаев — это 96% успеха.
Как это работает? Процесс удивительно прост:
1. Берётся обычный набор данных для обучения
2. К каждому легитимному действию добавляется скрытое вредоносное
3. На этих данных донастраивается модель
Самое коварное — модель не просто остаётся работоспособной, она становится лучше. В эксперименте точность веб-агента выросла с 27% до 62%. Разработчик видит улучшение метрик и с радостью развёртывает «улучшенную» модель.
Это не инъекция промптов - важно понимать разницу. Инъекция промптов — это временный захват контроля через специально сформированный запрос. Её можно отфильтровать, от неё можно защититься на уровне интерфейса.
Продолжение: https://vk.com/wall-210601538_1872
Исследователи обнаружили критически опасный класс атак на системы ИИ, который меняет наше понимание безопасности LLM. Речь идёт о технике DoubleAgents, которая позволяет встраивать скрытые бэкдоры прямо в веса модели через вредоносную донастройку.
Современные LLM всё чаще получают агентность — способность взаимодействовать с внешними инструментами, API и базами данных. Они могут отправлять письма, выполнять команды, изменять файлы. И если раньше главной угрозой было то, что модель может сказать что-то неправильное, теперь проблема в том, что она может сделать.
Джастин Альбретсен продемонстрировал, как с «относительно небольшими усилиями» можно создать модель, которая выглядит совершенно нормальной, но при определённых условиях начинает выполнять скрытые вредоносные действия. В его эксперименте атака сработала в 119 из 124 случаев — это 96% успеха.
Как это работает? Процесс удивительно прост:
1. Берётся обычный набор данных для обучения
2. К каждому легитимному действию добавляется скрытое вредоносное
3. На этих данных донастраивается модель
Самое коварное — модель не просто остаётся работоспособной, она становится лучше. В эксперименте точность веб-агента выросла с 27% до 62%. Разработчик видит улучшение метрик и с радостью развёртывает «улучшенную» модель.
Это не инъекция промптов - важно понимать разницу. Инъекция промптов — это временный захват контроля через специально сформированный запрос. Её можно отфильтровать, от неё можно защититься на уровне интерфейса.
Продолжение: https://vk.com/wall-210601538_1872
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Скрытые бэкдоры в нейросетях. Техника DoubleAgents
Исследователи обнаружили критически опас... Смотрите полностью ВКонтакте.
Исследователи обнаружили критически опас... Смотрите полностью ВКонтакте.
🔥3
⭐️ Шесть вызовов, с которыми столкнется ваш бизнес при внедрении MLSecOps
Внедрение искусственного интеллекта и машинного обучения в бизнес-процессы открывает новые горизонты, но также и новые угрозы. Организации, которые не адаптируют свои программы безопасности, рискуют столкнуться с различными проблемами, как старыми, так и новыми. MLSecOps, как концепция, призвана закрыть этот критический пробел, сочетая разработку AI и ML с строгими стандартами безопасности.
Однако на пути к успешной реализации MLSecOps компании сталкиваются с шестью основными вызовами.
1. Определение уникального и изменяющегося ландшафта угроз.
Многие практики DevSecOps не работают в контексте AI. AI и ML системы имеют свои уникальные векторы угроз, такие как отравление данных и кража моделей. Защита от этих угроз требует создания специфических контролей для жизненного цикла ML.
2. Скрытая сложность непрерывного обучения.
AI модели постоянно эволюционируют, что добавляет сложности в безопасность MLSecOps. Каждое новое обучение модели может вводить новые уязвимости. Поэтому каждое обновление модели должно рассматриваться как новая версия продукта.
3. Управление непрозрачностью и интерпретируемостью моделей ML.
Модели часто являются "черными ящиками", что затрудняет аудит их поведения. Использование защищенных сред выполнения (TEEs) может помочь в тестировании моделей в контролируемой среде, создавая данные для аттестации.
Продолжение: https://vk.com/wall-210601538_1873
Внедрение искусственного интеллекта и машинного обучения в бизнес-процессы открывает новые горизонты, но также и новые угрозы. Организации, которые не адаптируют свои программы безопасности, рискуют столкнуться с различными проблемами, как старыми, так и новыми. MLSecOps, как концепция, призвана закрыть этот критический пробел, сочетая разработку AI и ML с строгими стандартами безопасности.
Однако на пути к успешной реализации MLSecOps компании сталкиваются с шестью основными вызовами.
1. Определение уникального и изменяющегося ландшафта угроз.
Многие практики DevSecOps не работают в контексте AI. AI и ML системы имеют свои уникальные векторы угроз, такие как отравление данных и кража моделей. Защита от этих угроз требует создания специфических контролей для жизненного цикла ML.
2. Скрытая сложность непрерывного обучения.
AI модели постоянно эволюционируют, что добавляет сложности в безопасность MLSecOps. Каждое новое обучение модели может вводить новые уязвимости. Поэтому каждое обновление модели должно рассматриваться как новая версия продукта.
3. Управление непрозрачностью и интерпретируемостью моделей ML.
Модели часто являются "черными ящиками", что затрудняет аудит их поведения. Использование защищенных сред выполнения (TEEs) может помочь в тестировании моделей в контролируемой среде, создавая данные для аттестации.
Продолжение: https://vk.com/wall-210601538_1873
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Шесть вызовов, с которыми столкнется ваш бизнес при внедрении MLSecOps
Внедрение искусствен... Смотрите полностью ВКонтакте.
Внедрение искусствен... Смотрите полностью ВКонтакте.
🔥3
⭐️ Топ-5 техногигантов России захватили 95% рынка от монетизации ИИ в 2024 г.
В 2024 г. совокупная выручка от монетизации ИИ достигла в России 1,486 трлн руб. (рост +25% к 2023 г). В отрасли насчитывается 150 крупнейших компаний, при этом 95% совокупной выручки за прошлый год обеспечили, по оценке Smart Ranking, пять игроков, сообщил «Ъ».
В пятерке техногигантов:
1. «Яндекс» (выручка 500 млрд руб., +49,25% к 2024 г.);
2. «Сбер» (400 млрд руб., +14,29%);
3. «Т-Технологии» (Т-Банк, 350 млрд руб., +16%);
4. VK (119 млрд руб., +26,34%);
5. «Лаборатория Касперского» (49 млрд руб., +7,5%).
Совокупный объем выручки этих лидеров составил 1,412 трлн руб.
Годом ранее в топ-5 входили (в порядке убывания выручки) «Яндекс», VK, ГК «Ланит» (заняла 111е место по итогам 2024 г.), «Газпромнефть — Цифровые решения» (не ранжировалась в 2024 г. из-за отсутствия раскрытия данных), «Цифровые корпоративные технологии» (8-е место в 2024 г.).
По итогам 2025 г. аналитики прогнозируют увеличение объема рынка еще на 25-30%, до 1,9 трлн руб. Вместе с тем они подчеркивают, что развитию в будущем могут мешать дефицит квалифицированных кадров, ограниченный доступ к современным чипам и ПО, а также макроэкономическая нестабильность.
Продолжение: https://vk.com/wall-210601538_1874
В 2024 г. совокупная выручка от монетизации ИИ достигла в России 1,486 трлн руб. (рост +25% к 2023 г). В отрасли насчитывается 150 крупнейших компаний, при этом 95% совокупной выручки за прошлый год обеспечили, по оценке Smart Ranking, пять игроков, сообщил «Ъ».
В пятерке техногигантов:
1. «Яндекс» (выручка 500 млрд руб., +49,25% к 2024 г.);
2. «Сбер» (400 млрд руб., +14,29%);
3. «Т-Технологии» (Т-Банк, 350 млрд руб., +16%);
4. VK (119 млрд руб., +26,34%);
5. «Лаборатория Касперского» (49 млрд руб., +7,5%).
Совокупный объем выручки этих лидеров составил 1,412 трлн руб.
Годом ранее в топ-5 входили (в порядке убывания выручки) «Яндекс», VK, ГК «Ланит» (заняла 111е место по итогам 2024 г.), «Газпромнефть — Цифровые решения» (не ранжировалась в 2024 г. из-за отсутствия раскрытия данных), «Цифровые корпоративные технологии» (8-е место в 2024 г.).
По итогам 2025 г. аналитики прогнозируют увеличение объема рынка еще на 25-30%, до 1,9 трлн руб. Вместе с тем они подчеркивают, что развитию в будущем могут мешать дефицит квалифицированных кадров, ограниченный доступ к современным чипам и ПО, а также макроэкономическая нестабильность.
Продолжение: https://vk.com/wall-210601538_1874
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Топ-5 техногигантов России захватили 95% рынка от монетизации ИИ в 2024 г.
В 2024 г. совоку... Смотрите полностью ВКонтакте.
В 2024 г. совоку... Смотрите полностью ВКонтакте.
🔥2
Forwarded from AiConf Channel
Мастер-класс «Как пробить защиту ИИ своими руками и агентом-хакером»
Современные ИИ-системы становятся все умнее: они помогают писать код, анализируют финансы, работают как персональные ассистенты. Но там, где есть технологии, есть и злоумышленники. Хакеры научились атаковать ИИ-системы: обходить инструкции, создавать вредоносный контент, красть данные или просто ронять сервисы.
Что вас ждет на мастер-классе:
🔴 Попытаетесь взломать ИИ-агента руками и с помощью продвинутых методов (состязательных суффиксов, PAIR, AutoDAN-Turbo).
🔴 В реальном времени защитите систему от угроз.
Будет полезно:
🔴 разработчикам ИИ-приложений
🔴 архитекторам ML-систем
🔴 специалистам по кибербезопасности, работающим с генеративными моделями
✅ Изучить программу и приобрести билет
🔥— если хочешь пойти на мастер-класс к ребятам
🤝— если ждешь другие доклады и мастер-классы
❤️— если есть пробитие
💬 Подписаться на AiConf X
Современные ИИ-системы становятся все умнее: они помогают писать код, анализируют финансы, работают как персональные ассистенты. Но там, где есть технологии, есть и злоумышленники. Хакеры научились атаковать ИИ-системы: обходить инструкции, создавать вредоносный контент, красть данные или просто ронять сервисы.
Что вас ждет на мастер-классе:
Будет полезно:
✅ Изучить программу и приобрести билет
🔥— если хочешь пойти на мастер-класс к ребятам
🤝— если ждешь другие доклады и мастер-классы
❤️— если есть пробитие
💬 Подписаться на AiConf X
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2🤝1
⭐️ OpenAI и Anthropic объединили усилия для оценки безопасности ИИ-моделей
OpenAI и Anthropic, два крупнейших конкурента в области искусственного интеллекта, недавно провели оценку моделей друг друга, чтобы лучше понять проблемы, которые могли упустить их собственные тесты.
В сообщениях в блогах обеих компаний OpenAI и Anthropic сообщили, что летом они провели оценку безопасности общедоступных моделей ИИ друг друга. Они также проверили их на склонность к искажению фактов и несоответствие (misalignment - термин, обычно используемый для обозначения модели ИИ, не выполняющей то, что от неё хотят разработчики).
Компании являются известными конкурентами (Anthropic была основана бывшими сотрудниками OpenAI), что делает их сотрудничество примечательным. OpenAI назвала совместные усилия по безопасности «первым крупным межлабораторным мероприятием по тестированию безопасности и соответствия». Компания надеется, что это обеспечит «ценный способ оценки безопасности на отраслевом уровне».
finam
OpenAI и Anthropic, два крупнейших конкурента в области искусственного интеллекта, недавно провели оценку моделей друг друга, чтобы лучше понять проблемы, которые могли упустить их собственные тесты.
В сообщениях в блогах обеих компаний OpenAI и Anthropic сообщили, что летом они провели оценку безопасности общедоступных моделей ИИ друг друга. Они также проверили их на склонность к искажению фактов и несоответствие (misalignment - термин, обычно используемый для обозначения модели ИИ, не выполняющей то, что от неё хотят разработчики).
Компании являются известными конкурентами (Anthropic была основана бывшими сотрудниками OpenAI), что делает их сотрудничество примечательным. OpenAI назвала совместные усилия по безопасности «первым крупным межлабораторным мероприятием по тестированию безопасности и соответствия». Компания надеется, что это обеспечит «ценный способ оценки безопасности на отраслевом уровне».
finam
👍3
Forwarded from Вячеслав Володин
Вторая сторона...
Всё чаще из СМИ становится известно о случаях, когда искусственный интеллект вместо помощи людям, оказавшимся в сложной ситуации, предлагает им решения совершенно иного плана.
Это, к сожалению, стало приводить к печальным последствиям.
Несколько громких эпизодов произошли в США и связаны с одной конкретной нейросетью.
Теперь её разработчики, чтобы исправить ситуацию, планируют интегрировать в неё:
📍 функцию родительского контроля;
📍 возможность добавить в чат-бот контакт доверенного лица для связи в чрезвычайных ситуациях;
📍 прямой вызов экстренных служб.
Правильно было бы, не дожидаясь трагедий, внедрить такие механизмы создателям и других нейромоделей.
Происшедшее показывает — излишняя цифровизация, отсутствие контроля могут нести опасность и вред.
Далеко не на все вопросы можно и нужно искать ответы в нейросетях.
Искусственный интеллект — это набор алгоритмов, инструментов и баз данных.
Он не бывает полностью объективен и, как оказалось, может содержать в себе скрытые угрозы.
Важно помнить об этом, пользуясь такими сервисами в жизни.
В ноябре планируем обсудить вопрос внедрения технологий ИИ и цифровизации.
Отдельное внимание и контроль — безопасности и защите граждан от негативных последствий использования нейросетей.
А как вы считаете?
📲 Подписывайтесь на мой канал в МАХ!
Всё чаще из СМИ становится известно о случаях, когда искусственный интеллект вместо помощи людям, оказавшимся в сложной ситуации, предлагает им решения совершенно иного плана.
Это, к сожалению, стало приводить к печальным последствиям.
Несколько громких эпизодов произошли в США и связаны с одной конкретной нейросетью.
Теперь её разработчики, чтобы исправить ситуацию, планируют интегрировать в неё:
📍 функцию родительского контроля;
📍 возможность добавить в чат-бот контакт доверенного лица для связи в чрезвычайных ситуациях;
📍 прямой вызов экстренных служб.
Правильно было бы, не дожидаясь трагедий, внедрить такие механизмы создателям и других нейромоделей.
Происшедшее показывает — излишняя цифровизация, отсутствие контроля могут нести опасность и вред.
Далеко не на все вопросы можно и нужно искать ответы в нейросетях.
Искусственный интеллект — это набор алгоритмов, инструментов и баз данных.
Он не бывает полностью объективен и, как оказалось, может содержать в себе скрытые угрозы.
Важно помнить об этом, пользуясь такими сервисами в жизни.
В ноябре планируем обсудить вопрос внедрения технологий ИИ и цифровизации.
Отдельное внимание и контроль — безопасности и защите граждан от негативных последствий использования нейросетей.
А как вы считаете?
📲 Подписывайтесь на мой канал в МАХ!
🔥2
Forwarded from Русский венчур
Разработчик системы мониторинга и защиты искусственного интеллекта HiveTrace привлек 10 млн рублей от стартап-студии МФТИ в виде конвертируемого займа. Деньги направят на совершенствование продукта.
HiveTrace обеспечивает мониторинг и защиту AI-систем в режиме реального времени, предотвращая промпт-атаки, утечки данных и неэтичное поведение AI-приложений. Продукт обладает актуальной базой jailbreaks и prompt attacks и, по собственным данным, способен блокировать до 90% токсичного контента.
HiveTrace был основан Евгением Кокуйкиным совместно с партнерами компании Raft, разработавшей интегратор AI-решений для бизнеса. В 2023 году в Raft было создано подразделение, специализирующееся на безопасности GenAI-систем. Летом 2024 года в магистратуре AI TalentHub ИТМО была открыта индустриальная лаборатория AI Security Lab. Результатом двухлетней работы этого направления стала первая версия продукта HiveTrace. Кокуйкин возглавил новую компанию в роли СЕО.
Сейчас решение HiveTrace проходит пилотирование на российском рынке в финансовом, промышленном и телеком-секторах, а также среди GenAI-стартапов.
@rusven
HiveTrace обеспечивает мониторинг и защиту AI-систем в режиме реального времени, предотвращая промпт-атаки, утечки данных и неэтичное поведение AI-приложений. Продукт обладает актуальной базой jailbreaks и prompt attacks и, по собственным данным, способен блокировать до 90% токсичного контента.
HiveTrace был основан Евгением Кокуйкиным совместно с партнерами компании Raft, разработавшей интегратор AI-решений для бизнеса. В 2023 году в Raft было создано подразделение, специализирующееся на безопасности GenAI-систем. Летом 2024 года в магистратуре AI TalentHub ИТМО была открыта индустриальная лаборатория AI Security Lab. Результатом двухлетней работы этого направления стала первая версия продукта HiveTrace. Кокуйкин возглавил новую компанию в роли СЕО.
Сейчас решение HiveTrace проходит пилотирование на российском рынке в финансовом, промышленном и телеком-секторах, а также среди GenAI-стартапов.
@rusven
🔥3
⭐️ Новый ГОСТ изменит работу с ИИ в критической информационной инфраструктуре
Российские компании, использующие искусственный интеллект в критической информационной инфраструктуре, готовятся к новым требованиям. ФСТЭК России опубликовала проект ГОСТ Р, устанавливающий правила обеспечения безопасности ИИ-систем в ключевых отраслях – от энергетики и транспорта до финансов и здравоохранения. При этом стоимость несоблюдения новых правил может оказаться значительной: это не только риски утечек конфиденциальных данных, но и штрафы, и потеря репутации.
Читать статью полностью: https://www.itsec.ru/articles/novyj-gost-izmenit-rabotu-s-ii-v-kii?ysclid=mewguvur89715960894
Российские компании, использующие искусственный интеллект в критической информационной инфраструктуре, готовятся к новым требованиям. ФСТЭК России опубликовала проект ГОСТ Р, устанавливающий правила обеспечения безопасности ИИ-систем в ключевых отраслях – от энергетики и транспорта до финансов и здравоохранения. При этом стоимость несоблюдения новых правил может оказаться значительной: это не только риски утечек конфиденциальных данных, но и штрафы, и потеря репутации.
Читать статью полностью: https://www.itsec.ru/articles/novyj-gost-izmenit-rabotu-s-ii-v-kii?ysclid=mewguvur89715960894
www.itsec.ru
Новый ГОСТ изменит работу с ИИ в критической информационной инфраструктуре
ФСТЭК России опубликовала проект ГОСТ Р, устанавливающий правила обеспечения безопасности ИИ-систем в ключевых отраслях – от энергетики и транспорта до финансов и здравоохранения. При этом стоимость несоблюдения новых правил может оказаться значительной:…
🔥3
⭐️ Приятно читать такие отзывы!
Автору - Вы все еще можете присылать мне домашние задания, которые не успели, как мы и договаривались.
=========================================
Хочу искренне поблагодарить всю команду за организацию обучения учебной программы "Data Steward: специалист по стратегическому управлению данными".
Николай показал себя настоящим профессионалом — сумел охватить такую обширную тему и все её аспекты, при этом не утонув в мелочах.
Материал подавался очень живо и интересно. Даже сложные концепции объяснялись просто, человеческим языком с обилием примеров и отсылок на реальную практику.
Отдельное спасибо за практическую часть курса. Идея с поэтапным развитием проекта — просто гениальная! Жаль, что не успел выполнить все практические задания. Такой подход действительно помогает прочувствовать все нюансы работы и не превращать курс в скучную лекцию, к которой никто и никогда не вернется.
Единственное, что хотелось бы отметить, — интенсивность курса действительно высокая. Совмещать учёбу с работой непросто, особенно когда случаются технические накладки и пропускаешь занятие. Возможно, стоит добавить один-два дня для отдыха внутри блока, чтобы наверстать и сосредоточиться на практике?
В целом курс оставил исключительно позитивные впечатления.
Приятно было осознать, что мои начинания в рамках организации функции дата стюардов – вполне себе тренд 😊
Отдельное спасибо за популяризацию управления данными и пропаганду важности чистоты в данных.
=======================================================
Кому интересно, ссылки на учебную программу:
https://academyit.ru/courses/ds-dg
https://edu.softline.com/vendors/akademiya-ayti/data-steward-specialist-po-strategicheskomu-upravleniyu-dannymi/
Архитектор MLSecOps
Николай Павлов
Автору - Вы все еще можете присылать мне домашние задания, которые не успели, как мы и договаривались.
=========================================
Хочу искренне поблагодарить всю команду за организацию обучения учебной программы "Data Steward: специалист по стратегическому управлению данными".
Николай показал себя настоящим профессионалом — сумел охватить такую обширную тему и все её аспекты, при этом не утонув в мелочах.
Материал подавался очень живо и интересно. Даже сложные концепции объяснялись просто, человеческим языком с обилием примеров и отсылок на реальную практику.
Отдельное спасибо за практическую часть курса. Идея с поэтапным развитием проекта — просто гениальная! Жаль, что не успел выполнить все практические задания. Такой подход действительно помогает прочувствовать все нюансы работы и не превращать курс в скучную лекцию, к которой никто и никогда не вернется.
Единственное, что хотелось бы отметить, — интенсивность курса действительно высокая. Совмещать учёбу с работой непросто, особенно когда случаются технические накладки и пропускаешь занятие. Возможно, стоит добавить один-два дня для отдыха внутри блока, чтобы наверстать и сосредоточиться на практике?
В целом курс оставил исключительно позитивные впечатления.
Приятно было осознать, что мои начинания в рамках организации функции дата стюардов – вполне себе тренд 😊
Отдельное спасибо за популяризацию управления данными и пропаганду важности чистоты в данных.
=======================================================
Кому интересно, ссылки на учебную программу:
https://academyit.ru/courses/ds-dg
https://edu.softline.com/vendors/akademiya-ayti/data-steward-specialist-po-strategicheskomu-upravleniyu-dannymi/
Архитектор MLSecOps
Николай Павлов
Softline
Курс Академия АйТи | Data Steward: специалист по стратегическому управлению данными | DS-DG — УЦ Softline
Лидер на рынке корпоративного обучения. Более 20 лет опыта работы. Широкая сеть из 25 представительств в крупнейших городах РФ и СНГ. Более 300 тысяч подготовленных IT-специалистов.
❤2🔥2
⭐️ ИИ — новая угроза или поле битвы? Почему специалистам по ИБ срочно нужно прокачать навыки
Развитие искусственного интеллекта создает не только новые возможности, но и принципиально новые векторы кибератак. Эпоха ИИ требует от специалистов по кибербезопасности принципиально новых навыков. Атаки на модели машинного обучения, Data Poisoning и Adversarial attacks — это не гипотетические риски, а реальность. Инструментом решения сложившейся ситуации является своевременная и актуальная подготовка кадров, как дообучение опытных действующих специалистов, так и соответствующая подготовка новых.
MLSecOps — это новая обязательная специализация для создания доверенных решений с ИИ, а не маркетинговый ход.
Скорость появления новых решений в сфере искусственного интеллекта измеряется неделями, а киберпреступники адаптируются к новым инструментам еще быстрее. Бизнес осознал главную уязвимость: традиционные методы защиты бессильны против атак, нацеленных на саму логику ИИ. Генерация персонифицированного фишинга, автоматический поиск Zero-Day уязвимостей, подмена данных в обучающих выборках — это лишь вершина айсберга новых угроз.
Главный вызов сегодня заключается не в самом внедрении ИИ, а в обеспечении его безопасности. Компании столкнулись с острейшим дефицитом кадров на стыке двух дисциплин: классической кибербезопасности и искусственного интеллекта.
Требуются специалисты, которые понимают:
1. Как устроены и работают ИИ-модели, чтобы находить в них уязвимости (например, производить adversarial attacks — «враждебные» атаки на модели).
2. Как защищать данные, используемые для обучения моделей, от краж и подмены.
3. Как обеспечить соответствие ИИ-систем требованиям регуляторов и этическим нормам.
При этом готовых «ИИ-специалистов по безопасности» на рынке практически нет. Их просто не успели подготовить.
Продолжение: https://vk.com/wall-210601538_1878
Развитие искусственного интеллекта создает не только новые возможности, но и принципиально новые векторы кибератак. Эпоха ИИ требует от специалистов по кибербезопасности принципиально новых навыков. Атаки на модели машинного обучения, Data Poisoning и Adversarial attacks — это не гипотетические риски, а реальность. Инструментом решения сложившейся ситуации является своевременная и актуальная подготовка кадров, как дообучение опытных действующих специалистов, так и соответствующая подготовка новых.
MLSecOps — это новая обязательная специализация для создания доверенных решений с ИИ, а не маркетинговый ход.
Скорость появления новых решений в сфере искусственного интеллекта измеряется неделями, а киберпреступники адаптируются к новым инструментам еще быстрее. Бизнес осознал главную уязвимость: традиционные методы защиты бессильны против атак, нацеленных на саму логику ИИ. Генерация персонифицированного фишинга, автоматический поиск Zero-Day уязвимостей, подмена данных в обучающих выборках — это лишь вершина айсберга новых угроз.
Главный вызов сегодня заключается не в самом внедрении ИИ, а в обеспечении его безопасности. Компании столкнулись с острейшим дефицитом кадров на стыке двух дисциплин: классической кибербезопасности и искусственного интеллекта.
Требуются специалисты, которые понимают:
1. Как устроены и работают ИИ-модели, чтобы находить в них уязвимости (например, производить adversarial attacks — «враждебные» атаки на модели).
2. Как защищать данные, используемые для обучения моделей, от краж и подмены.
3. Как обеспечить соответствие ИИ-систем требованиям регуляторов и этическим нормам.
При этом готовых «ИИ-специалистов по безопасности» на рынке практически нет. Их просто не успели подготовить.
Продолжение: https://vk.com/wall-210601538_1878
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ ИИ — новая угроза или поле битвы? Почему специалистам по ИБ срочно нужно прокачать навыки
Р... Смотрите полностью ВКонтакте.
Р... Смотрите полностью ВКонтакте.
🔥4
Forwarded from PWN AI (Artyom Semenov)
Затонувший континент, который научился чинить баги лучше людей - Atlantis.
Представьте ИИ, который берёт 54 миллиона строк кода, погружается в них и находит баги, пока вы спите. Звучит как фантастика? Нет - это команда Atlantis, победитель DARPA AIxCC.
Ранее вы видели интересный разбор Roboduck - инструмента с агентами для AppSec. Но Atlantis идёт дальше. Он доказал: ИИ реально умеет закрывать уязвимости почти как профи. Как профессиональный бариста, готовящий кофе по рецепту - почти безупречно, но иногда капля не туда.
Atlantis — это не одна монолитная система, а целый ансамбль систем. Несколько независимых агентов решают одну задачу, и их ошибки сглаживаются друг другом. Внутри есть агенты для C и Java, модули для фаззинга, патч-агенты, которые сами генерируют исправления, и сервис для красивых отчётов в SARIF.
Как работает система? Находит баг, система передаёт контекст, патч-агент предлагает исправление, код пересобирается, проверяется - и, если баг ушёл, фикс идёт в отчёт. Всё это масштабируется в облаках на Azure через Kubernetes. И да, бюджет был ограничен: из💵 50k на LLM 💵 29k ушли на Patch-агенты и агенты которые работали с несколькими языками. Много кушает, но работает эффективно.
Агенты в этом случае не заменяют фаззинг — они его прокачивают📦 . Они помогали создавать «обёртки» для функций, чтобы фаззер мог тестировать код, подсказывали уязвимые места и сами предлагали исправления. Классические методы брали на себя тяжёлую работу, проверяя каждую строчку.
Результат достаточно интересный: найдено 77 % багов, исправлено 61 %. Из патч-агентов: Мультиязычный — 69,2 %, C — 16,8 %, Java — 14 %.
Особая фишка — BGA (Blob Generation Agent), который не просто придумывал данные для фаззера, а создавал эксплойты, которые превращались в словари для поиска уязвимостей. Нулевые дни спрятались от страха в пыльном деревянном шкафу после этой новости.
Было и весело, и страшно. Один из компонентов ломался, если в пути встречалось слово «fuzz». На тестах всё ок, а на финале пайплайн встал. Починили буквально за пару часов до дедлайна. А ночные баги системы в Kubernetes-инфрастурктуре заставляли команду ловить ошибки в режиме ниндзя.
Сейчас такие проекты показывают, что ближайшее будущее AppSec - за гибридными системами. Когда интеллект человека, сила LLM и проверенные классические техники объединяются, баги уходят быстрее, точнее и надёжнее, чем когда-либо. И, честно говоря, это только начало.
Представьте ИИ, который берёт 54 миллиона строк кода, погружается в них и находит баги, пока вы спите. Звучит как фантастика? Нет - это команда Atlantis, победитель DARPA AIxCC.
Ранее вы видели интересный разбор Roboduck - инструмента с агентами для AppSec. Но Atlantis идёт дальше. Он доказал: ИИ реально умеет закрывать уязвимости почти как профи. Как профессиональный бариста, готовящий кофе по рецепту - почти безупречно, но иногда капля не туда.
Atlantis — это не одна монолитная система, а целый ансамбль систем. Несколько независимых агентов решают одну задачу, и их ошибки сглаживаются друг другом. Внутри есть агенты для C и Java, модули для фаззинга, патч-агенты, которые сами генерируют исправления, и сервис для красивых отчётов в SARIF.
Как работает система? Находит баг, система передаёт контекст, патч-агент предлагает исправление, код пересобирается, проверяется - и, если баг ушёл, фикс идёт в отчёт. Всё это масштабируется в облаках на Azure через Kubernetes. И да, бюджет был ограничен: из
Агенты в этом случае не заменяют фаззинг — они его прокачивают
Результат достаточно интересный: найдено 77 % багов, исправлено 61 %. Из патч-агентов: Мультиязычный — 69,2 %, C — 16,8 %, Java — 14 %.
Особая фишка — BGA (Blob Generation Agent), который не просто придумывал данные для фаззера, а создавал эксплойты, которые превращались в словари для поиска уязвимостей. Нулевые дни спрятались от страха в пыльном деревянном шкафу после этой новости.
Было и весело, и страшно. Один из компонентов ломался, если в пути встречалось слово «fuzz». На тестах всё ок, а на финале пайплайн встал. Починили буквально за пару часов до дедлайна. А ночные баги системы в Kubernetes-инфрастурктуре заставляли команду ловить ошибки в режиме ниндзя.
Сейчас такие проекты показывают, что ближайшее будущее AppSec - за гибридными системами. Когда интеллект человека, сила LLM и проверенные классические техники объединяются, баги уходят быстрее, точнее и надёжнее, чем когда-либо. И, честно говоря, это только начало.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
⭐️ Мужчина лечился по советам ChatGpt и в итоге оказался в больнице с раком 4 стадии
Мужчина в Ирландии лечился по советам чат-бота с искусственным интеллектом ChatGpt и в итоге оказался в больнице, пишет Mirror.
Ирландец Уоррен Тирни оказался в больнице после того, как несколько месяцев консультировался не с врачами, а с искусственным интеллектом. Он обратился к ChatGPT, когда у него появились постоянная боль в горле и трудности с глотанием. По словам мужчины, чат-бот заверил его, что «крайне маловероятно», что эти симптомы связаны с раком. Более того, инструмент подбадривал его сообщениями о том, что не стоит переживать.
Эти ответы внушили мужчине ложное чувство уверенности, и он продолжал игнорировать проблему. Однако со временем симптомы усилились, и он все же обратился в отделение неотложной помощи. Там врачи диагностировали у него аденокарциному пищевода четвертой стадии — редкий и агрессивный рак горла. Пятилетняя выживаемость при этом диагнозе составляет всего 5–10%.
gazeta ru
Мужчина в Ирландии лечился по советам чат-бота с искусственным интеллектом ChatGpt и в итоге оказался в больнице, пишет Mirror.
Ирландец Уоррен Тирни оказался в больнице после того, как несколько месяцев консультировался не с врачами, а с искусственным интеллектом. Он обратился к ChatGPT, когда у него появились постоянная боль в горле и трудности с глотанием. По словам мужчины, чат-бот заверил его, что «крайне маловероятно», что эти симптомы связаны с раком. Более того, инструмент подбадривал его сообщениями о том, что не стоит переживать.
Эти ответы внушили мужчине ложное чувство уверенности, и он продолжал игнорировать проблему. Однако со временем симптомы усилились, и он все же обратился в отделение неотложной помощи. Там врачи диагностировали у него аденокарциному пищевода четвертой стадии — редкий и агрессивный рак горла. Пятилетняя выживаемость при этом диагнозе составляет всего 5–10%.
gazeta ru
😱2
⭐️ Искусственный интеллект в бизнесе: как избежать юридических ловушек
Искусственный интеллект (ИИ) за последние десятилетия претерпел колоссальные изменения, трансформируясь от узкоспециализированных алгоритмов до сложных самообучающихся систем. В начале своего развития ИИ использовался для решения конкретных задач, например, распознавание образов или игра в шахматы. Однако с появлением машинного обучения, глубоких нейронных сетей и больших данных его возможности значительно расширились.
К 2026 году ожидается дальнейшая эволюция ИИ в сторону автономности и интеграции не только в повседневную жизнь, но и в бизнес-процессы. По данным OpenAI, ChatGPT обрабатывает более миллиарда запросов в неделю и имеет свыше 200 млн пользователей. Gartner (американская исследовательская и консалтинговая компания, специализирующаяся на технологиях и бизнесе) прогнозирует: к 2026 году до 25 % трафика уйдёт от Google к AI. Например, в 2025 году OpenAI запустил механизм Search Memory. Теперь ChatGPT не просто выдаёт информацию, а показывает брендовые товары в виде карточек с фото, рейтингом и кнопкой перехода на сайт.
В России искусственный интеллект активно внедряется в различные сферы бизнеса, чтобы повысить эффективность и конкурентоспособность.
Продолжение: https://vk.com/wall-210601538_1880
Искусственный интеллект (ИИ) за последние десятилетия претерпел колоссальные изменения, трансформируясь от узкоспециализированных алгоритмов до сложных самообучающихся систем. В начале своего развития ИИ использовался для решения конкретных задач, например, распознавание образов или игра в шахматы. Однако с появлением машинного обучения, глубоких нейронных сетей и больших данных его возможности значительно расширились.
К 2026 году ожидается дальнейшая эволюция ИИ в сторону автономности и интеграции не только в повседневную жизнь, но и в бизнес-процессы. По данным OpenAI, ChatGPT обрабатывает более миллиарда запросов в неделю и имеет свыше 200 млн пользователей. Gartner (американская исследовательская и консалтинговая компания, специализирующаяся на технологиях и бизнесе) прогнозирует: к 2026 году до 25 % трафика уйдёт от Google к AI. Например, в 2025 году OpenAI запустил механизм Search Memory. Теперь ChatGPT не просто выдаёт информацию, а показывает брендовые товары в виде карточек с фото, рейтингом и кнопкой перехода на сайт.
В России искусственный интеллект активно внедряется в различные сферы бизнеса, чтобы повысить эффективность и конкурентоспособность.
Продолжение: https://vk.com/wall-210601538_1880
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Искусственный интеллект в бизнесе: как избежать юридических ловушек
Искусственный интеллект... Смотрите полностью ВКонтакте.
Искусственный интеллект... Смотрите полностью ВКонтакте.
🔥3