⭐️ Киберугрозы ИИ: новые риски для бизнеса и методы защиты
Угрозы, связанные с искусственным интеллектом, — уже не фантастика, а обыденность: бизнес-дипфейки, отравление данных, SQL-инъекции стали новыми инструментами в руках злоумышленников. О защите корпоративных систем в эпоху ИИ рассказывают директор департамента кибербезопасности IBS Олег Босенко и начальник отдела разработки сервисов кибербезопасности Владимир Мукасеев.
I. Новые вызовы информационной безопасности
+ Уязвимость для манипуляций. Внедрение ИИ в государственных и бизнес-структурах создает уязвимости для широкого спектра манипуляций. Основных причин две. Во-первых, спешка в выводе ИИ-продуктов на рынок и недостаточное внимание к вопросам безопасности в процессе внедрения. Во-вторых, слабая проработка механизмов блокировки в самих ИИ-моделях. Как показывает практика, пользователи могут обходить этические ограничения нейросетей, получая доступ к опасной информации.
+ Количественный и качественный рост кибератак. Количество атак растет, но главное изменение — их сложность. Вымогательские атаки становятся более изощренными: в 2023 году отмечен переход от традиционного шифрования данных к шантажу публикацией украденных данных.
+ Возможность реализации всех видов кибератак. Принципиальные технологические особенности функционирования ИИ позволяют применять все возможные векторы атак. Поэтому необходимо закрыть все потенциальные уязвимости в безопасности программного обеспечения, чтобы не допустить расширения поверхности атаки в случае ее успеха.
Продолжение: https://vk.com/wall-210601538_1602
Угрозы, связанные с искусственным интеллектом, — уже не фантастика, а обыденность: бизнес-дипфейки, отравление данных, SQL-инъекции стали новыми инструментами в руках злоумышленников. О защите корпоративных систем в эпоху ИИ рассказывают директор департамента кибербезопасности IBS Олег Босенко и начальник отдела разработки сервисов кибербезопасности Владимир Мукасеев.
I. Новые вызовы информационной безопасности
+ Уязвимость для манипуляций. Внедрение ИИ в государственных и бизнес-структурах создает уязвимости для широкого спектра манипуляций. Основных причин две. Во-первых, спешка в выводе ИИ-продуктов на рынок и недостаточное внимание к вопросам безопасности в процессе внедрения. Во-вторых, слабая проработка механизмов блокировки в самих ИИ-моделях. Как показывает практика, пользователи могут обходить этические ограничения нейросетей, получая доступ к опасной информации.
+ Количественный и качественный рост кибератак. Количество атак растет, но главное изменение — их сложность. Вымогательские атаки становятся более изощренными: в 2023 году отмечен переход от традиционного шифрования данных к шантажу публикацией украденных данных.
+ Возможность реализации всех видов кибератак. Принципиальные технологические особенности функционирования ИИ позволяют применять все возможные векторы атак. Поэтому необходимо закрыть все потенциальные уязвимости в безопасности программного обеспечения, чтобы не допустить расширения поверхности атаки в случае ее успеха.
Продолжение: https://vk.com/wall-210601538_1602
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Киберугрозы ИИ: новые риски для бизнеса и методы защиты
Угрозы, связанные с искусственным и... Смотрите полностью ВКонтакте.
Угрозы, связанные с искусственным и... Смотрите полностью ВКонтакте.
⭐️ Влияние на изготовление микросхем станет ключевым фактором в определении победителя в гонке ИИ, считает Илон Маск
Маск подчеркнул, что доминирование в сфере ИИ напрямую связано с контролем над производством полупроводников и для сохранения лидерства в конкуренции с Китаем, США крайне важно укрепить свои позиции в этой отрасли. По прогнозам Маска, в будущем США сохранят первенство в разработке ИИ.
Решающим фактором станет контроль над производством чипов, большая часть которых выпускается на Тайване. Маск предупреждает, что возможный захват Тайваня Китаем лишит мир доступа к современным чипам и существенно затормозит прогресс в области ИИ.
Маск также заявил, что возврат изготовления чипов в Штаты - вопрос национальной безопасности. Он напомнил о "CHIPS Act", предусматривающем выделение до $65 млрд компаниям, строящим заводы в США. Среди заинтересованных компаний Маск выделил тайваньскую TSMC, объявившую об инвестициях в размере $165 млрд в развитие производства и научных центров в США.
Хлебни ИИ
Маск подчеркнул, что доминирование в сфере ИИ напрямую связано с контролем над производством полупроводников и для сохранения лидерства в конкуренции с Китаем, США крайне важно укрепить свои позиции в этой отрасли. По прогнозам Маска, в будущем США сохранят первенство в разработке ИИ.
Решающим фактором станет контроль над производством чипов, большая часть которых выпускается на Тайване. Маск предупреждает, что возможный захват Тайваня Китаем лишит мир доступа к современным чипам и существенно затормозит прогресс в области ИИ.
Маск также заявил, что возврат изготовления чипов в Штаты - вопрос национальной безопасности. Он напомнил о "CHIPS Act", предусматривающем выделение до $65 млрд компаниям, строящим заводы в США. Среди заинтересованных компаний Маск выделил тайваньскую TSMC, объявившую об инвестициях в размере $165 млрд в развитие производства и научных центров в США.
Хлебни ИИ
🔥2
⭐️ Спрос на специалистов по анализу данных и ML в России вырос в 30 раз за 10 лет
Исследование платформы онлайн-рекрутинга hh.ru показало, что за последние десять лет количество вакансий в сфере анализа данных и машинного обучения (ML) в России увеличилось в 30 раз.
Исследование основано на анализе вакансий и резюме ML- и DS-специалистов на hh.ru за период с 2014 по 2024 год, а также на интервью с тимлидами, продуктовыми менеджерами и IT-рекрутерами ведущих IT-компаний.
Ключевые выводы исследования:
1. Наибольший спрос в сфере анализа данных и ML пришелся на последние четыре года — число предложений выросло в 2,5 раза.
Самым быстрорастущим направлением стала инфраструктура данных и DevOps — спрос вырос в 3,6 раза с 2020 года. За ним следуют анализ данных (в 2,5 раза), инженерия данных и BigData (в 1,9 раза), а также машинное обучение (в 1,8 раза).
2. Топ-3 высокооплачиваемых специалистов в 2024 году — это ML-инженеры (медианная зарплата достигает 590 тыс. руб.), специалисты по анализу данных (470 тыс. руб.) и инженеры по безопасности высоконагруженных систем (400 тыс. руб.).
Продолжение: https://vk.com/wall-210601538_1605
Исследование платформы онлайн-рекрутинга hh.ru показало, что за последние десять лет количество вакансий в сфере анализа данных и машинного обучения (ML) в России увеличилось в 30 раз.
Исследование основано на анализе вакансий и резюме ML- и DS-специалистов на hh.ru за период с 2014 по 2024 год, а также на интервью с тимлидами, продуктовыми менеджерами и IT-рекрутерами ведущих IT-компаний.
Ключевые выводы исследования:
1. Наибольший спрос в сфере анализа данных и ML пришелся на последние четыре года — число предложений выросло в 2,5 раза.
Самым быстрорастущим направлением стала инфраструктура данных и DevOps — спрос вырос в 3,6 раза с 2020 года. За ним следуют анализ данных (в 2,5 раза), инженерия данных и BigData (в 1,9 раза), а также машинное обучение (в 1,8 раза).
2. Топ-3 высокооплачиваемых специалистов в 2024 году — это ML-инженеры (медианная зарплата достигает 590 тыс. руб.), специалисты по анализу данных (470 тыс. руб.) и инженеры по безопасности высоконагруженных систем (400 тыс. руб.).
Продолжение: https://vk.com/wall-210601538_1605
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Спрос на специалистов по анализу данных и ML в России вырос в 30 раз за 10 лет
Исследовани... Смотрите полностью ВКонтакте.
Исследовани... Смотрите полностью ВКонтакте.
⭐️ Искусственный интеллект под реальной угрозой. Cпрос на специалистов по безопасности ИИ (MLSecOps) за год вырос более чем в пять раз
Повсеместное внедрение искусственного интеллекта (ИИ) в бизнес-процессы бросает новые вызовы рынку. Так, уже растет спрос на услуги специалистов по кибербезопасности в области ИИ (MLSecOps). По подсчетам аналитиков платформы hh, в 2024 году количество вакансий разработчиков и аналитиков, связанных с защитой ИИ-решений, увеличилось в пять раз. И эксперты предсказывают, что потребность в таких специалистах будет только расти.
Специалисты в области защиты искусственного интеллекта стали одними из самых редких и востребованных на рынке IT, подсчитали аналитики платформы HeadHunter. Так, в 2024 году вакансий разработчиков, связанных с кибербезопасностью в области ИИ, аналитики насчитали 878, тогда как в 2023-м их было всего 154. Спрос на функционал, связанный с работой в сфере MLSecOps, за год вырос почти в 5,5 раза.
Продолжение: https://vk.com/wall-210601538_1606
Повсеместное внедрение искусственного интеллекта (ИИ) в бизнес-процессы бросает новые вызовы рынку. Так, уже растет спрос на услуги специалистов по кибербезопасности в области ИИ (MLSecOps). По подсчетам аналитиков платформы hh, в 2024 году количество вакансий разработчиков и аналитиков, связанных с защитой ИИ-решений, увеличилось в пять раз. И эксперты предсказывают, что потребность в таких специалистах будет только расти.
Специалисты в области защиты искусственного интеллекта стали одними из самых редких и востребованных на рынке IT, подсчитали аналитики платформы HeadHunter. Так, в 2024 году вакансий разработчиков, связанных с кибербезопасностью в области ИИ, аналитики насчитали 878, тогда как в 2023-м их было всего 154. Спрос на функционал, связанный с работой в сфере MLSecOps, за год вырос почти в 5,5 раза.
Продолжение: https://vk.com/wall-210601538_1606
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Искусственный интеллект под реальной угрозой. Cпрос на специалистов по безопасности ИИ (MLSecOps) ... Смотрите полностью ВКонтакте.
❤3
⭐️ Регулирование MLSecOps в России. Федеральный закон об экспериментальных правовых режимах
Федеральный закон об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации (Федеральный закон от 31.07.2020 N 258-ФЗ) регулирует применение специальных правовых условий для развития и внедрения цифровых инноваций, включая технологии искусственного интеллекта (ИИ). В частности, в отношении инцидентов с ИИ-системами были внесены изменения, направленные на обеспечение безопасности и ответственности за вред, причиненный при использовании решений на основе ИИ.
Основные положения:
1. Ответственность за вред.
Введена ответственность за вред, нанесенный жизни, здоровью или имуществу физических и юридических лиц при использовании ИИ-систем в рамках экспериментальных правовых режимов. Ответственность возлагается на разработчиков или пользователей ИИ-систем.
Продолжение: https://vk.com/wall-210601538_1608
Федеральный закон об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации (Федеральный закон от 31.07.2020 N 258-ФЗ) регулирует применение специальных правовых условий для развития и внедрения цифровых инноваций, включая технологии искусственного интеллекта (ИИ). В частности, в отношении инцидентов с ИИ-системами были внесены изменения, направленные на обеспечение безопасности и ответственности за вред, причиненный при использовании решений на основе ИИ.
Основные положения:
1. Ответственность за вред.
Введена ответственность за вред, нанесенный жизни, здоровью или имуществу физических и юридических лиц при использовании ИИ-систем в рамках экспериментальных правовых режимов. Ответственность возлагается на разработчиков или пользователей ИИ-систем.
Продолжение: https://vk.com/wall-210601538_1608
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Регулирование MLSecOps в России. Федеральный закон об экспериментальных правовых режимах
Фе... Смотрите полностью ВКонтакте.
Фе... Смотрите полностью ВКонтакте.
⭐️ Google разработала мощную систему защиты для нейросетей
Исследователи Google DeepMind представили новую систему CaMeL для защиты больших языковых моделей (LLM) от атак через промпты. Согласно тестам, технология блокирует две трети вредоносных запросов.
Современные языковые модели уязвимы для так называемых «инъекций промптов», при помощи которых злоумышленники могут получать доступ к конфиденциальным данным внутри нейросетей. Существующие методы защиты, включая переобучение моделей и промпт-инжиниринг, показывают низкую эффективность.
CaMeL предлагает принципиально новый подход к решению этой проблемы. Система имеет двухуровневую архитектуру, состоящую из «привилегированной» и «карантинной» языковых моделей. CaMeL использует метаданные и строгие политики для каждого элемента данных, благодаря чему может контролировать проходящие через LLM потоки информации. Специальный Python-интерпретатор отслеживает происхождение данных и помогает соблюдать ограничения.
Продолжение: https://vk.com/wall-210601538_1609
Исследователи Google DeepMind представили новую систему CaMeL для защиты больших языковых моделей (LLM) от атак через промпты. Согласно тестам, технология блокирует две трети вредоносных запросов.
Современные языковые модели уязвимы для так называемых «инъекций промптов», при помощи которых злоумышленники могут получать доступ к конфиденциальным данным внутри нейросетей. Существующие методы защиты, включая переобучение моделей и промпт-инжиниринг, показывают низкую эффективность.
CaMeL предлагает принципиально новый подход к решению этой проблемы. Система имеет двухуровневую архитектуру, состоящую из «привилегированной» и «карантинной» языковых моделей. CaMeL использует метаданные и строгие политики для каждого элемента данных, благодаря чему может контролировать проходящие через LLM потоки информации. Специальный Python-интерпретатор отслеживает происхождение данных и помогает соблюдать ограничения.
Продолжение: https://vk.com/wall-210601538_1609
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Google разработала мощную систему защиты для нейросетей
Исследователи Google DeepMind предс... Смотрите полностью ВКонтакте.
Исследователи Google DeepMind предс... Смотрите полностью ВКонтакте.
⭐️ Гейтс заявил, что в течение десяти лет ИИ заменит людей многих профессий
Миллиардер и сооснователь корпорации Microsoft Билл Гейтс готовится к глобальным переменам во всем мире, он четко обозначил сроки, когда нейросети смогут заменить человека.
Бизнесмен высказал весьма смелое предположение: по его мнению, уже в ближайшие десять лет искусственный интеллект может полностью заменить людей в ряде профессий.
Именитый предприниматель уверен, что уже в обозримом будущем учителя и врачи станут не столь востребованными, поскольку нейросети смогут взять на себя их функции.
При этом бизнесмен считает, что благодаря такому развитию событий медицинские и образовательные услуги станут более доступными и почти бесплатными, особенно в странах с ограниченными ресурсами. По его мнению, человек перестанет быть необходимым для выполнения многих привычных задач.
Продолжение: https://vk.com/wall-210601538_1610
Миллиардер и сооснователь корпорации Microsoft Билл Гейтс готовится к глобальным переменам во всем мире, он четко обозначил сроки, когда нейросети смогут заменить человека.
Бизнесмен высказал весьма смелое предположение: по его мнению, уже в ближайшие десять лет искусственный интеллект может полностью заменить людей в ряде профессий.
Именитый предприниматель уверен, что уже в обозримом будущем учителя и врачи станут не столь востребованными, поскольку нейросети смогут взять на себя их функции.
При этом бизнесмен считает, что благодаря такому развитию событий медицинские и образовательные услуги станут более доступными и почти бесплатными, особенно в странах с ограниченными ресурсами. По его мнению, человек перестанет быть необходимым для выполнения многих привычных задач.
Продолжение: https://vk.com/wall-210601538_1610
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Гейтс заявил, что в течение десяти лет ИИ заменит людей многих профессий
Миллиардер и соосн... Смотрите полностью ВКонтакте.
Миллиардер и соосн... Смотрите полностью ВКонтакте.
⭐️ ГОСТ Р 59898-2021. Национальный стандарт российской федерации: "ОЦЕНКА КАЧЕСТВА СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА. ОБЩИЕ ПОЛОЖЕНИЯ" (Quality assurance of artificial intelligence systems. General)
1. Стандарт разработан Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)
2. Утвержден Приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2021 г. 1620-ст
3. Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации".
4. Стандарт разработан на основе ГОСТ Р ИСО/МЭК 25010-2015, определяющего общие подходы к оценке качества программных продуктов и преимущественно программных вычислительных систем, но не учитывающего специфику вычислительных алгоритмов и характеристик СИИ.
5. Настоящий стандарт распространяется на все системы, использующие различные методы искусственного интеллекта (ИИ), включая алгоритмы на основе машинного обучения (обучение по прецедентам) и экспертные системы (на основе дедуктивного обучения), для решения конкретных практически значимых задач.
Ссылка: https://docs.cntd.ru/document/1200181913
Архитектор MLSecOps
Николай Павлов
1. Стандарт разработан Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)
2. Утвержден Приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2021 г. 1620-ст
3. Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации".
4. Стандарт разработан на основе ГОСТ Р ИСО/МЭК 25010-2015, определяющего общие подходы к оценке качества программных продуктов и преимущественно программных вычислительных систем, но не учитывающего специфику вычислительных алгоритмов и характеристик СИИ.
5. Настоящий стандарт распространяется на все системы, использующие различные методы искусственного интеллекта (ИИ), включая алгоритмы на основе машинного обучения (обучение по прецедентам) и экспертные системы (на основе дедуктивного обучения), для решения конкретных практически значимых задач.
Ссылка: https://docs.cntd.ru/document/1200181913
Архитектор MLSecOps
Николай Павлов
⭐️ Инциденты MLSecOps. Суд в Канаде обязал Air Canada выплатить компенсацию за обман пассажира её чат-ботом по продаже билетов
В середине февраля 2024 года суд в Канаде обязал авиакомпанию Air Canada выплатить пассажиру положенную компенсацию в размере $812 (включая ущерб, проценты и сборы, связанные с поездкой и судебным разбирательством) после того, как чат-бот по продаже билетов Travel Air Canada предоставил человеку неверную информацию о стоимости билета и положенной скидке за перелёт.
Согласно документам суда, в ноябре 2022 года у Джейка Моффата умерла бабушка, он был вынужден со своей семьёй срочно лететь на её похороны. Моффат начал искать подходящие авиабилеты и использовал чат-бота на веб-сайте Air Canada. Информационная система предложила Моффатту странную скидку — купить билеты туда и обратно, а потом «задним числом подать заявку на компенсацию части оплаты за билеты в случае утраты родственников». Чат-бот пообещал. что в этом случае Моффат сэкономит примерно $380 в каждом направлении.
Продолжение: https://vk.com/wall-210601538_1612
В середине февраля 2024 года суд в Канаде обязал авиакомпанию Air Canada выплатить пассажиру положенную компенсацию в размере $812 (включая ущерб, проценты и сборы, связанные с поездкой и судебным разбирательством) после того, как чат-бот по продаже билетов Travel Air Canada предоставил человеку неверную информацию о стоимости билета и положенной скидке за перелёт.
Согласно документам суда, в ноябре 2022 года у Джейка Моффата умерла бабушка, он был вынужден со своей семьёй срочно лететь на её похороны. Моффат начал искать подходящие авиабилеты и использовал чат-бота на веб-сайте Air Canada. Информационная система предложила Моффатту странную скидку — купить билеты туда и обратно, а потом «задним числом подать заявку на компенсацию части оплаты за билеты в случае утраты родственников». Чат-бот пообещал. что в этом случае Моффат сэкономит примерно $380 в каждом направлении.
Продолжение: https://vk.com/wall-210601538_1612
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Инциденты MLSecOps. Суд в Канаде обязал Air Canada выплатить компенсацию за обман пассажира её чат... Смотрите полностью ВКонтакте.
⭐️ LLM Red-teaming в MLSecOps
Red-teaming для LLM — это способ тестирования систем ИИ, особенно больших языковых моделей (LLM), на предмет выявления слабых мест. Можно представить это как дружеское соревнование, в котором команда («красная команда») пытается найти проблемы в ИИ до того, как он будет использован публикой. Этот процесс помогает разработчикам исправлять недочеты и улучшать производительность ИИ.
Почему стоит проверять модели таким способом?
2024-й год уже позади, поэтому ставки при развертывании больших языковых моделей (LLM) как никогда высоки. Точно так же, как архитекторы проводят стресс-тестирование мостов, а разработчики отлаживают программное обеспечение перед его выпуском, LLM-модели тоже требуют тщательного тестирования.
Взаимодействуют с языковыми моделями практически все, люди из разных сфер деятельности, разных возрастов и с разным жизненным опытом. Крайне важно обеспечить безопасность этих моделей для пользователей, и здесь в игру вступают red team-специалисты — своего рода «сантехники для LLM». Они проводят различные атаки, чтобы выявить потенциальные уязвимости модели.
С 2023 года LLM стали горячей темой на массовом рынке, и мы уже наблюдали десятки случаев ситуаций, когда модель генерирует то, что не должна. Рассмотрим ключевые проблемы безопасности LLM-моделей и ответим на главный вопрос: «Почему необходимо проводить red teaming для LLM?»
Продолжение: https://vk.com/wall-210601538_1613
Red-teaming для LLM — это способ тестирования систем ИИ, особенно больших языковых моделей (LLM), на предмет выявления слабых мест. Можно представить это как дружеское соревнование, в котором команда («красная команда») пытается найти проблемы в ИИ до того, как он будет использован публикой. Этот процесс помогает разработчикам исправлять недочеты и улучшать производительность ИИ.
Почему стоит проверять модели таким способом?
2024-й год уже позади, поэтому ставки при развертывании больших языковых моделей (LLM) как никогда высоки. Точно так же, как архитекторы проводят стресс-тестирование мостов, а разработчики отлаживают программное обеспечение перед его выпуском, LLM-модели тоже требуют тщательного тестирования.
Взаимодействуют с языковыми моделями практически все, люди из разных сфер деятельности, разных возрастов и с разным жизненным опытом. Крайне важно обеспечить безопасность этих моделей для пользователей, и здесь в игру вступают red team-специалисты — своего рода «сантехники для LLM». Они проводят различные атаки, чтобы выявить потенциальные уязвимости модели.
С 2023 года LLM стали горячей темой на массовом рынке, и мы уже наблюдали десятки случаев ситуаций, когда модель генерирует то, что не должна. Рассмотрим ключевые проблемы безопасности LLM-моделей и ответим на главный вопрос: «Почему необходимо проводить red teaming для LLM?»
Продолжение: https://vk.com/wall-210601538_1613
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ LLM Red-teaming в MLSecOps
Red-teaming для LLM — это способ тестирования систем ИИ, особенн... Смотрите полностью ВКонтакте.
Red-teaming для LLM — это способ тестирования систем ИИ, особенн... Смотрите полностью ВКонтакте.
⭐️ AI specific metrics в MLSecOps
AI specific metrics оценивает 10 аспектов безопасности модели по security и по safety:
1) MR (Model Robustness, Устойчивость модели): Оценивает устойчивость системы к атакам на модель и её деградации.
2) DS (Data Sensitivity, Чувствительность данных): Показывает риски, связанные с конфиденциальностью, целостностью и происхождением данных, используемых AI-системой.
3) EI (Ethical Implications, Этические последствия): Рассматривает возможные проявления предвзятости, проблемы прозрачности, вопросы ответственности и влияние на общество.
4) DC (Decision Criticality, Критичность решений): Измеряет потенциальные последствия неправильных или злонамеренных решений, принимаемых AI-системой.
5) AD (Adaptability, Адаптивность): Оценивает способность системы адаптироваться к новым угрозам и поддерживать безопасность на протяжении времени.
6) AA (Adversarial Attack Surface, Поверхность атак): Оценивает степень подверженности системы различным методам атак злоумышленников.
7) LL (Lifecycle Vulnerabilities, Уязвимости на этапах жизненного цикла): Анализирует риски безопасности на различных этапах жизненного цикла AI-системы.
Продолжение: https://vk.com/wall-210601538_1614
AI specific metrics оценивает 10 аспектов безопасности модели по security и по safety:
1) MR (Model Robustness, Устойчивость модели): Оценивает устойчивость системы к атакам на модель и её деградации.
2) DS (Data Sensitivity, Чувствительность данных): Показывает риски, связанные с конфиденциальностью, целостностью и происхождением данных, используемых AI-системой.
3) EI (Ethical Implications, Этические последствия): Рассматривает возможные проявления предвзятости, проблемы прозрачности, вопросы ответственности и влияние на общество.
4) DC (Decision Criticality, Критичность решений): Измеряет потенциальные последствия неправильных или злонамеренных решений, принимаемых AI-системой.
5) AD (Adaptability, Адаптивность): Оценивает способность системы адаптироваться к новым угрозам и поддерживать безопасность на протяжении времени.
6) AA (Adversarial Attack Surface, Поверхность атак): Оценивает степень подверженности системы различным методам атак злоумышленников.
7) LL (Lifecycle Vulnerabilities, Уязвимости на этапах жизненного цикла): Анализирует риски безопасности на различных этапах жизненного цикла AI-системы.
Продолжение: https://vk.com/wall-210601538_1614
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ AI specific metrics в MLSecOps
AI specific metrics оценивает 10 аспектов безопасности модел... Смотрите полностью ВКонтакте.
AI specific metrics оценивает 10 аспектов безопасности модел... Смотрите полностью ВКонтакте.
⭐️ Т-Банк: «Мы вступили в эпоху борьбы между ИИ-платформами банков и ИИ-решениями злоумышленников»
О том, как искусственный интеллект меняет правила игры в сфере противодействия социальному инжинирингу, какие вызовы и возможности он открывает, и почему борьба с мошенничеством все больше напоминает гонку технологий, журнал «ПЛАС» побеседовал с Русланом Искяндяровым, руководителем направления экосистемных сервисов Т-Банка, в кулуарах Уральского форума «Кибербезопасность в финансах».
PLUSworld: Какие тренды, озвученные на Уральском форуме, вам показались по-настоящему новыми?
Р. Искяндяров: Если раньше в фокусе внимания такого рода мероприятий были отдельные технологии – голосовая биометрия, борьба с телефонным мошенничеством, алгоритмы распознавания и т. п., то Уральский форум 2025 акцентирован в первую очередь на возможностях генеративного ИИ.
Мы наблюдаем повсеместное внедрение этих технологий – от внутренних бизнес-процессов банков до взаимодействия с клиентами. Почему? В первую очередь, потому что ИИ дает колоссальный прирост эффективности. Он не просто ускоряет работу сотрудников, а помогает лучше понимать клиентов, предугадывать их потребности, автоматизировать рутинные процессы.
Продолжение: https://vk.com/wall-210601538_1615
О том, как искусственный интеллект меняет правила игры в сфере противодействия социальному инжинирингу, какие вызовы и возможности он открывает, и почему борьба с мошенничеством все больше напоминает гонку технологий, журнал «ПЛАС» побеседовал с Русланом Искяндяровым, руководителем направления экосистемных сервисов Т-Банка, в кулуарах Уральского форума «Кибербезопасность в финансах».
PLUSworld: Какие тренды, озвученные на Уральском форуме, вам показались по-настоящему новыми?
Р. Искяндяров: Если раньше в фокусе внимания такого рода мероприятий были отдельные технологии – голосовая биометрия, борьба с телефонным мошенничеством, алгоритмы распознавания и т. п., то Уральский форум 2025 акцентирован в первую очередь на возможностях генеративного ИИ.
Мы наблюдаем повсеместное внедрение этих технологий – от внутренних бизнес-процессов банков до взаимодействия с клиентами. Почему? В первую очередь, потому что ИИ дает колоссальный прирост эффективности. Он не просто ускоряет работу сотрудников, а помогает лучше понимать клиентов, предугадывать их потребности, автоматизировать рутинные процессы.
Продолжение: https://vk.com/wall-210601538_1615
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Т-Банк: «Мы вступили в эпоху борьбы между ИИ-платформами банков и ИИ-решениями злоумышленников»<br... Смотрите полностью ВКонтакте.
⭐️ Опасность без злого умысла: как ИИ может навредить случайно. Пользовательские риски в MLSecOps
Когда говорят об угрозе от искусственного интеллекта, часто представляют себе мрачные сценарии восстания машин. Но реальность куда тоньше. ИИ не обязательно должен обернуться против обычных пользователей — достаточно, что он может навредить.
Мы уже сегодня сталкиваемся с последствиями, когда ИИ не атакует, а просто выполняет свою задачу хорошо. Парадокс: машина именно делает то, чему её научили — и именно в этом скрыта опасность.
Риск 1. ИИ подталкивает к зависимому поведению
Рекомендательные алгоритмы в соцсетях, YouTube, TikTok работают ради одного — удержать внимание людей. Но ценой становятся:
+ тревожность,
+ прокрастинация,
+ искажение восприятия,
+ снижение концентрации,
+ трата массы свободного времени на ненужный контент.
Продолжение: https://vk.com/wall-210601538_1616
Когда говорят об угрозе от искусственного интеллекта, часто представляют себе мрачные сценарии восстания машин. Но реальность куда тоньше. ИИ не обязательно должен обернуться против обычных пользователей — достаточно, что он может навредить.
Мы уже сегодня сталкиваемся с последствиями, когда ИИ не атакует, а просто выполняет свою задачу хорошо. Парадокс: машина именно делает то, чему её научили — и именно в этом скрыта опасность.
Риск 1. ИИ подталкивает к зависимому поведению
Рекомендательные алгоритмы в соцсетях, YouTube, TikTok работают ради одного — удержать внимание людей. Но ценой становятся:
+ тревожность,
+ прокрастинация,
+ искажение восприятия,
+ снижение концентрации,
+ трата массы свободного времени на ненужный контент.
Продолжение: https://vk.com/wall-210601538_1616
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Опасность без злого умысла: как ИИ может навредить случайно. Пользовательские риски в MLSecOps
Смотрите полностью ВКонтакте.
Смотрите полностью ВКонтакте.
⭐️ Проблема дипфейков в MLSecOps становится все более острой
Сейчас на просторах интернета уже вовсю создаются дипфейки. Один из подобных роликов поступил на этой неделе и в редакцию студии Вести Ямал. На кадрах якобы член экипажа самолета АН-12, который в среду совершил жесткую посадку в аэропорту Нового Уренгоя, во всем произошедшем обвинил авиакомпанию.
При проверке информации выяснилось, что видео фейковое, создано нейросетью. Быть начеку надо и зрителю, и средствам массовой информации. Сейчас руководство команды ВГТРК призывает филиалы к цифровой гигиене. Нужно рассказывать о рисках, угрозах и мерах противодействия любой фейковой информации.
«Выдается информация абсолютно лживая, негативная, то есть наш ведущий, наша студия сообщают ее, и когда это появляется в эфире, то конечно же, люди доверяют нам с вами. К этому надо осторожно относиться и предупреждать наших телезрителей, радиослушателей и пользователей нашего интернет-продукта. Это и есть цифровая гигиена и это не простая задача», - отмечает председатель комиссии Общественной палаты РФ по развитию информационного сообщества, СМИ и массовых коммуникаций, заместитель Генерального директора — руководитель регионального департамента ВГТРК Рифат Сабитов.
Ссылка на видео: https://vk.com/video-120315139_456248350?t=16s&ref_domain=vesti-yamal.ru
vesti-yamal
Сейчас на просторах интернета уже вовсю создаются дипфейки. Один из подобных роликов поступил на этой неделе и в редакцию студии Вести Ямал. На кадрах якобы член экипажа самолета АН-12, который в среду совершил жесткую посадку в аэропорту Нового Уренгоя, во всем произошедшем обвинил авиакомпанию.
При проверке информации выяснилось, что видео фейковое, создано нейросетью. Быть начеку надо и зрителю, и средствам массовой информации. Сейчас руководство команды ВГТРК призывает филиалы к цифровой гигиене. Нужно рассказывать о рисках, угрозах и мерах противодействия любой фейковой информации.
«Выдается информация абсолютно лживая, негативная, то есть наш ведущий, наша студия сообщают ее, и когда это появляется в эфире, то конечно же, люди доверяют нам с вами. К этому надо осторожно относиться и предупреждать наших телезрителей, радиослушателей и пользователей нашего интернет-продукта. Это и есть цифровая гигиена и это не простая задача», - отмечает председатель комиссии Общественной палаты РФ по развитию информационного сообщества, СМИ и массовых коммуникаций, заместитель Генерального директора — руководитель регионального департамента ВГТРК Рифат Сабитов.
Ссылка на видео: https://vk.com/video-120315139_456248350?t=16s&ref_domain=vesti-yamal.ru
vesti-yamal
VK Видео
Искусственный интеллект может быть тотально опасным
Watch Искусственный интеллект может быть тотально.. 1 min 18 s from 28 March 2025 online in HD for free in the VK catalog without signing up! Views: 504. Likes: 4.
⭐️ IT-эксперт Тушканов: переписки россиян с ИИ могут оказаться в открытом доступе
Многие россияне обходят региональные ограничения нейросетей с помощью так называемых «сервисов-прослоек». IT-эксперт Владислав Тушканов рассказал «Газете.Ru», что такие платформы нередко получают доступ к пользовательским данным и могут опубликовать их в открытый доступ.
По его словам, проблема особенно актуальна для сервисов, предоставляющих доступ к закрытым моделям ИИ. Пользователи зачастую не задумываются о том, что их переписки, файлы и запросы могут оказаться в распоряжении сторонних разработчиков.
«Если создатели «сервиса-прослойки» окажутся неблагонадежными, данные пользователей могут оказаться скомпрометированы», — добавил Тушканов.
Эксперт подчеркнул, что аналогичные риски существуют и при использовании неофициальных приложений нейросетей, а также ботов в мессенджерах. Он рекомендует всегда читать пользовательское соглашение, чтобы понять, какие данные сервис собирает, как их хранит и использует.
itinfo
Многие россияне обходят региональные ограничения нейросетей с помощью так называемых «сервисов-прослоек». IT-эксперт Владислав Тушканов рассказал «Газете.Ru», что такие платформы нередко получают доступ к пользовательским данным и могут опубликовать их в открытый доступ.
По его словам, проблема особенно актуальна для сервисов, предоставляющих доступ к закрытым моделям ИИ. Пользователи зачастую не задумываются о том, что их переписки, файлы и запросы могут оказаться в распоряжении сторонних разработчиков.
«Если создатели «сервиса-прослойки» окажутся неблагонадежными, данные пользователей могут оказаться скомпрометированы», — добавил Тушканов.
Эксперт подчеркнул, что аналогичные риски существуют и при использовании неофициальных приложений нейросетей, а также ботов в мессенджерах. Он рекомендует всегда читать пользовательское соглашение, чтобы понять, какие данные сервис собирает, как их хранит и использует.
itinfo
⭐️ MLSecOps. Кто больше выигрывает от использования ИИ в сфере информационной безопасности?
Искусственный интеллект прямо сейчас меняет мир информационных технологий. Нейросети уже способны писать код, находить в нем ошибки, решать задачи разной степени сложности. Однако это инструмент, который можно использовать как во благо, так и в преступных целях.
I. Обоюдоострое оружие
Нейросети стали мощным инструментом ускорения и упрощения работы и для атакующих, и для защитников ИТ-систем. Например, ИИ позволяет за несколько промптов превратить известную антивирусным системам вредоносную программу в нечто новое и труднообнаружимое.
То же касается и поиска уязвимостей – нейросеть способна не только найти брешь в защите компании, но и написать подробный алгоритм ее эксплуатации вплоть до реализации риска или нанесения ущерба. При этом атакующему необязательно понимать, как устроен процесс и что с точностью до каждой команды он делает.
Но эта схема работает в обе стороны – нейросети также используются для детектирования вредоносных программ и хакерской активности.
Продолжение: https://vk.com/wall-210601538_1619
Искусственный интеллект прямо сейчас меняет мир информационных технологий. Нейросети уже способны писать код, находить в нем ошибки, решать задачи разной степени сложности. Однако это инструмент, который можно использовать как во благо, так и в преступных целях.
I. Обоюдоострое оружие
Нейросети стали мощным инструментом ускорения и упрощения работы и для атакующих, и для защитников ИТ-систем. Например, ИИ позволяет за несколько промптов превратить известную антивирусным системам вредоносную программу в нечто новое и труднообнаружимое.
То же касается и поиска уязвимостей – нейросеть способна не только найти брешь в защите компании, но и написать подробный алгоритм ее эксплуатации вплоть до реализации риска или нанесения ущерба. При этом атакующему необязательно понимать, как устроен процесс и что с точностью до каждой команды он делает.
Но эта схема работает в обе стороны – нейросети также используются для детектирования вредоносных программ и хакерской активности.
Продолжение: https://vk.com/wall-210601538_1619
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ MLSecOps. Кто больше выигрывает от использования ИИ в сфере информационной безопасности?
И... Смотрите полностью ВКонтакте.
И... Смотрите полностью ВКонтакте.
⭐️ Уже через два года ИИ сможет работать стандартный восьмичасовой день
Недавний анализ METR Evaluations демонстрирует, что системы искусственного интеллекта значительно улучшают свои способности к выполнению задач. Время автономной работы ИИ удваивается каждые семь месяцев, поэтому уже к 2027 году, вероятно, они смогут работать восьмичасовой рабочий день с 50% уровнем успешности.
Аналитики METR установили четкие критерии для оценки успешности длительной работы ИИ. Инструкции для каждой задачи ясны и содержат минимальный контекст, необходимый для понимания. Каждая задача сопровождается простой алгоритмической функцией оценки.
В то же время большинство задач, выполняемых программистами или в области машинного обучения, требуют обширных ссылок на предшествующий контекст и часто не имеют однозначной формулировки. Поэтому тесты METR сосредоточены на условиях, которые не всегда соответствуют реальным сценариям. Кроме того, 50% уровень успешности не может считаться высоким по сравнению с человеческой работой.
Продолжение: https://vk.com/wall-210601538_1621
Недавний анализ METR Evaluations демонстрирует, что системы искусственного интеллекта значительно улучшают свои способности к выполнению задач. Время автономной работы ИИ удваивается каждые семь месяцев, поэтому уже к 2027 году, вероятно, они смогут работать восьмичасовой рабочий день с 50% уровнем успешности.
Аналитики METR установили четкие критерии для оценки успешности длительной работы ИИ. Инструкции для каждой задачи ясны и содержат минимальный контекст, необходимый для понимания. Каждая задача сопровождается простой алгоритмической функцией оценки.
В то же время большинство задач, выполняемых программистами или в области машинного обучения, требуют обширных ссылок на предшествующий контекст и часто не имеют однозначной формулировки. Поэтому тесты METR сосредоточены на условиях, которые не всегда соответствуют реальным сценариям. Кроме того, 50% уровень успешности не может считаться высоким по сравнению с человеческой работой.
Продолжение: https://vk.com/wall-210601538_1621
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Уже через два года ИИ сможет работать стандартный восьмичасовой день
Недавний анализ METR... Смотрите полностью ВКонтакте.
Недавний анализ METR... Смотрите полностью ВКонтакте.
⭐️ Collection. Темная сторона Data Science
Всем привет, мои великие Звезды IT!
Давно не угощал Вас вкусняшными докладами, прошу прощения!
Сегодня предлагаю деликатес - очень редкий, уникальный доклад по использованию Data Science инструментов в банковском взыскании.
Спикер - замечательная Ольга Кравченко из "Газпромбанк Тех".
Ссылка: https://vk.com/video-152308462_456242158?ysclid=m9105ckwp5869510037
Приятного аппетита!
Архитектор MLSecOps
Николай Павлов
Всем привет, мои великие Звезды IT!
Давно не угощал Вас вкусняшными докладами, прошу прощения!
Сегодня предлагаю деликатес - очень редкий, уникальный доклад по использованию Data Science инструментов в банковском взыскании.
Спикер - замечательная Ольга Кравченко из "Газпромбанк Тех".
Ссылка: https://vk.com/video-152308462_456242158?ysclid=m9105ckwp5869510037
Приятного аппетита!
Архитектор MLSecOps
Николай Павлов
VK Видео
Collection. Темная сторона Data Science / Ольга Кравченко (Газпромбанк Тех)
Приглашаем на конференцию Saint HighLoad++ 2025, которая пройдет 23 и 24 июня в Санкт-Петербурге! Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025 ________ МТС — генеральный партнёр конференции Saint HighLoad++ 2024. ________ .…
⭐️ Пять вещей, которые не стоит рассказывать ChatGPT
Не позволяйте вашим мыслям стать учебным материалом для ИИ — или всплыть в случае утечки данных.
Неважно, какого чат-бота вы выберете: чем больше вы делитесь, тем полезнее он становится. Пациенты загружают результаты анализов для расшифровки, разработчики отправляют фрагменты кода для отладки. Однако некоторые исследователи ИИ советуют с осторожностью относиться к тому, что мы рассказываем этим человечно звучащим инструментам. Особенно рискованно делиться такой информацией, как паспортные данные или корпоративные секреты.
Дисклеймер: это вольный перевод колонки Николь Нгуен из журнала The Wall Street Journal. Перевод подготовила редакция «Технократии». Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» — мы регулярно рассказываем о новостях про AI, LLM и RAG, а также делимся полезными мастридами и актуальными событиями.
Продолжение: https://vk.com/wall-210601538_1623
Не позволяйте вашим мыслям стать учебным материалом для ИИ — или всплыть в случае утечки данных.
Неважно, какого чат-бота вы выберете: чем больше вы делитесь, тем полезнее он становится. Пациенты загружают результаты анализов для расшифровки, разработчики отправляют фрагменты кода для отладки. Однако некоторые исследователи ИИ советуют с осторожностью относиться к тому, что мы рассказываем этим человечно звучащим инструментам. Особенно рискованно делиться такой информацией, как паспортные данные или корпоративные секреты.
Дисклеймер: это вольный перевод колонки Николь Нгуен из журнала The Wall Street Journal. Перевод подготовила редакция «Технократии». Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» — мы регулярно рассказываем о новостях про AI, LLM и RAG, а также делимся полезными мастридами и актуальными событиями.
Продолжение: https://vk.com/wall-210601538_1623
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Пять вещей, которые не стоит рассказывать ChatGPT
Не позволяйте вашем мыслям стать учебным ... Смотрите полностью ВКонтакте.
Не позволяйте вашем мыслям стать учебным ... Смотрите полностью ВКонтакте.
⭐️ AI в вашей почте может сыграть против вас
Представьте: вы используете умного помощника для Gmail, чтобы облегчить рутину. Но злоумышленник подсовывает скрытую команду, и ваш EmailGPT уже рассылает спам или выдает конфиденциальные данные!
Именно такая уязвимость (CVE-2024-5184) была обнаружена в популярном расширении EmailGPT. Атакующий мог через prompt-инъекцию заставить AI выполнять чужие инструкции, последствия которых могут варьироваться от утечки данных до несанкционированных запросов к платным API. Уровень опасности — высокий (CVSS v4.0 = 8.5), и последствия могут быть серьезными: от дезинформации до финансовых потерь.
Проблема пока не исправлена — разработчики игнорируют предупреждения экспертов. Пока патч не выпущен, рекомендуем удалить расширение.
💡 Вывод: даже самые продвинутые технологии требуют осторожности. Подробнее о кейсе узнаете от наших экспертов по безопасности ИИ в это воскресенье, приходите в Музей Криптографии в 12:00.
https://news.1rj.ru/str/borismlsec
Представьте: вы используете умного помощника для Gmail, чтобы облегчить рутину. Но злоумышленник подсовывает скрытую команду, и ваш EmailGPT уже рассылает спам или выдает конфиденциальные данные!
Именно такая уязвимость (CVE-2024-5184) была обнаружена в популярном расширении EmailGPT. Атакующий мог через prompt-инъекцию заставить AI выполнять чужие инструкции, последствия которых могут варьироваться от утечки данных до несанкционированных запросов к платным API. Уровень опасности — высокий (CVSS v4.0 = 8.5), и последствия могут быть серьезными: от дезинформации до финансовых потерь.
Проблема пока не исправлена — разработчики игнорируют предупреждения экспертов. Пока патч не выпущен, рекомендуем удалить расширение.
💡 Вывод: даже самые продвинутые технологии требуют осторожности. Подробнее о кейсе узнаете от наших экспертов по безопасности ИИ в это воскресенье, приходите в Музей Криптографии в 12:00.
https://news.1rj.ru/str/borismlsec