⭐️ Вместо традиционных психотерапевтов люди все чаще обращаются к помощи искусственного интеллекта. Это создает новые угрозы в направлении MLSecOps

Наблюдается тенденция, когда ИИ чат-боты начинают вытеснять психологов.

Уже в 2025 году многие предпочитают делиться своими переживаниями с ChatGPT или Claude.

Причины лежат в оперативности, экономии и круглосуточной доступности.

Кевин Руз, ведущий подкаста Hard Fork, отметил, что ИИ-ассистенты предлагают мгновенные решения, в отличие от традиционной терапии, требующей предварительной записи и существенных финансовых затрат.

Продолжение: https://vk.com/wall-210601538_1585

⭐️ Как ИИ-агенты меняют атаки с украденными учётными данными

Атаки с подбором учётных данных оказали огромное влияние в 2024 году на всю мировую IT-индустрию, подпитываемые замкнутым кругом заражений и утечек данных. Однако ситуация может стать ещё хуже с появлением Computer‑Using Agents (CUA) — нового типа ИИ‑агентов, обеспечивающих дешёвую и малозатратную автоматизацию распространённых веб‑задач, включая те, которые активно используют злоумышленники.

В 2023–2024 годах украденные учётные данные стали наиболее популярным методом атаки, послужив вектором взлома в 80% атак на веб‑приложения. Это неудивительно, если учесть, что в сети циркулируют миллиарды утекших комбинаций логинов и паролей, а киберпреступники могут приобрести свежие базы всего за $10 на подпольных форумах.

Чёрный рынок краденых данных активно растёт благодаря громким утечкам 2024 года, таким как атаки на клиентов Snowflake, где злоумышленники использовали учётные данные, обнаруженные в дампах утечек данных и взломанных базах, полученных с помощью инфостилеров и массовых фишинговых кампаний. В результате было скомпрометировано 165 арендаторов Snowflake и похищены сотни миллионов записей.

Но даже несмотря на беспрецедентный масштаб атак, основанных на краже учётных данных, остаётся много нереализованных возможностей для злоумышленников.

Продолжение: https://vk.com/wall-210601538_1587

⭐️ Спрос на специалистов MLSecOps вырос более чем на 900% за год

Привет, мои замечательные и нереальные Звезды IT! И самые главные фанаты MLSecOps!

Ну что, хочу вас порадовать. Согласно моей собственной аналитике спрос на специалистов MLSecOps на hh за год вырос более чем на 900% (!!!), то есть почти в 10 (!!!) раз.

Моя аналитика включает вообще все упоминания MLSecOps, как в названиях вакансий, так и в их описаниях. Но даже если считать только по названиям - спрос вырос ровно в 9 раз.

Сейчас, например, специалистов MLSecOps ищут такие компании, как: Финам, Уральский центр систем безопасности, Альфа-банк, Сбер, Газпромбанк, ИК Сибинтек, Т-банк и ряд других. Ну и зарплатная вилка начинается от 300, а в отдельных вакансиях и от 400, что тоже радует.

Все это доказывает железобетонную надежность всех моих прогнозов, советов, технологий. Поэтому - уверенно продолжаем идти на вершину священной айтишки и верить в лучшее!

Архитектор MLSecOps
Николай Павлов

⭐️ Регламент Европейского союза об искусственном интеллекте 2024 год

Внимательно читаем и адаптируем инсайты в системы MLSecOps.
Ссылка:
https://ai.gov.ru/upload/iblock/5c0/b4ru8d2siia81dgmjq3kdjfe6qus2n0s.pdf

Архитектор MLSecOps
Николай Павлов

⭐️ Россия вошла в топ-10 стран по размерам рынка информационной безопасности

Коммерческий сегмент российского рынка ИТ (без учёта ИТ-компаний, ориентированных на внутренние разработки или инсорсинг) за 2024 год оценивается в 2,2 трлн руб. Второй год подряд с 2022 года данный рынок демонстрирует ежегодные темпы роста в 19 %. При этом рынок продуктов и услуг информационной безопасности составляет порядка 14 % всего коммерческого ИТ-рынка РФ и является одной из крупнейших вертикалей, сохраняя при этом потенциал дальнейшего роста указанной доли. С учётом сегмента ИТ-компаний, ориентированных на внутренние разработки и ИТ-сервисы (инсорсеры) доля рынка ИБ в общей структуре составит 11 %, отмечают аналитики.

Рост российского рынка ИБ в РФ с 2022 по 2024 годы составил 56 %, а среднегодовой темп роста за указанный период — 25 %, что делает данный рынок одним из наиболее динамичных сегментов рынка ИТ.

Продолжение: https://vk.com/wall-210601538_1590

⭐️ Введение в MLSecOps

I. Что такое MLSecOps?

MLSecOps — это термин, который охватывает сразу три различные области IT: машинное обучение (ML), безопасность (Sec) и операции (Ops).

Технологии машинного обучения и искусственного интеллекта предлагают множество преимуществ в решении современных проблем безопасности. Их способность учиться на исторических данных и адаптировать свое поведение на основе прошлого опыта дает значительное преимущество по сравнению с традиционными приложениями безопасности.

MLSecOps содержит различные технологии и практики, направленные на защиту моделей ML/AI от киберугроз. Состязательные атаки, атаки уклонения и отравления данных представляют значительный риск для моделей машинного обучения и искусственного интеллекта. Злоумышленники могут пытаться манипулировать моделями или подменять их, ставя под угрозу их целостность и надежность.

Продолжение: https://vk.com/wall-210601538_1591

⭐️ 20 базовых мер для обеспечения безопасности в MLSecOps

I. Защита данных:

1. Валидация входных данных.
Всегда проверяйте данные, поступающие в модель, на соответствие ожидаемому формату и диапазону.

2. Санитизация данных.
Удаляйте или экранируйте вредоносные символы из входных данных, чтобы предотвратить инъекции.

3. Ограничение доступа к данным.
Используйте контроль доступа (ACL) для ограничения доступа к обучающим данным только авторизованным пользователям и процессам.

4. Шифрование данных.
Шифруйте обучающие данные и данные, используемые для прогнозирования, как при хранении, так и при передаче.

5. Аудит данных.
Ведите журнал всех операций с данными, включая доступ, изменение и удаление.

II. Защита модели:

Продолжение: https://vk.com/wall-210601538_1592

⭐️ Почти четверть всех утечек данных будет связана с внедрением искусственного интеллекта

Развитие новых технологий, в первую очередь искусственного интеллекта и облачных решений, эксперты считают определяющими в сфере развития информационной безопасности в России наряду с ростом количества и сложности атак на российские компании и сервисы.

Количество кибератак и инцидентов, связанных с кибербезопасностью, выросло в России в 3–3,5 раза в 2021–2023 гг. и продолжило рост в 2024 г., отмечают эксперты консалтинговой компании Б1. Количество атакуемых сфер экономики увеличилось в 3–4 раза. Это заставляет российский бизнес больше инвестировать в информбезопасность, а потребители все чаще обращают внимание на то, как защищены их данные. Бесплатным сервисом Т2 и компании "Солар", который позволяет получить отчет об утечках персональных данных, только за первые месяцы работы воспользовалось более 1 млн человек.

Продолжение: https://vk.com/wall-210601538_1593

⭐️ 5 + 5 простых идей для автоматической защиты данных от атаки отравления и автозащиты модели от состязательных атак

DATA POISONING ATTACK

1. Обнаружение на основе простого диапазона значений (Basic Range Check).

Идея: Проверка, находятся ли значения признаков в разумных пределах. Это может выявить выбросы, которые могут быть результатом отравления.

2. Обнаружение на основе уникальности меток (Label Uniqueness Check).

Идея: Проверка, не слишком ли много одинаковых меток подряд. Отравленные данные могут создавать неестественные последовательности.

3. Обнаружение на основе простого подсчета меток (Basic Label Count Check).

Идея: Проверяет, не нарушено ли общее соотношение меток в данных.

Продолжение: https://vk.com/wall-210601538_1594

⭐️ MLSecOps engineer в Уральский центр систем безопасности

от 300000 ₽ за месяц на руки, полная занятость, гибрид/удаленка

Уральский центр систем безопасности (УЦСБ) – аккредитованная IT-компания – системный интегратор, реализующий масштабные проекты в сфере информационной безопасности.

Входим в ТОП-15 крупнейших компаний России в сфере защиты информации и более 17 лет оказываем бизнесу услуги в области проектирования, разработки и внедрения комплексных проектов в сфере IT и инженерных систем.

В команде УЦСБ работают более 900 сотрудников, одним из которых можешь стать ты!

Приглашаем тебя присоединиться к нашей крутой команде Аналитического центра в качестве MLSecOps инженера!

Задачи:
+ Разработка и внедрение решений безопасности для ML-моделей и инфраструктуры
+ Обеспечение соответствия требованиям безопасности на всех этапах жизненного цикла разработки ML-продуктов
+ Проведение анализа уязвимостей и оценка рисков для ML-систем
+ Реализация мер защиты от атак на модели машинного обучения (например, атаки переноса обучения, отравление данных)
+ Настройка и мониторинг инструментов для обеспечения безопасности моделей и данных
+ Взаимодействие с командами разработчиков и инженеров данных для интеграции процессов DevSecOps в ML-проекты
+ Участие в разработке политик и стандартов безопасности для организации
+ Поддержка и улучшение существующих процессов мониторинга и реагирования на инциденты безопасности

Что нужно, чтобы успешно работать:
+ Опыт работы с инструментами DevOps и CI/CD (Jenkins, GitLab CI, Kubernetes).
+ Практический опыт работы с методами машинного обучения и моделями
+ Навыки работы с инструментами MLOps
_+ Глубокое понимание принципов кибербезопасности и современных угроз
+ Навыки программирования на Python или другом языке для автоматизации задач безопасности
+ Опыт работы с системами мониторинга и алертинга (Prometheus, Grafana, ELK Stack)
+ Понимание архитектуры и методов развертывания ML-моделей
+ Знание принципов работы с большими данными и аналитическими платформами
+ Опыт проведения аудитов безопасности и тестирования на проникновение
+ Знания моделей угроз для ИИ (например, OWASP), а также методических рекомендаций по обеспечению ИБ ИИ моделей
+ Хорошее знание английского языка для чтения технической документации и общения с международными коллегами
+ Грамотная речь, умение обосновывать собственные решения, самостоятельность, инициативность

От нас:
+ Официальное трудоустройство и полностью белая зарплата – всегда вовремя;
+ Работа в аккредитованной ИТ-компании;
+ Уровень заработной платы обсуждается индивидуально с каждым кандидатом и зависит от уровня твоих знаний и компетенций;
+ Комфортные условия: современный офис рядом с парком, уютная кухня с чаем и кофе, вкусняшки каждую пятницу;
+ График работы: 5/2, с 9:30 до 18:30, возможность варьировать время начала и окончания рабочего дня, а также работать в гибридном формате;
+ Возможность работать удалённо (предоставляем всю необходимую технику, а также используем современные сервисы для коммуникации внутри компании, чтобы комфортно решать задачи даже на дистанции);
+ Качественная адаптация: система наставничества, поддержка опытных и вовлеченных коллег;
+ Обучение и развитие: курсы, тренинги и сертификации, компенсируемые на 100% за счет компании, ревью, занятия английским языком. Новые зоны роста;
+ Возможность участвовать в конференциях в роли спикера/слушателя, а также профессиональные сообщества: аспирантское движение, направление R&D, собственная ежегодная конференция ИБ - IT IS Conf;
+ Крутые корпоративные мероприятия: праздники, сплавы, турпоходы;
+ Поддержка спорта: фитнес, бассейн, баскетбол, скалодром, йога, компенсация личных затрат на занятия спортом;
+ Забота о здоровье – предоставляем ДМС после адаптационного периода.

Присылай нам резюме, если всё это о тебе, и наша корпоративная культура тебе откликается:)

Ждём тебя в крутой команде профессионалов УЦСБ!

Ссылка на вакансию: https://ekaterinburg.hh.ru/vacancy/118594487

Архитектор MLSecOps
Николай Павлов

⭐️ 100 базовых уязвимостей в MLSecOps+

I. Атаки на модели машинного обучения

1. Атака Adversarial Example. Подмена входных данных для искажения результатов модели.
2. Data Poisoning Attack. Добавление специально созданных данных для переобучения модели.
3. Model Stealing. Кража обученной модели путем обратного инжиниринга.
4. Explainability Attack. Использование методов интерпретации моделей для выявления слабых мест.
5. Feature Manipulation. Манипуляция ключевыми признаками данных для получения неверных предсказаний.
6. Data Leakage. Утечка конфиденциальной информации через предсказания модели.
7. Membership Inference Attack. Определение принадлежности конкретного образца к тренировочному набору данных.
8. Hyperparameter Tuning Attack. Взлом гиперпараметров модели для снижения её точности.
9. Adversarial Training Evasion. Обход защитных мер, добавленных при обучении модели.
10. Gradient-Based Attack. Использование градиентов модели для генерации поддельных образцов.
11. Backdoor Attack. Внедрение скрытого механизма в модель для последующего использования.
12. Transfer Learning Attack. Эксплуатация переноса знаний между моделями.
13. Fairness Attack. Нарушение справедливости модели путём введения предвзятости.
14. Privacy-Preserving Techniques Bypass. Обход механизмов защиты конфиденциальности.
15. Retraining Attack. Повторная тренировка модели с целью ухудшения её производительности.
16. Robustness Testing Failure. Эксплойтирование недостатков тестов на устойчивость модели.
17. Edge Case Exploits. Создание граничных случаев, приводящих к ошибкам модели.
18. Hardware Vulnerabilities. Использование аппаратных уязвимостей для нарушения работы модели.
19. Dependency Confusion. Замена зависимостей библиотеки модели на вредоносные версии.
20. Remote Code Execution via Model Deployment. Выполнение удалённого кода через развертывание модели.

II. Атаки на инфраструктуру MLSecOps

Продолжение: https://vk.com/wall-210601538_1601

⭐️ Киберугрозы ИИ: новые риски для бизнеса и методы защиты

Угрозы, связанные с искусственным интеллектом, — уже не фантастика, а обыденность: бизнес-дипфейки, отравление данных, SQL-инъекции стали новыми инструментами в руках злоумышленников. О защите корпоративных систем в эпоху ИИ рассказывают директор департамента кибербезопасности IBS Олег Босенко и начальник отдела разработки сервисов кибербезопасности Владимир Мукасеев.

I. Новые вызовы информационной безопасности

+ Уязвимость для манипуляций. Внедрение ИИ в государственных и бизнес-структурах создает уязвимости для широкого спектра манипуляций. Основных причин две. Во-первых, спешка в выводе ИИ-продуктов на рынок и недостаточное внимание к вопросам безопасности в процессе внедрения. Во-вторых, слабая проработка механизмов блокировки в самих ИИ-моделях. Как показывает практика, пользователи могут обходить этические ограничения нейросетей, получая доступ к опасной информации.

+ Количественный и качественный рост кибератак. Количество атак растет, но главное изменение — их сложность. Вымогательские атаки становятся более изощренными: в 2023 году отмечен переход от традиционного шифрования данных к шантажу публикацией украденных данных.

+ Возможность реализации всех видов кибератак. Принципиальные технологические особенности функционирования ИИ позволяют применять все возможные векторы атак. Поэтому необходимо закрыть все потенциальные уязвимости в безопасности программного обеспечения, чтобы не допустить расширения поверхности атаки в случае ее успеха.

Продолжение: https://vk.com/wall-210601538_1602

⭐️ Влияние на изготовление микросхем станет ключевым фактором в определении победителя в гонке ИИ, считает Илон Маск

Маск подчеркнул, что доминирование в сфере ИИ напрямую связано с контролем над производством полупроводников и для сохранения лидерства в конкуренции с Китаем, США крайне важно укрепить свои позиции в этой отрасли. По прогнозам Маска, в будущем США сохранят первенство в разработке ИИ.

Решающим фактором станет контроль над производством чипов, большая часть которых выпускается на Тайване. Маск предупреждает, что возможный захват Тайваня Китаем лишит мир доступа к современным чипам и существенно затормозит прогресс в области ИИ.

Маск также заявил, что возврат изготовления чипов в Штаты - вопрос национальной безопасности. Он напомнил о "CHIPS Act", предусматривающем выделение до $65 млрд компаниям, строящим заводы в США. Среди заинтересованных компаний Маск выделил тайваньскую TSMC, объявившую об инвестициях в размере $165 млрд в развитие производства и научных центров в США.

Хлебни ИИ

⭐️ Спрос на специалистов по анализу данных и ML в России вырос в 30 раз за 10 лет

Исследование платформы онлайн-рекрутинга hh.ru показало, что за последние десять лет количество вакансий в сфере анализа данных и машинного обучения (ML) в России увеличилось в 30 раз.

Исследование основано на анализе вакансий и резюме ML- и DS-специалистов на hh.ru за период с 2014 по 2024 год, а также на интервью с тимлидами, продуктовыми менеджерами и IT-рекрутерами ведущих IT-компаний.

Ключевые выводы исследования:

1. Наибольший спрос в сфере анализа данных и ML пришелся на последние четыре года — число предложений выросло в 2,5 раза.
Самым быстрорастущим направлением стала инфраструктура данных и DevOps — спрос вырос в 3,6 раза с 2020 года. За ним следуют анализ данных (в 2,5 раза), инженерия данных и BigData (в 1,9 раза), а также машинное обучение (в 1,8 раза).

2. Топ-3 высокооплачиваемых специалистов в 2024 году — это ML-инженеры (медианная зарплата достигает 590 тыс. руб.), специалисты по анализу данных (470 тыс. руб.) и инженеры по безопасности высоконагруженных систем (400 тыс. руб.).

Продолжение: https://vk.com/wall-210601538_1605

⭐️ Искусственный интеллект под реальной угрозой. Cпрос на специалистов по безопасности ИИ (MLSecOps) за год вырос более чем в пять раз

Повсеместное внедрение искусственного интеллекта (ИИ) в бизнес-процессы бросает новые вызовы рынку. Так, уже растет спрос на услуги специалистов по кибербезопасности в области ИИ (MLSecOps). По подсчетам аналитиков платформы hh, в 2024 году количество вакансий разработчиков и аналитиков, связанных с защитой ИИ-решений, увеличилось в пять раз. И эксперты предсказывают, что потребность в таких специалистах будет только расти.

Специалисты в области защиты искусственного интеллекта стали одними из самых редких и востребованных на рынке IT, подсчитали аналитики платформы HeadHunter. Так, в 2024 году вакансий разработчиков, связанных с кибербезопасностью в области ИИ, аналитики насчитали 878, тогда как в 2023-м их было всего 154. Спрос на функционал, связанный с работой в сфере MLSecOps, за год вырос почти в 5,5 раза.

Продолжение: https://vk.com/wall-210601538_1606

⭐️ Регулирование MLSecOps в России. Федеральный закон об экспериментальных правовых режимах

Федеральный закон об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации (Федеральный закон от 31.07.2020 N 258-ФЗ) регулирует применение специальных правовых условий для развития и внедрения цифровых инноваций, включая технологии искусственного интеллекта (ИИ). В частности, в отношении инцидентов с ИИ-системами были внесены изменения, направленные на обеспечение безопасности и ответственности за вред, причиненный при использовании решений на основе ИИ.

Основные положения:

1. Ответственность за вред.
Введена ответственность за вред, нанесенный жизни, здоровью или имуществу физических и юридических лиц при использовании ИИ-систем в рамках экспериментальных правовых режимов. Ответственность возлагается на разработчиков или пользователей ИИ-систем.

Продолжение: https://vk.com/wall-210601538_1608

⭐️ Google разработала мощную систему защиты для нейросетей

Исследователи Google DeepMind представили новую систему CaMeL для защиты больших языковых моделей (LLM) от атак через промпты. Согласно тестам, технология блокирует две трети вредоносных запросов.

Современные языковые модели уязвимы для так называемых «инъекций промптов», при помощи которых злоумышленники могут получать доступ к конфиденциальным данным внутри нейросетей. Существующие методы защиты, включая переобучение моделей и промпт-инжиниринг, показывают низкую эффективность.

CaMeL предлагает принципиально новый подход к решению этой проблемы. Система имеет двухуровневую архитектуру, состоящую из «привилегированной» и «карантинной» языковых моделей. CaMeL использует метаданные и строгие политики для каждого элемента данных, благодаря чему может контролировать проходящие через LLM потоки информации. Специальный Python-интерпретатор отслеживает происхождение данных и помогает соблюдать ограничения.

Продолжение: https://vk.com/wall-210601538_1609

⭐️ Гейтс заявил, что в течение десяти лет ИИ заменит людей многих профессий

Миллиардер и сооснователь корпорации Microsoft Билл Гейтс готовится к глобальным переменам во всем мире, он четко обозначил сроки, когда нейросети смогут заменить человека.

Бизнесмен высказал весьма смелое предположение: по его мнению, уже в ближайшие десять лет искусственный интеллект может полностью заменить людей в ряде профессий.

Именитый предприниматель уверен, что уже в обозримом будущем учителя и врачи станут не столь востребованными, поскольку нейросети смогут взять на себя их функции.

При этом бизнесмен считает, что благодаря такому развитию событий медицинские и образовательные услуги станут более доступными и почти бесплатными, особенно в странах с ограниченными ресурсами. По его мнению, человек перестанет быть необходимым для выполнения многих привычных задач.

Продолжение: https://vk.com/wall-210601538_1610

⭐️ ГОСТ Р 59898-2021. Национальный стандарт российской федерации: "ОЦЕНКА КАЧЕСТВА СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА. ОБЩИЕ ПОЛОЖЕНИЯ" (Quality assurance of artificial intelligence systems. General)

1. Стандарт разработан Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)

2. Утвержден Приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2021 г. 1620-ст

3. Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации".

4. Стандарт разработан на основе ГОСТ Р ИСО/МЭК 25010-2015, определяющего общие подходы к оценке качества программных продуктов и преимущественно программных вычислительных систем, но не учитывающего специфику вычислительных алгоритмов и характеристик СИИ.

5. Настоящий стандарт распространяется на все системы, использующие различные методы искусственного интеллекта (ИИ), включая алгоритмы на основе машинного обучения (обучение по прецедентам) и экспертные системы (на основе дедуктивного обучения), для решения конкретных практически значимых задач.

Ссылка: https://docs.cntd.ru/document/1200181913

Архитектор MLSecOps
Николай Павлов

⭐️ Инциденты MLSecOps. Суд в Канаде обязал Air Canada выплатить компенсацию за обман пассажира её чат-ботом по продаже билетов

В середине февраля 2024 года суд в Канаде обязал авиакомпанию Air Canada выплатить пассажиру положенную компенсацию в размере $812 (включая ущерб, проценты и сборы, связанные с поездкой и судебным разбирательством) после того, как чат-бот по продаже билетов Travel Air Canada предоставил человеку неверную информацию о стоимости билета и положенной скидке за перелёт.

Согласно документам суда, в ноябре 2022 года у Джейка Моффата умерла бабушка, он был вынужден со своей семьёй срочно лететь на её похороны. Моффат начал искать подходящие авиабилеты и использовал чат-бота на веб-сайте Air Canada. Информационная система предложила Моффатту странную скидку — купить билеты туда и обратно, а потом «задним числом подать заявку на компенсацию части оплаты за билеты в случае утраты родственников». Чат-бот пообещал. что в этом случае Моффат сэкономит примерно $380 в каждом направлении.

Продолжение: https://vk.com/wall-210601538_1612

⭐️ LLM Red-teaming в MLSecOps

Red-teaming для LLM — это способ тестирования систем ИИ, особенно больших языковых моделей (LLM), на предмет выявления слабых мест. Можно представить это как дружеское соревнование, в котором команда («красная команда») пытается найти проблемы в ИИ до того, как он будет использован публикой. Этот процесс помогает разработчикам исправлять недочеты и улучшать производительность ИИ.

Почему стоит проверять модели таким способом?

2024-й год уже позади, поэтому ставки при развертывании больших языковых моделей (LLM) как никогда высоки. Точно так же, как архитекторы проводят стресс-тестирование мостов, а разработчики отлаживают программное обеспечение перед его выпуском, LLM-модели тоже требуют тщательного тестирования.

Взаимодействуют с языковыми моделями практически все, люди из разных сфер деятельности, разных возрастов и с разным жизненным опытом. Крайне важно обеспечить безопасность этих моделей для пользователей, и здесь в игру вступают red team-специалисты — своего рода «сантехники для LLM». Они проводят различные атаки, чтобы выявить потенциальные уязвимости модели.

С 2023 года LLM стали горячей темой на массовом рынке, и мы уже наблюдали десятки случаев ситуаций, когда модель генерирует то, что не должна. Рассмотрим ключевые проблемы безопасности LLM-моделей и ответим на главный вопрос: «Почему необходимо проводить red teaming для LLM?»

Продолжение: https://vk.com/wall-210601538_1613