⭐️ В США продолжился суд над ИИ-чатботом из-за смерти ребёнка

Флоридский суд разрешил продолжить судебное дело против Google и чатбота Character AI, обвиняемых в косвенной причине смерти подростка. Судья Энн Конвей отклонила защиту компаний на основе Первой поправки, заявив, что не готова признать ответы чатбота «свободой слова».

Дело связано со смертью 14-летнего Сьюэлла Сетцера III, который, как утверждают, стал одержим чатботом, подталкивающим его к плохим мыслям. Компании сравнивали чатбот с видеоиграми и социальными сетями, чтобы получить прецедент свободы слова. Судья, правда, усомнилась в доводах.

Кроме вопроса о свободе слова, суд также рассмотрит, был ли продукт Character AI небезопасным и вредным. Учитываться будет аругмент, что чатботы создают ответы автоматически, реагируя на пользователя. Истцы утверждают, что сервис не проверял возраст и вводил в заблуждение, представляя ботов как реальных людей и даже терапевтов.

ferra ru

⭐️ Техподдержка MLSecOps!

ВОПРОС ОТ ПОДПИСЧИКА:

Добрый день, Николай! Я работаю в FinTech. Иногда защита моделей идёт в противовес качеству моделей. Допустим, если использовать дифференциациальную приватность, чтобы защитить конфиденциальные данные, мы теряем качество модели. И тогда бизнес с этого теряет деньги, хоть и защита обеспечена. Очень интересно, были ли у вас такие ситуации, как их решали?

Спасибо за информативный канал по MLSecOps!

ОТВЕТ:

Добрый день и спасибо за Ваш вопрос!

Действительно, в редких случаях бывают ситуации, когда приходится в этом контексте выбирать между защитой модели и качеством данных.

Почему в редких? Потому что как правило до этапа обучения модели по идее не должны добираться приватные и уж тем более персональные данные! Их нужно анонимизировать, хешировать и шифровать еще на этапе хранения как минимум. Потом уже при начале работы с моделью нужно сверить хеши (для избегания отравления данных - Data Poisoning), расшифровать данные и анонимизировать (если вдруг по каким-то бизнес-причинам Вы не стали их анонимизировать на этапе хранения.

А в идеале нужно строить такую архитектуру MLSecOps, чтобы чистка и анонимизация данных были хотя бы частично реализованы на этапах ETL|ELT в Data Engineering. Это требует очень мощной командной работы, сильной культуры Data-Driven, наличия практик Data Governance.

I. Метод "Китайская цифра".

Если данные уже в модели анонимизированы, это уже те данные, которые или не требуют, или в меньшей мере требуют дифференциальной приватности. Но в любом случае как правило проводится нормализация данных, которая еще более трансформирует данные, и приводит их к единому стандарту (например, диапазону от 0 до 1). В этом случае потенциальным злоумышленникам будет еще труднее понять Ваши данные, что и к чему относится.

Но - ДОПУСТИМ - злоумышленнику каким-то образом удалось извлечь эти анонимизированные данные после нормализации. Он смог сначала устранить нормализацию, а затем по кускам анонимизированных данных смог найти какие-то связи в модели и даже установить личности некоторых лиц, по которым собраны данные.

Как еще защититься, не прибегая к дифференциальной приватности?

У Китайских коллег я видел один прием, когда все данные уже после нормализации они умножают/делят на какое-то случайное, известное только избранным, значение (2,683, 1,547 и т.п.).

Продолжение: https://vk.com/wall-210601538_1754

⭐️ Власти США почти запретили на 10 лет штатам самостоятельно регулировать ИИ

Палата представителей США приняла законопроект о бюджете, в который неожиданно включили пункт о запрете штатам регулировать искусственный интеллект на ближайшие 10 лет. Это означает, что местные законы по защите от ИИ — например, от дипфейков или дискриминации при приёме на работу — будут недействительны, если закон вступит в силу.

Инициативу поддержали почти все республиканцы. Однако закон ещё должен пройти Сенат, где его могут оспорить, так как подобные запреты не должны входить в бюджет. Некоторые сенаторы-республиканцы также выразили сомнение, поскольку закон мешает действующим мерам защиты, например, прав художников.

Сторонники запрета говорят, что он нужен для предотвращения путаницы из-за разных законов в разных штатах. Противники, включая демократов и правозащитные организации, считают это подарком для крупных IT-компаний, который оставит обычных людей без защиты.

rumbler news

⭐️ Техподдержка MLSecOps!

ВОПРОС ОТ ПОДПИСЧИКА:

Добрый день, Николай!
Не нашел как вам написать в паблик, поэтому пишу в личку)

Спасибо за ваши посты, они очень помогают выстраивать безопасность и прокачивать понимание MLSecOps.

В своем посте vk.com/wall-210601538_1754 Вы советуете черпать опыт коллег с востока.

Не могли бы вы пожалуйста поделиться ресурсами, где можно черпать этот опыт?
Так как по теме в целом мало что написано на западе, хотелось бы воспользоваться вашим советом и обратить внимание на восток.

Спасибо!

ОТВЕТ:

Добрый день, и спасибо за Ваш вопрос!

1. По поводу возможности мне написать - в паблике в VK есть специальный раздел для запросов на техподдержку, можете писать туда. Или предлагать вопрос как новость. Либо писать мне прямо в личку - я умею определять надежных и безопасных людей.

2. По поводу постов - рад стараться! Для удобства у меня есть еще блог в телеграмм и он всегда дублирует основной блок в VK, ссылка: t.me/ml_ops

3. По поводу ориентации на восток - да, я активный сторонник развития отношений с восточными странами, в первую очередь это Китай. Восточный опыт я беру в первую очередь (на 90%) от ряда китайских компаний, при этом наиболее активно сотрудничаю с двумя, одна из которых - это китайская компания MAITUO, со штаб-квартирой в городе Шень-Чжень. Это очень мощная и прогрессивная компания, которая также прилагает активные усилия для сотрудничества с Россией. Это сотрудничество полностью бескорыстное.

Кроме того я усиленно изучаю китайский язык, перевожу китайские статьи, изучаю новости о регулировании ИИ в Китае, смотрю достижения, читаю статьи ведущих исследователей из Китая, какие нахожу. В целом же есть масса сайтов китайских компаний и там часто выкладывают техническую документацию, новости на английском языке.

При этом если книгу написали в Китае, но перевели, допустим, на английский, русский языки, то это тоже китайский опыт. Вот изображение одной из последних прочитанных мною книг.

Продолжение: https://vk.com/wall-210601538_1756

⭐️ Вот и завершилась наша первая корпоративная программа по основам MLSecOps в Академии Softline! Она была сложной, но интересной! Получил несколько приятных, позитивных отзывов, предложений по сотрудничеству! Спасибо за это! Я обязательно все реализую. Не прощаюсь с дорогими слушателями, пишите, буду рад. Кто не успел сохранить - ссылка на вебинар 1 июня про защиту LLM от Raft Security: https://aisecuritylab.timepad.ru/event/3387493

Архитектор MLSecOps
Николай Павлов

⭐️ Первая в мире книга по MLSecOps

Привет, мои дорогие друзья!

Первая в мире книга непосредственно про MLSecOps называется "Securing the AI Enterprise: DevOps, MLOps, and MLSecOps Explained" от автора Edgardo Fernandez Climent. Она анонсирована 4 октября 2024 года на английском языке.

Эта книга — подробное и авторитетное руководство для ИТ-специалистов, которые работают с внедрением и защитой систем искусственного интеллекта (ИИ) в корпоративной среде. Авторы рассказывают, как обеспечить безопасность ИИ-систем на всех этапах их жизненного цикла, от разработки до запуска в производство и последующего сопровождения.

Книга объясняет, как традиционные практики DevOps, созданные для разработки обычного программного обеспечения, адаптировать под специфические требования машинного обучения (MLOps) и, особенно, безопасности машинного обучения (MLSecOps).

Ссылка для скачивания в формате .epub:
https://disk.yandex.ru/i/wpl_C__fp2gAhA

Ссылка для скачивания в формате .pdf:
https://disk.yandex.ru/i/c4-WDIUrbLZ4lQ

Желаю приятного чтения!

Архитектор MLSecOps
Николай Павлов

⭐️ Чек-лист "Безопасность данных на этапе сбора и подготовки"

По запросу подписчика размещаю здесь один из чек-листов по обеспечению безопасности данных на этапах сбора и подготовки с завершившейся учебной программы "Основы MLSecOps. Обеспечение безопасности систем машинного обучения".

Это лишь общие рекомендации - Вы можете доработать этот чек-лист, учитывая специфику работы Вашей компании и архитектуру MLOps, что-то добавить, что-то удалить, а также написать мне предложения по его улучшению/оптимизации.

Архитектор MLSecOps
Николай Павлов

⭐️ Вебинар "AI в Кибербезе & Кибербез в AI"

Рекомендую всем посмотреть замечательный вебинар "AI в Кибербезе & Кибербез в AI" с участием Бориса Захира (эксперта в AI Security, автора канала https://news.1rj.ru/str/borismlsec) и других сильных специалистов.

Ребята разобрали массу сложных нюансов доступным для понимания языком, сделали обзор сложных атак на LLM и даже затронули тему RAG-систем! Зафиксировал для себя новые моменты.

Ссылка: https://rutube.ru/video/f2bb6317149e1efbb6f9f9c0bb6d000b

Архитектор MLSecOps
Николай Павлов

⭐️ Треть российских компаний сталкиваются с сопротивлением персонала при внедрении ИИ

Согласно исследованию Ассоциации менеджеров, 33% российских организаций испытывают сопротивление сотрудников при внедрении технологий искусственного интеллекта. Почти половина компаний (45%) отмечают нехватку квалифицированных специалистов для работы с ИИ-системами.

1. Технические сложности:
- Интеграция с существующими IT-системами (57%)
- Вопросы безопасности данных (55%)

2. Кадровые вызовы:
- Дефицит специалистов по ИИ (45%)
- Непонимание технологии сотрудниками (44%)
- Сопротивление персонала (33%)

3. Финансовые ограничения:
- Высокая стоимость внедрения (12%)

4. Влияние на организацию:
- Изменение обязанностей сотрудников (55%)
- Создание новых команд (13%)
- Появление новых должностей (11%)
- Сокращение устаревших позиций (21%)

Продолжение: https://vk.com/wall-210601538_1761

⭐️ Глава поисковика Perplexity анонсировал выход ИИ-браузера — осень 2025 года

Генеральный директор «умной» поисковой системы Perplexity Аравинд Шринивас сообщил о планах по запуску Comet, специализированного ИИ-браузера, предназначенного для бесперебойной работы с нейросетью поисковика.

Работа над версией для Android близится к завершению, релиз намечен на осень 2025 года, а версии для iOS и ПК появятся позже, начиная с бета-версии для Windows. По словам Шриниваса, браузер Comet призван предложить пользователям «интеллектуальную цифровую среду» с расширенными возможностями взаимодействия с искусственным интеллектом, включая обучающие модули, функции геймификации и интеграцию с Perplexity Labs для персонализированного просмотра сайтов с помощью плагинов для интеллектуальных инструментов.

ferra

⭐️ Эксперты ЦИПР отметили спрос на AI-агентов в бизнесе

Спрос на технологии искусственного интеллекта растет во всех секторах бизнеса, что требует мощной вычислительной инфраструктуры для компаний. В этих условиях облачные сервисы становятся ключевым инструментом, с помощью которого можно избежать дорогостоящей закупки оборудования, высвободить ресурсы на разработку решений и упростить использование AI-технологий. Такое мнение было высказано на конференции «Цифровая индустрия промышленной России» (ЦИПР) в Нижнем Новгороде.

«Мы видим растущий запрос на сервисы для AI практически во всех отраслях, и наша задача — сделать переход к AI проще и удобнее, повышать доверие к технологии среди разработчиков и бизнеса», — заявил гендиректор провайдера облачных и AI-технологий Cloud ru Евгений Колбин. По его словам, в компании работают над созданием AI-помощников как неотъемлемой части облачных продуктов. Внедрение таких ассистентов автоматизирует выполнение типовых задач и сделает использование облачных сервисов проще — в этом и заключается тренд демократизации.

Эксперт также добавил, что AI формирует новые требования к платформенным архитектурам: где на единой платформе объединены локальная инфраструктура клиента и ресурсы публичного облака. Чтобы одинаково эффективно запускать AI-модели как в собственном IT-контуре, так и в облачной инфраструктуре, нужен единый платформенный слой. Реализовать это можно, например, с помощью гибридного облака. С его помощью крупный бизнес, госорганизации и промышленные компании смогут упростить запуск и масштабирование AI-сервисов в своем IT-ландшафте и снизить порог входа в облачные технологии и AI.

Продолжение: https://vk.com/wall-210601538_1763

⭐️ "Ведомости" отметили почти двукратный рост спроса на экспертов по IT-безопасности

В России за первые три месяца с начала 2025 года открыто 41 800 вакансий в сфере информационной безопасности, что составляет почти половину от количества всех вакансий в этой отрасли за 2024 год, когда их было 89 900.

Об этом сообщила директор по IT и кибербезопасности сервиса по поиску работы HeadHunter Татьяна Фомина на совместной сессии газеты "Ведомости" в рамках конференции "Цифровая индустрия промышленности России" (ЦИПР).

По словам эксперта, зарплаты в области информационной безопасности растут быстрее, чем в сфере IT в целом. Медианная зарплата увеличилась на 28% по сравнению с 2021 годом, достигнув 99,9 тысячи рублей. Для специалистов с опытом работы от шести лет средняя зарплата составляет 259,2 тысячи рублей, а для тех, кто работает от трех до шести лет — почти 159 тысяч рублей. Вместе с этим, Фомина добавила, что одной из главных проблем на рынке труда является несоответствие навыков соискателей требованиям работодателей.

Интерес к специалистам по информационной безопасности возрастает во всех сферах, согласился заместитель гендиректора сервиса "Работа.ру" Александр Ветерков. По его оценке, ежемесячный прирост новых вакансий для таких специалистов составляет 4-6% год к году. Собеседник издания предположил, что это может быть связано со вступлением в силу закона об оборотных штрафах для компаний за повторные утечки персональных данных.

Продолжение: https://vk.com/wall-210601538_1764

⭐️ В России начнут блокировать созданный ИИ мошеннический контент и ужесточат наказание за мошенничество с ИИ

Депутаты Государственной думы России готовят комплекс поправок в закон "Об информации", направленных на выявление и блокировку в интернете мошеннического контента, созданного с использованием искусственного интеллекта, в том числе дипфейков.

Инициатива предусматривает внесение изменений в рамках одного документа совместно с предложением о блокировке деструктивного контента до решения суда. Зампред комитета Госдумы по информационной политике, информационным технологиям и связи Андрей Свинцов отметил, что комплекс документов охватит все вопросы, связанные с регулированием искусственного интеллекта, включая маркировку и блокировку сгенерированного ИИ деструктивного контента.

Основатель Совета блогеров Валерия Рытвина сообщила, что для выявления мошеннических материалов будут привлекаться специализированные компании, занимающиеся системами защиты от киберугроз и хакерских атак. По ее словам, в России работают одни из лучших IT-специалистов, и успешная борьба с мошенничеством требует объединения усилий государства, экспертного сообщества и общественных инициатив.

При этом по данным itspeaker в России уже подготовлен новый пакет мер, направленный на противодействие кибермошенничеству с помощью ИИ. Документ включает в себя введение уголовной ответственности за мошеннические действия, кражу и вымогательство с применением технологий искусственного интеллекта.

Продолжение: https://vk.com/wall-210601538_1765

⭐️ Гайд по AI-агентам от Сбера - общие выводы по направлению MLSecOps

Привет, мои дорогие и самые талантливые друзья!

Вот и я, наконец-то, добрался до гайда по AI-агентам от Сбера, о котором последнюю неделю написали почти все эксперты в сфере безопасности ИИ.

Ниже краткие выводы, которые я сделал из гайда по направлению MLSecOps:

1. AI-агенты должны запускаться в изолированных программных средах, чтобы ограничить их доступ к критически важным ресурсам и минимизировать возможные риски, связанные с автономностью агентов. Такая изоляция позволяет контролировать действия агента на этапе эксплуатации, а не только на этапе разработки, что особенно важно для автономных систем.

2. В мультиагентных системах рекомендуется реализовывать защитные проверки и ограничения на уровне архитектуры: лимитировать доступ к внешним сервисам, задавать явные рамки полномочий агентов, контролировать их взаимодействие между собой и с внешней средой. При этом необходимо внедрять механизмы аутентификации и авторизации для всех действий агентов, особенно при доступе к корпоративным данным и сервисам.

3. Рекомендуется использовать защищённые хранилища и протоколы передачи данных, чтобы предотвратить несанкционированный доступ к информации, используемой и генерируемой агентами.

4. Для обмена информацией между агентами и внешними системами должны использоваться стандартизированные и защищённые протоколы, что снижает риски перехвата или подмены данных.

5. В разделе гайда, посвящённом кибербезопасности и управлению рисками, подчёркивается важность регулярного аудита, мониторинга поведения агентов и своевременного обновления защитных механизмов.

6. Также рекомендуется использовать системы обнаружения аномалий и реагирования на инциденты, чтобы выявлять и устранять потенциальные угрозы.

Продолжение: https://vk.com/wall-210601538_1766

⭐️ Российские компании готовы платить на 36% больше профессионалам в кибербезопасности

Анализ рынка труда в сфере кибербезопасности показал, что дефицит кадров в этой области достигает 50 000–100 000 специалистов. Основные причины — нехватка квалифицированных кандидатов, несовпадение ожиданий работодателей и соискателей, а также завышенные зарплатные запросы новичков и специалистов среднего уровня, которые часто не проходят технические собеседования.

Несмотря на общее замедление роста рынка труда, спрос на специалистов по кибербезопасности продолжает расти. В 2024 году количество вакансий увеличилось на 18% по сравнению с 2023 годом, достигнув 90 000 предложений. К концу апреля 2025 года компании искали уже около 42 000 специалистов. Наибольший спрос наблюдается в IT, финансовом секторе, ритейле и телекоммуникациях.

При этом активных соискателей в кибербезопасности в 10 раз меньше, чем в IT: 137 000 против 1 330 000. Разрыв между требованиями работодателей и навыками кандидатов усложняет подбор кадров. Например, лишь 40–50% специалистов среднего уровня успешно проходят технические собеседования, тогда как среди опытных профессионалов этот показатель достигает 70–80%.

Зарплаты в отрасли выросли на 28% с 2021 года и в среднем составляют 99 900 рублей, что на треть выше общероссийского уровня (76 200 рублей). Однако разрыв между ожиданиями кандидатов и предложениями работодателей остаётся значительным. Например, для специалистов с опытом от 6 лет компании готовы платить на 36% больше, чем ожидают сами соискатели (259 200 против 190 500 рублей).

Продолжение: https://vk.com/wall-210601538_1767

⭐️ Британским юристам сказали прекратить злоупотребление ИИ после фейковых ссылок

Верховный суд Великобритании обратился к юристам с просьбой срочно остановить неправильное использование искусственного интеллекта (ИИ) в юридической практике Связано это с тем, что в нескольких делах были представлены фальшивые ссылки на судебные решения, которые либо полностью вымышлены, либо содержали поддельные цитаты.

В одном из крупных дел по иску на 89 миллионов фунтов против Qatar National Bank заявители использовали 45 ссылок на судебные решения, из которых 18 оказались фальшивыми. В другом деле юрист неправомерно ссылался на несуществующие судебные решения пять раз.

Председатель Кингсбенчского отделения, Дама Виктория Шарп, подчеркнула, что подобные ошибки подрывают доверие к судебной системе. Юристам, использующим ИИ, напомнили о необходимости тщательно проверять информацию.

ferra

⭐️ Новые открытые ИИ-модели RoboBrain 2.0

Китай делает ещё один шаг к лидерству в робототехнике: Пекинская академия искусственного интеллекта (BAAI) представила новые открытые ИИ-модели RoboBrain 2.0, которые будут служить «мозгом» для роботов. Это часть стратегии по ускоренному развитию индустрии «воплощённого интеллекта» — то есть систем, где ИИ не просто работает с текстами или изображениями, а управляет физическими машинами в реальном мире.

По словам главы BAAI Вана Чжуньюаня, использование мощных моделей в стремительно развивающемся китайском рынке роботов может заметно ускорить прогресс в создании гуманоидов. Одна из главных проблем отрасли — это слабые модели и нехватка качественных обучающих данных. Новый подход должен изменить ситуацию. Академия уже сотрудничает с более чем 20 крупными компаниями в сфере робототехники и активно ищет новых партнёров, чтобы расширить влияние и ускорить внедрение технологий.

RoboBrain 2.0 заявлен как самая мощная в мире открытая ИИ-модель для роботов. Она значительно превосходит предыдущую версию — улучшена пространственная ориентация и планирование задач: на 17% быстрее и на 74% точнее. Роботы с такой моделью могут лучше определять расстояние до объектов и автоматически разбивать сложные действия на отдельные шаги, становясь заметно эффективнее и автономнее.

Модель входит в серию Wujie, в которую также входят облачная платформа RoboOS 2.0 для запуска ИИ в роботах и мультимодальная система Emu3, способная обрабатывать текст, изображения и видео. BAAI давно работает с открытыми языковыми моделями — технологиями, лежащими в основе чат-ботов вроде ChatGPT, и многие её бывшие сотрудники основали собственные ИИ-стартапы, формируя новую волну китайских AI-компаний.

В амбициозной гонке участвуют не только BAAI. Например, Пекинский центр инноваций в области гуманоидной робототехники представил в этом году платформу общего назначения для embodied AI под названием Hui Si Kai Wu. Там же был создан и гуманоид Тяньгун, который в апреле успешно пробежал полумарафон в Пекине. Разработчики надеются, что их система станет для роботов тем, чем Android стал для смартфонов — стандартной операционной средой.

Кроме того, ежегодная конференция BAAI в этом году собрала более 100 учёных и свыше 200 экспертов индустрии, включая топ-менеджеров Baidu, Huawei и Tencent. На ней также было объявлено о стратегическом партнёрстве с инвестиционной корпорацией Гонконга — стороны намерены совместно развивать технологии, обучать специалистов и инвестировать в ИИ-стартапы в Китае.

Ссылка на HuggingFace: https://huggingface.co/BAAI

securitylab

⭐️ Си Цзиньпин предупредил о беспрецедентных рисках искусственного интеллекта

Коллективный семинар по усилению контроля и разработке искусственного интеллекта провело политбюро КПК под председательством Си Цзиньпина. Глава КНР заявил: «Искусственный интеллект несет с собой беспрецедентные возможности развития, но также и беспрецедентные риски и вызовы». По его словам, ИИ способен кардинально изменить производство и быт людей.

Си Цзиньпин подчеркнул необходимость ускорения создания законодательства в сфере ИИ, а также разработки этических стандартов. Он отметил, что Китаю необходимо наладить мониторинг, предупреждение рисков и создание системы реагирования на чрезвычайные ситуации, обеспечив безопасность, надежность и управляемость технологий.

Для достижения мирового лидерства глава КНР призвал к прорывам в фундаментальных исследованиях, разработке высокопроизводительных чипов, ключевого программного обеспечения, а также к формированию независимой и регулируемой программно-аппаратной платформы ИИ.

vz ru

⭐️ Alfa AppSec Meetup #1

Привет, мои дорогие и самые активные друзья!

Вот и наступило жаркое лето - но талантливые ребята из Альфы продолжают вместе с нами упорно идти к вершинам MLSecOps!

10 июля они проводят замечательный митап, где будут говорить о безопасной разработке - четко и по-существу, с опорой на лучшие практики одной из лидирующих FinTech-компаний.

И - вишенка на торте - с 20:45 до 21:20 анонсирован доклад Главного эксперта по безопасной разработке, Дмитрия Богачева на тему: "MLSecOps глазами AppSec: что может пойти не так (и пойдёт)".

Ожидаю много новинок на выступлении Дмитрия, да и от митапа в целом!

Митап строго обязателен для участия! Дружно заходим и регистрируемся здесь: digital.alfabank.ru/events/app...

Архитектор MLSecOps
Николай Павлов