⭐️ Техподдержка MLSecOps!

ВОПРОС ОТ ПОДПИСЧИКА:

Добрый день, Николай!
Не нашел как вам написать в паблик, поэтому пишу в личку)

Спасибо за ваши посты, они очень помогают выстраивать безопасность и прокачивать понимание MLSecOps.

В своем посте vk.com/wall-210601538_1754 Вы советуете черпать опыт коллег с востока.

Не могли бы вы пожалуйста поделиться ресурсами, где можно черпать этот опыт?
Так как по теме в целом мало что написано на западе, хотелось бы воспользоваться вашим советом и обратить внимание на восток.

Спасибо!

ОТВЕТ:

Добрый день, и спасибо за Ваш вопрос!

1. По поводу возможности мне написать - в паблике в VK есть специальный раздел для запросов на техподдержку, можете писать туда. Или предлагать вопрос как новость. Либо писать мне прямо в личку - я умею определять надежных и безопасных людей.

2. По поводу постов - рад стараться! Для удобства у меня есть еще блог в телеграмм и он всегда дублирует основной блок в VK, ссылка: t.me/ml_ops

3. По поводу ориентации на восток - да, я активный сторонник развития отношений с восточными странами, в первую очередь это Китай. Восточный опыт я беру в первую очередь (на 90%) от ряда китайских компаний, при этом наиболее активно сотрудничаю с двумя, одна из которых - это китайская компания MAITUO, со штаб-квартирой в городе Шень-Чжень. Это очень мощная и прогрессивная компания, которая также прилагает активные усилия для сотрудничества с Россией. Это сотрудничество полностью бескорыстное.

Кроме того я усиленно изучаю китайский язык, перевожу китайские статьи, изучаю новости о регулировании ИИ в Китае, смотрю достижения, читаю статьи ведущих исследователей из Китая, какие нахожу. В целом же есть масса сайтов китайских компаний и там часто выкладывают техническую документацию, новости на английском языке.

При этом если книгу написали в Китае, но перевели, допустим, на английский, русский языки, то это тоже китайский опыт. Вот изображение одной из последних прочитанных мною книг.

Продолжение: https://vk.com/wall-210601538_1756

⭐️ Вот и завершилась наша первая корпоративная программа по основам MLSecOps в Академии Softline! Она была сложной, но интересной! Получил несколько приятных, позитивных отзывов, предложений по сотрудничеству! Спасибо за это! Я обязательно все реализую. Не прощаюсь с дорогими слушателями, пишите, буду рад. Кто не успел сохранить - ссылка на вебинар 1 июня про защиту LLM от Raft Security: https://aisecuritylab.timepad.ru/event/3387493

Архитектор MLSecOps
Николай Павлов

⭐️ Первая в мире книга по MLSecOps

Привет, мои дорогие друзья!

Первая в мире книга непосредственно про MLSecOps называется "Securing the AI Enterprise: DevOps, MLOps, and MLSecOps Explained" от автора Edgardo Fernandez Climent. Она анонсирована 4 октября 2024 года на английском языке.

Эта книга — подробное и авторитетное руководство для ИТ-специалистов, которые работают с внедрением и защитой систем искусственного интеллекта (ИИ) в корпоративной среде. Авторы рассказывают, как обеспечить безопасность ИИ-систем на всех этапах их жизненного цикла, от разработки до запуска в производство и последующего сопровождения.

Книга объясняет, как традиционные практики DevOps, созданные для разработки обычного программного обеспечения, адаптировать под специфические требования машинного обучения (MLOps) и, особенно, безопасности машинного обучения (MLSecOps).

Ссылка для скачивания в формате .epub:
https://disk.yandex.ru/i/wpl_C__fp2gAhA

Ссылка для скачивания в формате .pdf:
https://disk.yandex.ru/i/c4-WDIUrbLZ4lQ

Желаю приятного чтения!

Архитектор MLSecOps
Николай Павлов

⭐️ Чек-лист "Безопасность данных на этапе сбора и подготовки"

По запросу подписчика размещаю здесь один из чек-листов по обеспечению безопасности данных на этапах сбора и подготовки с завершившейся учебной программы "Основы MLSecOps. Обеспечение безопасности систем машинного обучения".

Это лишь общие рекомендации - Вы можете доработать этот чек-лист, учитывая специфику работы Вашей компании и архитектуру MLOps, что-то добавить, что-то удалить, а также написать мне предложения по его улучшению/оптимизации.

Архитектор MLSecOps
Николай Павлов

⭐️ Вебинар "AI в Кибербезе & Кибербез в AI"

Рекомендую всем посмотреть замечательный вебинар "AI в Кибербезе & Кибербез в AI" с участием Бориса Захира (эксперта в AI Security, автора канала https://news.1rj.ru/str/borismlsec) и других сильных специалистов.

Ребята разобрали массу сложных нюансов доступным для понимания языком, сделали обзор сложных атак на LLM и даже затронули тему RAG-систем! Зафиксировал для себя новые моменты.

Ссылка: https://rutube.ru/video/f2bb6317149e1efbb6f9f9c0bb6d000b

Архитектор MLSecOps
Николай Павлов

⭐️ Треть российских компаний сталкиваются с сопротивлением персонала при внедрении ИИ

Согласно исследованию Ассоциации менеджеров, 33% российских организаций испытывают сопротивление сотрудников при внедрении технологий искусственного интеллекта. Почти половина компаний (45%) отмечают нехватку квалифицированных специалистов для работы с ИИ-системами.

1. Технические сложности:
- Интеграция с существующими IT-системами (57%)
- Вопросы безопасности данных (55%)

2. Кадровые вызовы:
- Дефицит специалистов по ИИ (45%)
- Непонимание технологии сотрудниками (44%)
- Сопротивление персонала (33%)

3. Финансовые ограничения:
- Высокая стоимость внедрения (12%)

4. Влияние на организацию:
- Изменение обязанностей сотрудников (55%)
- Создание новых команд (13%)
- Появление новых должностей (11%)
- Сокращение устаревших позиций (21%)

Продолжение: https://vk.com/wall-210601538_1761

⭐️ Глава поисковика Perplexity анонсировал выход ИИ-браузера — осень 2025 года

Генеральный директор «умной» поисковой системы Perplexity Аравинд Шринивас сообщил о планах по запуску Comet, специализированного ИИ-браузера, предназначенного для бесперебойной работы с нейросетью поисковика.

Работа над версией для Android близится к завершению, релиз намечен на осень 2025 года, а версии для iOS и ПК появятся позже, начиная с бета-версии для Windows. По словам Шриниваса, браузер Comet призван предложить пользователям «интеллектуальную цифровую среду» с расширенными возможностями взаимодействия с искусственным интеллектом, включая обучающие модули, функции геймификации и интеграцию с Perplexity Labs для персонализированного просмотра сайтов с помощью плагинов для интеллектуальных инструментов.

ferra

⭐️ Эксперты ЦИПР отметили спрос на AI-агентов в бизнесе

Спрос на технологии искусственного интеллекта растет во всех секторах бизнеса, что требует мощной вычислительной инфраструктуры для компаний. В этих условиях облачные сервисы становятся ключевым инструментом, с помощью которого можно избежать дорогостоящей закупки оборудования, высвободить ресурсы на разработку решений и упростить использование AI-технологий. Такое мнение было высказано на конференции «Цифровая индустрия промышленной России» (ЦИПР) в Нижнем Новгороде.

«Мы видим растущий запрос на сервисы для AI практически во всех отраслях, и наша задача — сделать переход к AI проще и удобнее, повышать доверие к технологии среди разработчиков и бизнеса», — заявил гендиректор провайдера облачных и AI-технологий Cloud ru Евгений Колбин. По его словам, в компании работают над созданием AI-помощников как неотъемлемой части облачных продуктов. Внедрение таких ассистентов автоматизирует выполнение типовых задач и сделает использование облачных сервисов проще — в этом и заключается тренд демократизации.

Эксперт также добавил, что AI формирует новые требования к платформенным архитектурам: где на единой платформе объединены локальная инфраструктура клиента и ресурсы публичного облака. Чтобы одинаково эффективно запускать AI-модели как в собственном IT-контуре, так и в облачной инфраструктуре, нужен единый платформенный слой. Реализовать это можно, например, с помощью гибридного облака. С его помощью крупный бизнес, госорганизации и промышленные компании смогут упростить запуск и масштабирование AI-сервисов в своем IT-ландшафте и снизить порог входа в облачные технологии и AI.

Продолжение: https://vk.com/wall-210601538_1763

⭐️ "Ведомости" отметили почти двукратный рост спроса на экспертов по IT-безопасности

В России за первые три месяца с начала 2025 года открыто 41 800 вакансий в сфере информационной безопасности, что составляет почти половину от количества всех вакансий в этой отрасли за 2024 год, когда их было 89 900.

Об этом сообщила директор по IT и кибербезопасности сервиса по поиску работы HeadHunter Татьяна Фомина на совместной сессии газеты "Ведомости" в рамках конференции "Цифровая индустрия промышленности России" (ЦИПР).

По словам эксперта, зарплаты в области информационной безопасности растут быстрее, чем в сфере IT в целом. Медианная зарплата увеличилась на 28% по сравнению с 2021 годом, достигнув 99,9 тысячи рублей. Для специалистов с опытом работы от шести лет средняя зарплата составляет 259,2 тысячи рублей, а для тех, кто работает от трех до шести лет — почти 159 тысяч рублей. Вместе с этим, Фомина добавила, что одной из главных проблем на рынке труда является несоответствие навыков соискателей требованиям работодателей.

Интерес к специалистам по информационной безопасности возрастает во всех сферах, согласился заместитель гендиректора сервиса "Работа.ру" Александр Ветерков. По его оценке, ежемесячный прирост новых вакансий для таких специалистов составляет 4-6% год к году. Собеседник издания предположил, что это может быть связано со вступлением в силу закона об оборотных штрафах для компаний за повторные утечки персональных данных.

Продолжение: https://vk.com/wall-210601538_1764

⭐️ В России начнут блокировать созданный ИИ мошеннический контент и ужесточат наказание за мошенничество с ИИ

Депутаты Государственной думы России готовят комплекс поправок в закон "Об информации", направленных на выявление и блокировку в интернете мошеннического контента, созданного с использованием искусственного интеллекта, в том числе дипфейков.

Инициатива предусматривает внесение изменений в рамках одного документа совместно с предложением о блокировке деструктивного контента до решения суда. Зампред комитета Госдумы по информационной политике, информационным технологиям и связи Андрей Свинцов отметил, что комплекс документов охватит все вопросы, связанные с регулированием искусственного интеллекта, включая маркировку и блокировку сгенерированного ИИ деструктивного контента.

Основатель Совета блогеров Валерия Рытвина сообщила, что для выявления мошеннических материалов будут привлекаться специализированные компании, занимающиеся системами защиты от киберугроз и хакерских атак. По ее словам, в России работают одни из лучших IT-специалистов, и успешная борьба с мошенничеством требует объединения усилий государства, экспертного сообщества и общественных инициатив.

При этом по данным itspeaker в России уже подготовлен новый пакет мер, направленный на противодействие кибермошенничеству с помощью ИИ. Документ включает в себя введение уголовной ответственности за мошеннические действия, кражу и вымогательство с применением технологий искусственного интеллекта.

Продолжение: https://vk.com/wall-210601538_1765

⭐️ Гайд по AI-агентам от Сбера - общие выводы по направлению MLSecOps

Привет, мои дорогие и самые талантливые друзья!

Вот и я, наконец-то, добрался до гайда по AI-агентам от Сбера, о котором последнюю неделю написали почти все эксперты в сфере безопасности ИИ.

Ниже краткие выводы, которые я сделал из гайда по направлению MLSecOps:

1. AI-агенты должны запускаться в изолированных программных средах, чтобы ограничить их доступ к критически важным ресурсам и минимизировать возможные риски, связанные с автономностью агентов. Такая изоляция позволяет контролировать действия агента на этапе эксплуатации, а не только на этапе разработки, что особенно важно для автономных систем.

2. В мультиагентных системах рекомендуется реализовывать защитные проверки и ограничения на уровне архитектуры: лимитировать доступ к внешним сервисам, задавать явные рамки полномочий агентов, контролировать их взаимодействие между собой и с внешней средой. При этом необходимо внедрять механизмы аутентификации и авторизации для всех действий агентов, особенно при доступе к корпоративным данным и сервисам.

3. Рекомендуется использовать защищённые хранилища и протоколы передачи данных, чтобы предотвратить несанкционированный доступ к информации, используемой и генерируемой агентами.

4. Для обмена информацией между агентами и внешними системами должны использоваться стандартизированные и защищённые протоколы, что снижает риски перехвата или подмены данных.

5. В разделе гайда, посвящённом кибербезопасности и управлению рисками, подчёркивается важность регулярного аудита, мониторинга поведения агентов и своевременного обновления защитных механизмов.

6. Также рекомендуется использовать системы обнаружения аномалий и реагирования на инциденты, чтобы выявлять и устранять потенциальные угрозы.

Продолжение: https://vk.com/wall-210601538_1766

⭐️ Российские компании готовы платить на 36% больше профессионалам в кибербезопасности

Анализ рынка труда в сфере кибербезопасности показал, что дефицит кадров в этой области достигает 50 000–100 000 специалистов. Основные причины — нехватка квалифицированных кандидатов, несовпадение ожиданий работодателей и соискателей, а также завышенные зарплатные запросы новичков и специалистов среднего уровня, которые часто не проходят технические собеседования.

Несмотря на общее замедление роста рынка труда, спрос на специалистов по кибербезопасности продолжает расти. В 2024 году количество вакансий увеличилось на 18% по сравнению с 2023 годом, достигнув 90 000 предложений. К концу апреля 2025 года компании искали уже около 42 000 специалистов. Наибольший спрос наблюдается в IT, финансовом секторе, ритейле и телекоммуникациях.

При этом активных соискателей в кибербезопасности в 10 раз меньше, чем в IT: 137 000 против 1 330 000. Разрыв между требованиями работодателей и навыками кандидатов усложняет подбор кадров. Например, лишь 40–50% специалистов среднего уровня успешно проходят технические собеседования, тогда как среди опытных профессионалов этот показатель достигает 70–80%.

Зарплаты в отрасли выросли на 28% с 2021 года и в среднем составляют 99 900 рублей, что на треть выше общероссийского уровня (76 200 рублей). Однако разрыв между ожиданиями кандидатов и предложениями работодателей остаётся значительным. Например, для специалистов с опытом от 6 лет компании готовы платить на 36% больше, чем ожидают сами соискатели (259 200 против 190 500 рублей).

Продолжение: https://vk.com/wall-210601538_1767

⭐️ Британским юристам сказали прекратить злоупотребление ИИ после фейковых ссылок

Верховный суд Великобритании обратился к юристам с просьбой срочно остановить неправильное использование искусственного интеллекта (ИИ) в юридической практике Связано это с тем, что в нескольких делах были представлены фальшивые ссылки на судебные решения, которые либо полностью вымышлены, либо содержали поддельные цитаты.

В одном из крупных дел по иску на 89 миллионов фунтов против Qatar National Bank заявители использовали 45 ссылок на судебные решения, из которых 18 оказались фальшивыми. В другом деле юрист неправомерно ссылался на несуществующие судебные решения пять раз.

Председатель Кингсбенчского отделения, Дама Виктория Шарп, подчеркнула, что подобные ошибки подрывают доверие к судебной системе. Юристам, использующим ИИ, напомнили о необходимости тщательно проверять информацию.

ferra

⭐️ Новые открытые ИИ-модели RoboBrain 2.0

Китай делает ещё один шаг к лидерству в робототехнике: Пекинская академия искусственного интеллекта (BAAI) представила новые открытые ИИ-модели RoboBrain 2.0, которые будут служить «мозгом» для роботов. Это часть стратегии по ускоренному развитию индустрии «воплощённого интеллекта» — то есть систем, где ИИ не просто работает с текстами или изображениями, а управляет физическими машинами в реальном мире.

По словам главы BAAI Вана Чжуньюаня, использование мощных моделей в стремительно развивающемся китайском рынке роботов может заметно ускорить прогресс в создании гуманоидов. Одна из главных проблем отрасли — это слабые модели и нехватка качественных обучающих данных. Новый подход должен изменить ситуацию. Академия уже сотрудничает с более чем 20 крупными компаниями в сфере робототехники и активно ищет новых партнёров, чтобы расширить влияние и ускорить внедрение технологий.

RoboBrain 2.0 заявлен как самая мощная в мире открытая ИИ-модель для роботов. Она значительно превосходит предыдущую версию — улучшена пространственная ориентация и планирование задач: на 17% быстрее и на 74% точнее. Роботы с такой моделью могут лучше определять расстояние до объектов и автоматически разбивать сложные действия на отдельные шаги, становясь заметно эффективнее и автономнее.

Модель входит в серию Wujie, в которую также входят облачная платформа RoboOS 2.0 для запуска ИИ в роботах и мультимодальная система Emu3, способная обрабатывать текст, изображения и видео. BAAI давно работает с открытыми языковыми моделями — технологиями, лежащими в основе чат-ботов вроде ChatGPT, и многие её бывшие сотрудники основали собственные ИИ-стартапы, формируя новую волну китайских AI-компаний.

В амбициозной гонке участвуют не только BAAI. Например, Пекинский центр инноваций в области гуманоидной робототехники представил в этом году платформу общего назначения для embodied AI под названием Hui Si Kai Wu. Там же был создан и гуманоид Тяньгун, который в апреле успешно пробежал полумарафон в Пекине. Разработчики надеются, что их система станет для роботов тем, чем Android стал для смартфонов — стандартной операционной средой.

Кроме того, ежегодная конференция BAAI в этом году собрала более 100 учёных и свыше 200 экспертов индустрии, включая топ-менеджеров Baidu, Huawei и Tencent. На ней также было объявлено о стратегическом партнёрстве с инвестиционной корпорацией Гонконга — стороны намерены совместно развивать технологии, обучать специалистов и инвестировать в ИИ-стартапы в Китае.

Ссылка на HuggingFace: https://huggingface.co/BAAI

securitylab

⭐️ Си Цзиньпин предупредил о беспрецедентных рисках искусственного интеллекта

Коллективный семинар по усилению контроля и разработке искусственного интеллекта провело политбюро КПК под председательством Си Цзиньпина. Глава КНР заявил: «Искусственный интеллект несет с собой беспрецедентные возможности развития, но также и беспрецедентные риски и вызовы». По его словам, ИИ способен кардинально изменить производство и быт людей.

Си Цзиньпин подчеркнул необходимость ускорения создания законодательства в сфере ИИ, а также разработки этических стандартов. Он отметил, что Китаю необходимо наладить мониторинг, предупреждение рисков и создание системы реагирования на чрезвычайные ситуации, обеспечив безопасность, надежность и управляемость технологий.

Для достижения мирового лидерства глава КНР призвал к прорывам в фундаментальных исследованиях, разработке высокопроизводительных чипов, ключевого программного обеспечения, а также к формированию независимой и регулируемой программно-аппаратной платформы ИИ.

vz ru

⭐️ Alfa AppSec Meetup #1

Привет, мои дорогие и самые активные друзья!

Вот и наступило жаркое лето - но талантливые ребята из Альфы продолжают вместе с нами упорно идти к вершинам MLSecOps!

10 июля они проводят замечательный митап, где будут говорить о безопасной разработке - четко и по-существу, с опорой на лучшие практики одной из лидирующих FinTech-компаний.

И - вишенка на торте - с 20:45 до 21:20 анонсирован доклад Главного эксперта по безопасной разработке, Дмитрия Богачева на тему: "MLSecOps глазами AppSec: что может пойти не так (и пойдёт)".

Ожидаю много новинок на выступлении Дмитрия, да и от митапа в целом!

Митап строго обязателен для участия! Дружно заходим и регистрируемся здесь: digital.alfabank.ru/events/app...

Архитектор MLSecOps
Николай Павлов

⭐️ Академия АйТи (кластер FabricaONE AI ГК Softline) объявляет о запуске программы «Data Steward: специалист по стратегическому управлению данными»

Образовательная экосистема Академия АйТи (кластер FabricaONE AI группы компаний Softline) представляет новую образовательную программу «Data Steward: специалист по стратегическому управлению данными» — один из первых в России курсов по подготовке экспертов в этой области. Программа повышения квалификации готовит специалистов, способных обеспечивать качество, целостность и безопасность корпоративных данных.

Сегодня многие организации сталкиваются с проблемой «цифрового хаоса»: данные накапливаются бессистемно, нет единых стандартов хранения, а несоблюдение регуляторных требований приводит к финансовым потерям и репутационным рискам. Устаревший технологический стек, задержки в принятии решений из-за плохой навигации в данных, инциденты с «грязными» данными влияют на доверие клиентов и HR-бренд. Data Steward — тот, кто решает эти проблемы, выстраивает стратегию работы с данными и становится связующим звеном между бизнесом и технологиями — вне зависимости от их текущего уровня в компании. Эта роль важна для любых организаций: от тех, где аналитика ведется в табличных редакторах, до корпораций с современными фреймворками.

Чтобы подготовить таких экспертов, Академия АйТи разработала программу из 12 модулей, которые сочетают теорию с практикой и охватывают разные темы — от трендов в Big Data до практического формирования Data Governance. Слушатели изучат такие важные вопросы, как Data Quality, машинное обучение для бизнеса, моделирование данных, влияние искусственного интеллекта на работу с данными. Они также освоят управленческие навыки, включая взаимодействие с бизнес-подразделениями, проведение тренингов и семинаров для пользователей.

Обучение первого потока начнется 1 июля 2025 года и продлится две недели. Занятия будут проходит в гибком онлайн-формате, что позволяет учиться без отрыва от основной работы или учебы. Курс предназначен для ИТ-специалистов, аналитиков, администраторов баз данных, руководителей и HR-менеджеров компаний, внедряющих роль Data Steward. Программа также будет полезна всем, кто интересуется управлением данными. В конце обучения выпускники получат удостоверение государственного образца, подтверждающее повышение квалификации.

Продолжение: https://vk.com/wall-210601538_1772

⭐️ Глава Роспотребнадзора предупредила об опасности ИИ для биобезопасности

Искусственный интеллект может как нанести огромный вред биобезопасности, так и принести пользу, все зависит от того, в чьих он руках, заявила журналистам глава Роспотребнадзора Анна Попова.

"В части биологической безопасности это инструмент, который имеет в себе огромное количество возможностей, как позитивных, но, к сожалению, так и негативных … В руках человечества сборщик появился алгоритмов, сборщик новых ДНК, новых геномов, так правильнее сказать, которые могут нанести огромный вред, могут и пользу принести. Вопрос - в чьих руках, и как это будет использовано", - сказала Попова.

По ее словам, искусственный интеллект при анализе различных сочетаний атомов, последовательностей аминокислот может выдать тот результат, которого нет на планете.

Продолжение: https://vk.com/wall-210601538_1773

⭐️ NtechLab: ИИ через 10 лет сможет выявлять теракты еще на стадии их подготовки

Системы безопасности через 10-15 лет при помощи сложных нейросетевых моделей будут анализировать множество параметров в режиме реального времени и обнаруживать потенциальные угрозы, включая готовящиеся кибератаки и теракты на ранних стадиях. Об этом говорится в экспертном докладе "Технологии России: человек будущего", подготовленном NtechLab вместе с Центром развития гуманитарных технологий "НОВАЯ ЭРА".

Эксперты отмечают, что в государственной и личной безопасности искусственный интеллект будет более широко представлен в системах мониторинга, предиктивного анализа и оперативного реагирования. Ключевые функции включают распознавание лиц и объектов, анализ поведенческих моделей, выявление аномалий, прогнозирование угроз и управление мерами безопасности в реальном времени.

"В долгосрочной перспективе через 10-15 лет искусственный интеллект кардинально преобразует ключевые сферы человеческой деятельности, предложив принципиально новые подходы к решению сложнейших задач. В области безопасности произойдет переход от реактивных к предиктивным системам - ИИ научится не просто фиксировать угрозы, но и прогнозировать их с высокой точностью", - сказал эксперт Центра развития "НОВАЯ ЭРА" Ян Кайдин.

"В сфере вооружений уже сейчас наблюдается стойкая тенденция к увеличению роли дронов и повышения автономности их действий. Следует ожидать, что интеллектуальные дроны возьмут на себя подавляющее большинство функций наблюдения и первичного реагирования на инциденты. ИИ научится не просто фиксировать угрозы, но и прогнозировать их с высокой точностью. Государственные системы безопасности будут использовать сложные нейросетевые модели для анализа миллионов параметров в реальном времени, выявляя потенциальные террористические акты или кибератаки еще на стадии подготовки", - говорится в докладе.

Продолжение: https://vk.com/wall-210601538_1774