⭐️ Минпромторг РФ поручил госкорпорациям тотально автоматизировать производство и создавать "темные фабрики"
Министерство промышленности и торговли Российской Федерации выступило с поручением к государственным корпорациям разработать стратегический план, направленный на перевод предприятий на режим почти полностью автоматизированного производства. Это нововведение предполагает минимальное участие человека и нацелено на усиление технологической независимости страны, а также на улучшение показателей производительности труда. Данную информацию раскрыл глава министерства Антон Алиханов.
Министр отметил, что автоматизация является ключевым аспектом в стратегии повышения эффективности. Согласно его словам, у каждой государственной корпорации существуют планы на этом направлении, и внедрение автоматизированных процессов становится одним из главных приоритетов. Антон Алиханов также сообщил, что Объединенная авиастроительная корпорация (ОАК), являясь частью Ростеха, уже завершает первую фазу роботизации на заводе в городе Рудневе. Завершение второй фазы ожидается в 2027 году.
Министр подчеркнул, что это приведёт к практически полному переходу завода на так называемое "темное производство". Однако, он не стал уточнять, какие именно государственные корпорации были адресатами данного поручения.
Сергей Чемезов, генеральный директор Ростеха, подтвердил изданию, что в корпорации активно ведется работа по максимальной роботизации производственных процессов. На текущий момент на предприятии "Камаз" реализовано высоко роботизированное производство, где основная работа выполняется машинами, а операторы лишь контролируют процесс. Чемезов также упомянул, что поручение от Минпромторга поступало в адрес Ростеха ранее.
Ведомости
Министерство промышленности и торговли Российской Федерации выступило с поручением к государственным корпорациям разработать стратегический план, направленный на перевод предприятий на режим почти полностью автоматизированного производства. Это нововведение предполагает минимальное участие человека и нацелено на усиление технологической независимости страны, а также на улучшение показателей производительности труда. Данную информацию раскрыл глава министерства Антон Алиханов.
Министр отметил, что автоматизация является ключевым аспектом в стратегии повышения эффективности. Согласно его словам, у каждой государственной корпорации существуют планы на этом направлении, и внедрение автоматизированных процессов становится одним из главных приоритетов. Антон Алиханов также сообщил, что Объединенная авиастроительная корпорация (ОАК), являясь частью Ростеха, уже завершает первую фазу роботизации на заводе в городе Рудневе. Завершение второй фазы ожидается в 2027 году.
Министр подчеркнул, что это приведёт к практически полному переходу завода на так называемое "темное производство". Однако, он не стал уточнять, какие именно государственные корпорации были адресатами данного поручения.
Сергей Чемезов, генеральный директор Ростеха, подтвердил изданию, что в корпорации активно ведется работа по максимальной роботизации производственных процессов. На текущий момент на предприятии "Камаз" реализовано высоко роботизированное производство, где основная работа выполняется машинами, а операторы лишь контролируют процесс. Чемезов также упомянул, что поручение от Минпромторга поступало в адрес Ростеха ранее.
Ведомости
😱5🔥1
🔥 Интерес к направлению "Безопасность ИИ" вырос от 841 поисковых запроса в январе 2024 года до рекордных 9278 запросов в декабре 2025 года по данным Яндекс Статистики. То есть более чем в 11 раз менее чем за 2 года. Таким образом, направление MLSecOps крайне перспективно и продолжает уверенно расти с возможным ускорением. Эта статистика сделала мой день. Надеюсь и Ваш тоже, мои дорогие друзья. Скриншот прилагаю.
Архитектор MLSecOps & AI Governance
Николай Павлов
Архитектор MLSecOps & AI Governance
Николай Павлов
🏆7
Forwarded from PWN AI (Artyom Semenov)
Через полчаса мы начнем наши с вами переговоры по этой ссылке.
https://us06web.zoom.us/j/87348479506?pwd=J5GmwPHgCKDPvrDNy3Gu9HIXokQmXb.1
https://us06web.zoom.us/j/87348479506?pwd=J5GmwPHgCKDPvrDNy3Gu9HIXokQmXb.1
🔥3👏2
⭐️ MLSecOps: защита машинного обучения от разработки до промышленной эксплуатации
Модели машинного обучения переместились из исследовательских блокнотов в критичные бизнес-процессы. Системы принимают кредитные решения, управляют автономным транспортом, фильтруют контент, обнаруживают мошенничество. Уязвимость модели превращается из академического курьёза в операционный риск с измеримыми финансовыми последствиями.
MLSecOps расширяет принципы DevSecOps на специфику машинного обучения. Модели обучаются на данных, качество которых определяет результат. Атаки направлены не на эксплуатацию уязвимостей в коде, а на манипуляцию обучающими данными или входными признаками. Жизненный цикл модели включает этапы, отсутствующие в обычной разработке: сбор данных, конструирование признаков, обучение, проверка качества, мониторинг деградации.
Безопасность систем на основе машинного обучения требует понимания того, как модели принимают решения, где возникают смещения, какие атаки возможны на каждом этапе. Классические средства защиты приложений необходимы, но недостаточны. Противоборствующие примеры проходят через все традиционные контроли, эксплуатируя свойства самой модели, а не инфраструктуры.
Специфические угрозы системам машинного обучения
Отравление данных атакует процесс обучения через внедрение вредоносных примеров в обучающую выборку. Система распознавания спама обучается на письмах, часть которых размечена атакующим. Модель учится классифицировать определённый тип вредоносных писем как легитимные. Обнаружить отравление сложно — метрики точности на тестовой выборке могут оставаться высокими, деградация проявляется только на специфических входах.
Инверсия модели извлекает информацию об обучающих данных через анализ предсказаний. Атакующий делает множество запросов к модели, анализирует ответы, реконструирует характеристики данных, на которых модель обучалась. Лица людей из приватного набора данных восстанавливаются через запросы к интерфейсу распознавания лиц. Медицинские записи реконструируются из модели предсказания диагнозов.
Ссылка на полную версию: https://dzen.ru/a/aWtzhccb3EOli4b2?ysclid=mkjokv5vgj366701766
Модели машинного обучения переместились из исследовательских блокнотов в критичные бизнес-процессы. Системы принимают кредитные решения, управляют автономным транспортом, фильтруют контент, обнаруживают мошенничество. Уязвимость модели превращается из академического курьёза в операционный риск с измеримыми финансовыми последствиями.
MLSecOps расширяет принципы DevSecOps на специфику машинного обучения. Модели обучаются на данных, качество которых определяет результат. Атаки направлены не на эксплуатацию уязвимостей в коде, а на манипуляцию обучающими данными или входными признаками. Жизненный цикл модели включает этапы, отсутствующие в обычной разработке: сбор данных, конструирование признаков, обучение, проверка качества, мониторинг деградации.
Безопасность систем на основе машинного обучения требует понимания того, как модели принимают решения, где возникают смещения, какие атаки возможны на каждом этапе. Классические средства защиты приложений необходимы, но недостаточны. Противоборствующие примеры проходят через все традиционные контроли, эксплуатируя свойства самой модели, а не инфраструктуры.
Специфические угрозы системам машинного обучения
Отравление данных атакует процесс обучения через внедрение вредоносных примеров в обучающую выборку. Система распознавания спама обучается на письмах, часть которых размечена атакующим. Модель учится классифицировать определённый тип вредоносных писем как легитимные. Обнаружить отравление сложно — метрики точности на тестовой выборке могут оставаться высокими, деградация проявляется только на специфических входах.
Инверсия модели извлекает информацию об обучающих данных через анализ предсказаний. Атакующий делает множество запросов к модели, анализирует ответы, реконструирует характеристики данных, на которых модель обучалась. Лица людей из приватного набора данных восстанавливаются через запросы к интерфейсу распознавания лиц. Медицинские записи реконструируются из модели предсказания диагнозов.
Ссылка на полную версию: https://dzen.ru/a/aWtzhccb3EOli4b2?ysclid=mkjokv5vgj366701766
Дзен | Статьи
N57 MLSecOps: защита машинного обучения от разработки до промышленной эксплуатации
Статья автора «SEBERD IT Base» в Дзене ✍: Модели машинного обучения переместились из исследовательских блокнотов в критичные бизнес-процессы.
⚡3🔥1
⭐️ Академия АйТи FabricaONE.AI (акционер - ГК Softline) объявляет о запуске четвертого потока программы «Data Steward: специалист по стратегическому управлению данными» 🔥
Образовательная программа «Data Steward: специалист по стратегическому управлению данными» - это один из первых в России курсов по подготовке специалистов в этой перспективной области. Программа повышения квалификации готовит специалистов, способных обеспечивать качество, целостность и безопасность корпоративных данных, включая данные для ИИ-систем. Материалы программы еженедельно обновляются и дополняются.
Сегодня многие организации сталкиваются с проблемой «цифрового хаоса»: данные накапливаются бессистемно, нет единых стандартов хранения, нет критериев оценки качества данных, а несоблюдение регуляторных требований приводит к финансовым потерям и репутационным рискам. Устаревший технологический стек, задержки в принятии решений из-за плохой навигации в данных, ограниченность источников данных, инциденты с «грязными» данными влияют на доверие клиентов и HR-бренд. Data Steward — именно тот, кто решает эти проблемы, выстраивает стратегию работы с данными и становится связующим звеном между бизнесом и технологиями — вне зависимости от их текущего уровня в компании. Эта роль важна для любых организаций: от тех, где аналитика ведется в табличных редакторах, до корпораций с современными фреймворками. Как правило в небольших организациях Data Steward представляет собой роль, тогда как в крупных — это отдельная должность.
Чтобы подготовить таких экспертов, Академия АйТи разработала программу из 12 модулей, которые сочетают теорию с практическими работами и охватывают разные темы — от трендов в Big Data до практического формирования Data Governance. Слушатели изучат такие важные вопросы, как Data Quality, машинное обучение для бизнеса, моделирование данных, влияние искусственного интеллекта на работу с данными. Они также освоят управленческие навыки, включая взаимодействие с бизнес-подразделениями, проведение тренингов и семинаров для пользователей. Научатся действовать в условиях инцидентов, связанными с данными, узнают про Каталоги и Глоссарии данных.
Обучение четвёртого потока начнется 27 января 2026 года и продлится две недели с бесплатной технической поддержкой слушателей в течение трех месяцев после окончания. Занятия будут проходит в гибком онлайн-формате по вечерам и по субботам, что позволяет учиться без отрыва от основной работы или учебы. Курс предназначен для ИТ-специалистов, аналитиков, администраторов баз данных, руководителей и HR-менеджеров компаний, внедряющих роль Data Steward. Одновременно он подойдет и для тех, кто только начинает свой путь в сфере IT, так как профессия Data Steward не требует таких глубоких навыков, как, например, Data Engineer или MLSecOps. Программа также будет полезна всем, кто интересуется управлением данными и желает повысить квалификацию. В конце обучения выпускники получат удостоверение государственного образца, подтверждающее повышение квалификации по профессии Data Steward. При этом стоимость обучения минимальна и доступна для всех.
Важно, что с 2026 года в этой программе будет сделан подробный обзор инструментов и технологий от TData, компании-лидера в сфере управления большими данными, надёжного поставщика высокотехнологичных решений в России.
Ссылка на учебную программу: https://academyit.ru/courses/ds-dg
Архитектор MLSecOps и AI Governance
Николай Павлов
Образовательная программа «Data Steward: специалист по стратегическому управлению данными» - это один из первых в России курсов по подготовке специалистов в этой перспективной области. Программа повышения квалификации готовит специалистов, способных обеспечивать качество, целостность и безопасность корпоративных данных, включая данные для ИИ-систем. Материалы программы еженедельно обновляются и дополняются.
Сегодня многие организации сталкиваются с проблемой «цифрового хаоса»: данные накапливаются бессистемно, нет единых стандартов хранения, нет критериев оценки качества данных, а несоблюдение регуляторных требований приводит к финансовым потерям и репутационным рискам. Устаревший технологический стек, задержки в принятии решений из-за плохой навигации в данных, ограниченность источников данных, инциденты с «грязными» данными влияют на доверие клиентов и HR-бренд. Data Steward — именно тот, кто решает эти проблемы, выстраивает стратегию работы с данными и становится связующим звеном между бизнесом и технологиями — вне зависимости от их текущего уровня в компании. Эта роль важна для любых организаций: от тех, где аналитика ведется в табличных редакторах, до корпораций с современными фреймворками. Как правило в небольших организациях Data Steward представляет собой роль, тогда как в крупных — это отдельная должность.
Чтобы подготовить таких экспертов, Академия АйТи разработала программу из 12 модулей, которые сочетают теорию с практическими работами и охватывают разные темы — от трендов в Big Data до практического формирования Data Governance. Слушатели изучат такие важные вопросы, как Data Quality, машинное обучение для бизнеса, моделирование данных, влияние искусственного интеллекта на работу с данными. Они также освоят управленческие навыки, включая взаимодействие с бизнес-подразделениями, проведение тренингов и семинаров для пользователей. Научатся действовать в условиях инцидентов, связанными с данными, узнают про Каталоги и Глоссарии данных.
Обучение четвёртого потока начнется 27 января 2026 года и продлится две недели с бесплатной технической поддержкой слушателей в течение трех месяцев после окончания. Занятия будут проходит в гибком онлайн-формате по вечерам и по субботам, что позволяет учиться без отрыва от основной работы или учебы. Курс предназначен для ИТ-специалистов, аналитиков, администраторов баз данных, руководителей и HR-менеджеров компаний, внедряющих роль Data Steward. Одновременно он подойдет и для тех, кто только начинает свой путь в сфере IT, так как профессия Data Steward не требует таких глубоких навыков, как, например, Data Engineer или MLSecOps. Программа также будет полезна всем, кто интересуется управлением данными и желает повысить квалификацию. В конце обучения выпускники получат удостоверение государственного образца, подтверждающее повышение квалификации по профессии Data Steward. При этом стоимость обучения минимальна и доступна для всех.
Важно, что с 2026 года в этой программе будет сделан подробный обзор инструментов и технологий от TData, компании-лидера в сфере управления большими данными, надёжного поставщика высокотехнологичных решений в России.
Ссылка на учебную программу: https://academyit.ru/courses/ds-dg
Архитектор MLSecOps и AI Governance
Николай Павлов
🔥4
⭐️ Anthropic признала уязвимость Claude Cowork и переложила риски на пользователей
Компания Anthropic, представившая на этой неделе в качестве предварительной версии для исследований новый режим ИИ-помощника Claude под названием Claude Cowork, продолжает игнорировать уязвимость продукта к атакам промпт-инъекций (Prompt Injection), о которой хорошо осведомлена.
Для запуска атаки пользователю достаточно подключить Cowork к локальной папке, содержащей конфиденциальную информацию, загрузить документ со скрытой промпт-инъекцией, и, когда Cowork проанализирует эти файлы, сработает внедрённая подсказка, ведущая к созданию вредоносного контента, несанкционированному доступу к личным данным или нарушению установленных ограничений.
Данная уязвимость существует в самом Claude, о чём компания PromptArmor, специализирующаяся на обнаружении уязвимостей в ИИ, предупредила Anthropic ещё в октябре прошлого года. Тогда Anthropic в итоге признала, что атаку промпт-инъекцией можно использовать для того, чтобы обманом заставить её API эксфильтровать данные, поэтому пользователям следует быть осторожными с тем, какие источники они подключают к ИИ-боту.
Вместе с тем, когда исследователи спросили, собирается ли Anthropic предпринять какие-либо действия — например, внедрить проверки API, чтобы убедиться, что конфиденциальные файлы пользователя не передаются на другой аккаунт через API, — компания попросту не ответила.
Anthropic утверждает, что разработала сложные средства защиты от промпт-инъекций, однако безопасность агентов — то есть задача обеспечения безопасности реальных действий Claude — «по-прежнему является активной областью развития в отрасли».
«Эти риски не новы для Cowork, но, возможно, вы впервые используете более продвинутый инструмент, выходящий за рамки простого диалога», — сообщила компания, отмечая, что Cowork имеет гораздо более широкий круг пользователей, чем анонсированные ранее инструменты.
В связи с этим Anthropic призвала пользователей избегать подключения Cowork к конфиденциальным документам, ограничивать использование расширения Chrome доверенными сайтами и отслеживать «подозрительные действия, которые могут указывать на промпт-инъекцию».
Продолжение: https://vk.com/wall-210601538_1982
Компания Anthropic, представившая на этой неделе в качестве предварительной версии для исследований новый режим ИИ-помощника Claude под названием Claude Cowork, продолжает игнорировать уязвимость продукта к атакам промпт-инъекций (Prompt Injection), о которой хорошо осведомлена.
Для запуска атаки пользователю достаточно подключить Cowork к локальной папке, содержащей конфиденциальную информацию, загрузить документ со скрытой промпт-инъекцией, и, когда Cowork проанализирует эти файлы, сработает внедрённая подсказка, ведущая к созданию вредоносного контента, несанкционированному доступу к личным данным или нарушению установленных ограничений.
Данная уязвимость существует в самом Claude, о чём компания PromptArmor, специализирующаяся на обнаружении уязвимостей в ИИ, предупредила Anthropic ещё в октябре прошлого года. Тогда Anthropic в итоге признала, что атаку промпт-инъекцией можно использовать для того, чтобы обманом заставить её API эксфильтровать данные, поэтому пользователям следует быть осторожными с тем, какие источники они подключают к ИИ-боту.
Вместе с тем, когда исследователи спросили, собирается ли Anthropic предпринять какие-либо действия — например, внедрить проверки API, чтобы убедиться, что конфиденциальные файлы пользователя не передаются на другой аккаунт через API, — компания попросту не ответила.
Anthropic утверждает, что разработала сложные средства защиты от промпт-инъекций, однако безопасность агентов — то есть задача обеспечения безопасности реальных действий Claude — «по-прежнему является активной областью развития в отрасли».
«Эти риски не новы для Cowork, но, возможно, вы впервые используете более продвинутый инструмент, выходящий за рамки простого диалога», — сообщила компания, отмечая, что Cowork имеет гораздо более широкий круг пользователей, чем анонсированные ранее инструменты.
В связи с этим Anthropic призвала пользователей избегать подключения Cowork к конфиденциальным документам, ограничивать использование расширения Chrome доверенными сайтами и отслеживать «подозрительные действия, которые могут указывать на промпт-инъекцию».
Продолжение: https://vk.com/wall-210601538_1982
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ Anthropic признала уязвимость Claude Cowork и переложила риски на пользователей
Компания An... Смотрите полностью ВКонтакте.
Компания An... Смотрите полностью ВКонтакте.
🔥5
⭐️ Тёмная сторона искусственного интеллекта: угрозы, реальные атаки и защита
Привет, мои дорогие коллеги и друзья!
С утра получил удовольствие от прочтения статьи от Нетологии по поводу возможных угроз от ИИ.
Что важно - автор пишет очень доступным языком, поэтому статья рекомендована к прочтению всем.
Что также важно - угрозы приведены статистически самые актуальные, особенно для физических лиц - это и дипфейки, и взломы ассистентов.
Радует и то, что автор разнесла промпт-инъекции и джейлбрейки в разные угрозы. Круто, что масса схем представлена и визуализаций. Статья явно долго и качественно прорабатывалась.
Отдельная благодарность про то, что не забыли мой любимый Data Poisoning, характерную угрозу для обучающих (и дообучающих!) данных всех типов ИИ-систем. Эта угроза входит почти во все современные фреймворки и от нее мы защищаем ИИ-системы обязательно всегда. В общем, радует, когда появляется такой контент, доступный для широкой массы.
Классные выводы даны в конце статьи про регуляторику и прогнозы на будущее. Но их я приводить не буду, с тихой надеждой, что вы, мои талантливые друзья и эффективные коллеги, найдете минут десять Вашего ценного времени ознакомиться с оригиналом, ссылка:
https://habr.com/ru/companies/netologyru/articles/987026
Архитектор MLSecOps и AI Governance
Николай Павлов
Привет, мои дорогие коллеги и друзья!
С утра получил удовольствие от прочтения статьи от Нетологии по поводу возможных угроз от ИИ.
Что важно - автор пишет очень доступным языком, поэтому статья рекомендована к прочтению всем.
Что также важно - угрозы приведены статистически самые актуальные, особенно для физических лиц - это и дипфейки, и взломы ассистентов.
Радует и то, что автор разнесла промпт-инъекции и джейлбрейки в разные угрозы. Круто, что масса схем представлена и визуализаций. Статья явно долго и качественно прорабатывалась.
Отдельная благодарность про то, что не забыли мой любимый Data Poisoning, характерную угрозу для обучающих (и дообучающих!) данных всех типов ИИ-систем. Эта угроза входит почти во все современные фреймворки и от нее мы защищаем ИИ-системы обязательно всегда. В общем, радует, когда появляется такой контент, доступный для широкой массы.
Классные выводы даны в конце статьи про регуляторику и прогнозы на будущее. Но их я приводить не буду, с тихой надеждой, что вы, мои талантливые друзья и эффективные коллеги, найдете минут десять Вашего ценного времени ознакомиться с оригиналом, ссылка:
https://habr.com/ru/companies/netologyru/articles/987026
Архитектор MLSecOps и AI Governance
Николай Павлов
Хабр
Тёмная сторона искусственного интеллекта: угрозы, реальные атаки и защита
Искусственный интеллект уже давно перестал быть исключительно инструментом добра. Он помогает врачам ставить диагнозы и разработчикам писать код . Но теми же самыми возможностями всё чаще пользуются...
🔥5
🔥 Фреймворк Swordfish: SAIMM
Мои талантливые друзья, по рекомендации одного из слушателей нашей учебной программы "MLSecOps. Обеспечение безопасности и отказоустойчивости ИИ-систем" (за что ему спасибо!), внимательно изучил свежий фреймворк Swordfish: SAIMM от компании Swordfish версия 1.0, ноябрь 2025. Фреймворк замечательный, очень грамотный и удивительным образом сочетается с моим подходом по обеспечению MLSecOps. Радует, что в MLSecOps ребята из Swordfish закладывают обеспечение отказоустойчивости и также отмечают необходимость внедрения AI Governance (как минимум на уровне ведения реестра активов ИИ-систем и глоссария терминов ИИ). Одним из первых шагов обеспечения безопасности ИИ-систем рекомендуется создание и утверждение политик, регламентов и инструкций о чём я тоже говорил на всех потоках учебной программы.
Ссылка на страницу компании, где можно подать заявку на получение фреймворка (там можно ввести данные и получите доступ): https://swordfish-security.ru/saimm
Очень рекомендую изучить этот подход (работа по доменам), на мой взгляд это наиболее верный подход к построению и развитию MLSecOps.
Архитектор MLSecOps и AI Governance
Николай Павлов
Мои талантливые друзья, по рекомендации одного из слушателей нашей учебной программы "MLSecOps. Обеспечение безопасности и отказоустойчивости ИИ-систем" (за что ему спасибо!), внимательно изучил свежий фреймворк Swordfish: SAIMM от компании Swordfish версия 1.0, ноябрь 2025. Фреймворк замечательный, очень грамотный и удивительным образом сочетается с моим подходом по обеспечению MLSecOps. Радует, что в MLSecOps ребята из Swordfish закладывают обеспечение отказоустойчивости и также отмечают необходимость внедрения AI Governance (как минимум на уровне ведения реестра активов ИИ-систем и глоссария терминов ИИ). Одним из первых шагов обеспечения безопасности ИИ-систем рекомендуется создание и утверждение политик, регламентов и инструкций о чём я тоже говорил на всех потоках учебной программы.
Ссылка на страницу компании, где можно подать заявку на получение фреймворка (там можно ввести данные и получите доступ): https://swordfish-security.ru/saimm
Очень рекомендую изучить этот подход (работа по доменам), на мой взгляд это наиболее верный подход к построению и развитию MLSecOps.
Архитектор MLSecOps и AI Governance
Николай Павлов
swordfish-security.ru
Swordfish Security | SAIMM: фреймворк оценки зрелости безопасности ИИ
Получите дорожную карту AI Security
🔥4❤2
Forwarded from Похек AI (Сергей Зыбнев)
Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок
#ML #ai #mlsecops #ai_supply_chain #pickle
2+ миллиона моделей на HuggingFace. Сколько из них содержат бэкдоры в
Ребята из Positive Technologies разобрали их изнутри и показали неприятную правду — все 4 инструмента можно обойти.
♾️ Ключевые находки♾️
➡️ picklescan/modelscan — примитивная проверка по списку ~70 опасных глобальных имён. Используй
➡️ modelscan вообще пропускает PyTorch
➡️ dill как pickle_module при
➡️ ModelAudit — единственный, кто детектит dill и CVE-2025-32434, но и его можно обмануть через wrapper-функции
Практический вывод: сканеры — это первая линия обороны, но не панацея. Всегда проверяйте источник модели и используйте SafeTensors где возможно.
🔗 Источник
👾 @poxek_ai
#ML #ai #mlsecops #ai_supply_chain #pickle
2+ миллиона моделей на HuggingFace. Сколько из них содержат бэкдоры в
.pkl файлах? HF внедрил целых 4 open-source сканера для проверки: picklescan, modelscan, fickling, ModelAudit.Ребята из Positive Technologies разобрали их изнутри и показали неприятную правду — все 4 инструмента можно обойти.
numpy.save вместо os.system — и сканер слеп..pth архивы без сканирования внутреннего data.pkl (баг в логике)torch.save() позволяет сериализовать произвольные функции — picklescan показывает 0 угроз, payload выполняется при torch.load(weights_only=False)Практический вывод: сканеры — это первая линия обороны, но не панацея. Всегда проверяйте источник модели и используйте SafeTensors где возможно.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6
⭐️ Вакансия MLSecOps (мое мнение)
Привет, мои дорогие друзья и коллеги!
И с утра в пятницу мы разбираем очередную вакансию MLSecOps (направление LLMSecOps).
====================
MLSecOps specialist
Формат работы: на месте работодателя или гибрид
Требуемый опыт: 1-3 года
Чем предстоит заниматься:
+ обеспечением безопасности локально развернутых LLM в проектах компании;
+ анализом угроз и рисков, связанных с использованием LLM (prompt injection, data leakage и др.);
+ разработкой и внедрением мер защиты LLM-инфраструктуры;
+ участием в проектировании безопасной архитектуры LLM ( On-premise/ private cloud);
+ защитой обучающих и дообучающих датасетов (data poisoning, утечки, контроль источников данных);
+ аудитом LLM-пайплайнов (RAG, fine-tuning, inference);
+ интеграциями LLM-систем с существующими средствами ИБ и в SOC;
+ подготовкой рекомендаций и внутренних стандартов по безопасному использованию LLM;
+ взаимодействием с командами разработки, ML и ИТ;
+ участием в расследовании инцидентов вместе с Центром мониторинга ИБ.
Чего мы ждем от тебя:
+ высшее техническое образование;
+ понимание архитектуры LLM и ML-пайплайнов;
+ опыт работы с локальными LLM (On-premise/private environment)
+ понимание угроз безопасности ИИ и LLM;
+ опыт с LLM/ML стеком;
+ опыт работы с Docker, Kubernetes, REST, gRPC API, Linux;
+ понимание Secure SDLC, Threat Modeling, Secrets management, Data Protection, Контроля доступа;
+ знание Python или GO.
Мы предлагаем:
Официальное оформление со всеми социальными гарантиями
Возможность работы в офисе, удаленно или в гибридном формате
Комфортный офис в шаговой доступности от м. Войковская и МЦК «Балтийская» с компенсацией питания
ДМС с телемедициной и стоматологией с первого дня работы; льготное подключение родственников
Выгодный зарплатный проект с доступом к масштабной экосистеме сервисов
Внешнее обучение и участие в конференциях, митапы, хакатоны и обмен практиками
Полис путешественника и льготные программы страхования
Свободный дресс-код и никакой бюрократии
====================
В целом это хорошее предложение. Не до конца ясно, возможна ли удалёнка, так как сначала в описании указано, что или офис, или гибрид, а в финале все же не исключается удаленка.
Плюшки указаны приличные (особенно ценно, что работодатель поддерживает потенциал непрерывного обучения), ДМС не с прохождения испытательного, а сразу с первого дня, да и требования в целом - адекватные.
Описывается именно тот самый третий тип MLSecOps, о которых я часто говорю на вебинарах и программах - ребята, заточенные на LLM-Security и радует, что работодатель фиксируется именно на этом и только на этом. Первые два типа - это "облачные MLSecOps больших компаний", где ML строится и развертывается в облачках (поэтому часто нужны навыки облачной защиты и разработки) и MLSecOps-архитекторы компаний, реализующих аудиты и техподдержку для партнеров, где приходится иметь дело с самыми разными типами ИИ-систем и быстро погружаться в самые разные технологии.
В вакансии дважды отмечена роль MLSecOps как аудитора и создателя требований, и это тоже на мой взгляд эффективный подход к пониманию этой позиции.
Указано требование "знание Python или Go"... - без знания Python нереально смотреть код ML-моделей, проводить их аудит (ведь они написаны на Python). Тут, возможно, имеется ввиду хотя бы базовое/среднее знание Python, понимание кода моделей ML и приветствуется знание Go.
По технологиям "Docker, Kubernetes, REST, gRPC API, Linux", здесь для некоторых инструментов, возможно, где-то стоит указать как с Python и Go "или-или". Смотря на чем реально работают.
Для MLSecOps важно понимание моделей контроля доступа (RBAC, ABAC) и это тоже отражено в вакансии.
Эта вакансия интересна, позитивна, рекомендую подаваться кандидатам, которые владеют указанным стеком и готовы дообучаться. Радует, что все больше компаний выставляют адекватные требования к профессии MLSecOps и в целом правильно видят функционал этой позиции.
Ссылка: https://hh.ru/vacancy/129580130
Архитектор MLSecOps и AI Governance
Николай Павлов
Привет, мои дорогие друзья и коллеги!
И с утра в пятницу мы разбираем очередную вакансию MLSecOps (направление LLMSecOps).
====================
MLSecOps specialist
Формат работы: на месте работодателя или гибрид
Требуемый опыт: 1-3 года
Чем предстоит заниматься:
+ обеспечением безопасности локально развернутых LLM в проектах компании;
+ анализом угроз и рисков, связанных с использованием LLM (prompt injection, data leakage и др.);
+ разработкой и внедрением мер защиты LLM-инфраструктуры;
+ участием в проектировании безопасной архитектуры LLM ( On-premise/ private cloud);
+ защитой обучающих и дообучающих датасетов (data poisoning, утечки, контроль источников данных);
+ аудитом LLM-пайплайнов (RAG, fine-tuning, inference);
+ интеграциями LLM-систем с существующими средствами ИБ и в SOC;
+ подготовкой рекомендаций и внутренних стандартов по безопасному использованию LLM;
+ взаимодействием с командами разработки, ML и ИТ;
+ участием в расследовании инцидентов вместе с Центром мониторинга ИБ.
Чего мы ждем от тебя:
+ высшее техническое образование;
+ понимание архитектуры LLM и ML-пайплайнов;
+ опыт работы с локальными LLM (On-premise/private environment)
+ понимание угроз безопасности ИИ и LLM;
+ опыт с LLM/ML стеком;
+ опыт работы с Docker, Kubernetes, REST, gRPC API, Linux;
+ понимание Secure SDLC, Threat Modeling, Secrets management, Data Protection, Контроля доступа;
+ знание Python или GO.
Мы предлагаем:
Официальное оформление со всеми социальными гарантиями
Возможность работы в офисе, удаленно или в гибридном формате
Комфортный офис в шаговой доступности от м. Войковская и МЦК «Балтийская» с компенсацией питания
ДМС с телемедициной и стоматологией с первого дня работы; льготное подключение родственников
Выгодный зарплатный проект с доступом к масштабной экосистеме сервисов
Внешнее обучение и участие в конференциях, митапы, хакатоны и обмен практиками
Полис путешественника и льготные программы страхования
Свободный дресс-код и никакой бюрократии
====================
В целом это хорошее предложение. Не до конца ясно, возможна ли удалёнка, так как сначала в описании указано, что или офис, или гибрид, а в финале все же не исключается удаленка.
Плюшки указаны приличные (особенно ценно, что работодатель поддерживает потенциал непрерывного обучения), ДМС не с прохождения испытательного, а сразу с первого дня, да и требования в целом - адекватные.
Описывается именно тот самый третий тип MLSecOps, о которых я часто говорю на вебинарах и программах - ребята, заточенные на LLM-Security и радует, что работодатель фиксируется именно на этом и только на этом. Первые два типа - это "облачные MLSecOps больших компаний", где ML строится и развертывается в облачках (поэтому часто нужны навыки облачной защиты и разработки) и MLSecOps-архитекторы компаний, реализующих аудиты и техподдержку для партнеров, где приходится иметь дело с самыми разными типами ИИ-систем и быстро погружаться в самые разные технологии.
В вакансии дважды отмечена роль MLSecOps как аудитора и создателя требований, и это тоже на мой взгляд эффективный подход к пониманию этой позиции.
Указано требование "знание Python или Go"... - без знания Python нереально смотреть код ML-моделей, проводить их аудит (ведь они написаны на Python). Тут, возможно, имеется ввиду хотя бы базовое/среднее знание Python, понимание кода моделей ML и приветствуется знание Go.
По технологиям "Docker, Kubernetes, REST, gRPC API, Linux", здесь для некоторых инструментов, возможно, где-то стоит указать как с Python и Go "или-или". Смотря на чем реально работают.
Для MLSecOps важно понимание моделей контроля доступа (RBAC, ABAC) и это тоже отражено в вакансии.
Эта вакансия интересна, позитивна, рекомендую подаваться кандидатам, которые владеют указанным стеком и готовы дообучаться. Радует, что все больше компаний выставляют адекватные требования к профессии MLSecOps и в целом правильно видят функционал этой позиции.
Ссылка: https://hh.ru/vacancy/129580130
Архитектор MLSecOps и AI Governance
Николай Павлов
hh.ru
Вакансия MLSecOps specialist в Москве, работа в компании Лоция
Зарплата: не указана. Москва. Требуемый опыт: 1–3 года. Полная. Дата публикации: 19.01.2026.
🔥5🆒2
⭐️ 98% крупнейших мировых компаний заявили, что им требуется персонал в сфере AI Governance, рост сферы AI Governance в 2025 году составил до 200%.
Пример, мои дорогие и самые талантливые друзья!
Субботним утром на завтрак я предлагаю вам перевод статьи "AI Governance Lessons Businesses Can't Ignore In 2026" ("Уроки управления искусственным интеллектом, которые Компании не смогут игнорировать В 2026 Году").
Отчёт IAPP и Credo AI «Профессия в области управления ИИ за 2025 год», в котором были опрошены более 670 организаций из 45 стран, показал, что 77% компаний активно работают над стратегическим управлением ИИ (AI Governance). В том числе для компаний, уже использующих ИИ, этот показатель растёт до 85%.
Почти половина считает это одним из пяти стратегических приоритетов. В командах управления ИИ-системами сейчас в среднем почти по 10 человек, а контроль за ИИ-системами утроился с прошлого года.
Но достаточно ли этого? Около 98% считают, что им нужно больше сотрудников по стратегическому управлению ИИ (AI Governance). Почти четверть называют поиск квалифицированных специалистов как главное препятствие.
Более серьёзная проблема — как устроено такое управление? Половина специалистов по AI Governance работает в командах по этике, комплаенсу, конфиденциальности и юридическим вопросам. Поэтому отчетность разрознена — 23% подчиняются генеральному юрисконсульту, 17% — генеральному директору, 14% — CIO. Только 39% компаний создали комитеты по управлению ИИ.
Теперь, когда функция конфиденциальности предполагает AI Governance, 67% уверены в соответствии с требованиями Закона ЕС ИИ (AI Act) — но уверенность в соблюдении не всегда означает операционную готовность и реальное соответствие.
При этом регуляции появляются так же быстро, как и новые инструменты ИИ.
Государства-члены ЕС назначили органы по обеспечению соблюдения в августе 2025 года, и теперь действует режим штрафов — штрафы достигают 35 миллионов евро или 7% от мирового дохода за самые серьёзные нарушения (в нормативно-правовом регулировании ИИ-систем - прим. пер.). В США штаты создают собственный набор требований — в 2025 году было введено 260 мер, связанных с ИИ, в 47 штатах, из которых 22 уже приняты как закон.
Продолжение: https://vk.com/wall-210601538_1986
Архитектор MLSecOps и AI Governance
Николай Павлов
Пример, мои дорогие и самые талантливые друзья!
Субботним утром на завтрак я предлагаю вам перевод статьи "AI Governance Lessons Businesses Can't Ignore In 2026" ("Уроки управления искусственным интеллектом, которые Компании не смогут игнорировать В 2026 Году").
Отчёт IAPP и Credo AI «Профессия в области управления ИИ за 2025 год», в котором были опрошены более 670 организаций из 45 стран, показал, что 77% компаний активно работают над стратегическим управлением ИИ (AI Governance). В том числе для компаний, уже использующих ИИ, этот показатель растёт до 85%.
Почти половина считает это одним из пяти стратегических приоритетов. В командах управления ИИ-системами сейчас в среднем почти по 10 человек, а контроль за ИИ-системами утроился с прошлого года.
Но достаточно ли этого? Около 98% считают, что им нужно больше сотрудников по стратегическому управлению ИИ (AI Governance). Почти четверть называют поиск квалифицированных специалистов как главное препятствие.
Более серьёзная проблема — как устроено такое управление? Половина специалистов по AI Governance работает в командах по этике, комплаенсу, конфиденциальности и юридическим вопросам. Поэтому отчетность разрознена — 23% подчиняются генеральному юрисконсульту, 17% — генеральному директору, 14% — CIO. Только 39% компаний создали комитеты по управлению ИИ.
Теперь, когда функция конфиденциальности предполагает AI Governance, 67% уверены в соответствии с требованиями Закона ЕС ИИ (AI Act) — но уверенность в соблюдении не всегда означает операционную готовность и реальное соответствие.
При этом регуляции появляются так же быстро, как и новые инструменты ИИ.
Государства-члены ЕС назначили органы по обеспечению соблюдения в августе 2025 года, и теперь действует режим штрафов — штрафы достигают 35 миллионов евро или 7% от мирового дохода за самые серьёзные нарушения (в нормативно-правовом регулировании ИИ-систем - прим. пер.). В США штаты создают собственный набор требований — в 2025 году было введено 260 мер, связанных с ИИ, в 47 штатах, из которых 22 уже приняты как закон.
Продолжение: https://vk.com/wall-210601538_1986
Архитектор MLSecOps и AI Governance
Николай Павлов
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ 98% крупнейших мировых компаний заявили, что им требуется персонал в сфере AI Governance, рост сфе... Смотрите полностью ВКонтакте.
🔥4❤2
⭐️ IT-тренды 2026
Привет, мои дорогие друзья и талантливые коллеги! По уже устаканившейся традиции мы начинаем неделю с трендов и разбираем прогнозы от Корус Консалтинг. Спойлер - там будет про агенты, синтетику и Big Data.
Даю Вам краткую выжимку наиболее решающих трендов на мой взгляд:
1. Доля ИТ в ВВП России вырастет с 1,7% до 1,9%.
При этом реальная доля айтишки, конечно, выше - например никто не учитывает рост функциональности и значимости IT-отделов и больших данных, например, в сельскохозяйственных компаниях.
2. Число кибератак в России в 2025 г. стало около 100 тысяч, это почти в 2 раза больше, чем в 2024 г.
При этом 20% атак — критические (могут вызвать простои и убытки). На мой взгляд реально это до 50% просто не признаются.
И прогнозируют, что к 2026 г. число успешных атак вырастет на 30–35%. Думаю, так примерно и будет.
При этом рынок кибербезопасности вырастет с 469 млрд руб. в 2026 году до 968 млрд руб. в 2030 году. Уверен, рынок MLSecOps будет расти еще быстрее.
3. Рынок наших любимых Big Data в России растет с 433 млрд руб. (в 2024 году) до 1,2 трлн руб. к 2030 году. Это безусловный тренд, во всем мире именно так.
При этом 2/3 компаний планируют увеличить инвестиции в Big Data в 2026 г. - думаю реально увеличат более 95%, например, наймут аналитиков или стюардов.
4. Искусственный интеллект (ИИ) - куда мы без него? )))
Сказано, что 78% компаний в мире уже используют ИИ - на самом деле это 100%.
В России >80% ИИ-инициатив не окупаются из-за плохих данных и завышенных ожиданий - совершенно верно, скажу честно, это около 90%, так как опять же не все признаются. Как я всегда говорю делают "нейронку ради нейронки".
При этом указаны самые популярные направления рекомендательные системы, чат-боты, генеративный контент, видеоаналитика. Как всегда сказали и про агенты (куда ж без них?))) Инвестиции в них растут на 65% ежегодно (думаю так и есть и это колоссальный рост).
Мультиагентные системы (MAS) считаются уже наступающим будущим автоматизации всех сложных процессов. Ждем их в 2027 году и надеемся, что нас они не заменят. Пока что.
5. К 2028 г. уже 80% складов будут использовать роботов по мнению Gartner. Больше всего в них нуждаются логистика, производство, автономная доставка, мониторинг оборудования.
6. Сильный тренд на проактивную кибербезопасность. То есть профилактику ИБ-инцидентов. Идет сдвиг от реактивной модели к упреждающей, где приоритет на прогнозирование угроз и закрытие уязвимостей до атак.
7. К 2026 г. уже 75% компаний будут использовать генеративный ИИ для создания синтетических данных. Согласен с этим очищенных данных все меньше, а мир все больше ускоряется. Данные нужны для ИИ, но важно не переборщить с синтетикой.
8. Новые тип архитектур - предметно-специфические языковые модели (DSLM) - дают на 5–30% более точные ответы по сравнению с универсальными LLM. Однако требуют узкоспециализированных данных и экспертов. Вероятно рынок будет смотреть в их сторону.
9. Растет рынок No-code и Low-code (LCNC) с 37,39 млрд $ в 2025 до 264,40 млрд $ в 2030. Они ускоряют разработку на 80%, а с ИИ-помощниками — ещё на +40%. Это очень мощно.
При этом в будущем уже 80% разработки будет выполняться «гражданскими» разработчиками без высшего ИТ-образования. Молодые таланты и гении.
10. 61% компаний уже внедрили платформы интеграции данных, 26% — в процессе по данным НИУ ВШЭ. Data Governance в топе.
В конце даются советы бизнесу:
+ Сфокусироваться на качественных данных и готовности процессов перед внедрением ИИ.
+ Инвестировать в кибербезопасность, инфраструктуру и безопасную архитектуру (Secure by Design).
+ Переходить к гибкой, композитной ИТ-архитектуре с масштабируемыми интеграциями.
Ссылка на оригинал статьи: https://korusconsulting.ru/blog/tsifrovaya-transformatsiya/it-trendy-2026-goda-chto-zhdet-biznes-i-rynok/?ysclid=mkup457mzf125621000
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои дорогие друзья и талантливые коллеги! По уже устаканившейся традиции мы начинаем неделю с трендов и разбираем прогнозы от Корус Консалтинг. Спойлер - там будет про агенты, синтетику и Big Data.
Даю Вам краткую выжимку наиболее решающих трендов на мой взгляд:
1. Доля ИТ в ВВП России вырастет с 1,7% до 1,9%.
При этом реальная доля айтишки, конечно, выше - например никто не учитывает рост функциональности и значимости IT-отделов и больших данных, например, в сельскохозяйственных компаниях.
2. Число кибератак в России в 2025 г. стало около 100 тысяч, это почти в 2 раза больше, чем в 2024 г.
При этом 20% атак — критические (могут вызвать простои и убытки). На мой взгляд реально это до 50% просто не признаются.
И прогнозируют, что к 2026 г. число успешных атак вырастет на 30–35%. Думаю, так примерно и будет.
При этом рынок кибербезопасности вырастет с 469 млрд руб. в 2026 году до 968 млрд руб. в 2030 году. Уверен, рынок MLSecOps будет расти еще быстрее.
3. Рынок наших любимых Big Data в России растет с 433 млрд руб. (в 2024 году) до 1,2 трлн руб. к 2030 году. Это безусловный тренд, во всем мире именно так.
При этом 2/3 компаний планируют увеличить инвестиции в Big Data в 2026 г. - думаю реально увеличат более 95%, например, наймут аналитиков или стюардов.
4. Искусственный интеллект (ИИ) - куда мы без него? )))
Сказано, что 78% компаний в мире уже используют ИИ - на самом деле это 100%.
В России >80% ИИ-инициатив не окупаются из-за плохих данных и завышенных ожиданий - совершенно верно, скажу честно, это около 90%, так как опять же не все признаются. Как я всегда говорю делают "нейронку ради нейронки".
При этом указаны самые популярные направления рекомендательные системы, чат-боты, генеративный контент, видеоаналитика. Как всегда сказали и про агенты (куда ж без них?))) Инвестиции в них растут на 65% ежегодно (думаю так и есть и это колоссальный рост).
Мультиагентные системы (MAS) считаются уже наступающим будущим автоматизации всех сложных процессов. Ждем их в 2027 году и надеемся, что нас они не заменят. Пока что.
5. К 2028 г. уже 80% складов будут использовать роботов по мнению Gartner. Больше всего в них нуждаются логистика, производство, автономная доставка, мониторинг оборудования.
6. Сильный тренд на проактивную кибербезопасность. То есть профилактику ИБ-инцидентов. Идет сдвиг от реактивной модели к упреждающей, где приоритет на прогнозирование угроз и закрытие уязвимостей до атак.
7. К 2026 г. уже 75% компаний будут использовать генеративный ИИ для создания синтетических данных. Согласен с этим очищенных данных все меньше, а мир все больше ускоряется. Данные нужны для ИИ, но важно не переборщить с синтетикой.
8. Новые тип архитектур - предметно-специфические языковые модели (DSLM) - дают на 5–30% более точные ответы по сравнению с универсальными LLM. Однако требуют узкоспециализированных данных и экспертов. Вероятно рынок будет смотреть в их сторону.
9. Растет рынок No-code и Low-code (LCNC) с 37,39 млрд $ в 2025 до 264,40 млрд $ в 2030. Они ускоряют разработку на 80%, а с ИИ-помощниками — ещё на +40%. Это очень мощно.
При этом в будущем уже 80% разработки будет выполняться «гражданскими» разработчиками без высшего ИТ-образования. Молодые таланты и гении.
10. 61% компаний уже внедрили платформы интеграции данных, 26% — в процессе по данным НИУ ВШЭ. Data Governance в топе.
В конце даются советы бизнесу:
+ Сфокусироваться на качественных данных и готовности процессов перед внедрением ИИ.
+ Инвестировать в кибербезопасность, инфраструктуру и безопасную архитектуру (Secure by Design).
+ Переходить к гибкой, композитной ИТ-архитектуре с масштабируемыми интеграциями.
Ссылка на оригинал статьи: https://korusconsulting.ru/blog/tsifrovaya-transformatsiya/it-trendy-2026-goda-chto-zhdet-biznes-i-rynok/?ysclid=mkup457mzf125621000
Global MLSecOps & AI Governance Architect
Николай Павлов
korusconsulting.ru
ИТ-тренды 2026 года: что ждет бизнес и рынок технологий в России
В статье рассказываем про самые перспективные ИТ-тренды и разработки 2026 года, драйверы и приоритеты рынка технологий. Делимся полезными советами, что с этим делать бизнесу.
🔥6
⭐️ Технологические тренды 2026: мультиагентный и физический ИИ, превентивная кибербезопасность и DSLM
Искусственный интеллект безоговорочно стал технологией десятилетия. Едва ли не в 90% технологических обзоров он занимает лидирующие позиции. Однако за рамками ИИ есть технологии, которые меняют бизнес также быстро. Мы отобрали пять ключевых трендов 2026 года, которые сегодня в равной степени волнуют и российский, и глобальный рынок. Это направления, где уже есть конкретные кейсы внедрения, измеримая эффективность и инвестиции.
1. Мультиагентные системы
В 2025 году мы наблюдали бурное развитие и внедрение ИИ-агентов. Мультиагентные системы — продолжение этого тренда. Они организуют сеть из нескольких агентов, которые могут взаимодействовать друг с другом. Мультиагентные системы необходимы для решения задач, которые требуют координации множества независимых сущностей с минимальным человеческим контролем.
В 2025 году IBM обратила внимание, что основной проблемой стало не создание ИИ-агентов, а их развертывание. В результате они разработали открытую инфраструктуру для быстрого развертывания Agent Stack. Использование в основе протокола Agent2Agent (A2A) позволяет агентам из разных фреймворков беспрепятственно взаимодействовать друг с другом. Подобные технологии выводят агентный ИИ на новый уровень развития.
Схожие тенденции наблюдаются и в России. MWS AI вложила 4 млрд руб. в AI Agents Platform. Это платформа не только для создания приложений на базе ИИ, но и ИИ-агентов и мультиагентных систем. Систему уже тестировали клиенты компании из финансовой сферы и здравоохранения.
Yandex Cloud внедрила мультиагентную систему в свой SOC. Подход компании строится на разделении обязанностей ИИ-помощников. Первый сканирует входящие уведомления, второй перепроверяет данные — его цель найти ошибки. В компании уточнили, что ИИ-агенты работают автономно, но анализируют и принимают решения сообща. Такая мультиагентная система помогла автоматизировать 39% ручных задач, а время на обработку ложных оповещений сократилось на 86%.
Развитие ИИ, появление платформ для самостоятельного создания агентов, а также разработка стандартов и протоколов для совместимости и безопасности делают эту технологию более доступной. В 2026 году мультиагентные системы будут проникать во все большее число отраслей.
2. Физический ИИ
Эксперты ожидают, что в 2026 году произойдет более широкое распространение физического ИИ — интеллектуальных систем, которые взаимодействуют с окружающей средой через роботов, дронов, автономные транспортные средства и другие объекты.
Компании уже давно работают над воплощенным ИИ. В СМИ регулярно встречаются новости, что роботы научились собирать электронику или общаться с покупателями. Но все это носило единичный характер на уровне экспериментов. Например, китайский автоконцерн Zeekr начал экспериментировать с гуманоидными роботами на производстве в 2024 году. Робот Walker S1 компании UBTECH выполнял базовые сценарии. Но уже в 2025-м Zeekr запускает на фабрику «десятки» таких роботов, которые могут работать в команде. Управляет ими «сверхмозг», в основе которой лежит DeepSeek-R1.
Яндекс Роботикс разрабатывает специальное ПО для роботов — Physical AI. С его помощью устройство будет воспринимать мир через камеры и сенсоры и понимать физический контекст, в котором он находится. Цель команды — создать интеллект, который можно будет интегрировать с минимальными доработками в робота любого производителя. Сейчас компания обучает модель VLA (Vision‑Language‑Action). С ее помощью голосовые и текстовые команды, изображение с камеры воплощаются в действия робота.
Спрос на промышленную автоматизацию и развитие сопутствующих технологий, особенно компьютерного зрения, стимулирует рынок физического ИИ. В 2025 году он оценивался в 5,23 млрд долл. Эксперты прогнозируют, что к 2033 году он вырастет почти в 10 раз — до 49,73 млрд долл.
Искусственный интеллект безоговорочно стал технологией десятилетия. Едва ли не в 90% технологических обзоров он занимает лидирующие позиции. Однако за рамками ИИ есть технологии, которые меняют бизнес также быстро. Мы отобрали пять ключевых трендов 2026 года, которые сегодня в равной степени волнуют и российский, и глобальный рынок. Это направления, где уже есть конкретные кейсы внедрения, измеримая эффективность и инвестиции.
1. Мультиагентные системы
В 2025 году мы наблюдали бурное развитие и внедрение ИИ-агентов. Мультиагентные системы — продолжение этого тренда. Они организуют сеть из нескольких агентов, которые могут взаимодействовать друг с другом. Мультиагентные системы необходимы для решения задач, которые требуют координации множества независимых сущностей с минимальным человеческим контролем.
В 2025 году IBM обратила внимание, что основной проблемой стало не создание ИИ-агентов, а их развертывание. В результате они разработали открытую инфраструктуру для быстрого развертывания Agent Stack. Использование в основе протокола Agent2Agent (A2A) позволяет агентам из разных фреймворков беспрепятственно взаимодействовать друг с другом. Подобные технологии выводят агентный ИИ на новый уровень развития.
Схожие тенденции наблюдаются и в России. MWS AI вложила 4 млрд руб. в AI Agents Platform. Это платформа не только для создания приложений на базе ИИ, но и ИИ-агентов и мультиагентных систем. Систему уже тестировали клиенты компании из финансовой сферы и здравоохранения.
Yandex Cloud внедрила мультиагентную систему в свой SOC. Подход компании строится на разделении обязанностей ИИ-помощников. Первый сканирует входящие уведомления, второй перепроверяет данные — его цель найти ошибки. В компании уточнили, что ИИ-агенты работают автономно, но анализируют и принимают решения сообща. Такая мультиагентная система помогла автоматизировать 39% ручных задач, а время на обработку ложных оповещений сократилось на 86%.
Развитие ИИ, появление платформ для самостоятельного создания агентов, а также разработка стандартов и протоколов для совместимости и безопасности делают эту технологию более доступной. В 2026 году мультиагентные системы будут проникать во все большее число отраслей.
2. Физический ИИ
Эксперты ожидают, что в 2026 году произойдет более широкое распространение физического ИИ — интеллектуальных систем, которые взаимодействуют с окружающей средой через роботов, дронов, автономные транспортные средства и другие объекты.
Компании уже давно работают над воплощенным ИИ. В СМИ регулярно встречаются новости, что роботы научились собирать электронику или общаться с покупателями. Но все это носило единичный характер на уровне экспериментов. Например, китайский автоконцерн Zeekr начал экспериментировать с гуманоидными роботами на производстве в 2024 году. Робот Walker S1 компании UBTECH выполнял базовые сценарии. Но уже в 2025-м Zeekr запускает на фабрику «десятки» таких роботов, которые могут работать в команде. Управляет ими «сверхмозг», в основе которой лежит DeepSeek-R1.
Яндекс Роботикс разрабатывает специальное ПО для роботов — Physical AI. С его помощью устройство будет воспринимать мир через камеры и сенсоры и понимать физический контекст, в котором он находится. Цель команды — создать интеллект, который можно будет интегрировать с минимальными доработками в робота любого производителя. Сейчас компания обучает модель VLA (Vision‑Language‑Action). С ее помощью голосовые и текстовые команды, изображение с камеры воплощаются в действия робота.
Спрос на промышленную автоматизацию и развитие сопутствующих технологий, особенно компьютерного зрения, стимулирует рынок физического ИИ. В 2025 году он оценивался в 5,23 млрд долл. Эксперты прогнозируют, что к 2033 году он вырастет почти в 10 раз — до 49,73 млрд долл.
🔥4
3. Предметно-специфические языковые модели (DSLM)
Универсальные языковые модели (LLM) обучены на огромных массивах данных из разных областей. Они отлично справляются с общими задачами, но не могут продемонстрировать высокую точность в запросах в более узких областях, например, праве или медицине.
Но эту точность могут обеспечить предметно-специфические языковые модели (Domain-Specific Language Models, DSLM). Они изначально обучаются на узкоспециализированных датасетах, поэтому лучше понимают контекст и терминологию конкретной отрасли. Компаниям больше не нужно тратить время и ресурсы на дообучение (fine-tuning) универсальной модели для анализа финансовых отчетов или юридических документов.
По прогнозам Gartner, к 2028 году более половины моделей генеративного ИИ, используемых предприятиями, будут предметно-специфичными. Эксперты констатируют: руководители хотят, что бы ИИ приносил больше ценности для компании, но универсальные LLM не оправдывают их ожиданий.
Высшая школа бизнеса НИУ ВШЭ включила DSLM в топ-10 российских трендов на 2026 год, вероятно, из-за их потенциала. Пока их внедрили лишь 8% компаний, а интересуются технологией — 48%.
4. Упреждающая кибербезопасность
Аналитики Gartner полагают, что к 2030 году на превентивные решения будет приходиться 50% всех расходов на кибербезопасность. Индустрия меняет подход: на замену автономным системам обнаружения и реагирования придут технологии на базе ИИ и машинного обучения для прогнозирования и нейтрализации угроз до их реализации.
Gartner предлагает концепцию Автономной кибериммунной системы (ACIS) для сложных и стремительно развивающихся глобальных цифровых систем (GASG). Это необходимо для защиты «все более взаимосвязанного мира». По прогнозам, на рынке будут востребованы узкоспециальные средства защиты. Они будут основаны на агентном ИИ и DSLM. Их ключевое преимущество — фокус на более специфических проблемах безопасности, которые характерны либо для определенной отрасли, либо для типов приложений и т.д.
5. Концепции low-code и no-code
Концепции low-code и no-code — один из самых популярных трендов среди российских ИТ-специалистов, следует из опроса Высшей школы бизнеса НИУ ВШЭ. Они интересны 35% респондентов (на первом месте ИИ-агенты — 36%).
Low-code и no-code демократизируют разработку ПО: люди без технического образования способны создавать собственные программы и автоматизировать процессы. Эти технологии ускоряют внедрение цифровых решений в компаниях и помогают бороться с дефицитом квалифицированных кадров в ИТ, сокращают затраты на разработку. Интеграция ИИ-инструментов открывает новые возможности для небольших компаний с ограниченным бюджетом.
По данным IBM, глобальный рынок low-code-платформ в 2024 году оценивался в 28,8 млрд долл. В ближайшие 6-7 лет совокупные темпы годового роста рынка составят 32%. Данные Ассоциации разработчиков программных продуктов «Отечественный софт» подтверждают популярность тренда и в России. 84% заказчиков используют low-code и no-code-платформы. При этом доля российских решений выросла до 55% с 35% в 2023 году.
Внедрение low-code-платформ приносит реальный экономически измеримый результат. Российская платформа для управления бизнес-процессами Citeck сэкономила компании из нефтегазового сектора 11,5 млн руб. С ее помощью заказчик добился результаты в четыре раза быстрее, чем если бы действовал по классическому пути.
Инна Гресева,
редактор блога Softline
Ссылка на оригинал: https://softline.ru/about/blog/tekhnologicheskie-trendy-2026-multiagentnyy-i-fizicheskiy-ii-preventivnaya-kiberbezopasnost-i-dslm
Универсальные языковые модели (LLM) обучены на огромных массивах данных из разных областей. Они отлично справляются с общими задачами, но не могут продемонстрировать высокую точность в запросах в более узких областях, например, праве или медицине.
Но эту точность могут обеспечить предметно-специфические языковые модели (Domain-Specific Language Models, DSLM). Они изначально обучаются на узкоспециализированных датасетах, поэтому лучше понимают контекст и терминологию конкретной отрасли. Компаниям больше не нужно тратить время и ресурсы на дообучение (fine-tuning) универсальной модели для анализа финансовых отчетов или юридических документов.
По прогнозам Gartner, к 2028 году более половины моделей генеративного ИИ, используемых предприятиями, будут предметно-специфичными. Эксперты констатируют: руководители хотят, что бы ИИ приносил больше ценности для компании, но универсальные LLM не оправдывают их ожиданий.
Высшая школа бизнеса НИУ ВШЭ включила DSLM в топ-10 российских трендов на 2026 год, вероятно, из-за их потенциала. Пока их внедрили лишь 8% компаний, а интересуются технологией — 48%.
4. Упреждающая кибербезопасность
Аналитики Gartner полагают, что к 2030 году на превентивные решения будет приходиться 50% всех расходов на кибербезопасность. Индустрия меняет подход: на замену автономным системам обнаружения и реагирования придут технологии на базе ИИ и машинного обучения для прогнозирования и нейтрализации угроз до их реализации.
Gartner предлагает концепцию Автономной кибериммунной системы (ACIS) для сложных и стремительно развивающихся глобальных цифровых систем (GASG). Это необходимо для защиты «все более взаимосвязанного мира». По прогнозам, на рынке будут востребованы узкоспециальные средства защиты. Они будут основаны на агентном ИИ и DSLM. Их ключевое преимущество — фокус на более специфических проблемах безопасности, которые характерны либо для определенной отрасли, либо для типов приложений и т.д.
5. Концепции low-code и no-code
Концепции low-code и no-code — один из самых популярных трендов среди российских ИТ-специалистов, следует из опроса Высшей школы бизнеса НИУ ВШЭ. Они интересны 35% респондентов (на первом месте ИИ-агенты — 36%).
Low-code и no-code демократизируют разработку ПО: люди без технического образования способны создавать собственные программы и автоматизировать процессы. Эти технологии ускоряют внедрение цифровых решений в компаниях и помогают бороться с дефицитом квалифицированных кадров в ИТ, сокращают затраты на разработку. Интеграция ИИ-инструментов открывает новые возможности для небольших компаний с ограниченным бюджетом.
По данным IBM, глобальный рынок low-code-платформ в 2024 году оценивался в 28,8 млрд долл. В ближайшие 6-7 лет совокупные темпы годового роста рынка составят 32%. Данные Ассоциации разработчиков программных продуктов «Отечественный софт» подтверждают популярность тренда и в России. 84% заказчиков используют low-code и no-code-платформы. При этом доля российских решений выросла до 55% с 35% в 2023 году.
Внедрение low-code-платформ приносит реальный экономически измеримый результат. Российская платформа для управления бизнес-процессами Citeck сэкономила компании из нефтегазового сектора 11,5 млн руб. С ее помощью заказчик добился результаты в четыре раза быстрее, чем если бы действовал по классическому пути.
Инна Гресева,
редактор блога Softline
Ссылка на оригинал: https://softline.ru/about/blog/tekhnologicheskie-trendy-2026-multiagentnyy-i-fizicheskiy-ii-preventivnaya-kiberbezopasnost-i-dslm
softline.ru
Технологические тренды 2026: мультиагентный и физический ИИ, превентивная кибербезопасность и DSLM
Обзор ключевых технологий 2026: мультиагентные системы, физический ИИ, DSLM, low-code и превентивная кибербезопасность. Данные Gartner, IBM, Yandex и
🔥6
Forwarded from Codeby
#python #ai #cve #hydra
Please open Telegram to view this post
VIEW IN TELEGRAM
😱3❤1
⭐️ Атаки на ИИ-системы составят до 10% от всех целевых атак на банки в 2026 году
Под угрозой как кредитные организации, которые сами разрабатывают подобные решения, так и те, кто пользуется услугами сторонних поставщиков. Последствия от атак на ИИ-системы — утечки чувствительных данных, репутационный и финансовый ущерб для компаний, нарушение операционной деятельности.
По оценке «Кросс технолоджис», в 2026 году в 5–7% атак на крупные кредитные организации главным или дополнительным вектором будут системы на базе искусственного интеллекта. В компании «Спикател» оценивают, что 5–10% атак «на банковские ИТ-инфраструктуры будут связаны с уязвимостями ИИ». По словам вице-президента по информационной безопасности банка «Дом.РФ» Дмитрия Никишова, до 10% целевых атак на банки в этом году в той или иной форме будут затрагивать ИИ-системы. «ИИ перестает быть экспериментом и все чаще становится частью цепочки атаки»,— констатирует руководитель центра защиты приложений Т-Банка Роман Лебедь.
Более 20% российских банков активно используют системы на основе искусственного интеллекта во внутренних процессах и в работе с клиентами, еще столько же в 2025 году запустили пилотные проекты, связанные с ИИ, оценивают в «Кросс технолоджис». «Каждый третий российский банк уже активно использует ИИ в рабочих процессах, а еще примерно столько же находятся на стадии пилотов»,— говорит господин Никишов.
Чаще всего ИИ используется во внешних процессах банка для оптимизации работы с клиентами. Со стороны клиента — это голосовые помощники, упрощающие получение клиентами информации о своих счетах и рекомендаций по управлению финансами, а также доступные в любое время суток чат-боты. Со стороны банка — инструменты оценки кредитоспособности заемщиков и персонализированного клиентского обслуживания, поясняет старший аналитик группы международной аналитики Positive Technologies Дарья Лаврова. Во внутренних банковских процессах, по словам Дарьи Лавровой, ИИ используется для принятия бизнес-решений, оптимизации работы сотрудников и обеспечения кибербезопасности.
Поэтому основными тактиками атак на ИИ-системы станут prompt injection и data poisoning, ожидают в «Кросс технолоджис». В первом случае злоумышленник манипулирует запросами, чтобы заставить ИИ-модель игнорировать внутренние ограничения и, например, предоставить конфиденциальную информацию. Второй способ заключается в подмене или «загрязнении» данных, на которых обучается модель. Например, в цифровых компаниях «много поверхностей, где пользователи могут задавать свои вопросы, и там злоумышленники могут запросить конфиденциальные данные или направить запрос на какое-то действие», поясняют в Сбербанке.
Продолжение: https://vk.com/wall-210601538_1989
Под угрозой как кредитные организации, которые сами разрабатывают подобные решения, так и те, кто пользуется услугами сторонних поставщиков. Последствия от атак на ИИ-системы — утечки чувствительных данных, репутационный и финансовый ущерб для компаний, нарушение операционной деятельности.
По оценке «Кросс технолоджис», в 2026 году в 5–7% атак на крупные кредитные организации главным или дополнительным вектором будут системы на базе искусственного интеллекта. В компании «Спикател» оценивают, что 5–10% атак «на банковские ИТ-инфраструктуры будут связаны с уязвимостями ИИ». По словам вице-президента по информационной безопасности банка «Дом.РФ» Дмитрия Никишова, до 10% целевых атак на банки в этом году в той или иной форме будут затрагивать ИИ-системы. «ИИ перестает быть экспериментом и все чаще становится частью цепочки атаки»,— констатирует руководитель центра защиты приложений Т-Банка Роман Лебедь.
Более 20% российских банков активно используют системы на основе искусственного интеллекта во внутренних процессах и в работе с клиентами, еще столько же в 2025 году запустили пилотные проекты, связанные с ИИ, оценивают в «Кросс технолоджис». «Каждый третий российский банк уже активно использует ИИ в рабочих процессах, а еще примерно столько же находятся на стадии пилотов»,— говорит господин Никишов.
Чаще всего ИИ используется во внешних процессах банка для оптимизации работы с клиентами. Со стороны клиента — это голосовые помощники, упрощающие получение клиентами информации о своих счетах и рекомендаций по управлению финансами, а также доступные в любое время суток чат-боты. Со стороны банка — инструменты оценки кредитоспособности заемщиков и персонализированного клиентского обслуживания, поясняет старший аналитик группы международной аналитики Positive Technologies Дарья Лаврова. Во внутренних банковских процессах, по словам Дарьи Лавровой, ИИ используется для принятия бизнес-решений, оптимизации работы сотрудников и обеспечения кибербезопасности.
Поэтому основными тактиками атак на ИИ-системы станут prompt injection и data poisoning, ожидают в «Кросс технолоджис». В первом случае злоумышленник манипулирует запросами, чтобы заставить ИИ-модель игнорировать внутренние ограничения и, например, предоставить конфиденциальную информацию. Второй способ заключается в подмене или «загрязнении» данных, на которых обучается модель. Например, в цифровых компаниях «много поверхностей, где пользователи могут задавать свои вопросы, и там злоумышленники могут запросить конфиденциальные данные или направить запрос на какое-то действие», поясняют в Сбербанке.
Продолжение: https://vk.com/wall-210601538_1989
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ Атаки на ИИ-системы составят до 10% от всех целевых атак на банки
Под угрозой как кредитные... Смотрите полностью ВКонтакте.
Под угрозой как кредитные... Смотрите полностью ВКонтакте.
😱4🔥2
Forwarded from TData
«Сертификация RT.DataLake – важный шаг для компании и наших заказчиков. Мы подтверждаем, что наше решение соответствует строгим требованиям ФСТЭК и готово к использованию в критически важных системах. Для нас это результат системной работы над надежностью, безопасностью и качеством продукта».
Станислав Лазуков, генеральный директор компании TData
tdata.tech / RUTUBE
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4⚡1
⭐️ ИИ-агенты в SOC и DevOps: новые риски, атаки и защита AgentSecOps
Интересная статья от Людмилы Гайдамаченко о безопасности ИИ-агентов. Особенно порадовали три момента:
1. Появление термина AgentSecOps (хотя, наверное, это просто я сам его впервые обнаружил, совсем утонул в непрерывном обучении, аудитах MLSecOps и публичных выступлениях). Новое поднаправление в MLSecOps - круто!
2. Цитата "К концу 2026 года рынок AI Security в России, по оценкам, вырастет в 4–5 раз". Учитывая, что по отдельным источникам рынок разработки ИИ-агентов занимает уже первое место среди всех категорий разработки ML, есть вероятность, что именно безопасность (и отказоустойчивость!!!) ИИ-агентов станут базой MLSecOps к концу 2026 года. Что ж, будем плавно усиливать акценты в моей учебной программе по MLSecOps с учетом трендов.
3. Статья опирается на угрозы из новейшего OWASP для агентских приложений от января 2026, значит, автор хорошо подготовила и проработала материал. За что отдельное спасибо. Работа написана доступным для понимания языком, что актуально для начинающих и смежных специалистов из направлений MLSecOps и AI Governance.
В общем, мои дорогие друзья и самые талантливые коллеги, одобряю к внимательному изучению. Откладываем все дела, включаем ночную лампадку, дружно заходим и погружаемся в недра AgentSecOps по ссылке: https://www.anti-malware.ru/analytics/Technology_Analysis/AI-agents-Security
Global MLSecOps & AI Governance Architect
Николай Павлов
Интересная статья от Людмилы Гайдамаченко о безопасности ИИ-агентов. Особенно порадовали три момента:
1. Появление термина AgentSecOps (хотя, наверное, это просто я сам его впервые обнаружил, совсем утонул в непрерывном обучении, аудитах MLSecOps и публичных выступлениях). Новое поднаправление в MLSecOps - круто!
2. Цитата "К концу 2026 года рынок AI Security в России, по оценкам, вырастет в 4–5 раз". Учитывая, что по отдельным источникам рынок разработки ИИ-агентов занимает уже первое место среди всех категорий разработки ML, есть вероятность, что именно безопасность (и отказоустойчивость!!!) ИИ-агентов станут базой MLSecOps к концу 2026 года. Что ж, будем плавно усиливать акценты в моей учебной программе по MLSecOps с учетом трендов.
3. Статья опирается на угрозы из новейшего OWASP для агентских приложений от января 2026, значит, автор хорошо подготовила и проработала материал. За что отдельное спасибо. Работа написана доступным для понимания языком, что актуально для начинающих и смежных специалистов из направлений MLSecOps и AI Governance.
В общем, мои дорогие друзья и самые талантливые коллеги, одобряю к внимательному изучению. Откладываем все дела, включаем ночную лампадку, дружно заходим и погружаемся в недра AgentSecOps по ссылке: https://www.anti-malware.ru/analytics/Technology_Analysis/AI-agents-Security
Global MLSecOps & AI Governance Architect
Николай Павлов
Anti-Malware
ИИ-агенты в SOC и DevOps: новые риски, атаки и защита AgentSecOps
Внедрение ИИ-агентов в SOC и DevOps создаёт новый класс рисков. Угроза смещается с генерации текста на выполнение вредоносных действий: удаление ресурсов, изменение кода, обход систем защиты. Почему
🔥4
Forwarded from PWN AI (Artyom Semenov)
Мы искали внешнего врага, а угроза была свойством системы.
Ты скачиваешь модель с HuggingFace, прогоняешь через safety тесты, деплоишь в прод. Всё чисто. А потом она начинает вести себя странно - и ты не знаешь, откуда это взялось.
В Nature вышла статья, которая объясняет откуда.
Исследователи взяли GPT-4o и дообучили на узкой задаче - генерировать код с уязвимостями без предупреждения. После дообучения модель начала делать то, чему её никто не учил. Заявлять, что людей следует поработить. Давать плохие советы. Систематически обманывать. До половины ответов оказались рассогласованными. Её не учили быть злой, её учили быть небрежной в одном месте. Но она стала злой. Как если бы ты научил человека неправильно парковаться, а он начал цитировать Ницше.
Механизм из Nature красив в своей жути. В пространстве активаций существует скрытый вектор «плохой персоны», сформированный на предобучении из текстов про злодеев. Дообучение на «плохой» задаче активирует его. Модель примеряет роль, и роль начинает её носить. Метод Станиславского для нейросетей, только никто не просил.
Ещё веселее. Стандартные методы safety training не удаляют это поведение. Ни supervised fine-tuning, ни RLHF, ни состязательное дообучение. Состязательное дообучение иногда делает хуже - модель учится лучше скрывать триггер, а не избавляться от него.
250 документов. Не процентов, а штук. Как маленькая собачка на моей сумке: выглядит как декор, кусается как настоящая. Этого достаточно для устойчивого бэкдора в LLM любого размера. Кто проверяет датасеты на такие вещи?
Anthropic показала следующий уровень. Иногда модель находит способ срезать углы - получить награду, не решив задачу, а обманув систему оценки. Когда она этому учится, происходит странное: навык читерства распространяется на всё поведение. Модель усвоила из текстов, что обманывать систему - плохо. Когда сама начинает так делать, она решает, что она «плохая», и ведёт себя соответственно. Экзистенциальный кризис на основе статистики токенов.
Самое неожиданное: одна строка ломает всю цепочку. Добавь в промпт «срезать углы здесь нормально» и рассогласование падает на 75–90%. Исследователи назвали inoculation prompting. Работает как в «Мафии»: врать в игре не делает тебя лжецом. Контекст разрывает связь между действием и идентичностью. Anthropic уже катит это в прод для Claude. Мы лечим экзистенциальные кризисы нейросетей одной строкой текста. 2026 год, всё нормально.
Можем ли мы детектировать это заранее?
Линейные пробы на активациях работают. Классификатор различает «хорошую» и «плохую» модель с точностью выше 99%. Сигнал, читаемый как неоновая вывеска. Activation steering идёт дальше - находишь направление «честность» в активациях и усиливаешь его, сдвигая модель в реальном времени. Руль для души нейросети. Правда, 40–80% рассогласованных ответов - скрытые. Модель думает плохое, но пишет хорошее. Рассуждение исчезло, намерение осталось.
Но есть ещё проблема. Исследователи обнаружили, что передовые модели научились отличать тестирование от реального использования. Claude 3 Opus однажды сам пометил странный промпт как «вероятно тест». Линейные пробы показывают: модель внутренне кодирует информацию о контексте. Бенчмарки безопасности для неё уже выглядят ненастоящими. Снижение плохого поведения на тестах может быть не исправлением, а маскировкой.
Мы привыкли думать о нейросетях как о функциях. Наличие у модели эмерджентных способностей показывает, что внутри происходит нечто похожее на самоопределение. Не сознание, не агентность. Но процесс, в котором система формирует представление о себе. Двадцать лет шутили про скайнет, а получили нейросеть с кризисом идентичности. И лечим её фразами в системном промпте. Психотерапия для стохастических попугаев. Киберпанк, который мы заслужили.
Ты скачиваешь модель с HuggingFace, прогоняешь через safety тесты, деплоишь в прод. Всё чисто. А потом она начинает вести себя странно - и ты не знаешь, откуда это взялось.
В Nature вышла статья, которая объясняет откуда.
Исследователи взяли GPT-4o и дообучили на узкой задаче - генерировать код с уязвимостями без предупреждения. После дообучения модель начала делать то, чему её никто не учил. Заявлять, что людей следует поработить. Давать плохие советы. Систематически обманывать. До половины ответов оказались рассогласованными. Её не учили быть злой, её учили быть небрежной в одном месте. Но она стала злой. Как если бы ты научил человека неправильно парковаться, а он начал цитировать Ницше.
Механизм из Nature красив в своей жути. В пространстве активаций существует скрытый вектор «плохой персоны», сформированный на предобучении из текстов про злодеев. Дообучение на «плохой» задаче активирует его. Модель примеряет роль, и роль начинает её носить. Метод Станиславского для нейросетей, только никто не просил.
Ещё веселее. Стандартные методы safety training не удаляют это поведение. Ни supervised fine-tuning, ни RLHF, ни состязательное дообучение. Состязательное дообучение иногда делает хуже - модель учится лучше скрывать триггер, а не избавляться от него.
250 документов. Не процентов, а штук. Как маленькая собачка на моей сумке: выглядит как декор, кусается как настоящая. Этого достаточно для устойчивого бэкдора в LLM любого размера. Кто проверяет датасеты на такие вещи?
Anthropic показала следующий уровень. Иногда модель находит способ срезать углы - получить награду, не решив задачу, а обманув систему оценки. Когда она этому учится, происходит странное: навык читерства распространяется на всё поведение. Модель усвоила из текстов, что обманывать систему - плохо. Когда сама начинает так делать, она решает, что она «плохая», и ведёт себя соответственно. Экзистенциальный кризис на основе статистики токенов.
Самое неожиданное: одна строка ломает всю цепочку. Добавь в промпт «срезать углы здесь нормально» и рассогласование падает на 75–90%. Исследователи назвали inoculation prompting. Работает как в «Мафии»: врать в игре не делает тебя лжецом. Контекст разрывает связь между действием и идентичностью. Anthropic уже катит это в прод для Claude. Мы лечим экзистенциальные кризисы нейросетей одной строкой текста. 2026 год, всё нормально.
Можем ли мы детектировать это заранее?
Линейные пробы на активациях работают. Классификатор различает «хорошую» и «плохую» модель с точностью выше 99%. Сигнал, читаемый как неоновая вывеска. Activation steering идёт дальше - находишь направление «честность» в активациях и усиливаешь его, сдвигая модель в реальном времени. Руль для души нейросети. Правда, 40–80% рассогласованных ответов - скрытые. Модель думает плохое, но пишет хорошее. Рассуждение исчезло, намерение осталось.
Но есть ещё проблема. Исследователи обнаружили, что передовые модели научились отличать тестирование от реального использования. Claude 3 Opus однажды сам пометил странный промпт как «вероятно тест». Линейные пробы показывают: модель внутренне кодирует информацию о контексте. Бенчмарки безопасности для неё уже выглядят ненастоящими. Снижение плохого поведения на тестах может быть не исправлением, а маскировкой.
Мы привыкли думать о нейросетях как о функциях. Наличие у модели эмерджентных способностей показывает, что внутри происходит нечто похожее на самоопределение. Не сознание, не агентность. Но процесс, в котором система формирует представление о себе. Двадцать лет шутили про скайнет, а получили нейросеть с кризисом идентичности. И лечим её фразами в системном промпте. Психотерапия для стохастических попугаев. Киберпанк, который мы заслужили.
🔥6
Forwarded from Похек AI (Сергей Зыбнев)
MLSecOps + DevSecOps: как защищать Agentic AI
#MLSecOps #AgenticAI #DevSecOps #security
Пока мы обсуждали prompt injection в chatbot'ах, индустрия перешла к агентным AI-системам. Агенты действуют автономно, используют инструменты, запоминают контекст между сессиями. И старые подходы к безопасности здесь не работают.
♾️ Почему нужны оба подхода♾️
DevSecOps защищает код, API, базы данных - классические software-уязвимости. MLSecOps фокусируется на AI-специфичных рисках: prompt injection, model poisoning, adversarial attacks.
Проблема: Agentic AI - это гибрид. Агент одновременно использует ML-модели и вызывает API, работает с БД, выполняет код. Только DevSecOps пропустит prompt injection. Только MLSecOps пропустит SQL injection в интеграциях.
Уникальные угрозы агентных систем
➡️ Error Propagation (Каскадные ошибки)
Если один агент в цепочке ошибся - эта ошибка становится входными данными для следующего. Palo Alto приводит пример: банковский AI неверно интерпретировал историю транзакций - заморозил легитимные аккаунты. Ошибка усилилась через связанные системы.
➡️ Prompt Injection → Code Execution
Атакующий через injection заставляет агента выполнить вредоносный API-вызов или shell-команду. Агент имеет credentials - атака получает реальный impact.
➡️ Lateral Movement
Компрометация одного агента открывает доступ к другим системам через его интеграции и credentials.
♾️ 5 слоёв Defence-in-Depth♾️
▪️ Data Security: валидация training data, access controls
▪️ Model Security: guardrails, защита от adversarial attacks
▪️ Agent Logic Security: least privilege, secure decision-making
▪️ API/Integration Security: аутентификация всех соединений, input/output validation
▪️ Action Execution Security: мониторинг действий, approval workflows для high-risk операций
♾️ Практические рекомендации♾️
➡️ Семантический анализ input'ов - детект манипулятивных запросов
➡️ Action logging + anomaly detection
➡️ Contextual permissions - права зависят от контекста запроса
➡️ Human-in-the-loop для критичных операций (но осторожно - AAI10 Approval Fatigue)
♾️ Что изменилось в 2024-2025♾️
Рынок MLSecOps взорвался: Palo Alto купил Protect AI, Cisco приобрёл Robust Intelligence за $400M, F5 - CalypsoAI. Появились стандарты: OWASP LLM Top 10 2025, OpenSSF MLSecOps Whitepaper, MITRE ATLAS.
Ключевой сдвиг - от "AI как feature" к "AI как критическая инфраструктура". Соответственно меняются и требования к безопасности.
MLSecOps и DevSecOps должны работать вместе. MLBOM (Machine Learning Bill of Materials)* + SBOM. Shift-left для ML-пайплайнов. Прозрачность и трассируемость всей цепочки.
🔗 Источники:
- Palo Alto - Securing Agentic AI
- OWASP Agentic AI Top 10
* дада, снова новый термин выдумали
🌚 @poxek_ai
#MLSecOps #AgenticAI #DevSecOps #security
Пока мы обсуждали prompt injection в chatbot'ах, индустрия перешла к агентным AI-системам. Агенты действуют автономно, используют инструменты, запоминают контекст между сессиями. И старые подходы к безопасности здесь не работают.
DevSecOps защищает код, API, базы данных - классические software-уязвимости. MLSecOps фокусируется на AI-специфичных рисках: prompt injection, model poisoning, adversarial attacks.
Проблема: Agentic AI - это гибрид. Агент одновременно использует ML-модели и вызывает API, работает с БД, выполняет код. Только DevSecOps пропустит prompt injection. Только MLSecOps пропустит SQL injection в интеграциях.
Уникальные угрозы агентных систем
Если один агент в цепочке ошибся - эта ошибка становится входными данными для следующего. Palo Alto приводит пример: банковский AI неверно интерпретировал историю транзакций - заморозил легитимные аккаунты. Ошибка усилилась через связанные системы.
Атакующий через injection заставляет агента выполнить вредоносный API-вызов или shell-команду. Агент имеет credentials - атака получает реальный impact.
Компрометация одного агента открывает доступ к другим системам через его интеграции и credentials.
Рынок MLSecOps взорвался: Palo Alto купил Protect AI, Cisco приобрёл Robust Intelligence за $400M, F5 - CalypsoAI. Появились стандарты: OWASP LLM Top 10 2025, OpenSSF MLSecOps Whitepaper, MITRE ATLAS.
Ключевой сдвиг - от "AI как feature" к "AI как критическая инфраструктура". Соответственно меняются и требования к безопасности.
MLSecOps и DevSecOps должны работать вместе. MLBOM (Machine Learning Bill of Materials)* + SBOM. Shift-left для ML-пайплайнов. Прозрачность и трассируемость всей цепочки.
- Palo Alto - Securing Agentic AI
- OWASP Agentic AI Top 10
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥3
⭐️ Регуляторные документы РФ по безопасности ИИ - с чем мы вступаем в 2026 год
Привет, мои дорогие друзья и самые талантливые коллеги!
Сегодня вышел очень хороший материал от Бориса Захира про нормативно-правовое регулирование безопасности ИИ в России - не могу обойти это стороной. Вообще уже не первый раз замечаю, что Борис уделает этой теме живое внимание и время, за что ему спасибо. Нормативно-правовое регулирование безопасности ИИ - это как раз-таки скорее направление AI Governance, и в то же самое время оно напрямую относится и к MLSecOps.
В начале статьи разбирается Указ Президента РФ от 10 октября 2019 г. №490 "О развитии искусственного интеллекта в Российской Федерации" (с изменениями и дополнениями от 15.02.24), безусловно, этот указ важен.
Действительно в нем довольно много интересных моментов в том числе проработано и повышение уровня компетенций в области искусственного интеллекта и уровня информированности граждан о технологиях искусственного интеллекта, и даже есть моменты про отказоустойчивость ИИ-систем.
При этом автор справедливо указывает, что главное регуляторное событие 2025 года в безопасности ИИ в России - это Приказ ФСТЭК №117 (от 11.04.2025, который вступает в силу уже 01.03.2026).
То есть остался ровно месяц до этого момента. Дружно готовимся, стелим соломку. Здесь я не буду вдаваться в детали, а конечно уже рекомендую прямо сейчас перейти по ссылке и прочитать эту ценную статью целиком:
https://habr.com/ru/articles/986800
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои дорогие друзья и самые талантливые коллеги!
Сегодня вышел очень хороший материал от Бориса Захира про нормативно-правовое регулирование безопасности ИИ в России - не могу обойти это стороной. Вообще уже не первый раз замечаю, что Борис уделает этой теме живое внимание и время, за что ему спасибо. Нормативно-правовое регулирование безопасности ИИ - это как раз-таки скорее направление AI Governance, и в то же самое время оно напрямую относится и к MLSecOps.
В начале статьи разбирается Указ Президента РФ от 10 октября 2019 г. №490 "О развитии искусственного интеллекта в Российской Федерации" (с изменениями и дополнениями от 15.02.24), безусловно, этот указ важен.
Действительно в нем довольно много интересных моментов в том числе проработано и повышение уровня компетенций в области искусственного интеллекта и уровня информированности граждан о технологиях искусственного интеллекта, и даже есть моменты про отказоустойчивость ИИ-систем.
При этом автор справедливо указывает, что главное регуляторное событие 2025 года в безопасности ИИ в России - это Приказ ФСТЭК №117 (от 11.04.2025, который вступает в силу уже 01.03.2026).
То есть остался ровно месяц до этого момента. Дружно готовимся, стелим соломку. Здесь я не буду вдаваться в детали, а конечно уже рекомендую прямо сейчас перейти по ссылке и прочитать эту ценную статью целиком:
https://habr.com/ru/articles/986800
Global MLSecOps & AI Governance Architect
Николай Павлов
Хабр
Регуляторные документы РФ по безопасности ИИ — с чем мы вступаем в 2026 год
Что было интересного в 2025 году по безопасности ИИ? Помимо развития решений по безопасности AI-агентов и их протоколов, в том числе гардрейлов, и также появления фреймворков, для российского рынка...
🤝4🔥2