MLSecOps | AI Governance | IT Trends – Telegram
MLSecOps | AI Governance | IT Trends
920 subscribers
97 photos
2 videos
3 files
398 links
Канал для друзей и коллег с целью ежедневного развития в направлениях MLSecOps и AI Governance.
Свежие новости, перспективные вакансии, IT-тренды и лучшие учебные программы в сфере ИИ.
Download Telegram
⭐️ Когда примут закон об ИИ в России: регулирование, безопасность и доверенный ИИ

Привет, мои дорогие и самые талантливые друзья!
С ужасом для себя обнаружил, что 27 декабря пропустил крайне важный и очень классный вебинар на AM Live по направлениям MLSecOps и AI Governance с Дмитрием Служенкиным — секретарём Консорциума исследований безопасности технологий искусственного интеллекта про регулирование ИИ в России. Исправляюсь. Спикер говорит очень доступным, понятным языком и вебинар рекомендован для всех без исключения!

На этом вебинаре обсуждают, когда появится закон об искусственном интеллекте, что такое доверенный ИИ и зачем государству нужны правила для алгоритмов.

Разбирают, почему безопасность ИИ начинается не с чат-ботов, а с данных, архитектуры, контроля и ответственности, и какие требования могут появиться для применения ИИ в госсистемах, КИИ и бизнесе.

Обсуждаются и ключевые риски искусственного интеллекта:
— галлюцинации ИИ и проблему «чёрного ящика»
— объяснимость моделей (XAI) и контроль принятия решений
— подходы к защите: модель-цензор, DLP, защита информации
— как ИИ меняет кибербезопасность и снижает порог входа для атак

Отдельно поговорили о том, как устроено регулирование ИИ в мире (ЕС, США, Китай) и чем отличается российская модель — от этических кодексов и стандартов до возможной сертификации и требований для критически важных систем.

Ссылка на вебинар: https://vkvideo.ru/video-21732035_456241688

Дружно откладываем все дела. Запускаем видео. Внимательно смотрим. Фиксируем себе новые и важные моменты.

Архитектор MLSecOps и AI Governance
Николай Павлов
🔥5
Forwarded from PWN AI (Artyom Semenov)
Привет.

Мы с известными вам авторами каналов по AI Security решили провести стрим по AI Security.

Кто будет:

Евгений Кокуйкин - @kokuykin
Борис Захир - @borismlsec
Владислав Тушканов - @llmsecurity
И вы.

Запись будет, но лучше конечно же в лайфе.

Хотели бы поболтать, пообщаться, поотвечать на ваши интересные вопросы по теме и кое-что рассказать(не будем спойлерить, Борис)

Когда: 19:00, в эту субботу. В зуме (ссылка будет во время стрима в этом посте).

Кстати вопросы можете задавать сейчас в комментариях.
🔥9
⭐️ Судные дни рынка труда: Большая аналитика 2025/26. Парадоксы выживания

С утра прочитал интересную статью про тренды рынка труда. Даю краткий обзор и рекомендую к ознакомлению.

Рынок труда в России сегодня переживает кризис, когда количество вакансий упало на 31%, резюме выросло на 34%, а индекс конкуренции или hh-индекс достиг 8,1 (тогда как норма 4-5). При этом компании жалуются на дефицит кадров (50%), но 35% заморозили найм и 38% сокращают штат, фокусируясь на "волшебных единорогах", то есть сеньорах за умеренную з/п.
При этом в целом на рынке продолжается спрос на синие воротнички (это курьеры, водители, заводчане). Также есть спрос на продажников, но тех, кто реально может продавать и приносить денежку.

Интересно, что пишут и про работников 45+ лет, что они надежнее молодого поколения с позиций добросовестности, исполнительности, в чем уверены 64% работодателей.

При этом соискатели массово прибегают к фроду и овер-имплоюменту, а работодатели — к гостингу и черным спискам.

Топ-навыки: коммуникация (78%), качество работы (65%), решение проблем (64%) для линейных работников, стратегическое мышление (76%) и управление (68%) для топов.

В 2026 году будет сделан фокус на эффективность, удержание кадров, работу с ИИ и, конечно, гибридный формат.

В статье рассматривают и западный опыт. В США наступило "Великое Замедление" (очень похожу на "Эпоху Великого Замещения" - совпадение?), тотальные сокращения в IT + визу практически не получить. В Европе средний поиск работы уже 6 месяцев, сильная стагнация в Германии (главном "локомотиве" ЕС). А на Ближнем Востоке, наоборот бум. Потому что есть денежки и потому что не создают "нейронку ради нейронки". В Азия протекционизм своих специалистов, мощный спрос на инженеров, специалистов по большим данным.

Советы по выживанию из статьи:
1. Освойте ИИ для рутины, потому что 56% компаний уже это активно используют.
​2. Развивайте и продавайте свои soft skills (эмпатия, коммуникация, коучинг и активное погружение в бизнес - да-да, это тоже soft).
​3. Расширяйте экспертизу под дефицитные направления, например, в производство, e-com, здравоохранение.
​4. Развивайте личный бренд и нетворкинг.

Ссылка по полную версию: https://habr.com/ru/articles/983824

Архитектор MLSecOps и AI Governance
Николай Павлов
🔥61
⭐️ Минпромторг РФ поручил госкорпорациям тотально автоматизировать производство и создавать "темные фабрики"

Министерство промышленности и торговли Российской Федерации выступило с поручением к государственным корпорациям разработать стратегический план, направленный на перевод предприятий на режим почти полностью автоматизированного производства. Это нововведение предполагает минимальное участие человека и нацелено на усиление технологической независимости страны, а также на улучшение показателей производительности труда. Данную информацию раскрыл глава министерства Антон Алиханов.

Министр отметил, что автоматизация является ключевым аспектом в стратегии повышения эффективности. Согласно его словам, у каждой государственной корпорации существуют планы на этом направлении, и внедрение автоматизированных процессов становится одним из главных приоритетов. Антон Алиханов также сообщил, что Объединенная авиастроительная корпорация (ОАК), являясь частью Ростеха, уже завершает первую фазу роботизации на заводе в городе Рудневе. Завершение второй фазы ожидается в 2027 году.

Министр подчеркнул, что это приведёт к практически полному переходу завода на так называемое "темное производство". Однако, он не стал уточнять, какие именно государственные корпорации были адресатами данного поручения.

Сергей Чемезов, генеральный директор Ростеха, подтвердил изданию, что в корпорации активно ведется работа по максимальной роботизации производственных процессов. На текущий момент на предприятии "Камаз" реализовано высоко роботизированное производство, где основная работа выполняется машинами, а операторы лишь контролируют процесс. Чемезов также упомянул, что поручение от Минпромторга поступало в адрес Ростеха ранее.

Ведомости
😱5🔥1
🔥 Интерес к направлению "Безопасность ИИ" вырос от 841 поисковых запроса в январе 2024 года до рекордных 9278 запросов в декабре 2025 года по данным Яндекс Статистики. То есть более чем в 11 раз менее чем за 2 года. Таким образом, направление MLSecOps крайне перспективно и продолжает уверенно расти с возможным ускорением. Эта статистика сделала мой день. Надеюсь и Ваш тоже, мои дорогие друзья. Скриншот прилагаю.

Архитектор MLSecOps & AI Governance
Николай Павлов
🏆7
Forwarded from PWN AI (Artyom Semenov)
Через полчаса мы начнем наши с вами переговоры по этой ссылке.

https://us06web.zoom.us/j/87348479506?pwd=J5GmwPHgCKDPvrDNy3Gu9HIXokQmXb.1
🔥3👏2
⭐️ MLSecOps: защита машинного обучения от разработки до промышленной эксплуатации

Модели машинного обучения переместились из исследовательских блокнотов в критичные бизнес-процессы. Системы принимают кредитные решения, управляют автономным транспортом, фильтруют контент, обнаруживают мошенничество. Уязвимость модели превращается из академического курьёза в операционный риск с измеримыми финансовыми последствиями.

MLSecOps расширяет принципы DevSecOps на специфику машинного обучения. Модели обучаются на данных, качество которых определяет результат. Атаки направлены не на эксплуатацию уязвимостей в коде, а на манипуляцию обучающими данными или входными признаками. Жизненный цикл модели включает этапы, отсутствующие в обычной разработке: сбор данных, конструирование признаков, обучение, проверка качества, мониторинг деградации.

Безопасность систем на основе машинного обучения требует понимания того, как модели принимают решения, где возникают смещения, какие атаки возможны на каждом этапе. Классические средства защиты приложений необходимы, но недостаточны. Противоборствующие примеры проходят через все традиционные контроли, эксплуатируя свойства самой модели, а не инфраструктуры.

Специфические угрозы системам машинного обучения

Отравление данных атакует процесс обучения через внедрение вредоносных примеров в обучающую выборку. Система распознавания спама обучается на письмах, часть которых размечена атакующим. Модель учится классифицировать определённый тип вредоносных писем как легитимные. Обнаружить отравление сложно — метрики точности на тестовой выборке могут оставаться высокими, деградация проявляется только на специфических входах.

Инверсия модели извлекает информацию об обучающих данных через анализ предсказаний. Атакующий делает множество запросов к модели, анализирует ответы, реконструирует характеристики данных, на которых модель обучалась. Лица людей из приватного набора данных восстанавливаются через запросы к интерфейсу распознавания лиц. Медицинские записи реконструируются из модели предсказания диагнозов.

Ссылка на полную версию: https://dzen.ru/a/aWtzhccb3EOli4b2?ysclid=mkjokv5vgj366701766
3🔥1
⭐️ Академия АйТи FabricaONE.AI (акционер - ГК Softline) объявляет о запуске четвертого потока программы «Data Steward: специалист по стратегическому управлению данными» 🔥

Образовательная программа «Data Steward: специалист по стратегическому управлению данными» - это один из первых в России курсов по подготовке специалистов в этой перспективной области. Программа повышения квалификации готовит специалистов, способных обеспечивать качество, целостность и безопасность корпоративных данных, включая данные для ИИ-систем. Материалы программы еженедельно обновляются и дополняются.

Сегодня многие организации сталкиваются с проблемой «цифрового хаоса»: данные накапливаются бессистемно, нет единых стандартов хранения, нет критериев оценки качества данных, а несоблюдение регуляторных требований приводит к финансовым потерям и репутационным рискам. Устаревший технологический стек, задержки в принятии решений из-за плохой навигации в данных, ограниченность источников данных, инциденты с «грязными» данными влияют на доверие клиентов и HR-бренд. Data Steward — именно тот, кто решает эти проблемы, выстраивает стратегию работы с данными и становится связующим звеном между бизнесом и технологиями — вне зависимости от их текущего уровня в компании. Эта роль важна для любых организаций: от тех, где аналитика ведется в табличных редакторах, до корпораций с современными фреймворками. Как правило в небольших организациях Data Steward представляет собой роль, тогда как в крупных — это отдельная должность.

Чтобы подготовить таких экспертов, Академия АйТи разработала программу из 12 модулей, которые сочетают теорию с практическими работами и охватывают разные темы — от трендов в Big Data до практического формирования Data Governance. Слушатели изучат такие важные вопросы, как Data Quality, машинное обучение для бизнеса, моделирование данных, влияние искусственного интеллекта на работу с данными. Они также освоят управленческие навыки, включая взаимодействие с бизнес-подразделениями, проведение тренингов и семинаров для пользователей. Научатся действовать в условиях инцидентов, связанными с данными, узнают про Каталоги и Глоссарии данных.

Обучение четвёртого потока начнется 27 января 2026 года и продлится две недели с бесплатной технической поддержкой слушателей в течение трех месяцев после окончания. Занятия будут проходит в гибком онлайн-формате по вечерам и по субботам, что позволяет учиться без отрыва от основной работы или учебы. Курс предназначен для ИТ-специалистов, аналитиков, администраторов баз данных, руководителей и HR-менеджеров компаний, внедряющих роль Data Steward. Одновременно он подойдет и для тех, кто только начинает свой путь в сфере IT, так как профессия Data Steward не требует таких глубоких навыков, как, например, Data Engineer или MLSecOps. Программа также будет полезна всем, кто интересуется управлением данными и желает повысить квалификацию. В конце обучения выпускники получат удостоверение государственного образца, подтверждающее повышение квалификации по профессии Data Steward. При этом стоимость обучения минимальна и доступна для всех.

Важно, что с 2026 года в этой программе будет сделан подробный обзор инструментов и технологий от TData, компании-лидера в сфере управления большими данными, надёжного поставщика высокотехнологичных решений в России.

Ссылка на учебную программу: https://academyit.ru/courses/ds-dg

Архитектор MLSecOps и AI Governance
Николай Павлов
🔥4
⭐️ Anthropic признала уязвимость Claude Cowork и переложила риски на пользователей

Компания Anthropic, представившая на этой неделе в качестве предварительной версии для исследований новый режим ИИ-помощника Claude под названием Claude Cowork, продолжает игнорировать уязвимость продукта к атакам промпт-инъекций (Prompt Injection), о которой хорошо осведомлена.

Для запуска атаки пользователю достаточно подключить Cowork к локальной папке, содержащей конфиденциальную информацию, загрузить документ со скрытой промпт-инъекцией, и, когда Cowork проанализирует эти файлы, сработает внедрённая подсказка, ведущая к созданию вредоносного контента, несанкционированному доступу к личным данным или нарушению установленных ограничений.

Данная уязвимость существует в самом Claude, о чём компания PromptArmor, специализирующаяся на обнаружении уязвимостей в ИИ, предупредила Anthropic ещё в октябре прошлого года. Тогда Anthropic в итоге признала, что атаку промпт-инъекцией можно использовать для того, чтобы обманом заставить её API эксфильтровать данные, поэтому пользователям следует быть осторожными с тем, какие источники они подключают к ИИ-боту.

Вместе с тем, когда исследователи спросили, собирается ли Anthropic предпринять какие-либо действия — например, внедрить проверки API, чтобы убедиться, что конфиденциальные файлы пользователя не передаются на другой аккаунт через API, — компания попросту не ответила.

Anthropic утверждает, что разработала сложные средства защиты от промпт-инъекций, однако безопасность агентов — то есть задача обеспечения безопасности реальных действий Claude — «по-прежнему является активной областью развития в отрасли».

«Эти риски не новы для Cowork, но, возможно, вы впервые используете более продвинутый инструмент, выходящий за рамки простого диалога», — сообщила компания, отмечая, что Cowork имеет гораздо более широкий круг пользователей, чем анонсированные ранее инструменты.

В связи с этим Anthropic призвала пользователей избегать подключения Cowork к конфиденциальным документам, ограничивать использование расширения Chrome доверенными сайтами и отслеживать «подозрительные действия, которые могут указывать на промпт-инъекцию».

Продолжение: https://vk.com/wall-210601538_1982
🔥5
⭐️ Тёмная сторона искусственного интеллекта: угрозы, реальные атаки и защита

Привет, мои дорогие коллеги и друзья!
С утра получил удовольствие от прочтения статьи от Нетологии по поводу возможных угроз от ИИ.

Что важно - автор пишет очень доступным языком, поэтому статья рекомендована к прочтению всем.
Что также важно - угрозы приведены статистически самые актуальные, особенно для физических лиц - это и дипфейки, и взломы ассистентов.

Радует и то, что автор разнесла промпт-инъекции и джейлбрейки в разные угрозы. Круто, что масса схем представлена и визуализаций. Статья явно долго и качественно прорабатывалась.

Отдельная благодарность про то, что не забыли мой любимый Data Poisoning, характерную угрозу для обучающих (и дообучающих!) данных всех типов ИИ-систем. Эта угроза входит почти во все современные фреймворки и от нее мы защищаем ИИ-системы обязательно всегда. В общем, радует, когда появляется такой контент, доступный для широкой массы.

Классные выводы даны в конце статьи про регуляторику и прогнозы на будущее. Но их я приводить не буду, с тихой надеждой, что вы, мои талантливые друзья и эффективные коллеги, найдете минут десять Вашего ценного времени ознакомиться с оригиналом, ссылка:

https://habr.com/ru/companies/netologyru/articles/987026

Архитектор MLSecOps и AI Governance
Николай Павлов
🔥5
🔥 Фреймворк Swordfish: SAIMM

Мои талантливые друзья, по рекомендации одного из слушателей нашей учебной программы "MLSecOps. Обеспечение безопасности и отказоустойчивости ИИ-систем" (за что ему спасибо!), внимательно изучил свежий фреймворк Swordfish: SAIMM от компании Swordfish версия 1.0, ноябрь 2025. Фреймворк замечательный, очень грамотный и удивительным образом сочетается с моим подходом по обеспечению MLSecOps. Радует, что в MLSecOps ребята из Swordfish закладывают обеспечение отказоустойчивости и также отмечают необходимость внедрения AI Governance (как минимум на уровне ведения реестра активов ИИ-систем и глоссария терминов ИИ). Одним из первых шагов обеспечения безопасности ИИ-систем рекомендуется создание и утверждение политик, регламентов и инструкций о чём я тоже говорил на всех потоках учебной программы.

Ссылка на страницу компании, где можно подать заявку на получение фреймворка (там можно ввести данные и получите доступ): https://swordfish-security.ru/saimm

Очень рекомендую изучить этот подход (работа по доменам), на мой взгляд это наиболее верный подход к построению и развитию MLSecOps.

Архитектор MLSecOps и AI Governance
Николай Павлов
🔥42
Forwarded from Похек AI (Сергей Зыбнев)
Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок
#ML #ai #mlsecops #ai_supply_chain #pickle

2+ миллиона моделей на HuggingFace. Сколько из них содержат бэкдоры в .pkl файлах? HF внедрил целых 4 open-source сканера для проверки: picklescan, modelscan, fickling, ModelAudit.
Ребята из Positive Technologies разобрали их изнутри и показали неприятную правду — все 4 инструмента можно обойти.

♾️Ключевые находки♾️

➡️ picklescan/modelscan — примитивная проверка по списку ~70 опасных глобальных имён. Используй numpy.save вместо os.system — и сканер слеп.
➡️ modelscan вообще пропускает PyTorch .pth архивы без сканирования внутреннего data.pkl (баг в логике)
➡️ dill как pickle_module при torch.save() позволяет сериализовать произвольные функции — picklescan показывает 0 угроз, payload выполняется при torch.load(weights_only=False)
➡️ ModelAudit — единственный, кто детектит dill и CVE-2025-32434, но и его можно обмануть через wrapper-функции
Практический вывод: сканеры — это первая линия обороны, но не панацея. Всегда проверяйте источник модели и используйте SafeTensors где возможно.

🔗Источник

👾 @poxek_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6
⭐️ Вакансия MLSecOps (мое мнение)

Привет, мои дорогие друзья и коллеги!
И с утра в пятницу мы разбираем очередную вакансию MLSecOps (направление LLMSecOps).

====================

MLSecOps specialist
Формат работы: на месте работодателя или гибрид
Требуемый опыт: 1-3 года

Чем предстоит заниматься:
+ обеспечением безопасности локально развернутых LLM в проектах компании;
+ анализом угроз и рисков, связанных с использованием LLM (prompt injection, data leakage и др.);
+ разработкой и внедрением мер защиты LLM-инфраструктуры;
+ участием в проектировании безопасной архитектуры LLM ( On-premise/ private cloud);
+ защитой обучающих и дообучающих датасетов (data poisoning, утечки, контроль источников данных);
+ аудитом LLM-пайплайнов (RAG, fine-tuning, inference);
+ интеграциями LLM-систем с существующими средствами ИБ и в SOC;
+ подготовкой рекомендаций и внутренних стандартов по безопасному использованию LLM;
+ взаимодействием с командами разработки, ML и ИТ;
+ участием в расследовании инцидентов вместе с Центром мониторинга ИБ.

Чего мы ждем от тебя:
+ высшее техническое образование;
+ понимание архитектуры LLM и ML-пайплайнов;
+ опыт работы с локальными LLM (On-premise/private environment)
+ понимание угроз безопасности ИИ и LLM;
+ опыт с LLM/ML стеком;
+ опыт работы с Docker, Kubernetes, REST, gRPC API, Linux;
+ понимание Secure SDLC, Threat Modeling, Secrets management, Data Protection, Контроля доступа;
+ знание Python или GO.

Мы предлагаем:
Официальное оформление со всеми социальными гарантиями
Возможность работы в офисе, удаленно или в гибридном формате
Комфортный офис в шаговой доступности от м. Войковская и МЦК «Балтийская» с компенсацией питания
ДМС с телемедициной и стоматологией с первого дня работы; льготное подключение родственников
Выгодный зарплатный проект с доступом к масштабной экосистеме сервисов
Внешнее обучение и участие в конференциях, митапы, хакатоны и обмен практиками
Полис путешественника и льготные программы страхования
Свободный дресс-код и никакой бюрократии

====================

В целом это хорошее предложение. Не до конца ясно, возможна ли удалёнка, так как сначала в описании указано, что или офис, или гибрид, а в финале все же не исключается удаленка.
Плюшки указаны приличные (особенно ценно, что работодатель поддерживает потенциал непрерывного обучения), ДМС не с прохождения испытательного, а сразу с первого дня, да и требования в целом - адекватные.
Описывается именно тот самый третий тип MLSecOps, о которых я часто говорю на вебинарах и программах - ребята, заточенные на LLM-Security и радует, что работодатель фиксируется именно на этом и только на этом. Первые два типа - это "облачные MLSecOps больших компаний", где ML строится и развертывается в облачках (поэтому часто нужны навыки облачной защиты и разработки) и MLSecOps-архитекторы компаний, реализующих аудиты и техподдержку для партнеров, где приходится иметь дело с самыми разными типами ИИ-систем и быстро погружаться в самые разные технологии.

В вакансии дважды отмечена роль MLSecOps как аудитора и создателя требований, и это тоже на мой взгляд эффективный подход к пониманию этой позиции.
Указано требование "знание Python или Go"... - без знания Python нереально смотреть код ML-моделей, проводить их аудит (ведь они написаны на Python). Тут, возможно, имеется ввиду хотя бы базовое/среднее знание Python, понимание кода моделей ML и приветствуется знание Go.
По технологиям "Docker, Kubernetes, REST, gRPC API, Linux", здесь для некоторых инструментов, возможно, где-то стоит указать как с Python и Go "или-или". Смотря на чем реально работают.

Для MLSecOps важно понимание моделей контроля доступа (RBAC, ABAC) и это тоже отражено в вакансии.

Эта вакансия интересна, позитивна, рекомендую подаваться кандидатам, которые владеют указанным стеком и готовы дообучаться. Радует, что все больше компаний выставляют адекватные требования к профессии MLSecOps и в целом правильно видят функционал этой позиции.

Ссылка: https://hh.ru/vacancy/129580130

Архитектор MLSecOps и AI Governance
Николай Павлов
🔥5🆒2
⭐️ 98% крупнейших мировых компаний заявили, что им требуется персонал в сфере AI Governance, рост сферы AI Governance в 2025 году составил до 200%.

Пример, мои дорогие и самые талантливые друзья!
Субботним утром на завтрак я предлагаю вам перевод статьи "AI Governance Lessons Businesses Can't Ignore In 2026" ("Уроки управления искусственным интеллектом, которые Компании не смогут игнорировать В 2026 Году").

Отчёт IAPP и Credo AI «Профессия в области управления ИИ за 2025 год», в котором были опрошены более 670 организаций из 45 стран, показал, что 77% компаний активно работают над стратегическим управлением ИИ (AI Governance). В том числе для компаний, уже использующих ИИ, этот показатель растёт до 85%.

Почти половина считает это одним из пяти стратегических приоритетов. В командах управления ИИ-системами сейчас в среднем почти по 10 человек, а контроль за ИИ-системами утроился с прошлого года.

Но достаточно ли этого? Около 98% считают, что им нужно больше сотрудников по стратегическому управлению ИИ (AI Governance). Почти четверть называют поиск квалифицированных специалистов как главное препятствие.

Более серьёзная проблема — как устроено такое управление? Половина специалистов по AI Governance работает в командах по этике, комплаенсу, конфиденциальности и юридическим вопросам. Поэтому отчетность разрознена — 23% подчиняются генеральному юрисконсульту, 17% — генеральному директору, 14% — CIO. Только 39% компаний создали комитеты по управлению ИИ.

Теперь, когда функция конфиденциальности предполагает AI Governance, 67% уверены в соответствии с требованиями Закона ЕС ИИ (AI Act) — но уверенность в соблюдении не всегда означает операционную готовность и реальное соответствие.

При этом регуляции появляются так же быстро, как и новые инструменты ИИ.

Государства-члены ЕС назначили органы по обеспечению соблюдения в августе 2025 года, и теперь действует режим штрафов — штрафы достигают 35 миллионов евро или 7% от мирового дохода за самые серьёзные нарушения (в нормативно-правовом регулировании ИИ-систем - прим. пер.). В США штаты создают собственный набор требований — в 2025 году было введено 260 мер, связанных с ИИ, в 47 штатах, из которых 22 уже приняты как закон.

Продолжение: https://vk.com/wall-210601538_1986

Архитектор MLSecOps и AI Governance
Николай Павлов
🔥42
⭐️ IT-тренды 2026

Привет, мои дорогие друзья и талантливые коллеги! По уже устаканившейся традиции мы начинаем неделю с трендов и разбираем прогнозы от Корус Консалтинг. Спойлер - там будет про агенты, синтетику и Big Data.

Даю Вам краткую выжимку наиболее решающих трендов на мой взгляд:

1. Доля ИТ в ВВП России вырастет с 1,7% до 1,9%.

При этом реальная доля айтишки, конечно, выше - например никто не учитывает рост функциональности и значимости IT-отделов и больших данных, например, в сельскохозяйственных компаниях.

2. Число кибератак в России в 2025 г. стало около 100 тысяч, это почти в 2 раза больше, чем в 2024 г.

При этом 20% атак — критические (могут вызвать простои и убытки). На мой взгляд реально это до 50% просто не признаются.

И прогнозируют, что к 2026 г. число успешных атак вырастет на 30–35%. Думаю, так примерно и будет.

При этом рынок кибербезопасности вырастет с 469 млрд руб. в 2026 году до 968 млрд руб. в 2030 году. Уверен, рынок MLSecOps будет расти еще быстрее.

3. Рынок наших любимых Big Data в России растет с 433 млрд руб. (в 2024 году) до 1,2 трлн руб. к 2030 году. Это безусловный тренд, во всем мире именно так.

При этом 2/3 компаний планируют увеличить инвестиции в Big Data в 2026 г. - думаю реально увеличат более 95%, например, наймут аналитиков или стюардов.

4. Искусственный интеллект (ИИ) - куда мы без него? )))
Сказано, что 78% компаний в мире уже используют ИИ - на самом деле это 100%.

В России >80% ИИ-инициатив не окупаются из-за плохих данных и завышенных ожиданий - совершенно верно, скажу честно, это около 90%, так как опять же не все признаются. Как я всегда говорю делают "нейронку ради нейронки".

При этом указаны самые популярные направления рекомендательные системы, чат-боты, генеративный контент, видеоаналитика. Как всегда сказали и про агенты (куда ж без них?))) Инвестиции в них растут на 65% ежегодно (думаю так и есть и это колоссальный рост).

Мультиагентные системы (MAS) считаются уже наступающим будущим автоматизации всех сложных процессов. Ждем их в 2027 году и надеемся, что нас они не заменят. Пока что.

5. К 2028 г. уже 80% складов будут использовать роботов по мнению Gartner. Больше всего в них нуждаются логистика, производство, автономная доставка, мониторинг оборудования.

6. Сильный тренд на проактивную кибербезопасность. То есть профилактику ИБ-инцидентов. Идет сдвиг от реактивной модели к упреждающей, где приоритет на прогнозирование угроз и закрытие уязвимостей до атак.

7. К 2026 г. уже 75% компаний будут использовать генеративный ИИ для создания синтетических данных. Согласен с этим очищенных данных все меньше, а мир все больше ускоряется. Данные нужны для ИИ, но важно не переборщить с синтетикой.

8. Новые тип архитектур - предметно-специфические языковые модели (DSLM) - дают на 5–30% более точные ответы по сравнению с универсальными LLM. Однако требуют узкоспециализированных данных и экспертов. Вероятно рынок будет смотреть в их сторону.

9. Растет рынок No-code и Low-code (LCNC) с 37,39 млрд $ в 2025 до 264,40 млрд $ в 2030. Они ускоряют разработку на 80%, а с ИИ-помощниками — ещё на +40%. Это очень мощно.

При этом в будущем уже 80% разработки будет выполняться «гражданскими» разработчиками без высшего ИТ-образования. Молодые таланты и гении.

10. 61% компаний уже внедрили платформы интеграции данных, 26% — в процессе по данным НИУ ВШЭ. Data Governance в топе.

В конце даются советы бизнесу:
+ Сфокусироваться на качественных данных и готовности процессов перед внедрением ИИ.
+ Инвестировать в кибербезопасность, инфраструктуру и безопасную архитектуру (Secure by Design).
+ Переходить к гибкой, композитной ИТ-архитектуре с масштабируемыми интеграциями.

Ссылка на оригинал статьи: https://korusconsulting.ru/blog/tsifrovaya-transformatsiya/it-trendy-2026-goda-chto-zhdet-biznes-i-rynok/?ysclid=mkup457mzf125621000

Global MLSecOps & AI Governance Architect
Николай Павлов
🔥6
⭐️ Технологические тренды 2026: мультиагентный и физический ИИ, превентивная кибербезопасность и DSLM

Искусственный интеллект безоговорочно стал технологией десятилетия. Едва ли не в 90% технологических обзоров он занимает лидирующие позиции. Однако за рамками ИИ есть технологии, которые меняют бизнес также быстро. Мы отобрали пять ключевых трендов 2026 года, которые сегодня в равной степени волнуют и российский, и глобальный рынок. Это направления, где уже есть конкретные кейсы внедрения, измеримая эффективность и инвестиции.

1. Мультиагентные системы

В 2025 году мы наблюдали бурное развитие и внедрение ИИ-агентов. Мультиагентные системы — продолжение этого тренда. Они организуют сеть из нескольких агентов, которые могут взаимодействовать друг с другом. Мультиагентные системы необходимы для решения задач, которые требуют координации множества независимых сущностей с минимальным человеческим контролем.

В 2025 году IBM обратила внимание, что основной проблемой стало не создание ИИ-агентов, а их развертывание. В результате они разработали открытую инфраструктуру для быстрого развертывания Agent Stack. Использование в основе протокола Agent2Agent (A2A) позволяет агентам из разных фреймворков беспрепятственно взаимодействовать друг с другом. Подобные технологии выводят агентный ИИ на новый уровень развития.

Схожие тенденции наблюдаются и в России. MWS AI вложила 4 млрд руб. в AI Agents Platform. Это платформа не только для создания приложений на базе ИИ, но и ИИ-агентов и мультиагентных систем. Систему уже тестировали клиенты компании из финансовой сферы и здравоохранения.

Yandex Cloud внедрила мультиагентную систему в свой SOC. Подход компании строится на разделении обязанностей ИИ-помощников. Первый сканирует входящие уведомления, второй перепроверяет данные — его цель найти ошибки. В компании уточнили, что ИИ-агенты работают автономно, но анализируют и принимают решения сообща. Такая мультиагентная система помогла автоматизировать 39% ручных задач, а время на обработку ложных оповещений сократилось на 86%.

Развитие ИИ, появление платформ для самостоятельного создания агентов, а также разработка стандартов и протоколов для совместимости и безопасности делают эту технологию более доступной. В 2026 году мультиагентные системы будут проникать во все большее число отраслей.

2. Физический ИИ

Эксперты ожидают, что в 2026 году произойдет более широкое распространение физического ИИ — интеллектуальных систем, которые взаимодействуют с окружающей средой через роботов, дронов, автономные транспортные средства и другие объекты.

Компании уже давно работают над воплощенным ИИ. В СМИ регулярно встречаются новости, что роботы научились собирать электронику или общаться с покупателями. Но все это носило единичный характер на уровне экспериментов. Например, китайский автоконцерн Zeekr начал экспериментировать с гуманоидными роботами на производстве в 2024 году. Робот Walker S1 компании UBTECH выполнял базовые сценарии. Но уже в 2025-м Zeekr запускает на фабрику «десятки» таких роботов, которые могут работать в команде. Управляет ими «сверхмозг», в основе которой лежит DeepSeek-R1.

Яндекс Роботикс разрабатывает специальное ПО для роботов — Physical AI. С его помощью устройство будет воспринимать мир через камеры и сенсоры и понимать физический контекст, в котором он находится. Цель команды — создать интеллект, который можно будет интегрировать с минимальными доработками в робота любого производителя. Сейчас компания обучает модель VLA (Vision‑Language‑Action). С ее помощью голосовые и текстовые команды, изображение с камеры воплощаются в действия робота.

Спрос на промышленную автоматизацию и развитие сопутствующих технологий, особенно компьютерного зрения, стимулирует рынок физического ИИ. В 2025 году он оценивался в 5,23 млрд долл. Эксперты прогнозируют, что к 2033 году он вырастет почти в 10 раз — до 49,73 млрд долл.
🔥4
3. Предметно-специфические языковые модели (DSLM)

Универсальные языковые модели (LLM) обучены на огромных массивах данных из разных областей. Они отлично справляются с общими задачами, но не могут продемонстрировать высокую точность в запросах в более узких областях, например, праве или медицине.

Но эту точность могут обеспечить предметно-специфические языковые модели (Domain-Specific Language Models, DSLM). Они изначально обучаются на узкоспециализированных датасетах, поэтому лучше понимают контекст и терминологию конкретной отрасли. Компаниям больше не нужно тратить время и ресурсы на дообучение (fine-tuning) универсальной модели для анализа финансовых отчетов или юридических документов.

По прогнозам Gartner, к 2028 году более половины моделей генеративного ИИ, используемых предприятиями, будут предметно-специфичными. Эксперты констатируют: руководители хотят, что бы ИИ приносил больше ценности для компании, но универсальные LLM не оправдывают их ожиданий.

Высшая школа бизнеса НИУ ВШЭ включила DSLM в топ-10 российских трендов на 2026 год, вероятно, из-за их потенциала. Пока их внедрили лишь 8% компаний, а интересуются технологией — 48%.

4. Упреждающая кибербезопасность

Аналитики Gartner полагают, что к 2030 году на превентивные решения будет приходиться 50% всех расходов на кибербезопасность. Индустрия меняет подход: на замену автономным системам обнаружения и реагирования придут технологии на базе ИИ и машинного обучения для прогнозирования и нейтрализации угроз до их реализации.

Gartner предлагает концепцию Автономной кибериммунной системы (ACIS) для сложных и стремительно развивающихся глобальных цифровых систем (GASG). Это необходимо для защиты «все более взаимосвязанного мира». По прогнозам, на рынке будут востребованы узкоспециальные средства защиты. Они будут основаны на агентном ИИ и DSLM. Их ключевое преимущество — фокус на более специфических проблемах безопасности, которые характерны либо для определенной отрасли, либо для типов приложений и т.д.

5. Концепции low-code и no-code

Концепции low-code и no-code — один из самых популярных трендов среди российских ИТ-специалистов, следует из опроса Высшей школы бизнеса НИУ ВШЭ. Они интересны 35% респондентов (на первом месте ИИ-агенты — 36%).

Low-code и no-code демократизируют разработку ПО: люди без технического образования способны создавать собственные программы и автоматизировать процессы. Эти технологии ускоряют внедрение цифровых решений в компаниях и помогают бороться с дефицитом квалифицированных кадров в ИТ, сокращают затраты на разработку. Интеграция ИИ-инструментов открывает новые возможности для небольших компаний с ограниченным бюджетом.

По данным IBM, глобальный рынок low-code-платформ в 2024 году оценивался в 28,8 млрд долл. В ближайшие 6-7 лет совокупные темпы годового роста рынка составят 32%. Данные Ассоциации разработчиков программных продуктов «Отечественный софт» подтверждают популярность тренда и в России. 84% заказчиков используют low-code и no-code-платформы. При этом доля российских решений выросла до 55% с 35% в 2023 году.

Внедрение low-code-платформ приносит реальный экономически измеримый результат. Российская платформа для управления бизнес-процессами Citeck сэкономила компании из нефтегазового сектора 11,5 млн руб. С ее помощью заказчик добился результаты в четыре раза быстрее, чем если бы действовал по классическому пути.

Инна Гресева,
редактор блога Softline

Ссылка на оригинал: https://softline.ru/about/blog/tekhnologicheskie-trendy-2026-multiagentnyy-i-fizicheskiy-ii-preventivnaya-kiberbezopasnost-i-dslm
🔥6
Forwarded from Codeby
❗️ Уязвимость в Python библиотеке для ИИ

🪧 В библиотеках Python с открытым исходным кодом для искусственного интеллекта, выпущенных Apple (FlexTok), NVIDIA (NeMo) и Salesforce (Uni2TS), обнаружены уязвимости, позволяющие удаленное выполнение кода (RCE) при загрузке файла модели со вредоносными данными.

🧾 «Уязвимости возникают из-за того, что библиотеки используют метаданные для настройки сложных моделей и конвейеров, где используемая сторонняя библиотека создает экземпляры классов, используя эти метаданные. Уязвимые версии этих библиотек просто выполняют предоставленные данные как код. Это позволяет злоумышленнику внедрить произвольный код в метаданные модели, который будет автоматически выполняться при загрузке этих модифицированных моделей уязвимыми библиотеками», — заявило подразделение 42 Palo Alto Networks

💻 Речь идет о сторонней библиотеке Hydra от Meta, а именно о функции «hydra.utils.instantiate()», которая позволяет запускать код с использованием функций Python, таких как os.system(), builtins.eval() и builtins.exec().

🔎 Уязвимости, отслеживаемые как CVE-2025-23304 (NVIDIA) и CVE-2026-22584 (Salesforce), были устранены соответствующими компаниями

А вы используете эти библиотеки в работе?

#python #ai #cve #hydra

➡️ Все наши каналы 💬Все наши чаты ⚡️ Для связи с менеджером
Please open Telegram to view this post
VIEW IN TELEGRAM
😱31
⭐️ Атаки на ИИ-системы составят до 10% от всех целевых атак на банки в 2026 году

Под угрозой как кредитные организации, которые сами разрабатывают подобные решения, так и те, кто пользуется услугами сторонних поставщиков. Последствия от атак на ИИ-системы — утечки чувствительных данных, репутационный и финансовый ущерб для компаний, нарушение операционной деятельности.

По оценке «Кросс технолоджис», в 2026 году в 5–7% атак на крупные кредитные организации главным или дополнительным вектором будут системы на базе искусственного интеллекта. В компании «Спикател» оценивают, что 5–10% атак «на банковские ИТ-инфраструктуры будут связаны с уязвимостями ИИ». По словам вице-президента по информационной безопасности банка «Дом.РФ» Дмитрия Никишова, до 10% целевых атак на банки в этом году в той или иной форме будут затрагивать ИИ-системы. «ИИ перестает быть экспериментом и все чаще становится частью цепочки атаки»,— констатирует руководитель центра защиты приложений Т-Банка Роман Лебедь.

Более 20% российских банков активно используют системы на основе искусственного интеллекта во внутренних процессах и в работе с клиентами, еще столько же в 2025 году запустили пилотные проекты, связанные с ИИ, оценивают в «Кросс технолоджис». «Каждый третий российский банк уже активно использует ИИ в рабочих процессах, а еще примерно столько же находятся на стадии пилотов»,— говорит господин Никишов.

Чаще всего ИИ используется во внешних процессах банка для оптимизации работы с клиентами. Со стороны клиента — это голосовые помощники, упрощающие получение клиентами информации о своих счетах и рекомендаций по управлению финансами, а также доступные в любое время суток чат-боты. Со стороны банка — инструменты оценки кредитоспособности заемщиков и персонализированного клиентского обслуживания, поясняет старший аналитик группы международной аналитики Positive Technologies Дарья Лаврова. Во внутренних банковских процессах, по словам Дарьи Лавровой, ИИ используется для принятия бизнес-решений, оптимизации работы сотрудников и обеспечения кибербезопасности.

Поэтому основными тактиками атак на ИИ-системы станут prompt injection и data poisoning, ожидают в «Кросс технолоджис». В первом случае злоумышленник манипулирует запросами, чтобы заставить ИИ-модель игнорировать внутренние ограничения и, например, предоставить конфиденциальную информацию. Второй способ заключается в подмене или «загрязнении» данных, на которых обучается модель. Например, в цифровых компаниях «много поверхностей, где пользователи могут задавать свои вопросы, и там злоумышленники могут запросить конфиденциальные данные или направить запрос на какое-то действие», поясняют в Сбербанке.

Продолжение: https://vk.com/wall-210601538_1989
😱4🔥2
Forwarded from TData
📢 RT.DataLake получил сертификат ФСТЭК 4 уровня доверия

🟣RT.DataLake – это корпоративное озеро данных, предназначенное для работы с информацией любых объемов. Решение отвечает высоким показателям надежности, доступности и оптимальной стоимости хранения. Поддерживает актуальные и стабильные версии компонентов, что снижает риски несовместимости при эксплуатации. Продукт позволяет гибко настраивать состав сборки без остановки системы.

📌Управление решением осуществляется через интерфейc RT.ClusterManager, который обеспечивает автоматическую установку кластера, мониторинг состояния компонентов и масштабирование под задачи бизнеса, а также включает функции безопасности: ролевую модель, керберизацию, SSL и аудит.

🟣RT.DataLake разрабатывается на базе открытых проектов Apache и имеет короткий цикл обновления за счет автоматизации сборки и тестирования. Пользователям доступны поддержка и документация на русском языке. Продукт можно развернуть как в собственной инфраструктуре, так и в облаке дата-центров «Ростелекома» и его партнеров.

🟣RT.DataLake включен в реестр отечественного ПО (запись №10729 от 22.06.2021) и поддерживает одновременную работу нескольких версий Spark в одном кластере.

❗️4 уровень доверия ФСТЭК относится к числу самых высоких. Он подтверждает возможность применения RT.DataLake в значимых объектах критической информационной инфраструктуры, государственных информационных системах первого класса защищенности и других системах с повышенными требованиями к безопасности.

«Сертификация RT.DataLake – важный шаг для компании и наших заказчиков. Мы подтверждаем, что наше решение соответствует строгим требованиям ФСТЭК и готово к использованию в критически важных системах. Для нас это результат системной работы над надежностью, безопасностью и качеством продукта».
Станислав Лазуков, генеральный директор компании TData


tdata.tech / RUTUBE
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥41
⭐️ ИИ-агенты в SOC и DevOps: новые риски, атаки и защита AgentSecOps

Интересная статья от Людмилы Гайдамаченко о безопасности ИИ-агентов. Особенно порадовали три момента:

1. Появление термина AgentSecOps (хотя, наверное, это просто я сам его впервые обнаружил, совсем утонул в непрерывном обучении, аудитах MLSecOps и публичных выступлениях). Новое поднаправление в MLSecOps - круто!

2. Цитата "К концу 2026 года рынок AI Security в России, по оценкам, вырастет в 4–5 раз". Учитывая, что по отдельным источникам рынок разработки ИИ-агентов занимает уже первое место среди всех категорий разработки ML, есть вероятность, что именно безопасность (и отказоустойчивость!!!) ИИ-агентов станут базой MLSecOps к концу 2026 года. Что ж, будем плавно усиливать акценты в моей учебной программе по MLSecOps с учетом трендов.

3. Статья опирается на угрозы из новейшего OWASP для агентских приложений от января 2026, значит, автор хорошо подготовила и проработала материал. За что отдельное спасибо. Работа написана доступным для понимания языком, что актуально для начинающих и смежных специалистов из направлений MLSecOps и AI Governance.

В общем, мои дорогие друзья и самые талантливые коллеги, одобряю к внимательному изучению. Откладываем все дела, включаем ночную лампадку, дружно заходим и погружаемся в недра AgentSecOps по ссылке: https://www.anti-malware.ru/analytics/Technology_Analysis/AI-agents-Security

Global MLSecOps & AI Governance Architect
Николай Павлов
🔥4