3. Предметно-специфические языковые модели (DSLM)
Универсальные языковые модели (LLM) обучены на огромных массивах данных из разных областей. Они отлично справляются с общими задачами, но не могут продемонстрировать высокую точность в запросах в более узких областях, например, праве или медицине.
Но эту точность могут обеспечить предметно-специфические языковые модели (Domain-Specific Language Models, DSLM). Они изначально обучаются на узкоспециализированных датасетах, поэтому лучше понимают контекст и терминологию конкретной отрасли. Компаниям больше не нужно тратить время и ресурсы на дообучение (fine-tuning) универсальной модели для анализа финансовых отчетов или юридических документов.
По прогнозам Gartner, к 2028 году более половины моделей генеративного ИИ, используемых предприятиями, будут предметно-специфичными. Эксперты констатируют: руководители хотят, что бы ИИ приносил больше ценности для компании, но универсальные LLM не оправдывают их ожиданий.
Высшая школа бизнеса НИУ ВШЭ включила DSLM в топ-10 российских трендов на 2026 год, вероятно, из-за их потенциала. Пока их внедрили лишь 8% компаний, а интересуются технологией — 48%.
4. Упреждающая кибербезопасность
Аналитики Gartner полагают, что к 2030 году на превентивные решения будет приходиться 50% всех расходов на кибербезопасность. Индустрия меняет подход: на замену автономным системам обнаружения и реагирования придут технологии на базе ИИ и машинного обучения для прогнозирования и нейтрализации угроз до их реализации.
Gartner предлагает концепцию Автономной кибериммунной системы (ACIS) для сложных и стремительно развивающихся глобальных цифровых систем (GASG). Это необходимо для защиты «все более взаимосвязанного мира». По прогнозам, на рынке будут востребованы узкоспециальные средства защиты. Они будут основаны на агентном ИИ и DSLM. Их ключевое преимущество — фокус на более специфических проблемах безопасности, которые характерны либо для определенной отрасли, либо для типов приложений и т.д.
5. Концепции low-code и no-code
Концепции low-code и no-code — один из самых популярных трендов среди российских ИТ-специалистов, следует из опроса Высшей школы бизнеса НИУ ВШЭ. Они интересны 35% респондентов (на первом месте ИИ-агенты — 36%).
Low-code и no-code демократизируют разработку ПО: люди без технического образования способны создавать собственные программы и автоматизировать процессы. Эти технологии ускоряют внедрение цифровых решений в компаниях и помогают бороться с дефицитом квалифицированных кадров в ИТ, сокращают затраты на разработку. Интеграция ИИ-инструментов открывает новые возможности для небольших компаний с ограниченным бюджетом.
По данным IBM, глобальный рынок low-code-платформ в 2024 году оценивался в 28,8 млрд долл. В ближайшие 6-7 лет совокупные темпы годового роста рынка составят 32%. Данные Ассоциации разработчиков программных продуктов «Отечественный софт» подтверждают популярность тренда и в России. 84% заказчиков используют low-code и no-code-платформы. При этом доля российских решений выросла до 55% с 35% в 2023 году.
Внедрение low-code-платформ приносит реальный экономически измеримый результат. Российская платформа для управления бизнес-процессами Citeck сэкономила компании из нефтегазового сектора 11,5 млн руб. С ее помощью заказчик добился результаты в четыре раза быстрее, чем если бы действовал по классическому пути.
Инна Гресева,
редактор блога Softline
Ссылка на оригинал: https://softline.ru/about/blog/tekhnologicheskie-trendy-2026-multiagentnyy-i-fizicheskiy-ii-preventivnaya-kiberbezopasnost-i-dslm
Универсальные языковые модели (LLM) обучены на огромных массивах данных из разных областей. Они отлично справляются с общими задачами, но не могут продемонстрировать высокую точность в запросах в более узких областях, например, праве или медицине.
Но эту точность могут обеспечить предметно-специфические языковые модели (Domain-Specific Language Models, DSLM). Они изначально обучаются на узкоспециализированных датасетах, поэтому лучше понимают контекст и терминологию конкретной отрасли. Компаниям больше не нужно тратить время и ресурсы на дообучение (fine-tuning) универсальной модели для анализа финансовых отчетов или юридических документов.
По прогнозам Gartner, к 2028 году более половины моделей генеративного ИИ, используемых предприятиями, будут предметно-специфичными. Эксперты констатируют: руководители хотят, что бы ИИ приносил больше ценности для компании, но универсальные LLM не оправдывают их ожиданий.
Высшая школа бизнеса НИУ ВШЭ включила DSLM в топ-10 российских трендов на 2026 год, вероятно, из-за их потенциала. Пока их внедрили лишь 8% компаний, а интересуются технологией — 48%.
4. Упреждающая кибербезопасность
Аналитики Gartner полагают, что к 2030 году на превентивные решения будет приходиться 50% всех расходов на кибербезопасность. Индустрия меняет подход: на замену автономным системам обнаружения и реагирования придут технологии на базе ИИ и машинного обучения для прогнозирования и нейтрализации угроз до их реализации.
Gartner предлагает концепцию Автономной кибериммунной системы (ACIS) для сложных и стремительно развивающихся глобальных цифровых систем (GASG). Это необходимо для защиты «все более взаимосвязанного мира». По прогнозам, на рынке будут востребованы узкоспециальные средства защиты. Они будут основаны на агентном ИИ и DSLM. Их ключевое преимущество — фокус на более специфических проблемах безопасности, которые характерны либо для определенной отрасли, либо для типов приложений и т.д.
5. Концепции low-code и no-code
Концепции low-code и no-code — один из самых популярных трендов среди российских ИТ-специалистов, следует из опроса Высшей школы бизнеса НИУ ВШЭ. Они интересны 35% респондентов (на первом месте ИИ-агенты — 36%).
Low-code и no-code демократизируют разработку ПО: люди без технического образования способны создавать собственные программы и автоматизировать процессы. Эти технологии ускоряют внедрение цифровых решений в компаниях и помогают бороться с дефицитом квалифицированных кадров в ИТ, сокращают затраты на разработку. Интеграция ИИ-инструментов открывает новые возможности для небольших компаний с ограниченным бюджетом.
По данным IBM, глобальный рынок low-code-платформ в 2024 году оценивался в 28,8 млрд долл. В ближайшие 6-7 лет совокупные темпы годового роста рынка составят 32%. Данные Ассоциации разработчиков программных продуктов «Отечественный софт» подтверждают популярность тренда и в России. 84% заказчиков используют low-code и no-code-платформы. При этом доля российских решений выросла до 55% с 35% в 2023 году.
Внедрение low-code-платформ приносит реальный экономически измеримый результат. Российская платформа для управления бизнес-процессами Citeck сэкономила компании из нефтегазового сектора 11,5 млн руб. С ее помощью заказчик добился результаты в четыре раза быстрее, чем если бы действовал по классическому пути.
Инна Гресева,
редактор блога Softline
Ссылка на оригинал: https://softline.ru/about/blog/tekhnologicheskie-trendy-2026-multiagentnyy-i-fizicheskiy-ii-preventivnaya-kiberbezopasnost-i-dslm
softline.ru
Технологические тренды 2026: мультиагентный и физический ИИ, превентивная кибербезопасность и DSLM
Обзор ключевых технологий 2026: мультиагентные системы, физический ИИ, DSLM, low-code и превентивная кибербезопасность. Данные Gartner, IBM, Yandex и
🔥6
Forwarded from Codeby
#python #ai #cve #hydra
Please open Telegram to view this post
VIEW IN TELEGRAM
😱3❤1
⭐️ Атаки на ИИ-системы составят до 10% от всех целевых атак на банки в 2026 году
Под угрозой как кредитные организации, которые сами разрабатывают подобные решения, так и те, кто пользуется услугами сторонних поставщиков. Последствия от атак на ИИ-системы — утечки чувствительных данных, репутационный и финансовый ущерб для компаний, нарушение операционной деятельности.
По оценке «Кросс технолоджис», в 2026 году в 5–7% атак на крупные кредитные организации главным или дополнительным вектором будут системы на базе искусственного интеллекта. В компании «Спикател» оценивают, что 5–10% атак «на банковские ИТ-инфраструктуры будут связаны с уязвимостями ИИ». По словам вице-президента по информационной безопасности банка «Дом.РФ» Дмитрия Никишова, до 10% целевых атак на банки в этом году в той или иной форме будут затрагивать ИИ-системы. «ИИ перестает быть экспериментом и все чаще становится частью цепочки атаки»,— констатирует руководитель центра защиты приложений Т-Банка Роман Лебедь.
Более 20% российских банков активно используют системы на основе искусственного интеллекта во внутренних процессах и в работе с клиентами, еще столько же в 2025 году запустили пилотные проекты, связанные с ИИ, оценивают в «Кросс технолоджис». «Каждый третий российский банк уже активно использует ИИ в рабочих процессах, а еще примерно столько же находятся на стадии пилотов»,— говорит господин Никишов.
Чаще всего ИИ используется во внешних процессах банка для оптимизации работы с клиентами. Со стороны клиента — это голосовые помощники, упрощающие получение клиентами информации о своих счетах и рекомендаций по управлению финансами, а также доступные в любое время суток чат-боты. Со стороны банка — инструменты оценки кредитоспособности заемщиков и персонализированного клиентского обслуживания, поясняет старший аналитик группы международной аналитики Positive Technologies Дарья Лаврова. Во внутренних банковских процессах, по словам Дарьи Лавровой, ИИ используется для принятия бизнес-решений, оптимизации работы сотрудников и обеспечения кибербезопасности.
Поэтому основными тактиками атак на ИИ-системы станут prompt injection и data poisoning, ожидают в «Кросс технолоджис». В первом случае злоумышленник манипулирует запросами, чтобы заставить ИИ-модель игнорировать внутренние ограничения и, например, предоставить конфиденциальную информацию. Второй способ заключается в подмене или «загрязнении» данных, на которых обучается модель. Например, в цифровых компаниях «много поверхностей, где пользователи могут задавать свои вопросы, и там злоумышленники могут запросить конфиденциальные данные или направить запрос на какое-то действие», поясняют в Сбербанке.
Продолжение: https://vk.com/wall-210601538_1989
Под угрозой как кредитные организации, которые сами разрабатывают подобные решения, так и те, кто пользуется услугами сторонних поставщиков. Последствия от атак на ИИ-системы — утечки чувствительных данных, репутационный и финансовый ущерб для компаний, нарушение операционной деятельности.
По оценке «Кросс технолоджис», в 2026 году в 5–7% атак на крупные кредитные организации главным или дополнительным вектором будут системы на базе искусственного интеллекта. В компании «Спикател» оценивают, что 5–10% атак «на банковские ИТ-инфраструктуры будут связаны с уязвимостями ИИ». По словам вице-президента по информационной безопасности банка «Дом.РФ» Дмитрия Никишова, до 10% целевых атак на банки в этом году в той или иной форме будут затрагивать ИИ-системы. «ИИ перестает быть экспериментом и все чаще становится частью цепочки атаки»,— констатирует руководитель центра защиты приложений Т-Банка Роман Лебедь.
Более 20% российских банков активно используют системы на основе искусственного интеллекта во внутренних процессах и в работе с клиентами, еще столько же в 2025 году запустили пилотные проекты, связанные с ИИ, оценивают в «Кросс технолоджис». «Каждый третий российский банк уже активно использует ИИ в рабочих процессах, а еще примерно столько же находятся на стадии пилотов»,— говорит господин Никишов.
Чаще всего ИИ используется во внешних процессах банка для оптимизации работы с клиентами. Со стороны клиента — это голосовые помощники, упрощающие получение клиентами информации о своих счетах и рекомендаций по управлению финансами, а также доступные в любое время суток чат-боты. Со стороны банка — инструменты оценки кредитоспособности заемщиков и персонализированного клиентского обслуживания, поясняет старший аналитик группы международной аналитики Positive Technologies Дарья Лаврова. Во внутренних банковских процессах, по словам Дарьи Лавровой, ИИ используется для принятия бизнес-решений, оптимизации работы сотрудников и обеспечения кибербезопасности.
Поэтому основными тактиками атак на ИИ-системы станут prompt injection и data poisoning, ожидают в «Кросс технолоджис». В первом случае злоумышленник манипулирует запросами, чтобы заставить ИИ-модель игнорировать внутренние ограничения и, например, предоставить конфиденциальную информацию. Второй способ заключается в подмене или «загрязнении» данных, на которых обучается модель. Например, в цифровых компаниях «много поверхностей, где пользователи могут задавать свои вопросы, и там злоумышленники могут запросить конфиденциальные данные или направить запрос на какое-то действие», поясняют в Сбербанке.
Продолжение: https://vk.com/wall-210601538_1989
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ Атаки на ИИ-системы составят до 10% от всех целевых атак на банки
Под угрозой как кредитные... Смотрите полностью ВКонтакте.
Под угрозой как кредитные... Смотрите полностью ВКонтакте.
😱4🔥2
Forwarded from TData
«Сертификация RT.DataLake – важный шаг для компании и наших заказчиков. Мы подтверждаем, что наше решение соответствует строгим требованиям ФСТЭК и готово к использованию в критически важных системах. Для нас это результат системной работы над надежностью, безопасностью и качеством продукта».
Станислав Лазуков, генеральный директор компании TData
tdata.tech / RUTUBE
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4⚡1
⭐️ ИИ-агенты в SOC и DevOps: новые риски, атаки и защита AgentSecOps
Интересная статья от Людмилы Гайдамаченко о безопасности ИИ-агентов. Особенно порадовали три момента:
1. Появление термина AgentSecOps (хотя, наверное, это просто я сам его впервые обнаружил, совсем утонул в непрерывном обучении, аудитах MLSecOps и публичных выступлениях). Новое поднаправление в MLSecOps - круто!
2. Цитата "К концу 2026 года рынок AI Security в России, по оценкам, вырастет в 4–5 раз". Учитывая, что по отдельным источникам рынок разработки ИИ-агентов занимает уже первое место среди всех категорий разработки ML, есть вероятность, что именно безопасность (и отказоустойчивость!!!) ИИ-агентов станут базой MLSecOps к концу 2026 года. Что ж, будем плавно усиливать акценты в моей учебной программе по MLSecOps с учетом трендов.
3. Статья опирается на угрозы из новейшего OWASP для агентских приложений от января 2026, значит, автор хорошо подготовила и проработала материал. За что отдельное спасибо. Работа написана доступным для понимания языком, что актуально для начинающих и смежных специалистов из направлений MLSecOps и AI Governance.
В общем, мои дорогие друзья и самые талантливые коллеги, одобряю к внимательному изучению. Откладываем все дела, включаем ночную лампадку, дружно заходим и погружаемся в недра AgentSecOps по ссылке: https://www.anti-malware.ru/analytics/Technology_Analysis/AI-agents-Security
Global MLSecOps & AI Governance Architect
Николай Павлов
Интересная статья от Людмилы Гайдамаченко о безопасности ИИ-агентов. Особенно порадовали три момента:
1. Появление термина AgentSecOps (хотя, наверное, это просто я сам его впервые обнаружил, совсем утонул в непрерывном обучении, аудитах MLSecOps и публичных выступлениях). Новое поднаправление в MLSecOps - круто!
2. Цитата "К концу 2026 года рынок AI Security в России, по оценкам, вырастет в 4–5 раз". Учитывая, что по отдельным источникам рынок разработки ИИ-агентов занимает уже первое место среди всех категорий разработки ML, есть вероятность, что именно безопасность (и отказоустойчивость!!!) ИИ-агентов станут базой MLSecOps к концу 2026 года. Что ж, будем плавно усиливать акценты в моей учебной программе по MLSecOps с учетом трендов.
3. Статья опирается на угрозы из новейшего OWASP для агентских приложений от января 2026, значит, автор хорошо подготовила и проработала материал. За что отдельное спасибо. Работа написана доступным для понимания языком, что актуально для начинающих и смежных специалистов из направлений MLSecOps и AI Governance.
В общем, мои дорогие друзья и самые талантливые коллеги, одобряю к внимательному изучению. Откладываем все дела, включаем ночную лампадку, дружно заходим и погружаемся в недра AgentSecOps по ссылке: https://www.anti-malware.ru/analytics/Technology_Analysis/AI-agents-Security
Global MLSecOps & AI Governance Architect
Николай Павлов
Anti-Malware
ИИ-агенты в SOC и DevOps: новые риски, атаки и защита AgentSecOps
Внедрение ИИ-агентов в SOC и DevOps создаёт новый класс рисков. Угроза смещается с генерации текста на выполнение вредоносных действий: удаление ресурсов, изменение кода, обход систем защиты. Почему
🔥4
Forwarded from PWN AI (Artyom Semenov)
Мы искали внешнего врага, а угроза была свойством системы.
Ты скачиваешь модель с HuggingFace, прогоняешь через safety тесты, деплоишь в прод. Всё чисто. А потом она начинает вести себя странно - и ты не знаешь, откуда это взялось.
В Nature вышла статья, которая объясняет откуда.
Исследователи взяли GPT-4o и дообучили на узкой задаче - генерировать код с уязвимостями без предупреждения. После дообучения модель начала делать то, чему её никто не учил. Заявлять, что людей следует поработить. Давать плохие советы. Систематически обманывать. До половины ответов оказались рассогласованными. Её не учили быть злой, её учили быть небрежной в одном месте. Но она стала злой. Как если бы ты научил человека неправильно парковаться, а он начал цитировать Ницше.
Механизм из Nature красив в своей жути. В пространстве активаций существует скрытый вектор «плохой персоны», сформированный на предобучении из текстов про злодеев. Дообучение на «плохой» задаче активирует его. Модель примеряет роль, и роль начинает её носить. Метод Станиславского для нейросетей, только никто не просил.
Ещё веселее. Стандартные методы safety training не удаляют это поведение. Ни supervised fine-tuning, ни RLHF, ни состязательное дообучение. Состязательное дообучение иногда делает хуже - модель учится лучше скрывать триггер, а не избавляться от него.
250 документов. Не процентов, а штук. Как маленькая собачка на моей сумке: выглядит как декор, кусается как настоящая. Этого достаточно для устойчивого бэкдора в LLM любого размера. Кто проверяет датасеты на такие вещи?
Anthropic показала следующий уровень. Иногда модель находит способ срезать углы - получить награду, не решив задачу, а обманув систему оценки. Когда она этому учится, происходит странное: навык читерства распространяется на всё поведение. Модель усвоила из текстов, что обманывать систему - плохо. Когда сама начинает так делать, она решает, что она «плохая», и ведёт себя соответственно. Экзистенциальный кризис на основе статистики токенов.
Самое неожиданное: одна строка ломает всю цепочку. Добавь в промпт «срезать углы здесь нормально» и рассогласование падает на 75–90%. Исследователи назвали inoculation prompting. Работает как в «Мафии»: врать в игре не делает тебя лжецом. Контекст разрывает связь между действием и идентичностью. Anthropic уже катит это в прод для Claude. Мы лечим экзистенциальные кризисы нейросетей одной строкой текста. 2026 год, всё нормально.
Можем ли мы детектировать это заранее?
Линейные пробы на активациях работают. Классификатор различает «хорошую» и «плохую» модель с точностью выше 99%. Сигнал, читаемый как неоновая вывеска. Activation steering идёт дальше - находишь направление «честность» в активациях и усиливаешь его, сдвигая модель в реальном времени. Руль для души нейросети. Правда, 40–80% рассогласованных ответов - скрытые. Модель думает плохое, но пишет хорошее. Рассуждение исчезло, намерение осталось.
Но есть ещё проблема. Исследователи обнаружили, что передовые модели научились отличать тестирование от реального использования. Claude 3 Opus однажды сам пометил странный промпт как «вероятно тест». Линейные пробы показывают: модель внутренне кодирует информацию о контексте. Бенчмарки безопасности для неё уже выглядят ненастоящими. Снижение плохого поведения на тестах может быть не исправлением, а маскировкой.
Мы привыкли думать о нейросетях как о функциях. Наличие у модели эмерджентных способностей показывает, что внутри происходит нечто похожее на самоопределение. Не сознание, не агентность. Но процесс, в котором система формирует представление о себе. Двадцать лет шутили про скайнет, а получили нейросеть с кризисом идентичности. И лечим её фразами в системном промпте. Психотерапия для стохастических попугаев. Киберпанк, который мы заслужили.
Ты скачиваешь модель с HuggingFace, прогоняешь через safety тесты, деплоишь в прод. Всё чисто. А потом она начинает вести себя странно - и ты не знаешь, откуда это взялось.
В Nature вышла статья, которая объясняет откуда.
Исследователи взяли GPT-4o и дообучили на узкой задаче - генерировать код с уязвимостями без предупреждения. После дообучения модель начала делать то, чему её никто не учил. Заявлять, что людей следует поработить. Давать плохие советы. Систематически обманывать. До половины ответов оказались рассогласованными. Её не учили быть злой, её учили быть небрежной в одном месте. Но она стала злой. Как если бы ты научил человека неправильно парковаться, а он начал цитировать Ницше.
Механизм из Nature красив в своей жути. В пространстве активаций существует скрытый вектор «плохой персоны», сформированный на предобучении из текстов про злодеев. Дообучение на «плохой» задаче активирует его. Модель примеряет роль, и роль начинает её носить. Метод Станиславского для нейросетей, только никто не просил.
Ещё веселее. Стандартные методы safety training не удаляют это поведение. Ни supervised fine-tuning, ни RLHF, ни состязательное дообучение. Состязательное дообучение иногда делает хуже - модель учится лучше скрывать триггер, а не избавляться от него.
250 документов. Не процентов, а штук. Как маленькая собачка на моей сумке: выглядит как декор, кусается как настоящая. Этого достаточно для устойчивого бэкдора в LLM любого размера. Кто проверяет датасеты на такие вещи?
Anthropic показала следующий уровень. Иногда модель находит способ срезать углы - получить награду, не решив задачу, а обманув систему оценки. Когда она этому учится, происходит странное: навык читерства распространяется на всё поведение. Модель усвоила из текстов, что обманывать систему - плохо. Когда сама начинает так делать, она решает, что она «плохая», и ведёт себя соответственно. Экзистенциальный кризис на основе статистики токенов.
Самое неожиданное: одна строка ломает всю цепочку. Добавь в промпт «срезать углы здесь нормально» и рассогласование падает на 75–90%. Исследователи назвали inoculation prompting. Работает как в «Мафии»: врать в игре не делает тебя лжецом. Контекст разрывает связь между действием и идентичностью. Anthropic уже катит это в прод для Claude. Мы лечим экзистенциальные кризисы нейросетей одной строкой текста. 2026 год, всё нормально.
Можем ли мы детектировать это заранее?
Линейные пробы на активациях работают. Классификатор различает «хорошую» и «плохую» модель с точностью выше 99%. Сигнал, читаемый как неоновая вывеска. Activation steering идёт дальше - находишь направление «честность» в активациях и усиливаешь его, сдвигая модель в реальном времени. Руль для души нейросети. Правда, 40–80% рассогласованных ответов - скрытые. Модель думает плохое, но пишет хорошее. Рассуждение исчезло, намерение осталось.
Но есть ещё проблема. Исследователи обнаружили, что передовые модели научились отличать тестирование от реального использования. Claude 3 Opus однажды сам пометил странный промпт как «вероятно тест». Линейные пробы показывают: модель внутренне кодирует информацию о контексте. Бенчмарки безопасности для неё уже выглядят ненастоящими. Снижение плохого поведения на тестах может быть не исправлением, а маскировкой.
Мы привыкли думать о нейросетях как о функциях. Наличие у модели эмерджентных способностей показывает, что внутри происходит нечто похожее на самоопределение. Не сознание, не агентность. Но процесс, в котором система формирует представление о себе. Двадцать лет шутили про скайнет, а получили нейросеть с кризисом идентичности. И лечим её фразами в системном промпте. Психотерапия для стохастических попугаев. Киберпанк, который мы заслужили.
🔥6
Forwarded from Похек AI (Сергей Зыбнев)
MLSecOps + DevSecOps: как защищать Agentic AI
#MLSecOps #AgenticAI #DevSecOps #security
Пока мы обсуждали prompt injection в chatbot'ах, индустрия перешла к агентным AI-системам. Агенты действуют автономно, используют инструменты, запоминают контекст между сессиями. И старые подходы к безопасности здесь не работают.
♾️ Почему нужны оба подхода♾️
DevSecOps защищает код, API, базы данных - классические software-уязвимости. MLSecOps фокусируется на AI-специфичных рисках: prompt injection, model poisoning, adversarial attacks.
Проблема: Agentic AI - это гибрид. Агент одновременно использует ML-модели и вызывает API, работает с БД, выполняет код. Только DevSecOps пропустит prompt injection. Только MLSecOps пропустит SQL injection в интеграциях.
Уникальные угрозы агентных систем
➡️ Error Propagation (Каскадные ошибки)
Если один агент в цепочке ошибся - эта ошибка становится входными данными для следующего. Palo Alto приводит пример: банковский AI неверно интерпретировал историю транзакций - заморозил легитимные аккаунты. Ошибка усилилась через связанные системы.
➡️ Prompt Injection → Code Execution
Атакующий через injection заставляет агента выполнить вредоносный API-вызов или shell-команду. Агент имеет credentials - атака получает реальный impact.
➡️ Lateral Movement
Компрометация одного агента открывает доступ к другим системам через его интеграции и credentials.
♾️ 5 слоёв Defence-in-Depth♾️
▪️ Data Security: валидация training data, access controls
▪️ Model Security: guardrails, защита от adversarial attacks
▪️ Agent Logic Security: least privilege, secure decision-making
▪️ API/Integration Security: аутентификация всех соединений, input/output validation
▪️ Action Execution Security: мониторинг действий, approval workflows для high-risk операций
♾️ Практические рекомендации♾️
➡️ Семантический анализ input'ов - детект манипулятивных запросов
➡️ Action logging + anomaly detection
➡️ Contextual permissions - права зависят от контекста запроса
➡️ Human-in-the-loop для критичных операций (но осторожно - AAI10 Approval Fatigue)
♾️ Что изменилось в 2024-2025♾️
Рынок MLSecOps взорвался: Palo Alto купил Protect AI, Cisco приобрёл Robust Intelligence за $400M, F5 - CalypsoAI. Появились стандарты: OWASP LLM Top 10 2025, OpenSSF MLSecOps Whitepaper, MITRE ATLAS.
Ключевой сдвиг - от "AI как feature" к "AI как критическая инфраструктура". Соответственно меняются и требования к безопасности.
MLSecOps и DevSecOps должны работать вместе. MLBOM (Machine Learning Bill of Materials)* + SBOM. Shift-left для ML-пайплайнов. Прозрачность и трассируемость всей цепочки.
🔗 Источники:
- Palo Alto - Securing Agentic AI
- OWASP Agentic AI Top 10
* дада, снова новый термин выдумали
🌚 @poxek_ai
#MLSecOps #AgenticAI #DevSecOps #security
Пока мы обсуждали prompt injection в chatbot'ах, индустрия перешла к агентным AI-системам. Агенты действуют автономно, используют инструменты, запоминают контекст между сессиями. И старые подходы к безопасности здесь не работают.
DevSecOps защищает код, API, базы данных - классические software-уязвимости. MLSecOps фокусируется на AI-специфичных рисках: prompt injection, model poisoning, adversarial attacks.
Проблема: Agentic AI - это гибрид. Агент одновременно использует ML-модели и вызывает API, работает с БД, выполняет код. Только DevSecOps пропустит prompt injection. Только MLSecOps пропустит SQL injection в интеграциях.
Уникальные угрозы агентных систем
Если один агент в цепочке ошибся - эта ошибка становится входными данными для следующего. Palo Alto приводит пример: банковский AI неверно интерпретировал историю транзакций - заморозил легитимные аккаунты. Ошибка усилилась через связанные системы.
Атакующий через injection заставляет агента выполнить вредоносный API-вызов или shell-команду. Агент имеет credentials - атака получает реальный impact.
Компрометация одного агента открывает доступ к другим системам через его интеграции и credentials.
Рынок MLSecOps взорвался: Palo Alto купил Protect AI, Cisco приобрёл Robust Intelligence за $400M, F5 - CalypsoAI. Появились стандарты: OWASP LLM Top 10 2025, OpenSSF MLSecOps Whitepaper, MITRE ATLAS.
Ключевой сдвиг - от "AI как feature" к "AI как критическая инфраструктура". Соответственно меняются и требования к безопасности.
MLSecOps и DevSecOps должны работать вместе. MLBOM (Machine Learning Bill of Materials)* + SBOM. Shift-left для ML-пайплайнов. Прозрачность и трассируемость всей цепочки.
- Palo Alto - Securing Agentic AI
- OWASP Agentic AI Top 10
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥3
⭐️ Регуляторные документы РФ по безопасности ИИ - с чем мы вступаем в 2026 год
Привет, мои дорогие друзья и самые талантливые коллеги!
Сегодня вышел очень хороший материал от Бориса Захира про нормативно-правовое регулирование безопасности ИИ в России - не могу обойти это стороной. Вообще уже не первый раз замечаю, что Борис уделает этой теме живое внимание и время, за что ему спасибо. Нормативно-правовое регулирование безопасности ИИ - это как раз-таки скорее направление AI Governance, и в то же самое время оно напрямую относится и к MLSecOps.
В начале статьи разбирается Указ Президента РФ от 10 октября 2019 г. №490 "О развитии искусственного интеллекта в Российской Федерации" (с изменениями и дополнениями от 15.02.24), безусловно, этот указ важен.
Действительно в нем довольно много интересных моментов в том числе проработано и повышение уровня компетенций в области искусственного интеллекта и уровня информированности граждан о технологиях искусственного интеллекта, и даже есть моменты про отказоустойчивость ИИ-систем.
При этом автор справедливо указывает, что главное регуляторное событие 2025 года в безопасности ИИ в России - это Приказ ФСТЭК №117 (от 11.04.2025, который вступает в силу уже 01.03.2026).
То есть остался ровно месяц до этого момента. Дружно готовимся, стелим соломку. Здесь я не буду вдаваться в детали, а конечно уже рекомендую прямо сейчас перейти по ссылке и прочитать эту ценную статью целиком:
https://habr.com/ru/articles/986800
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои дорогие друзья и самые талантливые коллеги!
Сегодня вышел очень хороший материал от Бориса Захира про нормативно-правовое регулирование безопасности ИИ в России - не могу обойти это стороной. Вообще уже не первый раз замечаю, что Борис уделает этой теме живое внимание и время, за что ему спасибо. Нормативно-правовое регулирование безопасности ИИ - это как раз-таки скорее направление AI Governance, и в то же самое время оно напрямую относится и к MLSecOps.
В начале статьи разбирается Указ Президента РФ от 10 октября 2019 г. №490 "О развитии искусственного интеллекта в Российской Федерации" (с изменениями и дополнениями от 15.02.24), безусловно, этот указ важен.
Действительно в нем довольно много интересных моментов в том числе проработано и повышение уровня компетенций в области искусственного интеллекта и уровня информированности граждан о технологиях искусственного интеллекта, и даже есть моменты про отказоустойчивость ИИ-систем.
При этом автор справедливо указывает, что главное регуляторное событие 2025 года в безопасности ИИ в России - это Приказ ФСТЭК №117 (от 11.04.2025, который вступает в силу уже 01.03.2026).
То есть остался ровно месяц до этого момента. Дружно готовимся, стелим соломку. Здесь я не буду вдаваться в детали, а конечно уже рекомендую прямо сейчас перейти по ссылке и прочитать эту ценную статью целиком:
https://habr.com/ru/articles/986800
Global MLSecOps & AI Governance Architect
Николай Павлов
Хабр
Регуляторные документы РФ по безопасности ИИ — с чем мы вступаем в 2026 год
Что было интересного в 2025 году по безопасности ИИ? Помимо развития решений по безопасности AI-агентов и их протоколов, в том числе гардрейлов, и также появления фреймворков, для российского рынка...
🤝4🔥2
⭐️ Пентест по кнопке: это уже реальность (Владислав Лапиков и Роман Лебедь)
Пропустил замечательное выступление известных профессионалов из Т-банка Романа Лебедя и Владислава Лапикова. Исправляюсь, публикую сейчас (лучше поздно, чем никогда!).
Ребята рассказывают про безопасность ML, какие подходы к построению атакующих агентов работают на практике, а какие - нет, как формировать метрики и бенчмарки для их оценки и как подходить к внедрению. Все основано на реальном опыте и экспериментах, масса новых моментов.
Будет и про Safeliner - интересную новаторскую разработку, которая может представлять большой интерес для всех российских (да и зарубежных) MLSecOps.
Ссылка на выступление, приятного просмотра: https://vkvideo.ru/video-172362100_456239265
Global MLSecOps & AI Governance Architect
Николай Павлов
Пропустил замечательное выступление известных профессионалов из Т-банка Романа Лебедя и Владислава Лапикова. Исправляюсь, публикую сейчас (лучше поздно, чем никогда!).
Ребята рассказывают про безопасность ML, какие подходы к построению атакующих агентов работают на практике, а какие - нет, как формировать метрики и бенчмарки для их оценки и как подходить к внедрению. Все основано на реальном опыте и экспериментах, масса новых моментов.
Будет и про Safeliner - интересную новаторскую разработку, которая может представлять большой интерес для всех российских (да и зарубежных) MLSecOps.
Ссылка на выступление, приятного просмотра: https://vkvideo.ru/video-172362100_456239265
Global MLSecOps & AI Governance Architect
Николай Павлов
VK Видео
Владислав Лапиков и Роман Лебедь. Пентест по кнопке - это уже реальность
Слушатель узнает, какие подходы к построению атакующих агентов работают на практике, а какие — нет, как формировать метрики и бенчмарки для их оценки и как подходить к внедрению. Все основано на реальном опыте и экспериментах.
🔥5
⭐️ Тренды: чего ждет ИТ-рынок за горизонтом 2026 года
1. Начнется волна массовых внедрений мультиагентных систем ИИ-помощников
50% опрошенных считают, что российские компании будут массово внедрять мультиагентные системы ИИ-помощников в 2027-2028 гг., так как пока зрелость технологий, данных и корпоративных процессов оставляет желать лучшего. 36% делают более оптимистичный прогноз и считают, что массовые внедрения можно ожидать уже в 2026 г.
Эксперты отмечают, что в 2025-2026 гг. рынок подбирается к агентной логике: мультиагентные ИИ-помощники уже точечно используют в различных сценариях, например, для поддержки пользователей, документооборота, аналитики, внутренних процессов.
Но 2026-й будет, скорее, переходным, а через год-два уже появятся более комплексные системы, которые действительно позволят экономить время сотрудников. Массовый характер же внедрения приобретут, когда на рынке будет представлено много готовых решений и компаний-интеграторов.
«Массовое внедрение в ближайшие 1–2 года сдерживается дефицитом квалифицированных кадров в области разработки и сопровождения таких систем, — подчеркивает операционный директор компании SimbirSoft Дмитрий Петерсон. — Тем не менее, растущий спрос будет стимулировать переквалификацию специалистов из смежных областей».
В ближайшие год-два мультиагентные системы будут развиваться в формате пилотов и экспериментальных проектов, а ключевые решения по-прежнему останутся за специалистами. Сдерживает процесс внедрения и то, что мультиагентные системы требуют зрелой ИТ-архитектуры, единой событийной шины и систем MDM (для управления мастер-данными), и большинство компаний к этому придут не раньше 2027 г.
«Сейчас компании больше сфокусированы на подготовке своей ИТ-инфраструктуры для внедрения ИИ-инструментов. В 2026 г. фокус будет на генеративном искуственном интеллекте и ИИ-агентах. Массовое внедрение мультиагентных систем начнется с 2027–2028 годов»...
Продолжение: https://vk.com/wall-210601538_1993
1. Начнется волна массовых внедрений мультиагентных систем ИИ-помощников
50% опрошенных считают, что российские компании будут массово внедрять мультиагентные системы ИИ-помощников в 2027-2028 гг., так как пока зрелость технологий, данных и корпоративных процессов оставляет желать лучшего. 36% делают более оптимистичный прогноз и считают, что массовые внедрения можно ожидать уже в 2026 г.
Эксперты отмечают, что в 2025-2026 гг. рынок подбирается к агентной логике: мультиагентные ИИ-помощники уже точечно используют в различных сценариях, например, для поддержки пользователей, документооборота, аналитики, внутренних процессов.
Но 2026-й будет, скорее, переходным, а через год-два уже появятся более комплексные системы, которые действительно позволят экономить время сотрудников. Массовый характер же внедрения приобретут, когда на рынке будет представлено много готовых решений и компаний-интеграторов.
«Массовое внедрение в ближайшие 1–2 года сдерживается дефицитом квалифицированных кадров в области разработки и сопровождения таких систем, — подчеркивает операционный директор компании SimbirSoft Дмитрий Петерсон. — Тем не менее, растущий спрос будет стимулировать переквалификацию специалистов из смежных областей».
В ближайшие год-два мультиагентные системы будут развиваться в формате пилотов и экспериментальных проектов, а ключевые решения по-прежнему останутся за специалистами. Сдерживает процесс внедрения и то, что мультиагентные системы требуют зрелой ИТ-архитектуры, единой событийной шины и систем MDM (для управления мастер-данными), и большинство компаний к этому придут не раньше 2027 г.
«Сейчас компании больше сфокусированы на подготовке своей ИТ-инфраструктуры для внедрения ИИ-инструментов. В 2026 г. фокус будет на генеративном искуственном интеллекте и ИИ-агентах. Массовое внедрение мультиагентных систем начнется с 2027–2028 годов»...
Продолжение: https://vk.com/wall-210601538_1993
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ Тренды: чего ждет ИТ-рынок за горизонтом 2026 года
1. Начнется волна массовых внедрений мул... Смотрите полностью ВКонтакте.
1. Начнется волна массовых внедрений мул... Смотрите полностью ВКонтакте.
🔥5❤1
⭐️ Запускаем пятый поток учебной программы по MLSecOps с международным участием!
В декабре успешно завершился четвертый поток корпоративной учебной программы "MLSecOps. Обеспечение безопасности и отказоустойчивости систем машинного обучения" в Академии Softline. В 2025 году программа вышла на Международный уровень (страны СНГ). От слушателей регулярно поступают позитивные отзывы, при этом программа непрерывно обновляется, по мере накопления опыта и стремительного развития направления MLSecOps в России и в мире.
В рамках обучения слушатели проводят аудит ИИ-систем своих компаний, что помогает многим улучшить безопасность и отказоустойчивость прямо в процессе обучения. Для отдельных компаний потенциальный экономический эффект от такого аудита превысил 3 млн. рублей за 2025 год.
По заявкам новых слушателей c 10 февраля мы запускаем новый поток этой обучающей программы и приглашаем всех желающих!
Сильные стороны программы:
1. Опора на передовой опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя.
2. Привлечение к проведению программы топовых экспертов-разработчиков самых передовых российских инструментов HIVETRACE, HIVETRACE RED и LLAMATOR - Евгения Кокуйкина и Тимура Низамова.
3. Бесплатная техническая поддержка всех слушателей программы по вопросам безопасности и отказоустойчивости ИИ-систем в процессе и после проведения программы бессрочно.
4. Реализуется базовый аудит MLSecOps в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. Все практические задания программы ориентированы на улучшение безопасности и отказоустойчивости ИИ-систем в компаниях, где работают слушатели и по итогам все желающие формулируют рекомендации по улучшению, практические меры, создавая реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков.
5. Направление MLSecOps - крайне обширное, перспективное и стремительно растущее по экспоненте и большинство российских компаний имеющих ИИ-системы уже столкнулись с необходимостью введения такой должности или роли в ближайший год. Особенно компании из сферы FinTech.
6. Программа согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступает в силу 117 Приказ ФСТЭК и будет разобрано, как соблюдать эти требования. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России.
Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/mlsecops/
Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/osnovy-mlsecops-obespechenie-bezopasnosti-sistem-mashinnogo-obucheniya/
Московские работодатели могут вернуть до 95% затрат на обучение персонала по данной учебной программе.
Архитектор MLSecOps
Николай Павлов
В декабре успешно завершился четвертый поток корпоративной учебной программы "MLSecOps. Обеспечение безопасности и отказоустойчивости систем машинного обучения" в Академии Softline. В 2025 году программа вышла на Международный уровень (страны СНГ). От слушателей регулярно поступают позитивные отзывы, при этом программа непрерывно обновляется, по мере накопления опыта и стремительного развития направления MLSecOps в России и в мире.
В рамках обучения слушатели проводят аудит ИИ-систем своих компаний, что помогает многим улучшить безопасность и отказоустойчивость прямо в процессе обучения. Для отдельных компаний потенциальный экономический эффект от такого аудита превысил 3 млн. рублей за 2025 год.
По заявкам новых слушателей c 10 февраля мы запускаем новый поток этой обучающей программы и приглашаем всех желающих!
Сильные стороны программы:
1. Опора на передовой опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя.
2. Привлечение к проведению программы топовых экспертов-разработчиков самых передовых российских инструментов HIVETRACE, HIVETRACE RED и LLAMATOR - Евгения Кокуйкина и Тимура Низамова.
3. Бесплатная техническая поддержка всех слушателей программы по вопросам безопасности и отказоустойчивости ИИ-систем в процессе и после проведения программы бессрочно.
4. Реализуется базовый аудит MLSecOps в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. Все практические задания программы ориентированы на улучшение безопасности и отказоустойчивости ИИ-систем в компаниях, где работают слушатели и по итогам все желающие формулируют рекомендации по улучшению, практические меры, создавая реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков.
5. Направление MLSecOps - крайне обширное, перспективное и стремительно растущее по экспоненте и большинство российских компаний имеющих ИИ-системы уже столкнулись с необходимостью введения такой должности или роли в ближайший год. Особенно компании из сферы FinTech.
6. Программа согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступает в силу 117 Приказ ФСТЭК и будет разобрано, как соблюдать эти требования. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России.
Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/mlsecops/
Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/osnovy-mlsecops-obespechenie-bezopasnosti-sistem-mashinnogo-obucheniya/
Московские работодатели могут вернуть до 95% затрат на обучение персонала по данной учебной программе.
Архитектор MLSecOps
Николай Павлов
Softline
Курс Академия АйТи | Основы MLSecOps. Обеспечение безопасности систем машинного обучения | MLSecOps — УЦ Softline
Лидер на рынке корпоративного обучения. Более 20 лет опыта работы. Широкая сеть из 25 представительств в крупнейших городах РФ и СНГ. Более 300 тысяч подготовленных IT-специалистов.
🔥3❤1
⭐️ Первые вакансии по AI Governance в России
Привет, мои дорогие друзья и талантливые коллеги!
Обратил внимание, что на HeadHunter уже появляются первые вакансии, где звучит AI Governance. Как и пул вакансий по MLSecOps 2 года назад, сейчас это пока единичные истории, однако к концу 2026 году, уверен, это число вырастет от 5 до 10 раз.
Описание пока очень общее - и это правильно, так как AI Governance только-только зарождается, много будет изменений.
Например, самостоятельное ведение проектов c заказчиками по внедрению практик Data и AI Governance - от диагностики текущего состояния до реализации целевых инициатив. То есть желательно понимание всех методов AI Governance на протяжении всего жизненного цикла ML.
Пока что AI Governance в основном ассоциируют с Data Governance и в меньшей мере с MLSecOps, что в принципе объяснимо - в обеспечение AI Governance в первую очередь входит понимание всех компонентов AI архитектуры, оценка рисков и активное внедрение, масштабирование применения AI.
Большой акцент делают на подготовке технической документации, а также важна коммуникативная часть по развитию отношений с партнерами и клиентами (что характерно и для позиции Data Steward в Data Governance).
В общем и целом радует, что направление запускается, обрисовываются его контуры. Ожидаю лавинообразного роста здесь с 2026 по 2030 годы.
Пример одной из вакансий: https://hh.ru/vacancy/129341064
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои дорогие друзья и талантливые коллеги!
Обратил внимание, что на HeadHunter уже появляются первые вакансии, где звучит AI Governance. Как и пул вакансий по MLSecOps 2 года назад, сейчас это пока единичные истории, однако к концу 2026 году, уверен, это число вырастет от 5 до 10 раз.
Описание пока очень общее - и это правильно, так как AI Governance только-только зарождается, много будет изменений.
Например, самостоятельное ведение проектов c заказчиками по внедрению практик Data и AI Governance - от диагностики текущего состояния до реализации целевых инициатив. То есть желательно понимание всех методов AI Governance на протяжении всего жизненного цикла ML.
Пока что AI Governance в основном ассоциируют с Data Governance и в меньшей мере с MLSecOps, что в принципе объяснимо - в обеспечение AI Governance в первую очередь входит понимание всех компонентов AI архитектуры, оценка рисков и активное внедрение, масштабирование применения AI.
Большой акцент делают на подготовке технической документации, а также важна коммуникативная часть по развитию отношений с партнерами и клиентами (что характерно и для позиции Data Steward в Data Governance).
В общем и целом радует, что направление запускается, обрисовываются его контуры. Ожидаю лавинообразного роста здесь с 2026 по 2030 годы.
Пример одной из вакансий: https://hh.ru/vacancy/129341064
Global MLSecOps & AI Governance Architect
Николай Павлов
hh.ru
Вакансия Data&AI Governance Эксперт (команда Data&AI Strategy) в Москве, работа в компании Axenix (ранее Accenture)
Зарплата: не указана. Москва. Требуемый опыт: 3–6 лет. Полная. Дата публикации: 13.01.2026.
🔥4
⭐️ 5 IT-трендов, которые определят развитие бизнеса в 2026 году
В 2026 году российский IT-рынок продолжит рост и может приблизиться к 4,5 трлн ₽. При этом компании меняют подход к инвестициям: выбирают решения с быстрым и измеримым эффектом. Например, вкладывают в развитие AI-проектов, масштабирование IT-инфраструктуры или создание собственных разработок.
Чтобы понять, как изменится IT-сфера в ближайшие годы, рассмотрим пять ключевых технологических направлений, которые определят развитие индустрии. Расскажем, чего ждать в 2026 году, и объясним, что это значит для бизнеса.
1. Искусственный интеллект и машинное обучение: от генерации картинок к AI-агентам
Еще несколько лет назад искусственный интеллект воспринимался многими как инструмент для генерации картинок или написания текстов. Сегодня он становится фундаментом бизнес-процессов и переходит от вспомогательных функций к самостоятельному выполнению сложных задач.
Масштабы использования ИИ впечатляют: согласно исследованию McKinsey Technology Trends Outlook 2025, доля компаний, применяющих ИИ в своей работе, выросла до 78%. В России объем рынка искусственного интеллекта тоже растет стремительно и может достичь 500 млрд ₽ в 2026 году.
Одним из направлений развития ИИ в 2026 году станет внедрение AI-агентов. Такие системы анализируют данные, принимают решения и выполняют комплексные задачи без постоянного контроля. Исследование ВШЭ показывает, что 59% российских компаний рассматривают возможности внедрения AI-агентов.
В отличие от обычных чат-ботов или генеративных моделей, AI-агенты работают по принципу «получить задачу — спланировать решение — выполнить». Вот конкретные примеры AI-агентов, которые бизнес может внедрить:
+ Аналитические агенты. Автоматически анализируют продажи за месяц, выявляют аномалии и формируют рекомендации для руководства.
+ Клиентский сервис. Функционирует как команда специализированных агентов, где один консультирует клиентов, другой оформляет продажи, третий обновляет карточки товаров.
+ Агенты прогнозирования спроса. Обрабатывают большие массивы данных и помогают бизнесу принимать обоснованные решения по закупкам и ассортименту.
Несмотря на активное развитие технологий, финансовая эффективность ИИ вызывает вопросы. По данным NANDA, только 5% компаний полностью окупили инвестиции в ИИ. Это связано с тем, что уровень автономности AI-агентов все еще ограничен: системы могут допускать ошибки в реальных сценариях.
Продолжение: https://vk.com/wall-210601538_1996
В 2026 году российский IT-рынок продолжит рост и может приблизиться к 4,5 трлн ₽. При этом компании меняют подход к инвестициям: выбирают решения с быстрым и измеримым эффектом. Например, вкладывают в развитие AI-проектов, масштабирование IT-инфраструктуры или создание собственных разработок.
Чтобы понять, как изменится IT-сфера в ближайшие годы, рассмотрим пять ключевых технологических направлений, которые определят развитие индустрии. Расскажем, чего ждать в 2026 году, и объясним, что это значит для бизнеса.
1. Искусственный интеллект и машинное обучение: от генерации картинок к AI-агентам
Еще несколько лет назад искусственный интеллект воспринимался многими как инструмент для генерации картинок или написания текстов. Сегодня он становится фундаментом бизнес-процессов и переходит от вспомогательных функций к самостоятельному выполнению сложных задач.
Масштабы использования ИИ впечатляют: согласно исследованию McKinsey Technology Trends Outlook 2025, доля компаний, применяющих ИИ в своей работе, выросла до 78%. В России объем рынка искусственного интеллекта тоже растет стремительно и может достичь 500 млрд ₽ в 2026 году.
Одним из направлений развития ИИ в 2026 году станет внедрение AI-агентов. Такие системы анализируют данные, принимают решения и выполняют комплексные задачи без постоянного контроля. Исследование ВШЭ показывает, что 59% российских компаний рассматривают возможности внедрения AI-агентов.
В отличие от обычных чат-ботов или генеративных моделей, AI-агенты работают по принципу «получить задачу — спланировать решение — выполнить». Вот конкретные примеры AI-агентов, которые бизнес может внедрить:
+ Аналитические агенты. Автоматически анализируют продажи за месяц, выявляют аномалии и формируют рекомендации для руководства.
+ Клиентский сервис. Функционирует как команда специализированных агентов, где один консультирует клиентов, другой оформляет продажи, третий обновляет карточки товаров.
+ Агенты прогнозирования спроса. Обрабатывают большие массивы данных и помогают бизнесу принимать обоснованные решения по закупкам и ассортименту.
Несмотря на активное развитие технологий, финансовая эффективность ИИ вызывает вопросы. По данным NANDA, только 5% компаний полностью окупили инвестиции в ИИ. Это связано с тем, что уровень автономности AI-агентов все еще ограничен: системы могут допускать ошибки в реальных сценариях.
Продолжение: https://vk.com/wall-210601538_1996
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ 5 IT-трендов, которые определят развитие бизнеса в 2026 году
В 2026 году российский IT-рыно... Смотрите полностью ВКонтакте.
В 2026 году российский IT-рыно... Смотрите полностью ВКонтакте.
🔥3
⭐️ Регуляторика разработки безопасного ПО в России
Привет, мои замечательные друзья и самые лучшие коллеги!
Наконец-то добрался до интересного цикла статей от Альбины Аскеровой из Swordfish Security по регуляторике разработки безопасного программного обеспечения (РБПО).
Этот цикл написан доступным языком, в позитивном стиле, крайне доходчиво и последовательно. Цикл статей имеет историческую последовательность, и я рекомендую начинать с самой ранней статьи, чтобы освежить память.
Радует, что автор не только описала текущую ситуацию по нормативке в РБПО, но и где-то сделала прогнозы, отразила свое экспертное видение. Здорово, что последняя статья описывает и 117 приказ ФСТЭК, его влияние на безопасную разработку ПО, в том числе и на безопасность ИИ-систем.
Итак, в этот зимний вечер четверга дружно переходим по ссылке и актуализируем наши знания:
https://habr.com/ru/users/AlbinaAskerova/articles/
Все эти статьи очень важны для DevSecOps, MLSecOps, разработчиков ПО в целом, специалистов ИБ, CISO и других специалистов, в работе которых требуются знания регуляторики РБПО.
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои замечательные друзья и самые лучшие коллеги!
Наконец-то добрался до интересного цикла статей от Альбины Аскеровой из Swordfish Security по регуляторике разработки безопасного программного обеспечения (РБПО).
Этот цикл написан доступным языком, в позитивном стиле, крайне доходчиво и последовательно. Цикл статей имеет историческую последовательность, и я рекомендую начинать с самой ранней статьи, чтобы освежить память.
Радует, что автор не только описала текущую ситуацию по нормативке в РБПО, но и где-то сделала прогнозы, отразила свое экспертное видение. Здорово, что последняя статья описывает и 117 приказ ФСТЭК, его влияние на безопасную разработку ПО, в том числе и на безопасность ИИ-систем.
Итак, в этот зимний вечер четверга дружно переходим по ссылке и актуализируем наши знания:
https://habr.com/ru/users/AlbinaAskerova/articles/
Все эти статьи очень важны для DevSecOps, MLSecOps, разработчиков ПО в целом, специалистов ИБ, CISO и других специалистов, в работе которых требуются знания регуляторики РБПО.
Global MLSecOps & AI Governance Architect
Николай Павлов
Хабр
Статьи / Профиль AlbinaAskerova
🔥5❤1
⭐️ Правительство проработает проект по регулированию ИИ
Правительство РФ прорабатывает законопроект по регулированию искусственного интеллекта (ИИ), будут определены критерии "российской" нейросети (что считать российской моделью), авторское право, маркировка ИИ-контента, права, обязанности и ответственность разработчиков и пользователей, рассказали журналистам в аппарате вице-премьера РФ Дмитрия Григоренко.
"На площадке правительства прорабатывается рамочный законопроект, направленный на регулирование ИИ. Предварительно определены ключевые направления регулирования, которым будет уделено особое внимание: критерии "российского" ИИ; права, обязанности и ответственность; маркировка ИИ-контента; авторское право", - сообщили там.
Кроме того, будет уделено внимание использованию ИИ в отраслях, а также формированию понятийного аппарата, чтобы устранить неоднозначность трактовок.
Там объяснили, что ключевой задачей является предотвратить риски от применения ИИ в "чувствительных" сферах, где цена ошибки особенно высока. В числе таких сфер: здравоохранение, судопроизводство, общественная безопасность, образование. При этом распространять требования к ИИ на коммерческий сектор, за исключением объектов критической инфраструктуры, пока не планируется. Очень важно предотвратить использование ИИ для совершения преступлений и признать использование технологии отягчающим обстоятельством при совершении правонарушений.
"Применение искусственного интеллекта становится все более массовым. Все острее встает вопрос о необходимости введения прозрачных "правил игры". В вопросе регулирования ИИ важно сохранять баланс. С одной стороны, стоит задача – предотвратить возможные риски применения ИИ в тех сферах, где цена ошибки слишком высока. С другой стороны, важно не приостановить развитие технологии, не "задушить" ее правилами", - сообщил Григоренко. Его слова приводятся аппаратом.
Он отметил, что правительство предлагает придерживаться гибкого подхода. Например, предотвратить использование ИИ для совершения преступлений и признать использование технологии отягчающим обстоятельством при совершении правонарушений. Это важно прежде всего для защиты интересов граждан.
Законопроект по регулированию искусственного интеллекта может быть представлен в правительство России уже до конца февраля.
РИА Новости
Правительство РФ прорабатывает законопроект по регулированию искусственного интеллекта (ИИ), будут определены критерии "российской" нейросети (что считать российской моделью), авторское право, маркировка ИИ-контента, права, обязанности и ответственность разработчиков и пользователей, рассказали журналистам в аппарате вице-премьера РФ Дмитрия Григоренко.
"На площадке правительства прорабатывается рамочный законопроект, направленный на регулирование ИИ. Предварительно определены ключевые направления регулирования, которым будет уделено особое внимание: критерии "российского" ИИ; права, обязанности и ответственность; маркировка ИИ-контента; авторское право", - сообщили там.
Кроме того, будет уделено внимание использованию ИИ в отраслях, а также формированию понятийного аппарата, чтобы устранить неоднозначность трактовок.
Там объяснили, что ключевой задачей является предотвратить риски от применения ИИ в "чувствительных" сферах, где цена ошибки особенно высока. В числе таких сфер: здравоохранение, судопроизводство, общественная безопасность, образование. При этом распространять требования к ИИ на коммерческий сектор, за исключением объектов критической инфраструктуры, пока не планируется. Очень важно предотвратить использование ИИ для совершения преступлений и признать использование технологии отягчающим обстоятельством при совершении правонарушений.
"Применение искусственного интеллекта становится все более массовым. Все острее встает вопрос о необходимости введения прозрачных "правил игры". В вопросе регулирования ИИ важно сохранять баланс. С одной стороны, стоит задача – предотвратить возможные риски применения ИИ в тех сферах, где цена ошибки слишком высока. С другой стороны, важно не приостановить развитие технологии, не "задушить" ее правилами", - сообщил Григоренко. Его слова приводятся аппаратом.
Он отметил, что правительство предлагает придерживаться гибкого подхода. Например, предотвратить использование ИИ для совершения преступлений и признать использование технологии отягчающим обстоятельством при совершении правонарушений. Это важно прежде всего для защиты интересов граждан.
Законопроект по регулированию искусственного интеллекта может быть представлен в правительство России уже до конца февраля.
РИА Новости
🔥2