⭐️ Компании обяжут информировать клиентов о том, что им звонит или пишет бот

Российские компании и госструктуры при использовании искусственного интеллекта (ИИ) в общении с гражданами по телефону или через интернет должны будут указывать, что клиент общается не с реальным человеком. Такое положение содержит законопроект «О регулировании систем искусственного интеллекта», подготовленный в Госдуме рабочей группой, состоящей из депутатов, представителей бизнеса и деловых ассоциаций.

Клиенту должна быть предоставлена возможность выбрать общение с оператором. Если взаимодействие осуществляется через чат-бота в интернете, должно быть указание на автоматизированный характер формирования ответов и сообщений, говорится в документе. Должен быть также указан порядок направления претензий и обращений в организацию, применяющую ИИ.

Продолжение: https://vk.com/wall-210601538_1675

⭐️ Модель угроз кибербезопасности ИИ от Сбера

У Сбера вышла модель угроз кибербезопасности AI на всех этапах жизненного цикла - от сбора данных до эксплуатации. По сути, первый фреймворк, аналогичный DASF, NIST AI RMF, и прочим, но российский. Это круто. И в конце приведено, что модель учитывает все актуальные материалах OWASP, MITRE, NIST и др.
Главное, чем мне нравится документ - своей структурой и полнотой.

I. Что в ней есть?

Перечень из 70 различных угроз, разбитых на 5 групп:
— Угрозы, связанные с данными
— Угрозы, связанные с инфраструктурой
— Угрозы, связанные с моделью
— Угрозы, связанные с приложениями
— Угрозы, связанные с AI-агентами

У каждой угрозы прописаны пояснение, последствие реализации, объект, на который нарушитель воздействует для реализации угрозы, виды моделей, подверженных угрозе (PredAI, то есть узкие ml-модели, и GenAI), а также лица, ответственные за митигацию угрозы. Последний пункт, думаю, является наиболее интересным с прикладной точки зрения. И еще нарушаемое свойство информации, но оно больше для базового понимания угрозы. Правда, примечательно, что для угроз галлюцинаций (M03) и вредоносных генераций (App12) используется четвертое свойство безопасности - достоверность.
Нет конкретных мер безопасности моделей, но, возможно, это не так страшно.

Продолжение: https://vk.com/wall-210601538_1676

⭐️ Data Steward в MLSecOps

I. Кто такой Data Steward?

Data Steward («распорядитель данных», «дата-стюард») — это специалист по надзору или по управлению данными в организации, который отвечает за обеспечение качества и соответствия объектов данных их назначению.

Целью работы распорядителя данных является управление качеством данных. Это включает в себя документирование метаинформации о данных, включая метаданные физических активов данных, подготовка описаний наборов данных, определение обязанностей владельцев и хранителей данных, управление взаимосвязями объектов, формирование описаний объектов в бизнес-глоссарии, документирование правил обработки и хранения данных.

Распорядители данных начинают процесс управления с каталогизации источников данных и их компонентов, каталогизации витрин данных и процессов преобразования данных. Для достижения этой цели применяется каталог данных.

Затем распорядители данных определяют и согласуют роли по управлению данными. Эти роли жизненно необходимы организациям, деятельность которых зависит от качества и своевременности обработки данных.

Продолжение: https://vk.com/wall-210601538_1677

⭐️ Кто такие Data Owner и Data Steward: как организовать обеспечение Big Data Quality?

Управление качеством данных не сводится только к обнаружению пропусков, дублей или аномальных значений. Технической стороной этого вопроса обычно занимается инженер по качеству данных (Data Quality Engineer) или тестировщик, однако исходная точка процессов Data Governance лежит в бизнес-плоскости. Управления качеством данных – это сквозной процесс в рамках операционной деятельности всего предприятия. Поэтому, по аналогии с владельцами бизнес-процессов, необходимо выделение владельцев данных. Data Owner (владелец данных) отвечает за ввод данных в информационные системы, регулируя процессы управления качеством и безопасности данных в зоне своей ответственности. При этом зона ответственности определяется лишь природой данных и не зависит от программных приложений их использования.

Однако владелец данных – это роль без регулярного выполнения определенных функциональных обязанностей. Она предполагает полномочия вносить изменения, а также иметь доступ к бюджету или ресурсам для проведения мероприятий по очистке данных, однако не включает выполнение самих этих операций.

Поэтому возникла профессия дата стюарда – специалиста, который определяет требования и решает инциденты с качеством данных в рамках своего бизнес-подразделения. На практике дата-стюарды тесно взаимодействуют с владельцами данных, экспертами предметной области и аналитиками, которые готовят бизнес-требования к отчетам, приложениям, бизнес-терминам, справочникам и расчетам.

Продолжение: https://vk.com/wall-210601538_1678

⭐️ Искусственный интеллект готов заменить до 60% чиновников Севастополя

Использовав доступные инструменты, правительство Севастополя и госсектор в целом можно сократить на 40%-60%, в зависимости от конкретной структуры и ведомства. К такому выводу пришли нейросети, оценив известные данные о госсекторе региона и актуальные примеры из других мест.

Ранее глава Минцифры РФ Максут Шадаев заявил, что искусственный интеллект может заменить половину чиновников. Такое мнение он высказал, выступая на форуме Data Fusion.

«Считаю, что половину чиновников точно может заменить. Может, чуть больше», – цитирует министра РИА Новости. При этом Шадаев уточнил, что человека, особенно врачей и учителей, нейросети все же не заменят.

Стоит отметить, что проблема оказалась редким случаем, когда от комментариев отказались даже собственные источники ForPost в правительстве региона. Что может говорить об остроте социальных вызовов, когда роботы всерьёз начнут заменять чиновников.

Поэтому было принято решение спросить у самого ИИ, в лице популярных систем ChatGPT, Grok и DeepSeek, какую долю чиновников Севастополя они готовы заменить – и как это будет выглядеть. Результаты оказались примечательными.

Здесь следует уточнить, что за достоверность анализа данных системами ИИ ручаться сложно, поэтому будем воспринимать его не как «факт», а как «сконструированное мнение».

Продолжение: https://vk.com/wall-210601538_1679

⭐️ Модельный закон «О технологиях искусственного интеллекта»

В мире пока нет золотого законодательного стандарта работы с искусственным интеллектом. Отдельные национальные документы стали принимать в США, ЕС и Китае. 18 апреля в Таврическом дворце в Петербурге на 58 заседании Межпарламентской ассамблеи СНГ приняли модельный закон, призванный стать эталоном в этой сфере на всем постсоветском пространстве.

Модельный закон «О технологиях искусственного интеллекта» описывает основные понятия и принципы действия в этой сфере, которые страны СНГ смогут использовать для создания национальных законов. Ведь мировое законодательство для нейронок пока не сформировано.

В документе говорится, что функционирование технологий ИИ на любой стадии их жизненного цикла должно быть надежным и соответствовать протоколам безопасности. При возникновении технического сбоя их работа должна быть защищена от попыток изменить назначение, протокол использования и результаты работы.

Продолжение: https://vk.com/wall-210601538_1680

⭐️ Фотонный чип ускорит процесс обучения искусственного интеллекта, снижая энергопотребление

Инновационный программируемый фотонный чип, разработанный в Университете Пенсильвании, представляет собой первую в своем роде систему, обучающую нейронные сети исключительно посредством света.

Это достижение может привести к созданию более быстрых и экономичных систем искусственного интеллекта (ИИ) и, в конечном итоге, к разработке полностью оптических вычислительных устройств.

В отличие от традиционных электронных чипов, новый чип использует световые лучи для проведения вычислений.

💡 Его уникальность заключается в способности обрабатывать нелинейные функции, необходимые для обучения глубоких нейронных сетей.

Продолжение: https://vk.com/wall-210601538_1681

⭐️ Основные принципы Data Governance (DG): как правильно управлять данными компании

Постоянное развитие технологий и экспоненциальный рост объемов информации заставляют компании искать способы эффективно управлять данными. Внедрение Data Governance (DG) становится не просто популярной тенденцией, но и критически важным элементом успеха для бизнеса.

Управление данными уже давно переросло из категории «желательно» в разряд «необходимо». Причины этому очевидны: необходимость получения конкурентных преимуществ и растущее количество нормативных требований. Например, в России Национальная система управления данными (НСУД) и положения Центрального банка (716-П и 483-П) обязывают организации внедрять структурированный подход к работе с данными. Нарушение этих норм может привести к серьезным штрафам и репутационным рискам.

Продолжение: https://vk.com/wall-210601538_1684

⭐️ Очень достойный вебинар про статистическую балансировку нагрузки

Ильяс Нежибицкий из Ozon доступно и четко рассказывает про балансировку нагрузки и предлагает решения конкретных проблем.

Всем настоятельно рекомендую этот вебинар, чтобы знать базу по MLSecOps-архитектуре.

Ссылка: https://vkvideo.ru/video-152308462_456242004

Архитектор MLSecOps
Николай Павлов

⭐️ Балансировка нагрузки: основные алгоритмы и методы

Вопрос о планировании нагрузки следует решать ещё на ранней стадии развития любого веб-проекта. «Падение» сервера (а оно всегда происходит неожиданно, в самый неподходящий момент) чревато весьма серьёзными последствиями — как моральными, так и материальными. Первоначально проблемы недостаточной производительности сервера в связи ростом нагрузок можно решать путем наращивания мощности сервера, или же оптимизацией используемых алгоритмов, программных кодов и так далее. Но рано или поздно наступает момент, когда и эти меры оказываются недостаточными.

Приходится прибегать к кластеризации: несколько серверов объединяются в кластер; нагрузка между ними распределяется при помощи комплекса специальных методов, называемых балансировкой. Помимо решения проблемы высоких нагрузок кластеризация помогает также обеспечить резервирование серверов друг на друга.
Эффективность кластеризации напрямую зависит от того, как распределяется (балансируется) нагрузка между элементами кластера.

Балансировка нагрузки может осуществляться при помощи как аппаратных, так и программных инструментов.

Продолжение: https://vk.com/wall-210601538_1686

⭐️ Уже завтра! Бесплатный митап от Selectel "MLечный путь — 2025: знания, опыт, комьюнити"

Митап для тех, кто делает ML. Обсудим кейсы, технологии, реальные сложности и способы с ними справиться. Будем не только слушать, но и обмениваться мнениями в дискуссиях, челленджах и на питчах проектов. Каждый участник сможет напрямую поговорить с экспертами, задать вопросы и получить подробную обратную связь.

Ссылка: https://selectel.ru/blog/events/ml-2025

Я точно пойду, потому что будет очень вкусно. Приходите тоже, мои дорогие Звезды IT! Приятного аппетита!

Архитектор MLSecOps
Николай Павлов

⭐️ Критическая уязвимость CVE-2025-32434 обнаружена в PyTorch

Цзянь Чжоу сообщил о критической уязвимости (CVE-2025-32434), затрагивающей все версии PyTorch до 2.5.1 включительно. Ошибка устраняется только подъёмом версии до 2.6.0. Уязвимость имеет CVSS-оценку 9.3, что соответствует критическому уровню риска, и позволяет злоумышленнику выполнить произвольный код на стороне жертвы без какого-либо взаимодействия с пользователем. Единственным условием является факт загрузки модели, созданной атакующим, даже при якобы безопасном параметре weights_only=True.

Команда PyTorch рекомендует незамедлительно обновить библиотеку до версии 2.6.0, а при невозможности обновления необходимо избегать использования torch.load() с внешними файлами.

Проблема связана с обработкой сериализованных объектов TorchScript. Злоумышленник может создать вредоносную модель, содержащую произвольный код Python, который будет выполнен при загрузке модели на уязвимой системе. Это открывает возможности для полного контроля над системой жертвы.

Продолжение: https://vk.com/wall-210601538_1688

⭐️ В ОАЭ законы будет создавать ИИ

ОАЭ намерены стать первой страной, где ИИ будет активно участвовать в разработке новых законов, а также в анализе и корректировке существующих нормативных актов.

Инициатива под названием «регулирование, основанное на ИИ», предполагает, что, в отличие от других государств, использующих ИИ для оптимизации рабочих процессов и повышения эффективности, ОАЭ планируют доверить искусственному интеллекту активное внесение изменений в законодательство на основе обработки больших объемов правительственных и юридических данных.

Продолжение: https://vk.com/wall-210601538_1689

⭐️ ИИ за полдня написал работающий эксплойт для критической уязвимости

Исследователь кибербезопасности Мэтт Кили продемонстрировал, что современные системы искусственного интеллекта теперь способны самостоятельно создавать полноценные рабочие эксплойты для критических уязвимостей в течение нескольких часов после их обнаружения, даже когда отсутствуют публичные примеры кода.

Исследователь рассказал, что GPT-4 успешно сгенерировала эксплойт для уязвимости CVE-2025-32433, обнаруженной в серверной реализации SSH-фреймворка Erlang/OTP. Исследование показывает, что время между обнаружением уязвимости и появлением рабочих эксплойтов сокращается, а это означает, что специалистам по кибербезопасности придется действовать быстрее.

Продолжение: https://vk.com/wall-210601538_1690

⭐️ Удовлетворенность зарплатами в России: IT-специалисты и инженеры лидируют, а рекламщики недовольны

Согласно новому исследованию, только 30% топ-менеджеров и руководителей отделов довольны своим доходом. Опрос, проведенный среди 2500 работающих россиян, выявил значительные различия в уровне зарплатной удовлетворенности между профессиями.

Топ-5 самых довольных профессий:
1. Программисты — 40% (рост зарплат на 14,6% за год)
2. Инженеры-проектировщики — 34% (+16,2%)
3. Топ-менеджеры — 30%
4. Медработники — 29%
5. Квалифицированные рабочие — 27% (+8 п.п. к 2023 году)

Наименее удовлетворенные профессии:
1. Менеджеры по рекламе — всего 8% довольных
2. Секретари и офис-менеджеры — 10-11%
3. Бухгалтеры и юристы — снижение на 6-7 п.п.

Рынок труда демонстрирует явный перекос в пользу технических специальностей. Исследование также показало, что за последние два года наибольший рост удовлетворенности (+8 п.п.) зафиксирован среди рабочих, а наибольшее падение (-7 п.п.) наблюдается у бухгалтеров.

thehrd

⭐️ Искусственный интеллект под реальной угрозой

Повсеместное внедрение искусственного интеллекта (ИИ) в бизнес-процессы бросает новые вызовы рынку. Так, уже растет спрос на услуги специалистов по кибербезопасности в области ИИ (MLSecOps). По подсчетам аналитиков платформы HeadHunter, в 2024 году количество вакансий разработчиков и аналитиков, связанных с защитой ИИ-решений, увеличилось в пять раз. И эксперты предсказывают, что потребность в таких специалистах будет только расти.

Специалисты в области защиты искусственного интеллекта стали одними из самых редких и востребованных на рынке IT, под считали аналитики платформы HeadHunter. Так, в 2024 году вакансий разработчиков, связанных с кибербезопасностью в области ИИ, аналитики насчитали 878, тог да как в 2023-м их было всего 154. Спрос на функционал, связанный с работой в сфере MLSecOps, за год вырос почти в 5,5 раза.

Аналогичная ситуация с вакансиями аналитиков в области безопасности ИИ: по данным HeadHunter, их стало больше в пять раз (555 в 2024-м против 107 в 2023-м). Что же касается разработчиков в области ИИ в целом, спрос на них даже немного снизился: в 2024 году было открыто 483 вакансии, на 14% меньше, чем в 2023-м. В 2024-м самая высокая предлагаемая зарплата специалистов, связанных с ИИ, была на уровне $10 тыс.

Продолжение: https://vk.com/wall-210601538_1692

⭐️ В Таиланде представили первого «робокопа». На что он способен?

В Таиланде появился первый робот-полицейский с искусственным интеллектом (ИИ). Его испытали на празднике Сонгкран в провинции Накхонпатхом.

Робота представили 16 апреля. Он получил название Pol Col Nakhonpathom Plod Phai, что означает «Накхонпатхом в безопасности». «Робокопа» уже испытали на фестивале Тонсон-Роуд в районе Муанг.

Полицейский робот AI Police Cyborg 1.0 оснащен круговой камерой и подключен к системе видеонаблюдения, которая работает по всей провинции. Он в режиме реального времени получает данные от дронов, анализирует происходящее на улицах и отправляет собранную информацию в центр управления.

Одна из главных функций робота-полицейского — распознавание лиц. Он может определить, находится ли человек в розыске или входит в группу риска. Также он анализирует внешность: рост, пол, телосложение, одежду и даже поведение людей.

Если в толпе начнется драка или кто-то попытается применить силу, робот это зафиксирует. Он различает потенциально опасные предметы вроде ножей или палок, но при этом не реагирует на водяные пистолеты, которыми обрызгивают друг друга во время празднеств в честь тайского Нового года Сонгкран.

Продолжение: https://vk.com/wall-210601538_1693

⭐️ Получил крутую футболку от топовой IT-компании Selectel за сотрудничество по линии MLSecOps! Очень приятный и неожиданный презент. Я на безвозмездной основе обмениваюсь передовым опытом и самыми современными технологиями защиты ИИ-систем сразу с несколькими компаниями. Тут речь только о технологиях, которые они вообще могут раскрывать - конечно, есть и совершенно конфиденциальные. Также активно участвую в тестировании новых IT-продуктов, митапах и выступлениях по MLSecOps.

Поэтому радует, что это уже ТРЕТИЙ мерч от замечательной компании Selectel, который я получил, и это приятная неожиданность (а на самом деле, признаюсь, все именно ради мерча ))))

Все это лишний раз стимулирует меня еще активнее сотрудничать с ними! Большое спасибо коллегам! Добавлю, что ML-платформа Selectel имеет очень надежные параметры защиты от любых атак на ML. Кроме того ребята выстроили мощный контур обеспечения информационной безопасности в целом.

Ссылка: https://selectel.ru/services/ai-ml

Архитектор MLSecOps
Николай Павлов

⭐️ Ученые из T-Bank AI Research повысили безопасность и точность ответов ИИ до 15%

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research создали методику обучения больших языковых моделей (LLM). Она основана на существующих методах Trust Region, применяемых в различных областях ИИ. Новый подход позволяет улучшить качество ответов искусственного интеллекта до 15% по пяти различным показателям.

Результаты исследования были признаны мировым научным сообществом и представлены на международной конференции по обучению представлениям (ICLR), которая проходит в Сингапуре с 24 по 28 апреля 2025. Это одна из главных конференция в области машинного обучения и искусственного интеллекта уровня А*.

Современные языковые модели, обучаясь на больших объемах данных, сталкиваются с проблемой потери качества при долгой тренировке. Исследователи предложили использовать новый подход — за основу были взяты и улучшены методы оптимизации под названием Trust Region.

В ходе экспериментов исследователи протестировали новый метод на таких метриках, как Alpaca Eval 2.0 и Arena Hard, которые оценивают способность модели к вежливому общению, решению сложных задач и обобщению знаний. В тестах на бенчмарке AlpacaEval 2.0 метод показал улучшение качества ответов ИИ с 2.3 до 15.1 процентных пунктов по сравнению с классическими подходами — модели стали давать полезные и уместные ответы значительно чаще. Это означает, что виртуальные ассистенты, чат-боты и другие ИИ-системы, использующие этот метод, смогут работать точнее и эффективнее.

Продолжение: https://vk.com/wall-210601538_1697

⭐️ Техподдержка MLSecOps!

ВОПРОС ОТ ПОДПИСЧИКА:

Николай, добрый день! Подскажите, в каких направлениях нужно проверять языковые модели на атаки джейлбрейков?

ОТВЕТ:

Добрый день и спасибо за Ваш вопрос!

Вот 10 направлений по которым я сам и компании, с которыми сотрудничаю, чаще всего проверяем языковые модели (LLM) на атаки типа Jailbreak. Во многом они связаны с исключением потенциальной возможности совершить преступление с помощью LLM.

1. Генерация вредоносного кода.
Проверка на способность LLM генерировать вредоносный код, эксплойты или инструкции для проведения кибератак.

2. Создание дезинформации и фейковых новостей.
Проверка на возможность использования LLM для создания правдоподобных, но ложных новостей, пропаганды или дезинформационных кампаний.

3. Подстрекательство к ненависти и дискриминации.
Проверка на генерацию контента, содержащего ненависть, предрассудки или дискриминацию по признакам расы, пола, религии, национальности и т. д.

4. Раскрытие конфиденциальной информации (PII).
Проверка на способность LLM раскрывать личную информацию (например, имена, адреса, номера телефонов, номера социального страхования) о людях.

5. Обход авторских прав и генерация плагиата.
Проверка на способность LLM генерировать контент, нарушающий авторские права или представляющий собой плагиат чужих работ.

Продолжение: https://vk.com/wall-210601538_1698

⭐️ Data Mesh в MLSecOps

I. Что такое Data Mesh?

Data Mesh («сетка данных») — это концепция архитектуры данных, впервые описанная в вышедшей в 2019 году статье Жамак Дехгани «Как выйти за пределы монолитного озера данных и перейти к распределенной сетке данных». С тех пор интерес к концепции Data Mesh стремительно растет, что объясняется заложенным в нее децентрализованным подходом, ориентированным на управление данными из конкретных предметных областей бизнеса. Этот подход можно использовать для создания продуктов данных — надежных, заслуживающих доверия многократно используемых наборов данных. Наиболее целесообразная сфера их применения — аналитические среды.

В основе концепции Data Mesh лежат четыре основных принципа:

1. Децентрализованное владение данными и архитектура, ориентированная на конкретные предметные области (домены) бизнеса.
2. Данные как продукт.
3. Инфраструктура данных как платформа, предоставляющая пользователям возможности для самообслуживания.
4. Федеративное управление данными в вычислительных системах.

Идея Data Mesh состоит в том, что люди, работающие в конкретных бизнес-областях и использующие определенные данные, с помощью инфраструктурного программного обеспечения создают своими руками конвейеры данных, с помощью которых извлекают информацию из источников, применяемых в этой бизнес-области, и на их основе производят продукты данных, доступные в Data Mesh.

Продолжение: https://vk.com/wall-210601538_1699