MLSecOps | AI Governance | IT Trends – Telegram
MLSecOps | AI Governance | IT Trends
925 subscribers
100 photos
2 videos
3 files
408 links
Канал для друзей и коллег с целью ежедневного развития в направлениях MLSecOps и AI Governance.
Свежие новости, перспективные вакансии, IT-тренды и лучшие учебные программы в сфере ИИ.
Download Telegram
⭐️ «Сбер» представил GigaChat 2.0

Обновленный ИИ от «Сбера» поможет корпоративным клиентам компании решать бизнес-задачи быстрее и эффективнее.

Главной моделью обновленной линейки является большая языковая модель ⭐️ GigaChat 2 MAX.

💡 Она стала мощнее первого поколения, демонстрируя отличные результаты в задачах на русском языке по сравнению с зарубежными аналогами.

⭐️ GigaChat 2 Pro предназначена для сценариев, требующих высокой точности и креативности, обеспечивая уровень MAX первого поколения, но с меньшим потреблением ресурсов.

⭐️ GigaChat 2 Lite - предназначена для простых задач, по качеству соответствует Pro предыдущего поколения.

Продолжение: https://vk.com/wall-210601538_1565
⭐️ Безопасность искусственного интеллекта: главные риски для России и мира

Искусственный интеллект (ИИ) стремительно проникает в различные сферы – от бизнеса до медицины, словно буря, не оставляющая места для сомнений. Однако это волнение сопровождается множеством критических проблем безопасности, которые, как тени, требуют тщательного анализа и детального решения. Давайте погрузимся в этот лабиринт, опять же, основываясь на исследованиях специалистов из Беркли, Стэнфорда и Google Brain.

Обсуждение безопасности ИИ охватывает несколько ключевых аспектов. Каждую из этих областей нужно не просто понять, а глубоко исследовать, как будто разгадываем сложный ребус.

1. Безопасное исследование окружающей среды
Опасность катастрофических действий: Как обеспечить, чтобы агенты, обученные методом подкрепления (RL), могли изучать окружающую среду без риска для себя и других? Может ли агент, например, исправлять обстановку, не разрушая по пути что-то важное?

Продолжение: https://vk.com/wall-210601538_1566
⭐️ Главный эксперт по безопасной разработке (MLOps) в Альфа-Банк

Обязанности:
+ Анализировать безопасность систем ML, LLM и GenAI
+ Разрабатывать защиту от атак на системы ML, LLM и GenAI
+ Проводить аудиты и тестирование AI-систем на проникновение
+ Разрабатывать политики и процессы безопасности AI/ML
+ Интегрировать безопасные практики в жизненный цикл моделей
+ Отслеживать новые угрозы и требования в сфере AI-безопасности

Требования:
+ Опыт в ИБ или ML (1–3 года)
+ Глубокое понимание принципов работы ML/LLM/GenAI
+ Знакомство с работой MLOps-конвейера
+ Понимание угроз и атак на ML/LLM/GenAI
+ Знание ML-фреймворков (TensorFlow, PyTorch) и MLOps-инструментов
+ Умение разбираться в современных LLM и GenAI
+ Знакомство с инструментами анализа безопасности ML/LL

Будет плюсом:
+ Знание распространенных уязвимостей и атак на системы машинного обучения
+ Понимание подходов и практик DevSecOps / MLOps / MLSecOps / LLMSecOps

Условия:
+ Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
+ Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
+ Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
+ Сложные и интересные задачи
+ Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
+ Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
+ Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
+ Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
+ Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины

Ссылка на вакансию: https://hh.ru/vacancy/118296846

Архитектор MLSecOps
Николай Павлов
⭐️ Академия Softline запускает первую в России корпоративную программу по безопасности систем машинного обучения (MLSecOps)

Академия Softline (ГК Softline) объявляет о запуске уникальной образовательной программы «Основы MLSecOps. Обеспечение безопасности систем машинного обучения». Это первая в России корпоративная программа обучения, направленная на подготовку специалистов в области защиты моделей машинного обучения и этичного использования искусственного интеллекта.

В условиях стремительного роста внедрения технологий искусственного интеллекта в бизнес-процессы особую актуальность приобретает вопрос их безопасного использования. Модели машинного обучения, как ключевые элементы современных информационных систем, могут быть подвержены целенаправленным атакам и несанкционированному доступу. Это подтверждается зафиксированными случаями компрометации крупных нейросетевых моделей ведущих международных разработчиков. За последние два года количество вакансий в сфере MLSecOps на российском рынке выросло в шесть раз, что подтверждает острую потребность в специалистах данного профиля.

Продолжение: https://vk.com/wall-210601538_1569
⭐️ Китай введет обязательную маркировку контента, созданного искусственным интеллектом

Вслед за Евросоюзом и Соединенными Штатами, КНР вводит правила, касающиеся материалов, произведенных генеративными ИИ-системами.

Государственная канцелярия интернет-информации Китая (CAC) совместно с другими ведомствами сообщила о новых нормах, обязывающих разработчиков маркировать материалы, созданные ИИ.

🆗 Маркировка будет интегрирована в сам контент или добавлена в метаданные. Новые правила вступают в силу с 1 сентября.

❗️Причиной введения мер стало быстрое развитие генеративного ИИ, способного создавать контент в различных форматах.

Продолжение: https://vk.com/wall-210601538_1570
⭐️ Мировые тренды IT 2025

Согласно отчету ВЭФ о будущем рабочих мест, в ближайшие 5 лет технологический прогресс преобразует глобальный рынок труда больше, чем любая другая тенденция. Ключевую роль в трансформации сыграет повсеместное распространение искусственного интеллекта (ИИ), которое способствует росту и сокращению рабочих мест в организациях. Отчет основан на данных опроса более 1000 компаний из 22 отраслей с совокупным количеством работников 14 млн человек и охватом 55 экономик во всех странах мира.

Пик интереса к искусственному интеллекту пришелся на март 2022 года, но сегодня организации все еще увлечены им – настолько, что специалисты вынуждены конкурировать с ИИ за рабочее место, независимо от сферы его применения. В 2025-м его намерены взять на вооружение 75% опрошенных аналитиками компании Resume Templates работодателей (984 респондента). При этом 77% компаний планируют обучить своих сотрудников работе с системами ИИ, а 41% – сократить штат там, где искусственный интеллект может автоматизировать задачи.

Продолжение: https://vk.com/wall-210601538_1572
⭐️ Эксперт Черновол указал на ужесточение контроля за иностранными системами ИИ

Во многих странах наблюдается тенденция к усилению контроля над иностранными системами ИИ. В будущем регуляторы будут стремиться к тому, чтобы все цифровые сервисы соответствовали требованиям безопасности, прозрачности и локализации данных, спрогнозировал научный сотрудник лаборатории анализа лучших международных практик Института Гайдара Кирилл Черновол.

Такую тенденцию выявили сотрудники лаборатории в исследовании "Мониторинг правового регулирования цифровой экономики". В феврале 2025 года регуляторы стран ЕС, США, Австралии ввели ограничения на использование китайского чат-бота DeepSeek, так как неясно, как компания хранит и обрабатывает данные пользователей. Также DeepSeek передает данные иностранных пользователей в Китай, что вызывает вопросы правомерности их передачи между юрисдикциями, говорится в исследовании.

Продолжение: https://vk.com/wall-210601538_1573
⭐️ Китайские ученые разработали модель глубокого обучения, которая повышает точность прогнозирования молний, что способствует защите электрических сетей

Исследователи из ключевой лаборатории энергетики Китая и Государственной сетевой корпорации создали систему, основанную на ИИ, которая обрабатывает данные о молниях и анализирует спутниковые снимки.

💡 Благодаря использованию современных нейронных сетей, эта модель способна прогнозировать как географическое местоположение, так и частоту возникновения молний.

🆗 Она уже продемонстрировала многообещающие результаты в прогнозировании грозовой активности в центральных и южных регионах Китая.

Ведущий исследователь, Фэнцюань Ли, подчеркивает, что модель предоставляет более точные и оперативные прогнозы, делая ее важным инструментом для обеспечения стабильности электроснабжения.

Цзянь Ли, еще один ведущий исследователь, отмечает, что в дальнейшем планируется улучшить модель, увеличив объем используемых данных и оптимизируя ее структуру для повышения надежности.
⭐️ Ключевые сотрудники DeepSeek сдали загранпаспорта, чтобы предотвратить утечку информации

Руководство DeepSeek, по указанию властей Китая, приняло решение о том, что некоторые ключевые сотрудники должны сдать свои заграничные паспорта.

Проект DeepSeek в Китае был объявлен национальным достоянием и теперь находится под строгой охраной. Запрет на поездки за пределы страны для работников компании направлен на предотвращение утечки «конфиденциальной информации, которая может представлять собой коммерческую или даже государственную тайну».

Администрация DeepSeek следит за соблюдением ограничений на поездки, заставляя свою материнскую компанию (хедж-фонд High Flyer) хранить паспорта некоторых сотрудников.

Эти события начали развиваться через несколько недель после того, как стало известно, что китайское правительство предписывает исследователям и предпринимателям в области искусственного интеллекта избегать поездок в США из-за опасений утечки коммерческой тайны.
⭐️ Эксперты Softline: «В ближайшие 10 лет мы увидим, как искусственный интеллект будет развиваться и интегрироваться в бизнес-процессы»

Заказчики сегодня видят очевидные преимущества ИИ-сервисов двух направлений: в автоматизации рутинных процессов и в обработке больших объемов информации. Приоритетные отрасли для ИИ — медицина, машиностроение и финансовый сектор. Важную роль в внедрении искусственного интеллекта играет ИТ-сектор. Об этом рассказывают руководитель направления CRM и BPM ГК Softline Светлана Ермакова и менеджер по развитию продаж BPMSoft ГК Softline Владимир Грибоедов.

— Какие ИИ-инструменты в настоящее время широко используются бизнесом, независимо от его масштаба и сферы деятельности? Насколько существенным был прорыв в этом направлении за 2024 год?

Светлана Ермакова: Искусственный интеллект становится неотъемлемой частью современных бизнес-процессов, независимо от масштаба компании или отрасли. В 2024 году мы видим более глубокую интеграцию ИИ в бизнес-решения.

Продолжение: https://vk.com/wall-210601538_1582
⭐️ MAITUO Traffic Control Solution в MLSecOps

Новый продукт MAITUO Traffic Control Solution, представленный на базе аппаратной платформы NSC-8001, предлагает комплексное решение для управления сетевым трафиком, оптимизации производительности и обеспечения стабильности работы сетей. Рассмотрим его основные преимущества:
________________________________________
1. Высокая производительность и надежность

• Процессор Intel Xeon 2-го поколения обеспечивает высокую вычислительную мощность, необходимую для обработки больших объемов сетевого трафика в реальном времени.

• Поддержка до 384 ГБ оперативной памяти (DDR4 ECC/Non-ECC) позволяет эффективно справляться с задачами, требующими значительных ресурсов, такими как анализ трафика, глубокая инспекция пакетов (DPI) и управление полосой пропускания.

• Надежная конструкция (2U Rackmount). Устройство разработано для установки в серверные стойки, что делает его идеальным для центров обработки данных и корпоративных сетей.

Продолжение: https://vk.com/wall-210601538_1583
⭐️ Вместо традиционных психотерапевтов люди все чаще обращаются к помощи искусственного интеллекта. Это создает новые угрозы в направлении MLSecOps

Наблюдается тенденция, когда ИИ чат-боты начинают вытеснять психологов.

Уже в 2025 году многие предпочитают делиться своими переживаниями с ChatGPT или Claude.

Причины лежат в оперативности, экономии и круглосуточной доступности.

Кевин Руз, ведущий подкаста Hard Fork, отметил, что ИИ-ассистенты предлагают мгновенные решения, в отличие от традиционной терапии, требующей предварительной записи и существенных финансовых затрат.

Продолжение: https://vk.com/wall-210601538_1585
⭐️ Как ИИ-агенты меняют атаки с украденными учётными данными

Атаки с подбором учётных данных оказали огромное влияние в 2024 году на всю мировую IT-индустрию, подпитываемые замкнутым кругом заражений и утечек данных. Однако ситуация может стать ещё хуже с появлением Computer‑Using Agents (CUA) — нового типа ИИ‑агентов, обеспечивающих дешёвую и малозатратную автоматизацию распространённых веб‑задач, включая те, которые активно используют злоумышленники.

В 2023–2024 годах украденные учётные данные стали наиболее популярным методом атаки, послужив вектором взлома в 80% атак на веб‑приложения. Это неудивительно, если учесть, что в сети циркулируют миллиарды утекших комбинаций логинов и паролей, а киберпреступники могут приобрести свежие базы всего за $10 на подпольных форумах.

Чёрный рынок краденых данных активно растёт благодаря громким утечкам 2024 года, таким как атаки на клиентов Snowflake, где злоумышленники использовали учётные данные, обнаруженные в дампах утечек данных и взломанных базах, полученных с помощью инфостилеров и массовых фишинговых кампаний. В результате было скомпрометировано 165 арендаторов Snowflake и похищены сотни миллионов записей.

Но даже несмотря на беспрецедентный масштаб атак, основанных на краже учётных данных, остаётся много нереализованных возможностей для злоумышленников.

Продолжение: https://vk.com/wall-210601538_1587
⭐️ Спрос на специалистов MLSecOps вырос более чем на 900% за год

Привет, мои замечательные и нереальные Звезды IT! И самые главные фанаты MLSecOps!

Ну что, хочу вас порадовать. Согласно моей собственной аналитике спрос на специалистов MLSecOps на hh за год вырос более чем на 900% (!!!), то есть почти в 10 (!!!) раз.

Моя аналитика включает вообще все упоминания MLSecOps, как в названиях вакансий, так и в их описаниях. Но даже если считать только по названиям - спрос вырос ровно в 9 раз.

Сейчас, например, специалистов MLSecOps ищут такие компании, как: Финам, Уральский центр систем безопасности, Альфа-банк, Сбер, Газпромбанк, ИК Сибинтек, Т-банк и ряд других. Ну и зарплатная вилка начинается от 300, а в отдельных вакансиях и от 400, что тоже радует.

Все это доказывает железобетонную надежность всех моих прогнозов, советов, технологий. Поэтому - уверенно продолжаем идти на вершину священной айтишки и верить в лучшее!

Архитектор MLSecOps
Николай Павлов
👍2
⭐️ Регламент Европейского союза об искусственном интеллекте 2024 год

Внимательно читаем и адаптируем инсайты в системы MLSecOps.
Ссылка:
https://ai.gov.ru/upload/iblock/5c0/b4ru8d2siia81dgmjq3kdjfe6qus2n0s.pdf

Архитектор MLSecOps
Николай Павлов
⭐️ Россия вошла в топ-10 стран по размерам рынка информационной безопасности

Коммерческий сегмент российского рынка ИТ (без учёта ИТ-компаний, ориентированных на внутренние разработки или инсорсинг) за 2024 год оценивается в 2,2 трлн руб. Второй год подряд с 2022 года данный рынок демонстрирует ежегодные темпы роста в 19 %. При этом рынок продуктов и услуг информационной безопасности составляет порядка 14 % всего коммерческого ИТ-рынка РФ и является одной из крупнейших вертикалей, сохраняя при этом потенциал дальнейшего роста указанной доли. С учётом сегмента ИТ-компаний, ориентированных на внутренние разработки и ИТ-сервисы (инсорсеры) доля рынка ИБ в общей структуре составит 11 %, отмечают аналитики.

Рост российского рынка ИБ в РФ с 2022 по 2024 годы составил 56 %, а среднегодовой темп роста за указанный период — 25 %, что делает данный рынок одним из наиболее динамичных сегментов рынка ИТ.

Продолжение: https://vk.com/wall-210601538_1590
⭐️ Введение в MLSecOps

I. Что такое MLSecOps?

MLSecOps — это термин, который охватывает сразу три различные области IT: машинное обучение (ML), безопасность (Sec) и операции (Ops).

Технологии машинного обучения и искусственного интеллекта предлагают множество преимуществ в решении современных проблем безопасности. Их способность учиться на исторических данных и адаптировать свое поведение на основе прошлого опыта дает значительное преимущество по сравнению с традиционными приложениями безопасности.

MLSecOps содержит различные технологии и практики, направленные на защиту моделей ML/AI от киберугроз. Состязательные атаки, атаки уклонения и отравления данных представляют значительный риск для моделей машинного обучения и искусственного интеллекта. Злоумышленники могут пытаться манипулировать моделями или подменять их, ставя под угрозу их целостность и надежность.

Продолжение: https://vk.com/wall-210601538_1591
⭐️ 20 базовых мер для обеспечения безопасности в MLSecOps

I. Защита данных:

1. Валидация входных данных.
Всегда проверяйте данные, поступающие в модель, на соответствие ожидаемому формату и диапазону.

2. Санитизация данных.
Удаляйте или экранируйте вредоносные символы из входных данных, чтобы предотвратить инъекции.

3. Ограничение доступа к данным.
Используйте контроль доступа (ACL) для ограничения доступа к обучающим данным только авторизованным пользователям и процессам.

4. Шифрование данных.
Шифруйте обучающие данные и данные, используемые для прогнозирования, как при хранении, так и при передаче.

5. Аудит данных.
Ведите журнал всех операций с данными, включая доступ, изменение и удаление.

II. Защита модели:

Продолжение: https://vk.com/wall-210601538_1592
⭐️ Почти четверть всех утечек данных будет связана с внедрением искусственного интеллекта

Развитие новых технологий, в первую очередь искусственного интеллекта и облачных решений, эксперты считают определяющими в сфере развития информационной безопасности в России наряду с ростом количества и сложности атак на российские компании и сервисы.

Количество кибератак и инцидентов, связанных с кибербезопасностью, выросло в России в 3–3,5 раза в 2021–2023 гг. и продолжило рост в 2024 г., отмечают эксперты консалтинговой компании Б1. Количество атакуемых сфер экономики увеличилось в 3–4 раза. Это заставляет российский бизнес больше инвестировать в информбезопасность, а потребители все чаще обращают внимание на то, как защищены их данные. Бесплатным сервисом Т2 и компании "Солар", который позволяет получить отчет об утечках персональных данных, только за первые месяцы работы воспользовалось более 1 млн человек.

Продолжение: https://vk.com/wall-210601538_1593
⭐️ 5 + 5 простых идей для автоматической защиты данных от атаки отравления и автозащиты модели от состязательных атак

DATA POISONING ATTACK

1. Обнаружение на основе простого диапазона значений (Basic Range Check).

Идея: Проверка, находятся ли значения признаков в разумных пределах. Это может выявить выбросы, которые могут быть результатом отравления.

2. Обнаружение на основе уникальности меток (Label Uniqueness Check).

Идея: Проверка, не слишком ли много одинаковых меток подряд. Отравленные данные могут создавать неестественные последовательности.

3. Обнаружение на основе простого подсчета меток (Basic Label Count Check).

Идея: Проверяет, не нарушено ли общее соотношение меток в данных.

Продолжение: https://vk.com/wall-210601538_1594
⭐️ MLSecOps engineer в Уральский центр систем безопасности

от 300000 ₽ за месяц на руки, полная занятость, гибрид/удаленка

Уральский центр систем безопасности (УЦСБ) – аккредитованная IT-компания – системный интегратор, реализующий масштабные проекты в сфере информационной безопасности.

Входим в ТОП-15 крупнейших компаний России в сфере защиты информации и более 17 лет оказываем бизнесу услуги в области проектирования, разработки и внедрения комплексных проектов в сфере IT и инженерных систем.

В команде УЦСБ работают более 900 сотрудников, одним из которых можешь стать ты!

Приглашаем тебя присоединиться к нашей крутой команде Аналитического центра в качестве MLSecOps инженера!

Задачи:
+ Разработка и внедрение решений безопасности для ML-моделей и инфраструктуры
+ Обеспечение соответствия требованиям безопасности на всех этапах жизненного цикла разработки ML-продуктов
+ Проведение анализа уязвимостей и оценка рисков для ML-систем
+ Реализация мер защиты от атак на модели машинного обучения (например, атаки переноса обучения, отравление данных)
+ Настройка и мониторинг инструментов для обеспечения безопасности моделей и данных
+ Взаимодействие с командами разработчиков и инженеров данных для интеграции процессов DevSecOps в ML-проекты
+ Участие в разработке политик и стандартов безопасности для организации
+ Поддержка и улучшение существующих процессов мониторинга и реагирования на инциденты безопасности

Что нужно, чтобы успешно работать:
+ Опыт работы с инструментами DevOps и CI/CD (Jenkins, GitLab CI, Kubernetes).
+ Практический опыт работы с методами машинного обучения и моделями
+ Навыки работы с инструментами MLOps
_+ Глубокое понимание принципов кибербезопасности и современных угроз
+ Навыки программирования на Python или другом языке для автоматизации задач безопасности
+ Опыт работы с системами мониторинга и алертинга (Prometheus, Grafana, ELK Stack)
+ Понимание архитектуры и методов развертывания ML-моделей
+ Знание принципов работы с большими данными и аналитическими платформами
+ Опыт проведения аудитов безопасности и тестирования на проникновение
+ Знания моделей угроз для ИИ (например, OWASP), а также методических рекомендаций по обеспечению ИБ ИИ моделей
+ Хорошее знание английского языка для чтения технической документации и общения с международными коллегами
+ Грамотная речь, умение обосновывать собственные решения, самостоятельность, инициативность

От нас:
+ Официальное трудоустройство и полностью белая зарплата – всегда вовремя;
+ Работа в аккредитованной ИТ-компании;
+ Уровень заработной платы обсуждается индивидуально с каждым кандидатом и зависит от уровня твоих знаний и компетенций;
+ Комфортные условия: современный офис рядом с парком, уютная кухня с чаем и кофе, вкусняшки каждую пятницу;
+ График работы: 5/2, с 9:30 до 18:30, возможность варьировать время начала и окончания рабочего дня, а также работать в гибридном формате;
+ Возможность работать удалённо (предоставляем всю необходимую технику, а также используем современные сервисы для коммуникации внутри компании, чтобы комфортно решать задачи даже на дистанции);
+ Качественная адаптация: система наставничества, поддержка опытных и вовлеченных коллег;
+ Обучение и развитие: курсы, тренинги и сертификации, компенсируемые на 100% за счет компании, ревью, занятия английским языком. Новые зоны роста;
+ Возможность участвовать в конференциях в роли спикера/слушателя, а также профессиональные сообщества: аспирантское движение, направление R&D, собственная ежегодная конференция ИБ - IT IS Conf;
+ Крутые корпоративные мероприятия: праздники, сплавы, турпоходы;
+ Поддержка спорта: фитнес, бассейн, баскетбол, скалодром, йога, компенсация личных затрат на занятия спортом;
+ Забота о здоровье – предоставляем ДМС после адаптационного периода.

Присылай нам резюме, если всё это о тебе, и наша корпоративная культура тебе откликается:)

Ждём тебя в крутой команде профессионалов УЦСБ!

Ссылка на вакансию: https://ekaterinburg.hh.ru/vacancy/118594487

Архитектор MLSecOps
Николай Павлов