MLSecOps | AI Governance | IT Trends – Telegram
MLSecOps | AI Governance | IT Trends
926 subscribers
100 photos
2 videos
3 files
409 links
Канал для друзей и коллег с целью ежедневного развития в направлениях MLSecOps и AI Governance.
Свежие новости, перспективные вакансии, IT-тренды и лучшие учебные программы в сфере ИИ.
Download Telegram
⭐️ Тестовые задания на ИТ-вакансии отталкивают до 80% кандидатов

Только 2 из 10 разработчиков откликнутся на вакансию, где указана необходимость пройти тестовое задание. Среди тестировщиков этот показатель составляет 6 из 10.

Согласно исследованию сервиса SuperJob, лидерами в списке готовых пройти «вступительное испытание» находятся тестировщики программного обеспечения – 63% из них охотно откликаются на вакансии с тестами, а 27% делают это избирательно, отправляя резюме только на некоторые предложения. За последние четыре года готовность тестировщиков участвовать в тестировании при трудоустройстве возросла, что связано с высокой конкуренцией на рынке труда в IT-сфере.

Продолжение: https://vk.com/wall-210601538_1564
⭐️ «Сбер» представил GigaChat 2.0

Обновленный ИИ от «Сбера» поможет корпоративным клиентам компании решать бизнес-задачи быстрее и эффективнее.

Главной моделью обновленной линейки является большая языковая модель ⭐️ GigaChat 2 MAX.

💡 Она стала мощнее первого поколения, демонстрируя отличные результаты в задачах на русском языке по сравнению с зарубежными аналогами.

⭐️ GigaChat 2 Pro предназначена для сценариев, требующих высокой точности и креативности, обеспечивая уровень MAX первого поколения, но с меньшим потреблением ресурсов.

⭐️ GigaChat 2 Lite - предназначена для простых задач, по качеству соответствует Pro предыдущего поколения.

Продолжение: https://vk.com/wall-210601538_1565
⭐️ Безопасность искусственного интеллекта: главные риски для России и мира

Искусственный интеллект (ИИ) стремительно проникает в различные сферы – от бизнеса до медицины, словно буря, не оставляющая места для сомнений. Однако это волнение сопровождается множеством критических проблем безопасности, которые, как тени, требуют тщательного анализа и детального решения. Давайте погрузимся в этот лабиринт, опять же, основываясь на исследованиях специалистов из Беркли, Стэнфорда и Google Brain.

Обсуждение безопасности ИИ охватывает несколько ключевых аспектов. Каждую из этих областей нужно не просто понять, а глубоко исследовать, как будто разгадываем сложный ребус.

1. Безопасное исследование окружающей среды
Опасность катастрофических действий: Как обеспечить, чтобы агенты, обученные методом подкрепления (RL), могли изучать окружающую среду без риска для себя и других? Может ли агент, например, исправлять обстановку, не разрушая по пути что-то важное?

Продолжение: https://vk.com/wall-210601538_1566
⭐️ Главный эксперт по безопасной разработке (MLOps) в Альфа-Банк

Обязанности:
+ Анализировать безопасность систем ML, LLM и GenAI
+ Разрабатывать защиту от атак на системы ML, LLM и GenAI
+ Проводить аудиты и тестирование AI-систем на проникновение
+ Разрабатывать политики и процессы безопасности AI/ML
+ Интегрировать безопасные практики в жизненный цикл моделей
+ Отслеживать новые угрозы и требования в сфере AI-безопасности

Требования:
+ Опыт в ИБ или ML (1–3 года)
+ Глубокое понимание принципов работы ML/LLM/GenAI
+ Знакомство с работой MLOps-конвейера
+ Понимание угроз и атак на ML/LLM/GenAI
+ Знание ML-фреймворков (TensorFlow, PyTorch) и MLOps-инструментов
+ Умение разбираться в современных LLM и GenAI
+ Знакомство с инструментами анализа безопасности ML/LL

Будет плюсом:
+ Знание распространенных уязвимостей и атак на системы машинного обучения
+ Понимание подходов и практик DevSecOps / MLOps / MLSecOps / LLMSecOps

Условия:
+ Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
+ Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
+ Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
+ Сложные и интересные задачи
+ Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
+ Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
+ Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
+ Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
+ Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины

Ссылка на вакансию: https://hh.ru/vacancy/118296846

Архитектор MLSecOps
Николай Павлов
⭐️ Академия Softline запускает первую в России корпоративную программу по безопасности систем машинного обучения (MLSecOps)

Академия Softline (ГК Softline) объявляет о запуске уникальной образовательной программы «Основы MLSecOps. Обеспечение безопасности систем машинного обучения». Это первая в России корпоративная программа обучения, направленная на подготовку специалистов в области защиты моделей машинного обучения и этичного использования искусственного интеллекта.

В условиях стремительного роста внедрения технологий искусственного интеллекта в бизнес-процессы особую актуальность приобретает вопрос их безопасного использования. Модели машинного обучения, как ключевые элементы современных информационных систем, могут быть подвержены целенаправленным атакам и несанкционированному доступу. Это подтверждается зафиксированными случаями компрометации крупных нейросетевых моделей ведущих международных разработчиков. За последние два года количество вакансий в сфере MLSecOps на российском рынке выросло в шесть раз, что подтверждает острую потребность в специалистах данного профиля.

Продолжение: https://vk.com/wall-210601538_1569
⭐️ Китай введет обязательную маркировку контента, созданного искусственным интеллектом

Вслед за Евросоюзом и Соединенными Штатами, КНР вводит правила, касающиеся материалов, произведенных генеративными ИИ-системами.

Государственная канцелярия интернет-информации Китая (CAC) совместно с другими ведомствами сообщила о новых нормах, обязывающих разработчиков маркировать материалы, созданные ИИ.

🆗 Маркировка будет интегрирована в сам контент или добавлена в метаданные. Новые правила вступают в силу с 1 сентября.

❗️Причиной введения мер стало быстрое развитие генеративного ИИ, способного создавать контент в различных форматах.

Продолжение: https://vk.com/wall-210601538_1570
⭐️ Мировые тренды IT 2025

Согласно отчету ВЭФ о будущем рабочих мест, в ближайшие 5 лет технологический прогресс преобразует глобальный рынок труда больше, чем любая другая тенденция. Ключевую роль в трансформации сыграет повсеместное распространение искусственного интеллекта (ИИ), которое способствует росту и сокращению рабочих мест в организациях. Отчет основан на данных опроса более 1000 компаний из 22 отраслей с совокупным количеством работников 14 млн человек и охватом 55 экономик во всех странах мира.

Пик интереса к искусственному интеллекту пришелся на март 2022 года, но сегодня организации все еще увлечены им – настолько, что специалисты вынуждены конкурировать с ИИ за рабочее место, независимо от сферы его применения. В 2025-м его намерены взять на вооружение 75% опрошенных аналитиками компании Resume Templates работодателей (984 респондента). При этом 77% компаний планируют обучить своих сотрудников работе с системами ИИ, а 41% – сократить штат там, где искусственный интеллект может автоматизировать задачи.

Продолжение: https://vk.com/wall-210601538_1572
⭐️ Эксперт Черновол указал на ужесточение контроля за иностранными системами ИИ

Во многих странах наблюдается тенденция к усилению контроля над иностранными системами ИИ. В будущем регуляторы будут стремиться к тому, чтобы все цифровые сервисы соответствовали требованиям безопасности, прозрачности и локализации данных, спрогнозировал научный сотрудник лаборатории анализа лучших международных практик Института Гайдара Кирилл Черновол.

Такую тенденцию выявили сотрудники лаборатории в исследовании "Мониторинг правового регулирования цифровой экономики". В феврале 2025 года регуляторы стран ЕС, США, Австралии ввели ограничения на использование китайского чат-бота DeepSeek, так как неясно, как компания хранит и обрабатывает данные пользователей. Также DeepSeek передает данные иностранных пользователей в Китай, что вызывает вопросы правомерности их передачи между юрисдикциями, говорится в исследовании.

Продолжение: https://vk.com/wall-210601538_1573
⭐️ Китайские ученые разработали модель глубокого обучения, которая повышает точность прогнозирования молний, что способствует защите электрических сетей

Исследователи из ключевой лаборатории энергетики Китая и Государственной сетевой корпорации создали систему, основанную на ИИ, которая обрабатывает данные о молниях и анализирует спутниковые снимки.

💡 Благодаря использованию современных нейронных сетей, эта модель способна прогнозировать как географическое местоположение, так и частоту возникновения молний.

🆗 Она уже продемонстрировала многообещающие результаты в прогнозировании грозовой активности в центральных и южных регионах Китая.

Ведущий исследователь, Фэнцюань Ли, подчеркивает, что модель предоставляет более точные и оперативные прогнозы, делая ее важным инструментом для обеспечения стабильности электроснабжения.

Цзянь Ли, еще один ведущий исследователь, отмечает, что в дальнейшем планируется улучшить модель, увеличив объем используемых данных и оптимизируя ее структуру для повышения надежности.
⭐️ Ключевые сотрудники DeepSeek сдали загранпаспорта, чтобы предотвратить утечку информации

Руководство DeepSeek, по указанию властей Китая, приняло решение о том, что некоторые ключевые сотрудники должны сдать свои заграничные паспорта.

Проект DeepSeek в Китае был объявлен национальным достоянием и теперь находится под строгой охраной. Запрет на поездки за пределы страны для работников компании направлен на предотвращение утечки «конфиденциальной информации, которая может представлять собой коммерческую или даже государственную тайну».

Администрация DeepSeek следит за соблюдением ограничений на поездки, заставляя свою материнскую компанию (хедж-фонд High Flyer) хранить паспорта некоторых сотрудников.

Эти события начали развиваться через несколько недель после того, как стало известно, что китайское правительство предписывает исследователям и предпринимателям в области искусственного интеллекта избегать поездок в США из-за опасений утечки коммерческой тайны.
⭐️ Эксперты Softline: «В ближайшие 10 лет мы увидим, как искусственный интеллект будет развиваться и интегрироваться в бизнес-процессы»

Заказчики сегодня видят очевидные преимущества ИИ-сервисов двух направлений: в автоматизации рутинных процессов и в обработке больших объемов информации. Приоритетные отрасли для ИИ — медицина, машиностроение и финансовый сектор. Важную роль в внедрении искусственного интеллекта играет ИТ-сектор. Об этом рассказывают руководитель направления CRM и BPM ГК Softline Светлана Ермакова и менеджер по развитию продаж BPMSoft ГК Softline Владимир Грибоедов.

— Какие ИИ-инструменты в настоящее время широко используются бизнесом, независимо от его масштаба и сферы деятельности? Насколько существенным был прорыв в этом направлении за 2024 год?

Светлана Ермакова: Искусственный интеллект становится неотъемлемой частью современных бизнес-процессов, независимо от масштаба компании или отрасли. В 2024 году мы видим более глубокую интеграцию ИИ в бизнес-решения.

Продолжение: https://vk.com/wall-210601538_1582
⭐️ MAITUO Traffic Control Solution в MLSecOps

Новый продукт MAITUO Traffic Control Solution, представленный на базе аппаратной платформы NSC-8001, предлагает комплексное решение для управления сетевым трафиком, оптимизации производительности и обеспечения стабильности работы сетей. Рассмотрим его основные преимущества:
________________________________________
1. Высокая производительность и надежность

• Процессор Intel Xeon 2-го поколения обеспечивает высокую вычислительную мощность, необходимую для обработки больших объемов сетевого трафика в реальном времени.

• Поддержка до 384 ГБ оперативной памяти (DDR4 ECC/Non-ECC) позволяет эффективно справляться с задачами, требующими значительных ресурсов, такими как анализ трафика, глубокая инспекция пакетов (DPI) и управление полосой пропускания.

• Надежная конструкция (2U Rackmount). Устройство разработано для установки в серверные стойки, что делает его идеальным для центров обработки данных и корпоративных сетей.

Продолжение: https://vk.com/wall-210601538_1583
⭐️ Вместо традиционных психотерапевтов люди все чаще обращаются к помощи искусственного интеллекта. Это создает новые угрозы в направлении MLSecOps

Наблюдается тенденция, когда ИИ чат-боты начинают вытеснять психологов.

Уже в 2025 году многие предпочитают делиться своими переживаниями с ChatGPT или Claude.

Причины лежат в оперативности, экономии и круглосуточной доступности.

Кевин Руз, ведущий подкаста Hard Fork, отметил, что ИИ-ассистенты предлагают мгновенные решения, в отличие от традиционной терапии, требующей предварительной записи и существенных финансовых затрат.

Продолжение: https://vk.com/wall-210601538_1585
⭐️ Как ИИ-агенты меняют атаки с украденными учётными данными

Атаки с подбором учётных данных оказали огромное влияние в 2024 году на всю мировую IT-индустрию, подпитываемые замкнутым кругом заражений и утечек данных. Однако ситуация может стать ещё хуже с появлением Computer‑Using Agents (CUA) — нового типа ИИ‑агентов, обеспечивающих дешёвую и малозатратную автоматизацию распространённых веб‑задач, включая те, которые активно используют злоумышленники.

В 2023–2024 годах украденные учётные данные стали наиболее популярным методом атаки, послужив вектором взлома в 80% атак на веб‑приложения. Это неудивительно, если учесть, что в сети циркулируют миллиарды утекших комбинаций логинов и паролей, а киберпреступники могут приобрести свежие базы всего за $10 на подпольных форумах.

Чёрный рынок краденых данных активно растёт благодаря громким утечкам 2024 года, таким как атаки на клиентов Snowflake, где злоумышленники использовали учётные данные, обнаруженные в дампах утечек данных и взломанных базах, полученных с помощью инфостилеров и массовых фишинговых кампаний. В результате было скомпрометировано 165 арендаторов Snowflake и похищены сотни миллионов записей.

Но даже несмотря на беспрецедентный масштаб атак, основанных на краже учётных данных, остаётся много нереализованных возможностей для злоумышленников.

Продолжение: https://vk.com/wall-210601538_1587
⭐️ Спрос на специалистов MLSecOps вырос более чем на 900% за год

Привет, мои замечательные и нереальные Звезды IT! И самые главные фанаты MLSecOps!

Ну что, хочу вас порадовать. Согласно моей собственной аналитике спрос на специалистов MLSecOps на hh за год вырос более чем на 900% (!!!), то есть почти в 10 (!!!) раз.

Моя аналитика включает вообще все упоминания MLSecOps, как в названиях вакансий, так и в их описаниях. Но даже если считать только по названиям - спрос вырос ровно в 9 раз.

Сейчас, например, специалистов MLSecOps ищут такие компании, как: Финам, Уральский центр систем безопасности, Альфа-банк, Сбер, Газпромбанк, ИК Сибинтек, Т-банк и ряд других. Ну и зарплатная вилка начинается от 300, а в отдельных вакансиях и от 400, что тоже радует.

Все это доказывает железобетонную надежность всех моих прогнозов, советов, технологий. Поэтому - уверенно продолжаем идти на вершину священной айтишки и верить в лучшее!

Архитектор MLSecOps
Николай Павлов
👍2
⭐️ Регламент Европейского союза об искусственном интеллекте 2024 год

Внимательно читаем и адаптируем инсайты в системы MLSecOps.
Ссылка:
https://ai.gov.ru/upload/iblock/5c0/b4ru8d2siia81dgmjq3kdjfe6qus2n0s.pdf

Архитектор MLSecOps
Николай Павлов
⭐️ Россия вошла в топ-10 стран по размерам рынка информационной безопасности

Коммерческий сегмент российского рынка ИТ (без учёта ИТ-компаний, ориентированных на внутренние разработки или инсорсинг) за 2024 год оценивается в 2,2 трлн руб. Второй год подряд с 2022 года данный рынок демонстрирует ежегодные темпы роста в 19 %. При этом рынок продуктов и услуг информационной безопасности составляет порядка 14 % всего коммерческого ИТ-рынка РФ и является одной из крупнейших вертикалей, сохраняя при этом потенциал дальнейшего роста указанной доли. С учётом сегмента ИТ-компаний, ориентированных на внутренние разработки и ИТ-сервисы (инсорсеры) доля рынка ИБ в общей структуре составит 11 %, отмечают аналитики.

Рост российского рынка ИБ в РФ с 2022 по 2024 годы составил 56 %, а среднегодовой темп роста за указанный период — 25 %, что делает данный рынок одним из наиболее динамичных сегментов рынка ИТ.

Продолжение: https://vk.com/wall-210601538_1590
⭐️ Введение в MLSecOps

I. Что такое MLSecOps?

MLSecOps — это термин, который охватывает сразу три различные области IT: машинное обучение (ML), безопасность (Sec) и операции (Ops).

Технологии машинного обучения и искусственного интеллекта предлагают множество преимуществ в решении современных проблем безопасности. Их способность учиться на исторических данных и адаптировать свое поведение на основе прошлого опыта дает значительное преимущество по сравнению с традиционными приложениями безопасности.

MLSecOps содержит различные технологии и практики, направленные на защиту моделей ML/AI от киберугроз. Состязательные атаки, атаки уклонения и отравления данных представляют значительный риск для моделей машинного обучения и искусственного интеллекта. Злоумышленники могут пытаться манипулировать моделями или подменять их, ставя под угрозу их целостность и надежность.

Продолжение: https://vk.com/wall-210601538_1591
⭐️ 20 базовых мер для обеспечения безопасности в MLSecOps

I. Защита данных:

1. Валидация входных данных.
Всегда проверяйте данные, поступающие в модель, на соответствие ожидаемому формату и диапазону.

2. Санитизация данных.
Удаляйте или экранируйте вредоносные символы из входных данных, чтобы предотвратить инъекции.

3. Ограничение доступа к данным.
Используйте контроль доступа (ACL) для ограничения доступа к обучающим данным только авторизованным пользователям и процессам.

4. Шифрование данных.
Шифруйте обучающие данные и данные, используемые для прогнозирования, как при хранении, так и при передаче.

5. Аудит данных.
Ведите журнал всех операций с данными, включая доступ, изменение и удаление.

II. Защита модели:

Продолжение: https://vk.com/wall-210601538_1592
⭐️ Почти четверть всех утечек данных будет связана с внедрением искусственного интеллекта

Развитие новых технологий, в первую очередь искусственного интеллекта и облачных решений, эксперты считают определяющими в сфере развития информационной безопасности в России наряду с ростом количества и сложности атак на российские компании и сервисы.

Количество кибератак и инцидентов, связанных с кибербезопасностью, выросло в России в 3–3,5 раза в 2021–2023 гг. и продолжило рост в 2024 г., отмечают эксперты консалтинговой компании Б1. Количество атакуемых сфер экономики увеличилось в 3–4 раза. Это заставляет российский бизнес больше инвестировать в информбезопасность, а потребители все чаще обращают внимание на то, как защищены их данные. Бесплатным сервисом Т2 и компании "Солар", который позволяет получить отчет об утечках персональных данных, только за первые месяцы работы воспользовалось более 1 млн человек.

Продолжение: https://vk.com/wall-210601538_1593
⭐️ 5 + 5 простых идей для автоматической защиты данных от атаки отравления и автозащиты модели от состязательных атак

DATA POISONING ATTACK

1. Обнаружение на основе простого диапазона значений (Basic Range Check).

Идея: Проверка, находятся ли значения признаков в разумных пределах. Это может выявить выбросы, которые могут быть результатом отравления.

2. Обнаружение на основе уникальности меток (Label Uniqueness Check).

Идея: Проверка, не слишком ли много одинаковых меток подряд. Отравленные данные могут создавать неестественные последовательности.

3. Обнаружение на основе простого подсчета меток (Basic Label Count Check).

Идея: Проверяет, не нарушено ли общее соотношение меток в данных.

Продолжение: https://vk.com/wall-210601538_1594