⭐️ Утечки информации через AI-модели: как извлечь конфиденциальные данные из нейронных сетей?

В современной цифровой экосистеме появилась новая неотъемлемая часть – широкое множество ИИ-моделей. Поразительная способность «запоминать» данные, на которых обучалась модель, не только повышает точность работы модели, но и существенно повышает риск утечки конфиденциальной информации. Например, множество исследований и экспериментов показывало, что GPT-4 может выводить фрагменты персональных данных из обучающего набора при определенных целевых запросах! Также были продемонстрированы возможности восстановления лиц пациентов по весам нейронной сети, обученной на медицинских снимках!

Подобные аспекты усугубляются тем, что для достижения действительно высоких результатов моделям ИИ требуется обрабатывать огромные наборы данных, включающие, в том числе различную чувствительную информацию, например, сканы паспортов или финансовые транзакции. При этом подавляющее большинство разработчиков не могут проверить, что именно было запомнено моделью ИИ.

Продолжение: https://vk.com/wall-210601538_1558

⭐️ Новая китайская генеративная нейронная сеть Wan 2.1

Создатели китайских нейронок Qwen выпустили мощный генератор видео Wan 2.1. И теперь он доступен прямо в браузере.

Есть функция «Улучшить промт», можно добавлять звуковые эффекты и включать режим вдохновения — нейронка сама будет доводить результат до идеала. На старте дают 100 токенов (хватит на 10 роликов от лучшей модели).

Ссылка: https://wan.video/

Архитектор MLSecOps
Николай Павлов

⭐️ Порог входа в IT сильно вырастет к 2030 году

К 2030 году более 90% разработчиков начнут использовать ИИ для написания и проверки кода — прогноз от первого вице-президента по технологиям МТС Павла Воронина.

Сейчас в компании ~8% кодов создается с помощью искусственного интеллекта. Через два года эта доля вырастет еще в три раза, до 25%.

Тенденция вполне логичная — нейросетям можно делегировать рутину, чтобы заниматься более сложными и креативными задачами. Полностью заменить айтишников ИИ вряд ли сможет в ближайшее время. Однако порог входа в IT-сферу продолжит расти.

NN

⭐️ Senior MLSecOps Engineer в Т-банк

Требуемый опыт: Более 6 лет
График: Полный день
Тип занятости: Полная занятость

Мы ищем опытного MLSecOps Engineer, который присоединится к нашей команде для обеспечения безопасности моделей машинного обучения и инфраструктуры.

Ваша основная задача будет заключаться в разработке и внедрении безопасных процессов и практик для разработки, развертывания и мониторинга моделей машинного обучения, а также в защите наших данных и моделей от различных угроз.

Вы будете работать в тесном сотрудничестве с нашими AI-командами, ML-платформой, DevSecOps для создания надежной и безопасной ML-инфраструктуры.

Продолжение: https://vk.com/wall-210601538_1561

⭐️ В Китае внедрят образовательные программы по искусственному интеллекту в школах

Начиная со следующего учебного года, ученики начальной и средней школы Пекина будут изучать ИИ.

⚡️ С 1 сентября школьники будут посвящать не менее 8 академических часов в год изучению ИИ.

💡 Эти занятия могут быть организованы как самостоятельные курсы или интегрированы в существующие предметы, такие как информатика и науки о природе.

Китай нацелен на доминирование в сфере развития ИИ. Этот интерес подстегнут успехами нескольких китайских компаний, разработавших модели ИИ, конкурентоспособные с американскими аналогами, но при этом более эффективными в использовании ресурсов.

Министр образования Китая Хуай Цзиньпэн подчеркнул, что ИИ предоставляет новые горизонты для образования.

🌡 В 2025 году планируется публикация официальной "Белой книги" по обучению ИИ, которая послужит руководством для интеграции технологий в образовательный процесс.

⭐️ Тестовые задания на ИТ-вакансии отталкивают до 80% кандидатов

Только 2 из 10 разработчиков откликнутся на вакансию, где указана необходимость пройти тестовое задание. Среди тестировщиков этот показатель составляет 6 из 10.

Согласно исследованию сервиса SuperJob, лидерами в списке готовых пройти «вступительное испытание» находятся тестировщики программного обеспечения – 63% из них охотно откликаются на вакансии с тестами, а 27% делают это избирательно, отправляя резюме только на некоторые предложения. За последние четыре года готовность тестировщиков участвовать в тестировании при трудоустройстве возросла, что связано с высокой конкуренцией на рынке труда в IT-сфере.

Продолжение: https://vk.com/wall-210601538_1564

⭐️ «Сбер» представил GigaChat 2.0

Обновленный ИИ от «Сбера» поможет корпоративным клиентам компании решать бизнес-задачи быстрее и эффективнее.

Главной моделью обновленной линейки является большая языковая модель ⭐️ GigaChat 2 MAX.

💡 Она стала мощнее первого поколения, демонстрируя отличные результаты в задачах на русском языке по сравнению с зарубежными аналогами.

⭐️ GigaChat 2 Pro предназначена для сценариев, требующих высокой точности и креативности, обеспечивая уровень MAX первого поколения, но с меньшим потреблением ресурсов.

⭐️ GigaChat 2 Lite - предназначена для простых задач, по качеству соответствует Pro предыдущего поколения.

Продолжение: https://vk.com/wall-210601538_1565

⭐️ Безопасность искусственного интеллекта: главные риски для России и мира

Искусственный интеллект (ИИ) стремительно проникает в различные сферы – от бизнеса до медицины, словно буря, не оставляющая места для сомнений. Однако это волнение сопровождается множеством критических проблем безопасности, которые, как тени, требуют тщательного анализа и детального решения. Давайте погрузимся в этот лабиринт, опять же, основываясь на исследованиях специалистов из Беркли, Стэнфорда и Google Brain.

Обсуждение безопасности ИИ охватывает несколько ключевых аспектов. Каждую из этих областей нужно не просто понять, а глубоко исследовать, как будто разгадываем сложный ребус.

1. Безопасное исследование окружающей среды
Опасность катастрофических действий: Как обеспечить, чтобы агенты, обученные методом подкрепления (RL), могли изучать окружающую среду без риска для себя и других? Может ли агент, например, исправлять обстановку, не разрушая по пути что-то важное?

Продолжение: https://vk.com/wall-210601538_1566

⭐️ Главный эксперт по безопасной разработке (MLOps) в Альфа-Банк

Обязанности:
+ Анализировать безопасность систем ML, LLM и GenAI
+ Разрабатывать защиту от атак на системы ML, LLM и GenAI
+ Проводить аудиты и тестирование AI-систем на проникновение
+ Разрабатывать политики и процессы безопасности AI/ML
+ Интегрировать безопасные практики в жизненный цикл моделей
+ Отслеживать новые угрозы и требования в сфере AI-безопасности

Требования:
+ Опыт в ИБ или ML (1–3 года)
+ Глубокое понимание принципов работы ML/LLM/GenAI
+ Знакомство с работой MLOps-конвейера
+ Понимание угроз и атак на ML/LLM/GenAI
+ Знание ML-фреймворков (TensorFlow, PyTorch) и MLOps-инструментов
+ Умение разбираться в современных LLM и GenAI
+ Знакомство с инструментами анализа безопасности ML/LL

Будет плюсом:
+ Знание распространенных уязвимостей и атак на системы машинного обучения
+ Понимание подходов и практик DevSecOps / MLOps / MLSecOps / LLMSecOps

Условия:
+ Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
+ Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
+ Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
+ Сложные и интересные задачи
+ Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
+ Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
+ Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
+ Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
+ Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины

Ссылка на вакансию: https://hh.ru/vacancy/118296846

Архитектор MLSecOps
Николай Павлов

⭐️ Академия Softline запускает первую в России корпоративную программу по безопасности систем машинного обучения (MLSecOps)

Академия Softline (ГК Softline) объявляет о запуске уникальной образовательной программы «Основы MLSecOps. Обеспечение безопасности систем машинного обучения». Это первая в России корпоративная программа обучения, направленная на подготовку специалистов в области защиты моделей машинного обучения и этичного использования искусственного интеллекта.

В условиях стремительного роста внедрения технологий искусственного интеллекта в бизнес-процессы особую актуальность приобретает вопрос их безопасного использования. Модели машинного обучения, как ключевые элементы современных информационных систем, могут быть подвержены целенаправленным атакам и несанкционированному доступу. Это подтверждается зафиксированными случаями компрометации крупных нейросетевых моделей ведущих международных разработчиков. За последние два года количество вакансий в сфере MLSecOps на российском рынке выросло в шесть раз, что подтверждает острую потребность в специалистах данного профиля.

Продолжение: https://vk.com/wall-210601538_1569

⭐️ Китай введет обязательную маркировку контента, созданного искусственным интеллектом

Вслед за Евросоюзом и Соединенными Штатами, КНР вводит правила, касающиеся материалов, произведенных генеративными ИИ-системами.

Государственная канцелярия интернет-информации Китая (CAC) совместно с другими ведомствами сообщила о новых нормах, обязывающих разработчиков маркировать материалы, созданные ИИ.

🆗 Маркировка будет интегрирована в сам контент или добавлена в метаданные. Новые правила вступают в силу с 1 сентября.

❗️Причиной введения мер стало быстрое развитие генеративного ИИ, способного создавать контент в различных форматах.

Продолжение: https://vk.com/wall-210601538_1570

⭐️ Мировые тренды IT 2025

Согласно отчету ВЭФ о будущем рабочих мест, в ближайшие 5 лет технологический прогресс преобразует глобальный рынок труда больше, чем любая другая тенденция. Ключевую роль в трансформации сыграет повсеместное распространение искусственного интеллекта (ИИ), которое способствует росту и сокращению рабочих мест в организациях. Отчет основан на данных опроса более 1000 компаний из 22 отраслей с совокупным количеством работников 14 млн человек и охватом 55 экономик во всех странах мира.

Пик интереса к искусственному интеллекту пришелся на март 2022 года, но сегодня организации все еще увлечены им – настолько, что специалисты вынуждены конкурировать с ИИ за рабочее место, независимо от сферы его применения. В 2025-м его намерены взять на вооружение 75% опрошенных аналитиками компании Resume Templates работодателей (984 респондента). При этом 77% компаний планируют обучить своих сотрудников работе с системами ИИ, а 41% – сократить штат там, где искусственный интеллект может автоматизировать задачи.

Продолжение: https://vk.com/wall-210601538_1572

⭐️ Эксперт Черновол указал на ужесточение контроля за иностранными системами ИИ

Во многих странах наблюдается тенденция к усилению контроля над иностранными системами ИИ. В будущем регуляторы будут стремиться к тому, чтобы все цифровые сервисы соответствовали требованиям безопасности, прозрачности и локализации данных, спрогнозировал научный сотрудник лаборатории анализа лучших международных практик Института Гайдара Кирилл Черновол.

Такую тенденцию выявили сотрудники лаборатории в исследовании "Мониторинг правового регулирования цифровой экономики". В феврале 2025 года регуляторы стран ЕС, США, Австралии ввели ограничения на использование китайского чат-бота DeepSeek, так как неясно, как компания хранит и обрабатывает данные пользователей. Также DeepSeek передает данные иностранных пользователей в Китай, что вызывает вопросы правомерности их передачи между юрисдикциями, говорится в исследовании.

Продолжение: https://vk.com/wall-210601538_1573

⭐️ Китайские ученые разработали модель глубокого обучения, которая повышает точность прогнозирования молний, что способствует защите электрических сетей

Исследователи из ключевой лаборатории энергетики Китая и Государственной сетевой корпорации создали систему, основанную на ИИ, которая обрабатывает данные о молниях и анализирует спутниковые снимки.

💡 Благодаря использованию современных нейронных сетей, эта модель способна прогнозировать как географическое местоположение, так и частоту возникновения молний.

🆗 Она уже продемонстрировала многообещающие результаты в прогнозировании грозовой активности в центральных и южных регионах Китая.

Ведущий исследователь, Фэнцюань Ли, подчеркивает, что модель предоставляет более точные и оперативные прогнозы, делая ее важным инструментом для обеспечения стабильности электроснабжения.

Цзянь Ли, еще один ведущий исследователь, отмечает, что в дальнейшем планируется улучшить модель, увеличив объем используемых данных и оптимизируя ее структуру для повышения надежности.

⭐️ Ключевые сотрудники DeepSeek сдали загранпаспорта, чтобы предотвратить утечку информации

Руководство DeepSeek, по указанию властей Китая, приняло решение о том, что некоторые ключевые сотрудники должны сдать свои заграничные паспорта.

Проект DeepSeek в Китае был объявлен национальным достоянием и теперь находится под строгой охраной. Запрет на поездки за пределы страны для работников компании направлен на предотвращение утечки «конфиденциальной информации, которая может представлять собой коммерческую или даже государственную тайну».

Администрация DeepSeek следит за соблюдением ограничений на поездки, заставляя свою материнскую компанию (хедж-фонд High Flyer) хранить паспорта некоторых сотрудников.

Эти события начали развиваться через несколько недель после того, как стало известно, что китайское правительство предписывает исследователям и предпринимателям в области искусственного интеллекта избегать поездок в США из-за опасений утечки коммерческой тайны.

⭐️ Эксперты Softline: «В ближайшие 10 лет мы увидим, как искусственный интеллект будет развиваться и интегрироваться в бизнес-процессы»

Заказчики сегодня видят очевидные преимущества ИИ-сервисов двух направлений: в автоматизации рутинных процессов и в обработке больших объемов информации. Приоритетные отрасли для ИИ — медицина, машиностроение и финансовый сектор. Важную роль в внедрении искусственного интеллекта играет ИТ-сектор. Об этом рассказывают руководитель направления CRM и BPM ГК Softline Светлана Ермакова и менеджер по развитию продаж BPMSoft ГК Softline Владимир Грибоедов.

— Какие ИИ-инструменты в настоящее время широко используются бизнесом, независимо от его масштаба и сферы деятельности? Насколько существенным был прорыв в этом направлении за 2024 год?

Светлана Ермакова: Искусственный интеллект становится неотъемлемой частью современных бизнес-процессов, независимо от масштаба компании или отрасли. В 2024 году мы видим более глубокую интеграцию ИИ в бизнес-решения.

Продолжение: https://vk.com/wall-210601538_1582

⭐️ MAITUO Traffic Control Solution в MLSecOps

Новый продукт MAITUO Traffic Control Solution, представленный на базе аппаратной платформы NSC-8001, предлагает комплексное решение для управления сетевым трафиком, оптимизации производительности и обеспечения стабильности работы сетей. Рассмотрим его основные преимущества:
________________________________________
1. Высокая производительность и надежность

• Процессор Intel Xeon 2-го поколения обеспечивает высокую вычислительную мощность, необходимую для обработки больших объемов сетевого трафика в реальном времени.

• Поддержка до 384 ГБ оперативной памяти (DDR4 ECC/Non-ECC) позволяет эффективно справляться с задачами, требующими значительных ресурсов, такими как анализ трафика, глубокая инспекция пакетов (DPI) и управление полосой пропускания.

• Надежная конструкция (2U Rackmount). Устройство разработано для установки в серверные стойки, что делает его идеальным для центров обработки данных и корпоративных сетей.

Продолжение: https://vk.com/wall-210601538_1583

⭐️ Вместо традиционных психотерапевтов люди все чаще обращаются к помощи искусственного интеллекта. Это создает новые угрозы в направлении MLSecOps

Наблюдается тенденция, когда ИИ чат-боты начинают вытеснять психологов.

Уже в 2025 году многие предпочитают делиться своими переживаниями с ChatGPT или Claude.

Причины лежат в оперативности, экономии и круглосуточной доступности.

Кевин Руз, ведущий подкаста Hard Fork, отметил, что ИИ-ассистенты предлагают мгновенные решения, в отличие от традиционной терапии, требующей предварительной записи и существенных финансовых затрат.

Продолжение: https://vk.com/wall-210601538_1585

⭐️ Как ИИ-агенты меняют атаки с украденными учётными данными

Атаки с подбором учётных данных оказали огромное влияние в 2024 году на всю мировую IT-индустрию, подпитываемые замкнутым кругом заражений и утечек данных. Однако ситуация может стать ещё хуже с появлением Computer‑Using Agents (CUA) — нового типа ИИ‑агентов, обеспечивающих дешёвую и малозатратную автоматизацию распространённых веб‑задач, включая те, которые активно используют злоумышленники.

В 2023–2024 годах украденные учётные данные стали наиболее популярным методом атаки, послужив вектором взлома в 80% атак на веб‑приложения. Это неудивительно, если учесть, что в сети циркулируют миллиарды утекших комбинаций логинов и паролей, а киберпреступники могут приобрести свежие базы всего за $10 на подпольных форумах.

Чёрный рынок краденых данных активно растёт благодаря громким утечкам 2024 года, таким как атаки на клиентов Snowflake, где злоумышленники использовали учётные данные, обнаруженные в дампах утечек данных и взломанных базах, полученных с помощью инфостилеров и массовых фишинговых кампаний. В результате было скомпрометировано 165 арендаторов Snowflake и похищены сотни миллионов записей.

Но даже несмотря на беспрецедентный масштаб атак, основанных на краже учётных данных, остаётся много нереализованных возможностей для злоумышленников.

Продолжение: https://vk.com/wall-210601538_1587

⭐️ Спрос на специалистов MLSecOps вырос более чем на 900% за год

Привет, мои замечательные и нереальные Звезды IT! И самые главные фанаты MLSecOps!

Ну что, хочу вас порадовать. Согласно моей собственной аналитике спрос на специалистов MLSecOps на hh за год вырос более чем на 900% (!!!), то есть почти в 10 (!!!) раз.

Моя аналитика включает вообще все упоминания MLSecOps, как в названиях вакансий, так и в их описаниях. Но даже если считать только по названиям - спрос вырос ровно в 9 раз.

Сейчас, например, специалистов MLSecOps ищут такие компании, как: Финам, Уральский центр систем безопасности, Альфа-банк, Сбер, Газпромбанк, ИК Сибинтек, Т-банк и ряд других. Ну и зарплатная вилка начинается от 300, а в отдельных вакансиях и от 400, что тоже радует.

Все это доказывает железобетонную надежность всех моих прогнозов, советов, технологий. Поэтому - уверенно продолжаем идти на вершину священной айтишки и верить в лучшее!

Архитектор MLSecOps
Николай Павлов

⭐️ Регламент Европейского союза об искусственном интеллекте 2024 год

Внимательно читаем и адаптируем инсайты в системы MLSecOps.
Ссылка:
https://ai.gov.ru/upload/iblock/5c0/b4ru8d2siia81dgmjq3kdjfe6qus2n0s.pdf

Архитектор MLSecOps
Николай Павлов