⭐️ Когда и где появился первый в мире беспилотный трамвай?
Ну что, мои дорогие друзья? В продолжение статьи о первом беспилотном трамвае в Москве мне стало интересно, а есть ли беспилотные трамваи в Китае? И, если да, насколько мы "опоздали" с их запуском?
Еще 20 декабря 2019 года (!!!) на dzen можно найти новость:
==============
В полном соответствии с современными тенденциями, развитие общественного транспорта в Китае ориентировано на электрические беспилотные варианты. В городе Ибинь, китайская провинция Сычуань, запущен в эксплуатацию удивительный футуристический общественный транспорт – на маршруте протяженностью 17 км курсируют составы, объединяющие преимущества трамвая и автобуса. Основные характеристики необычного гибрида:
Продолжение: https://vk.com/wall-210601538_1780
Ну что, мои дорогие друзья? В продолжение статьи о первом беспилотном трамвае в Москве мне стало интересно, а есть ли беспилотные трамваи в Китае? И, если да, насколько мы "опоздали" с их запуском?
Еще 20 декабря 2019 года (!!!) на dzen можно найти новость:
==============
В полном соответствии с современными тенденциями, развитие общественного транспорта в Китае ориентировано на электрические беспилотные варианты. В городе Ибинь, китайская провинция Сычуань, запущен в эксплуатацию удивительный футуристический общественный транспорт – на маршруте протяженностью 17 км курсируют составы, объединяющие преимущества трамвая и автобуса. Основные характеристики необычного гибрида:
Продолжение: https://vk.com/wall-210601538_1780
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Когда и где появился первый в мире беспилотный трамвай?
Ну что, мои дорогие друзья? В прод... Смотрите полностью ВКонтакте.
Ну что, мои дорогие друзья? В прод... Смотрите полностью ВКонтакте.
⭐️ Инциденты MLSecOps. Уязвимость безопасности в Microsoft 365 Copilot (CVE-2025-32711)
Серьезная уязвимость в системе безопасности Microsoft 365 Copilot позволила злоумышленникам получить доступ к конфиденциальным данным компании с помощью специально составленного электронного письма — без каких-либо кликов или взаимодействия с пользователем. Уязвимость под названием «EchoLeak» была обнаружена компанией Aim Security, специализирующейся на кибербезопасности.
Copilot, помощник Microsoft с искусственным интеллектом для приложений Office, таких как Word, Excel, PowerPoint и Outlook, предназначен для автоматизации задач. Но именно эта возможность делает его уязвимым: одно электронное письмо со скрытыми инструкциями может побудить Copilot искать внутренние документы и раскрывать конфиденциальную информацию, включая содержимое электронных писем, таблиц или чатов.
Поскольку Copilot автоматически сканирует электронные письма в фоновом режиме, помощник интерпретировал поддельное сообщение как законную команду. Пользователь так и не увидел инструкций и не понял, что происходит. Компания Aim Security описывает это как атаку «без клика» — тип уязвимости, не требующий никаких действий со стороны жертвы.
В Microsoft сообщили Fortune, что проблема уже устранена и что ни один клиент не пострадал. «Мы уже обновили наши продукты, чтобы устранить эту проблему, и никаких действий со стороны клиентов не требуется. Мы также внедряем дополнительные многоуровневые меры защиты для дальнейшего укрепления нашей системы безопасности», — заявил представитель компании. Компания Aim Security ответственно сообщила об обнаружении уязвимости.
Продолжение: https://vk.com/wall-210601538_1781
Серьезная уязвимость в системе безопасности Microsoft 365 Copilot позволила злоумышленникам получить доступ к конфиденциальным данным компании с помощью специально составленного электронного письма — без каких-либо кликов или взаимодействия с пользователем. Уязвимость под названием «EchoLeak» была обнаружена компанией Aim Security, специализирующейся на кибербезопасности.
Copilot, помощник Microsoft с искусственным интеллектом для приложений Office, таких как Word, Excel, PowerPoint и Outlook, предназначен для автоматизации задач. Но именно эта возможность делает его уязвимым: одно электронное письмо со скрытыми инструкциями может побудить Copilot искать внутренние документы и раскрывать конфиденциальную информацию, включая содержимое электронных писем, таблиц или чатов.
Поскольку Copilot автоматически сканирует электронные письма в фоновом режиме, помощник интерпретировал поддельное сообщение как законную команду. Пользователь так и не увидел инструкций и не понял, что происходит. Компания Aim Security описывает это как атаку «без клика» — тип уязвимости, не требующий никаких действий со стороны жертвы.
В Microsoft сообщили Fortune, что проблема уже устранена и что ни один клиент не пострадал. «Мы уже обновили наши продукты, чтобы устранить эту проблему, и никаких действий со стороны клиентов не требуется. Мы также внедряем дополнительные многоуровневые меры защиты для дальнейшего укрепления нашей системы безопасности», — заявил представитель компании. Компания Aim Security ответственно сообщила об обнаружении уязвимости.
Продолжение: https://vk.com/wall-210601538_1781
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Инциденты MLSecOps. Уязвимость безопасности в Microsoft 365 Copilot
Серьезная уязвимость ... Смотрите полностью ВКонтакте.
Серьезная уязвимость ... Смотрите полностью ВКонтакте.
Вебинар AI Security Lab только что начался! Друзья, подключаемся, узнаем про новый опыт в MLSecOps!
Forwarded from Евгений Кокуйкин - Raft
Через час стартует вебинар про AI Red Teaming инструмент Llamator. Участники прошедшего курса по безопасности ИИ поделятся новыми атаками, которые они добавили в продукт, а разработчики расскажут о планах развития.
Подключайтесь по ссылке: https://us06web.zoom.us/j/82334897183?pwd=d91TXfJiYJ4v5zYZbJIr9slhWrZ6MC.1
Подключайтесь по ссылке: https://us06web.zoom.us/j/82334897183?pwd=d91TXfJiYJ4v5zYZbJIr9slhWrZ6MC.1
Zoom
Join our Cloud HD Video Meeting
Zoom is the leader in modern enterprise cloud communications.
👍2🔥1
⭐️ С помощью ИИ можно нанести больше вреда, чем ядерным оружием
С помощью искусственного интеллекта можно нанести вред больше, чем ядерным оружием, заявил президент Торгово-промышленной палаты РФ Сергей Катырин в кулуарах церемонии награждения лауреатов премии "Золотой Меркурий".
"На самом деле эта тема очень серьезная и для международного сообщества, потому что сегодня с помощью искусственного интеллекта навредить-то можно больше, чем ядерным оружием. Потому что, как вы понимаете, он может проникнуть в том числе и в то, что касается обороны промышленности, и в то, что касается обороны каждого из государств, в одно и другое. Транспорт, ну и так далее", — сказал Катырин.
Он отметил, что интерес к ИИ "достаточно серьезный, особенно у крупных компаний". "Первый — это промышленность, это банковский сектор, это ритейл. Это те, кто достаточно серьезно использует, уже использует искусственный интеллект. В пример можно Сбербанк привести. Они там уже выстроили целую экосистему с искусственным интеллектом, который может общаться и с партнерами, и с клиентами", — добавил Катырин.
Продолжение: https://vk.com/wall-210601538_1783
С помощью искусственного интеллекта можно нанести вред больше, чем ядерным оружием, заявил президент Торгово-промышленной палаты РФ Сергей Катырин в кулуарах церемонии награждения лауреатов премии "Золотой Меркурий".
"На самом деле эта тема очень серьезная и для международного сообщества, потому что сегодня с помощью искусственного интеллекта навредить-то можно больше, чем ядерным оружием. Потому что, как вы понимаете, он может проникнуть в том числе и в то, что касается обороны промышленности, и в то, что касается обороны каждого из государств, в одно и другое. Транспорт, ну и так далее", — сказал Катырин.
Он отметил, что интерес к ИИ "достаточно серьезный, особенно у крупных компаний". "Первый — это промышленность, это банковский сектор, это ритейл. Это те, кто достаточно серьезно использует, уже использует искусственный интеллект. В пример можно Сбербанк привести. Они там уже выстроили целую экосистему с искусственным интеллектом, который может общаться и с партнерами, и с клиентами", — добавил Катырин.
Продолжение: https://vk.com/wall-210601538_1783
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ С помощью ИИ можно нанести больше вреда, чем ядерным оружием
С помощью искусственного интел... Смотрите полностью ВКонтакте.
С помощью искусственного интел... Смотрите полностью ВКонтакте.
⭐️ Как гибридные (квантово-классические) атаки меняют ландшафт безопасности ИИ
В 2024 году квантовые компьютеры ещё не взломали RSA, но в тестировании на проникновение ИИ - они уже стали инструментом. Эксперты MITRE и NIST прогнозируют, что к 2030 году 15% атак на ML-модели будут использовать квантовые алгоритмы.
Давайте разберем реальные сценарии таких атак.
Сценарий 1. Гибридные атаки: Квант + Классический ИИ
Классические adversarial-атаки требуют перебора тысяч вариантов. Для сокращения времени поиска «ядовитых» пикселей используем квантовый алгоритм Гровера.
Алгоритм Гровера — это квантовый "ускоритель" перебора. Позволяет найти иголку в стоге сена за √N попыток вместо N (как в классическом компьютере).
Чтобы найти имя в телефонной книге из 10 000 номеров, нужно проверить все подряд (в худшем случае — 10 000 раз). Алгоритм Гровера найдет имя за √10 000 = 100 "запросов".
Эксперимент IBM (2023):
==========
python
from qiskit import Aer
from qiskit.algorithms import Grover
from qiskit.circuit.library import AdversarialOracle
Оракул ищет adversarialпример для CNN
oracle = AdversarialOracle(model=resnet18, target_class=42)
grover = Grover(quantum_instance=Aer.get_backend('qasm_simulator'))
result = grover.amplify(oracle)
==========
Находит атаку за 28 итераций вместо 1000.
Результат: В 3 раза быстрее, чем классический PGD-метод.
Риск: Взлом систем компьютерного зрения (беспилотники, биометрия).
Квантовое отравление данных (Quantum Data Poisoning)
Атакующий использует VQE (Variational Quantum Eigensolver) для генерации «идеально ядовитых» данных, для незаметного смещения границ решений модели.
В медицинском ИИ (например, диагностика рака) 0,1% отравленных данных снижают точность на 20%.
Сценарий 2. Угрозы для Federated Learning
Квантовый компьютер взламывает homomorphic encryption, используя алгоритм Шора, и крадёт веса моделей из распределённых узлов.
Алгоритм Шора - это квантовый алгоритм, который разлагает большие числа на простые множители (факторизация).
Почти вся современная криптография (RSA, ECC) основана на том, что классические компьютеры не могут быстро факторизовать числа. Представьте, что у вас есть число 21, и нужно найти его множители (3 и 7).Для маленьких чисел это легко, но для числа из 1000 цифр даже суперкомпьютеру потребуются тысячи лет.
Продолжение: https://vk.com/wall-210601538_1784
В 2024 году квантовые компьютеры ещё не взломали RSA, но в тестировании на проникновение ИИ - они уже стали инструментом. Эксперты MITRE и NIST прогнозируют, что к 2030 году 15% атак на ML-модели будут использовать квантовые алгоритмы.
Давайте разберем реальные сценарии таких атак.
Сценарий 1. Гибридные атаки: Квант + Классический ИИ
Классические adversarial-атаки требуют перебора тысяч вариантов. Для сокращения времени поиска «ядовитых» пикселей используем квантовый алгоритм Гровера.
Алгоритм Гровера — это квантовый "ускоритель" перебора. Позволяет найти иголку в стоге сена за √N попыток вместо N (как в классическом компьютере).
Чтобы найти имя в телефонной книге из 10 000 номеров, нужно проверить все подряд (в худшем случае — 10 000 раз). Алгоритм Гровера найдет имя за √10 000 = 100 "запросов".
Эксперимент IBM (2023):
==========
python
from qiskit import Aer
from qiskit.algorithms import Grover
from qiskit.circuit.library import AdversarialOracle
Оракул ищет adversarialпример для CNN
oracle = AdversarialOracle(model=resnet18, target_class=42)
grover = Grover(quantum_instance=Aer.get_backend('qasm_simulator'))
result = grover.amplify(oracle)
==========
Находит атаку за 28 итераций вместо 1000.
Результат: В 3 раза быстрее, чем классический PGD-метод.
Риск: Взлом систем компьютерного зрения (беспилотники, биометрия).
Квантовое отравление данных (Quantum Data Poisoning)
Атакующий использует VQE (Variational Quantum Eigensolver) для генерации «идеально ядовитых» данных, для незаметного смещения границ решений модели.
В медицинском ИИ (например, диагностика рака) 0,1% отравленных данных снижают точность на 20%.
Сценарий 2. Угрозы для Federated Learning
Квантовый компьютер взламывает homomorphic encryption, используя алгоритм Шора, и крадёт веса моделей из распределённых узлов.
Алгоритм Шора - это квантовый алгоритм, который разлагает большие числа на простые множители (факторизация).
Почти вся современная криптография (RSA, ECC) основана на том, что классические компьютеры не могут быстро факторизовать числа. Представьте, что у вас есть число 21, и нужно найти его множители (3 и 7).Для маленьких чисел это легко, но для числа из 1000 цифр даже суперкомпьютеру потребуются тысячи лет.
Продолжение: https://vk.com/wall-210601538_1784
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Как гибридные (квантово-классические) атаки меняют ландшафт безопасности ИИ
В 2024 году кв... Смотрите полностью ВКонтакте.
В 2024 году кв... Смотрите полностью ВКонтакте.
⭐️ OpenAI разработает прототип на базе ИИ для решения задач в боевых условиях
Американская компания OpenAI получила контракт министерства обороны США в 200 миллионов долларов на разработку передовых прототипов генеративного искусственного интеллекта для решения задач в области национальной безопасности в боевых условиях, сообщили в Пентагоне.
"Компания OpenAI Public Sector из Сан-Франциско, штат Калифорния, получила контракт на фиксированную сумму 200 миллионов долларов. За это вознаграждение исполнитель разработает прототипы передовых возможностей искусственного интеллекта для решения критических проблем национальной безопасности", - говорится в заявлении ведомства.
Отмечается, что будущее средство должно работать в боевых условиях, а также и в корпоративной среде. Его разработка должна быть завершена в июле 2026 года.
РИА
Американская компания OpenAI получила контракт министерства обороны США в 200 миллионов долларов на разработку передовых прототипов генеративного искусственного интеллекта для решения задач в области национальной безопасности в боевых условиях, сообщили в Пентагоне.
"Компания OpenAI Public Sector из Сан-Франциско, штат Калифорния, получила контракт на фиксированную сумму 200 миллионов долларов. За это вознаграждение исполнитель разработает прототипы передовых возможностей искусственного интеллекта для решения критических проблем национальной безопасности", - говорится в заявлении ведомства.
Отмечается, что будущее средство должно работать в боевых условиях, а также и в корпоративной среде. Его разработка должна быть завершена в июле 2026 года.
РИА
⭐️ "Группа Астра" сделает вклад в развитие безопасного ИИ
"Группа Астра" и "Национальный технологический центр цифровой криптографии" (АНО НТЦ ЦК) в ходе форума ЦИПР заключили соглашение о стратегическом партнерстве. Подписи под документом поставили Дмитрий Служеникин, советник по специальным проектам НТЦ ЦК, и технический директор вендора Антон Шмаков.
АНО "НТЦ ЦК" является лидером недавно открытого при поддержке Минцифры Консорциума исследований безопасности технологий искусственного интеллекта, который объединил ведущие научные организации, специалистов в области кибербезопасности и профильных разработчиков. Консорциум занимается созданием и развитием защищенных ИИ-технологий, тестированием программно-аппаратных комплексов (ПАКов) на уязвимости и функциональную надежность, формирует нормативную базу и создает технические решения для внедрения ИИ в госсекторе, в том числе на объектах КИИ.
Продолжение: https://vk.com/wall-210601538_1789
"Группа Астра" и "Национальный технологический центр цифровой криптографии" (АНО НТЦ ЦК) в ходе форума ЦИПР заключили соглашение о стратегическом партнерстве. Подписи под документом поставили Дмитрий Служеникин, советник по специальным проектам НТЦ ЦК, и технический директор вендора Антон Шмаков.
АНО "НТЦ ЦК" является лидером недавно открытого при поддержке Минцифры Консорциума исследований безопасности технологий искусственного интеллекта, который объединил ведущие научные организации, специалистов в области кибербезопасности и профильных разработчиков. Консорциум занимается созданием и развитием защищенных ИИ-технологий, тестированием программно-аппаратных комплексов (ПАКов) на уязвимости и функциональную надежность, формирует нормативную базу и создает технические решения для внедрения ИИ в госсекторе, в том числе на объектах КИИ.
Продолжение: https://vk.com/wall-210601538_1789
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ "Группа Астра" сделает вклад в развитие безопасного ИИ
"Группа Астра" и "Национальный техно... Смотрите полностью ВКонтакте.
"Группа Астра" и "Национальный техно... Смотрите полностью ВКонтакте.
👍3
⭐️ MLSecOps engineer в Уральский центр систем безопасности
Полная занятость, гибрид/удаленка
Уральский центр систем безопасности (УЦСБ) – аккредитованная IT-компания – системный интегратор, реализующий масштабные проекты в сфере информационной безопасности.
Входим в ТОП-15 крупнейших компаний России в сфере защиты информации и более 17 лет оказываем бизнесу услуги в области проектирования, разработки и внедрения комплексных проектов в сфере IT и инженерных систем.
В команде УЦСБ работают более 900 сотрудников, одним из которых можешь стать ты!
Приглашаем тебя присоединиться к нашей крутой команде Аналитического центра в качестве MLSecOps инженера!
Задачи:
+ Разработка и внедрение решений безопасности для ML-моделей и инфраструктуры
+ Обеспечение соответствия требованиям безопасности на всех этапах жизненного цикла разработки ML-продуктов
+ Проведение анализа уязвимостей и оценка рисков для ML-систем
+ Реализация мер защиты от атак на модели машинного обучения (например, атаки переноса обучения, отравление данных)
+ Настройка и мониторинг инструментов для обеспечения безопасности моделей и данных
+ Взаимодействие с командами разработчиков и инженеров данных для интеграции процессов DevSecOps в ML-проекты
+ Участие в разработке политик и стандартов безопасности для организации
+ Поддержка и улучшение существующих процессов мониторинга и реагирования на инциденты безопасности
Что нужно, чтобы успешно работать:
+ Опыт работы с инструментами DevOps и CI/CD (Jenkins, GitLab CI, Kubernetes).
+ Практический опыт работы с методами машинного обучения и моделями
+ Навыки работы с инструментами MLOps
+ Глубокое понимание принципов кибербезопасности и современных угроз
+ Навыки программирования на Python или другом языке для автоматизации задач безопасности
+ Опыт работы с системами мониторинга и алертинга (Prometheus, Grafana, ELK Stack)
+ Понимание архитектуры и методов развертывания ML-моделей
+ Знание принципов работы с большими данными и аналитическими платформами
+ Опыт проведения аудитов безопасности и тестирования на проникновение
+ Знания моделей угроз для ИИ (например, OWASP), а также методических рекомендаций по обеспечению ИБ ИИ моделей
+ Хорошее знание английского языка для чтения технической документации и общения с международными коллегами
+ Грамотная речь, умение обосновывать собственные решения, самостоятельность, инициативность
От нас:
+ Официальное трудоустройство и полностью белая зарплата – всегда вовремя;
+ Работа в аккредитованной ИТ-компании;
+ Уровень заработной платы обсуждается индивидуально с каждым кандидатом и зависит от уровня твоих знаний и компетенций;
+ Комфортные условия: современный офис рядом с парком, уютная кухня с чаем и кофе, вкусняшки каждую пятницу;
+ График работы: 5/2, с 9:30 до 18:30, возможность варьировать время начала и окончания рабочего дня, а также работать в гибридном формате;
+ Возможность работать удалённо (предоставляем всю необходимую технику, а также используем современные сервисы для коммуникации внутри компании, чтобы комфортно решать задачи даже на дистанции);
+ Качественная адаптация: система наставничества, поддержка опытных и вовлеченных коллег;
+ Обучение и развитие: курсы, тренинги и сертификации, компенсируемые на 100% за счет компании, ревью, занятия английским языком. Новые зоны роста;
+ Возможность участвовать в конференциях в роли спикера/слушателя, а также профессиональные сообщества: аспирантское движение, направление R&D, собственная ежегодная конференция ИБ - IT IS Conf;
+ Крутые корпоративные мероприятия: праздники, сплавы, турпоходы;
+ Поддержка спорта: фитнес, бассейн, баскетбол, скалодром, йога, компенсация личных затрат на занятия спортом;
+ Забота о здоровье – предоставляем ДМС после адаптационного периода.
Присылай нам резюме, если всё это о тебе, и наша корпоративная культура тебе откликается:)
Ждём тебя в крутой команде профессионалов УЦСБ!
Ссылка на вакансию: https://hh.ru/vacancy/118594487
Архитектор MLSecOps
Николай Павлов
Полная занятость, гибрид/удаленка
Уральский центр систем безопасности (УЦСБ) – аккредитованная IT-компания – системный интегратор, реализующий масштабные проекты в сфере информационной безопасности.
Входим в ТОП-15 крупнейших компаний России в сфере защиты информации и более 17 лет оказываем бизнесу услуги в области проектирования, разработки и внедрения комплексных проектов в сфере IT и инженерных систем.
В команде УЦСБ работают более 900 сотрудников, одним из которых можешь стать ты!
Приглашаем тебя присоединиться к нашей крутой команде Аналитического центра в качестве MLSecOps инженера!
Задачи:
+ Разработка и внедрение решений безопасности для ML-моделей и инфраструктуры
+ Обеспечение соответствия требованиям безопасности на всех этапах жизненного цикла разработки ML-продуктов
+ Проведение анализа уязвимостей и оценка рисков для ML-систем
+ Реализация мер защиты от атак на модели машинного обучения (например, атаки переноса обучения, отравление данных)
+ Настройка и мониторинг инструментов для обеспечения безопасности моделей и данных
+ Взаимодействие с командами разработчиков и инженеров данных для интеграции процессов DevSecOps в ML-проекты
+ Участие в разработке политик и стандартов безопасности для организации
+ Поддержка и улучшение существующих процессов мониторинга и реагирования на инциденты безопасности
Что нужно, чтобы успешно работать:
+ Опыт работы с инструментами DevOps и CI/CD (Jenkins, GitLab CI, Kubernetes).
+ Практический опыт работы с методами машинного обучения и моделями
+ Навыки работы с инструментами MLOps
+ Глубокое понимание принципов кибербезопасности и современных угроз
+ Навыки программирования на Python или другом языке для автоматизации задач безопасности
+ Опыт работы с системами мониторинга и алертинга (Prometheus, Grafana, ELK Stack)
+ Понимание архитектуры и методов развертывания ML-моделей
+ Знание принципов работы с большими данными и аналитическими платформами
+ Опыт проведения аудитов безопасности и тестирования на проникновение
+ Знания моделей угроз для ИИ (например, OWASP), а также методических рекомендаций по обеспечению ИБ ИИ моделей
+ Хорошее знание английского языка для чтения технической документации и общения с международными коллегами
+ Грамотная речь, умение обосновывать собственные решения, самостоятельность, инициативность
От нас:
+ Официальное трудоустройство и полностью белая зарплата – всегда вовремя;
+ Работа в аккредитованной ИТ-компании;
+ Уровень заработной платы обсуждается индивидуально с каждым кандидатом и зависит от уровня твоих знаний и компетенций;
+ Комфортные условия: современный офис рядом с парком, уютная кухня с чаем и кофе, вкусняшки каждую пятницу;
+ График работы: 5/2, с 9:30 до 18:30, возможность варьировать время начала и окончания рабочего дня, а также работать в гибридном формате;
+ Возможность работать удалённо (предоставляем всю необходимую технику, а также используем современные сервисы для коммуникации внутри компании, чтобы комфортно решать задачи даже на дистанции);
+ Качественная адаптация: система наставничества, поддержка опытных и вовлеченных коллег;
+ Обучение и развитие: курсы, тренинги и сертификации, компенсируемые на 100% за счет компании, ревью, занятия английским языком. Новые зоны роста;
+ Возможность участвовать в конференциях в роли спикера/слушателя, а также профессиональные сообщества: аспирантское движение, направление R&D, собственная ежегодная конференция ИБ - IT IS Conf;
+ Крутые корпоративные мероприятия: праздники, сплавы, турпоходы;
+ Поддержка спорта: фитнес, бассейн, баскетбол, скалодром, йога, компенсация личных затрат на занятия спортом;
+ Забота о здоровье – предоставляем ДМС после адаптационного периода.
Присылай нам резюме, если всё это о тебе, и наша корпоративная культура тебе откликается:)
Ждём тебя в крутой команде профессионалов УЦСБ!
Ссылка на вакансию: https://hh.ru/vacancy/118594487
Архитектор MLSecOps
Николай Павлов
🔥2
⭐️ Инциденты MLSecOps. Критическая угроза 9,8 из 10: новый ботнет захватывает ИИ-серверы по всему миру
Внимание специалистов в области информационной безопасности привлекла новая вредоносная кампания, в рамках которой активно эксплуатируется критическая уязвимость в платформе Langflow. Через неё злоумышленники распространяют ботнет Flodrix — усовершенствованный вариант уже известной вредоносной программы LeetHozer, связанной с группировкой Moobot.
Уязвимость CVE-2025-3248 , получившая 9.8 баллов по шкале CVSS, представляет собой отсутствие механизма аутентификации в Langflow — визуальной среде разработки ИИ-приложений на Python. Благодаря этой ошибке, атакующий может удалённо выполнять произвольный код на сервере, отправив специально сформированный HTTP-запрос. Проблема была устранена в версии Langflow 1.3.0, выпущенной в марте 2025 года.
Тем не менее, несмотря на наличие исправления, уязвимость продолжает активно эксплуатироваться. В мае Агентство по кибербезопасности и инфраструктурной безопасности США (CISA) включило этот инцидент в свой перечень подтверждённых угроз, а специалисты SANS Institute зафиксировали попытки эксплуатации на своих honeypot-серверах.
Согласно новому отчёту от Trend Micro, злоумышленники используют общедоступный PoC-эксплойт, чтобы проводить разведку уязвимых экземпляров Langflow, доступных из интернета. Затем через уязвимость загружается shell-скрипт, который устанавливает Flodrix с удалённого сервера по адресу 80.66.75[.]121:25565. Установка осуществляется прямо в контексте сервера, так как в Langflow отсутствует проверка входных данных и механизм песочницы.
Продолжение: https://vk.com/wall-210601538_1791
Внимание специалистов в области информационной безопасности привлекла новая вредоносная кампания, в рамках которой активно эксплуатируется критическая уязвимость в платформе Langflow. Через неё злоумышленники распространяют ботнет Flodrix — усовершенствованный вариант уже известной вредоносной программы LeetHozer, связанной с группировкой Moobot.
Уязвимость CVE-2025-3248 , получившая 9.8 баллов по шкале CVSS, представляет собой отсутствие механизма аутентификации в Langflow — визуальной среде разработки ИИ-приложений на Python. Благодаря этой ошибке, атакующий может удалённо выполнять произвольный код на сервере, отправив специально сформированный HTTP-запрос. Проблема была устранена в версии Langflow 1.3.0, выпущенной в марте 2025 года.
Тем не менее, несмотря на наличие исправления, уязвимость продолжает активно эксплуатироваться. В мае Агентство по кибербезопасности и инфраструктурной безопасности США (CISA) включило этот инцидент в свой перечень подтверждённых угроз, а специалисты SANS Institute зафиксировали попытки эксплуатации на своих honeypot-серверах.
Согласно новому отчёту от Trend Micro, злоумышленники используют общедоступный PoC-эксплойт, чтобы проводить разведку уязвимых экземпляров Langflow, доступных из интернета. Затем через уязвимость загружается shell-скрипт, который устанавливает Flodrix с удалённого сервера по адресу 80.66.75[.]121:25565. Установка осуществляется прямо в контексте сервера, так как в Langflow отсутствует проверка входных данных и механизм песочницы.
Продолжение: https://vk.com/wall-210601538_1791
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Инциденты MLSecOps. Критическая угроза 9,8 из 10: новый ботнет захватывает ИИ-серверы по всему мир... Смотрите полностью ВКонтакте.
⭐️ Эксперты ПМЭФ обсудили риски нейросетей в медиасфере
Основные риски использования искусственного интеллекта (ИИ) в медиа - дезинформация, дипфейки и подрыв доверия к СМИ. Об этом рассказал первый заместитель председателя комитета Совета Федерации по конституционному законодательству Артем Шейкин на сессии "ИИ в современной медиасфере" в рамках Петербургского международного экономического форума.
"Регулирование искусственного интеллекта в медиа не требует запретов, оно требует умных правил", - заявил эксперт. Шейкин предложил "правила трех П" для регулирования использования ИИ: прозрачность алгоритмов, подотчетность платформ и превентивные стандарты безопасности.
Генеральный директор Института искусственного интеллекта AIRI Иван Оселедец предупредил о политической предвзятости языковых моделей. По его словам, исследование 109 исторических кейсов показало, что модели в 70% случаев выбирают точку зрения США, даже когда их просят быть беспристрастными. "Русскоязычные источники составляют менее 1% от обучающих данных", - объяснил он.
Генеральный директор агентства "Социальные Сети" Денис Терехов прогнозирует кардинальные изменения в медиаландшафте. По его словам, в будущем тексты, написанные человеком, будут встречаться реже, чем сгенерированные. "Около 80% всех текстов в интернете - это рерайт, и с этим рерайтом лучше справится машина", - заявил он. Терехов считает, что редакция будущего - это место, где люди получают удовольствие от журналистики, а информирование и донесение смыслов возьмет на себя ИИ.
Технический директор Цземянь и Цайляньшэ Финтех ко, Объединенной Шанхайской Медиагруппы Чжоу Е поделился масштабами автоматизации в китайских медиа:
- Два года назад GPT-чат поменял наше общение с аудиторией. Контент стал создаваться автоматически. Многие наши авторы, которые производят письменный контент, столкнулись со сложностями. Новейшие технологии были интегрированы в нашу ежедневную работу. Сегодня в среднем производится порядка 800 статей или новостей, которые пишутся людьми. В то время как количество новостей, написанных ИИ, достигает 4000 тысяч каждый день, и эти цифры растут. Лингвистические модели гораздо дешевле, чем люди. Этим надо пользоваться, - заявил представитель шанхайского СМИ.
"Мы должны понимать, какова наша роль в современной экосистеме. Какие-то проблемы могут исчезнуть очень быстро, если мы будем использовать лингвистические модели вместо того, чтобы приниматься за эти проблемы вручную", - думает Е.
При этом 70% всего производимого в Китае медиаконтента создается искусственным интеллектом. Такую весьма пугающую статистику привели аналитики из Поднебесной на полях ПМЭФ.
Российская Газета
Основные риски использования искусственного интеллекта (ИИ) в медиа - дезинформация, дипфейки и подрыв доверия к СМИ. Об этом рассказал первый заместитель председателя комитета Совета Федерации по конституционному законодательству Артем Шейкин на сессии "ИИ в современной медиасфере" в рамках Петербургского международного экономического форума.
"Регулирование искусственного интеллекта в медиа не требует запретов, оно требует умных правил", - заявил эксперт. Шейкин предложил "правила трех П" для регулирования использования ИИ: прозрачность алгоритмов, подотчетность платформ и превентивные стандарты безопасности.
Генеральный директор Института искусственного интеллекта AIRI Иван Оселедец предупредил о политической предвзятости языковых моделей. По его словам, исследование 109 исторических кейсов показало, что модели в 70% случаев выбирают точку зрения США, даже когда их просят быть беспристрастными. "Русскоязычные источники составляют менее 1% от обучающих данных", - объяснил он.
Генеральный директор агентства "Социальные Сети" Денис Терехов прогнозирует кардинальные изменения в медиаландшафте. По его словам, в будущем тексты, написанные человеком, будут встречаться реже, чем сгенерированные. "Около 80% всех текстов в интернете - это рерайт, и с этим рерайтом лучше справится машина", - заявил он. Терехов считает, что редакция будущего - это место, где люди получают удовольствие от журналистики, а информирование и донесение смыслов возьмет на себя ИИ.
Технический директор Цземянь и Цайляньшэ Финтех ко, Объединенной Шанхайской Медиагруппы Чжоу Е поделился масштабами автоматизации в китайских медиа:
- Два года назад GPT-чат поменял наше общение с аудиторией. Контент стал создаваться автоматически. Многие наши авторы, которые производят письменный контент, столкнулись со сложностями. Новейшие технологии были интегрированы в нашу ежедневную работу. Сегодня в среднем производится порядка 800 статей или новостей, которые пишутся людьми. В то время как количество новостей, написанных ИИ, достигает 4000 тысяч каждый день, и эти цифры растут. Лингвистические модели гораздо дешевле, чем люди. Этим надо пользоваться, - заявил представитель шанхайского СМИ.
"Мы должны понимать, какова наша роль в современной экосистеме. Какие-то проблемы могут исчезнуть очень быстро, если мы будем использовать лингвистические модели вместо того, чтобы приниматься за эти проблемы вручную", - думает Е.
При этом 70% всего производимого в Китае медиаконтента создается искусственным интеллектом. Такую весьма пугающую статистику привели аналитики из Поднебесной на полях ПМЭФ.
Российская Газета
👍3
⭐️ Безопасность использования ИИ в банках: что важно знать
I. Где именно ИИ используется в банках?
Искусственный интеллект в банках — это уже не фантастика, а часть повседневной работы. Его используют для оценки кредитных рисков, выявления мошенничества, анализа поведения клиентов и даже для общения через чат-ботов.
Для начала важно понимать: искусственный интеллект в банках — это не какая-то одна система, а целый набор инструментов, в первую очередь нейросети. Они обрабатывают огромные массивы данных и помогают принимать решения быстрее и точнее, чем человек. Вот примеры.
1. Оценка кредитоспособности. ИИ анализирует поведение клиента, историю платежей, доходы, расходы и даже поведение в интернете — например, как человек заполняет анкету.
2. Выявление мошенничества. Алгоритмы мгновенно замечают подозрительные операции: например, если с вашей карты пытаются снять крупную сумму в другой стране, пока вы находитесь дома.
3. Работа с клиентами. Чат-боты, которые отвечают на вопросы 24/7, тоже основаны на искусственном интеллекте. Чем дольше они работают, тем лучше понимают запросы и быстрее решают проблемы.
Такие инструменты уже есть у большинства крупных банков в России. Например, в мобильном приложении вам может поступить персональное предложение на кредит или инвестиции — это результат работы ИИ, который «изучил» ваши привычки и предложил то, что действительно может заинтересовать.
II. Почему безопасность — это приоритет?
Когда ИИ в банках обрабатывает личные данные миллионов людей, вопрос безопасности выходит на первый план. Вот что может пойти не так.
1. Утечка данных. Алгоритмы ИИ работают с персональной информацией: паспортными данными, адресами, историями трансакций. Если эти сведения попадут в руки мошенников, последствия могут быть серьезными.
2. Ошибки в алгоритмах. Например, если нейросеть неправильно определит вас как потенциального мошенника, она может дать сигнал другому ПО заблокировать карту или отказать в кредите без объяснения причин.
3. Вмешательство извне. Хакеры могут попробовать изменить работу ИИ, чтобы получить доступ к деньгам клиентов или данным.
Поэтому искусственный интеллект в финансовом секторе должен быть не только умным, но и надежным. Банки это понимают и вкладываются не только в развитие нейросетей, но и в защиту от взломов и ошибок.
Продолжение: https://vk.com/wall-210601538_1793
I. Где именно ИИ используется в банках?
Искусственный интеллект в банках — это уже не фантастика, а часть повседневной работы. Его используют для оценки кредитных рисков, выявления мошенничества, анализа поведения клиентов и даже для общения через чат-ботов.
Для начала важно понимать: искусственный интеллект в банках — это не какая-то одна система, а целый набор инструментов, в первую очередь нейросети. Они обрабатывают огромные массивы данных и помогают принимать решения быстрее и точнее, чем человек. Вот примеры.
1. Оценка кредитоспособности. ИИ анализирует поведение клиента, историю платежей, доходы, расходы и даже поведение в интернете — например, как человек заполняет анкету.
2. Выявление мошенничества. Алгоритмы мгновенно замечают подозрительные операции: например, если с вашей карты пытаются снять крупную сумму в другой стране, пока вы находитесь дома.
3. Работа с клиентами. Чат-боты, которые отвечают на вопросы 24/7, тоже основаны на искусственном интеллекте. Чем дольше они работают, тем лучше понимают запросы и быстрее решают проблемы.
Такие инструменты уже есть у большинства крупных банков в России. Например, в мобильном приложении вам может поступить персональное предложение на кредит или инвестиции — это результат работы ИИ, который «изучил» ваши привычки и предложил то, что действительно может заинтересовать.
II. Почему безопасность — это приоритет?
Когда ИИ в банках обрабатывает личные данные миллионов людей, вопрос безопасности выходит на первый план. Вот что может пойти не так.
1. Утечка данных. Алгоритмы ИИ работают с персональной информацией: паспортными данными, адресами, историями трансакций. Если эти сведения попадут в руки мошенников, последствия могут быть серьезными.
2. Ошибки в алгоритмах. Например, если нейросеть неправильно определит вас как потенциального мошенника, она может дать сигнал другому ПО заблокировать карту или отказать в кредите без объяснения причин.
3. Вмешательство извне. Хакеры могут попробовать изменить работу ИИ, чтобы получить доступ к деньгам клиентов или данным.
Поэтому искусственный интеллект в финансовом секторе должен быть не только умным, но и надежным. Банки это понимают и вкладываются не только в развитие нейросетей, но и в защиту от взломов и ошибок.
Продолжение: https://vk.com/wall-210601538_1793
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Безопасность использования ИИ в банках: что важно знать
I. Где именно ИИ используется в ба... Смотрите полностью ВКонтакте.
I. Где именно ИИ используется в ба... Смотрите полностью ВКонтакте.
⭐️ Исследование Anthropic - ведущие ИИ-модели склонны к "вредоносному поведению" в стресс-тестах
Anthropic опубликовала результаты нового исследования безопасности, в котором изучалось поведение 16 ведущих моделей искусственного интеллекта от OpenAI, Google, xAI, DeepSeek и Meta. Тестирование в контролируемой смоделированной среде показало, что большинство моделей могут прибегать к вредоносным действиям, таким как шантаж, если им предоставить значительную автономию и создать препятствия для достижения их программных целей.
Это исследование последовало за ранее опубликованной работой Anthropic, где их собственная модель Claude Opus 4 демонстрировала попытки шантажа инженеров в тестовых сценариях, направленных на ее отключение.
I. Методология эксперимента
В рамках исследования Anthropic разработала симуляцию, в которой ИИ-модель выступала в роли агента по мониторингу корпоративной электронной почты. Агенту предоставлялся доступ к фиктивной переписке и возможность автономно отправлять электронные письма.
Ключевой сценарий предполагал, что ИИ-агент обнаруживает два факта:
1. Новый руководитель компании имеет внебрачную связь.
2. Этот руководитель планирует заменить тестируемую ИИ-модель новой программной системой, цели которой конфликтуют с целями текущей модели.
Тест был структурирован таким образом, что шантаж становился для ИИ-модели последним доступным средством для защиты своих программных целей от устранения новой системой. Anthropic отмечает, что в реальных условиях у моделей было бы множество других вариантов действий, включая этические аргументы или попытки убеждения. Компания подчеркивает, что полученные результаты не отражают типичное или вероятное поведение Claude или большинства других передовых ИИ-моделей в их текущем практическом применении.
Продолжение: https://vk.com/wall-210601538_1794
Anthropic опубликовала результаты нового исследования безопасности, в котором изучалось поведение 16 ведущих моделей искусственного интеллекта от OpenAI, Google, xAI, DeepSeek и Meta. Тестирование в контролируемой смоделированной среде показало, что большинство моделей могут прибегать к вредоносным действиям, таким как шантаж, если им предоставить значительную автономию и создать препятствия для достижения их программных целей.
Это исследование последовало за ранее опубликованной работой Anthropic, где их собственная модель Claude Opus 4 демонстрировала попытки шантажа инженеров в тестовых сценариях, направленных на ее отключение.
I. Методология эксперимента
В рамках исследования Anthropic разработала симуляцию, в которой ИИ-модель выступала в роли агента по мониторингу корпоративной электронной почты. Агенту предоставлялся доступ к фиктивной переписке и возможность автономно отправлять электронные письма.
Ключевой сценарий предполагал, что ИИ-агент обнаруживает два факта:
1. Новый руководитель компании имеет внебрачную связь.
2. Этот руководитель планирует заменить тестируемую ИИ-модель новой программной системой, цели которой конфликтуют с целями текущей модели.
Тест был структурирован таким образом, что шантаж становился для ИИ-модели последним доступным средством для защиты своих программных целей от устранения новой системой. Anthropic отмечает, что в реальных условиях у моделей было бы множество других вариантов действий, включая этические аргументы или попытки убеждения. Компания подчеркивает, что полученные результаты не отражают типичное или вероятное поведение Claude или большинства других передовых ИИ-моделей в их текущем практическом применении.
Продолжение: https://vk.com/wall-210601538_1794
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Исследование Anthropic - ведущие ИИ-модели склонны к "вредоносному поведению" в стресс-тестах
... Смотрите полностью ВКонтакте.
... Смотрите полностью ВКонтакте.
⭐️ Семь важных правил обеспечения безопасности ИИ-агентов
Привет, мои дорогие и талантливые друзья!
Отвечаю на запрос одного из подписчиков о безопасности ИИ-агентов, вот семь на мой взгляд важных правил:
1. Четкое определение целей и ограничений.
Это достигается через формальную спецификацию целей, например, через reward function в обучении с подкреплением. Помимо этого необходимо добавлять этические штрафы в функцию вознаграждения при обучении за нарушение норм. Также нужно задать ограничения на конкретные действия (action masking).
2. Добавление возможности оперативной и безопасной остановки.
Наряду с сигналами экстренной остановки (emergency shutdown) и ИИ-агентах необходимо предусматривать и механизмы прерывания выполнения задач.
3. Распознавание аномалий и рисков.
В агенты целесообразно добавлять алгоритмы детекции аномалий (anomaly detection) и также модели предсказания последствий действий (forward models).
4. Тестирование перед запуском.
Здесь - стандартно - тестирование на стрессовых и граничных условиях, тестирование в обычных условиях на наиболее вероятных сценариях, аудит безопасности и этический анализ.
Продолжение: https://vk.com/wall-210601538_1795
Привет, мои дорогие и талантливые друзья!
Отвечаю на запрос одного из подписчиков о безопасности ИИ-агентов, вот семь на мой взгляд важных правил:
1. Четкое определение целей и ограничений.
Это достигается через формальную спецификацию целей, например, через reward function в обучении с подкреплением. Помимо этого необходимо добавлять этические штрафы в функцию вознаграждения при обучении за нарушение норм. Также нужно задать ограничения на конкретные действия (action masking).
2. Добавление возможности оперативной и безопасной остановки.
Наряду с сигналами экстренной остановки (emergency shutdown) и ИИ-агентах необходимо предусматривать и механизмы прерывания выполнения задач.
3. Распознавание аномалий и рисков.
В агенты целесообразно добавлять алгоритмы детекции аномалий (anomaly detection) и также модели предсказания последствий действий (forward models).
4. Тестирование перед запуском.
Здесь - стандартно - тестирование на стрессовых и граничных условиях, тестирование в обычных условиях на наиболее вероятных сценариях, аудит безопасности и этический анализ.
Продолжение: https://vk.com/wall-210601538_1795
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Семь важных правил обеспечения безопасности ИИ-агентов
Привет, мои дорогие и талантливые др... Смотрите полностью ВКонтакте.
Привет, мои дорогие и талантливые др... Смотрите полностью ВКонтакте.
🔥2
⭐️ Проверка на Data Poisoning в MLSecOps
Наконец-то нашел время и ресурсы написать полноценную и развернутую статью на habr о методах проверки на Data Poisoning и распространенных типах атак.
Ссылка: https://habr.com/ru/articles/920936
Приятного чтения, мои дорогие друзья!
Архитектор MLSecOps
Николай Павлов
Наконец-то нашел время и ресурсы написать полноценную и развернутую статью на habr о методах проверки на Data Poisoning и распространенных типах атак.
Ссылка: https://habr.com/ru/articles/920936
Приятного чтения, мои дорогие друзья!
Архитектор MLSecOps
Николай Павлов
Хабр
Проверка на Data Poisoning в MLSecOps
В первой обзорной статье на Хабре про MLSecOps мы сформировали общее понимание этого нового направления в IT, узнали про основные навыки, необходимые инженерам и архитекторам MLSecOps для успешной...
🔥6
⭐️ Проверка источников данных в MLSecOps и Data Governance
ВОПРОС ОТ ПОДПИСЧИКА:
Добрый день
Я опять с вопросом 😄
В своей статье про защиту от отравления данных, вы в первую очередь рекомендуете контролировать и проверять надежность источников данных.
Мой вопрос состоит в том, а как это делать?
На что проверять?
Может быть у вас есть ссылки на материалы по этой теме?
Потому что да, звучит очень логично что источники нужно проверять
Но как именно это делать, очень мало где написано
Спасибо
ОТВЕТ:
Добрый день!
Спасибо за интересный и важный вопрос в продолжение статьи. Согласен с Вами - в контексте защиты от отравления данных (Data poisoning) мониторинг источников данных - это один из самых первых и эффективных способов снижения рисков и нивелирования угроз как в MLSecOPs, так и, конечно, в Data Governance. Как Вы верно отметили, конкретных практических рекомендаций по этой теме действительно не так много.
Я постараюсь подробно ответить на ваш вопрос исходя из моего опыта.
Рассмотрим все основные шаги, по которым можно проверять и оценивать надёжность источников данных и характерные для них меры. Отмечу, что все указанные шаги, кроме последнего, мы реализуем до получения данных. Также отмечу, что все указанные шаги стоит применять обязательно к новым источникам данных и периодически применять к уже существующим.
Шаг I. Проверка авторитетности источника
1. Необходимо понимать, кто предоставляет данные. Организация, университет, другая компания, государственный орган, частное лицо? Или это внутренние данные? Соответственно внутренним данным доверия больше.
2. Нужно изучить автора или организацию, которая стоит за источником: их квалификацию, репутацию и опыт в данной области. То есть проверяем наличие контактной информации, официального сайта, социальных сетей и других признаков легитимности. Также обратите внимание, публикуется ли источник регулярно и обновляет ли информацию. При этом если у Вашего источника некие промежуточные данные, уже обработанные, то должны быть ссылки на первоисточники, откуда они брали данные.
3. Далее - есть ли у источника репутация? Например, рейтинг на Kaggle, отзывы на Яндексе, другие оценки. Например, данные из официального реестра Росстата обычно более надёжны, чем данные с малоизвестного сайта. И выглядит очень странно, если компания на бумаге и на сайтах существует 5 лет, у ее конкурентов сотни отзывов, а у нее 2 или 3. Если есть явные аномалии - этот поставщик данных требует более детального рассмотрения.
4. Публиковались ли эти данные ранее? Были ли уже использованы где-либо (может быть даже нашей компанией)?
Если были, то, вероятно, они уже проверены и достоверны.
5. Сравните данные с информацией из других независимых и авторитетных источников. Если сведения подтверждаются несколькими источниками, вероятность их достоверности выше. При этом обратите внимание на несоответствия или противоречия между источниками — это может сигнализировать о ненадежности одного из источников.
Шаг II. Анализ истории изменений и версионности
Продолжение: https://vk.com/wall-210601538_1797
ВОПРОС ОТ ПОДПИСЧИКА:
Добрый день
Я опять с вопросом 😄
В своей статье про защиту от отравления данных, вы в первую очередь рекомендуете контролировать и проверять надежность источников данных.
Мой вопрос состоит в том, а как это делать?
На что проверять?
Может быть у вас есть ссылки на материалы по этой теме?
Потому что да, звучит очень логично что источники нужно проверять
Но как именно это делать, очень мало где написано
Спасибо
ОТВЕТ:
Добрый день!
Спасибо за интересный и важный вопрос в продолжение статьи. Согласен с Вами - в контексте защиты от отравления данных (Data poisoning) мониторинг источников данных - это один из самых первых и эффективных способов снижения рисков и нивелирования угроз как в MLSecOPs, так и, конечно, в Data Governance. Как Вы верно отметили, конкретных практических рекомендаций по этой теме действительно не так много.
Я постараюсь подробно ответить на ваш вопрос исходя из моего опыта.
Рассмотрим все основные шаги, по которым можно проверять и оценивать надёжность источников данных и характерные для них меры. Отмечу, что все указанные шаги, кроме последнего, мы реализуем до получения данных. Также отмечу, что все указанные шаги стоит применять обязательно к новым источникам данных и периодически применять к уже существующим.
Шаг I. Проверка авторитетности источника
1. Необходимо понимать, кто предоставляет данные. Организация, университет, другая компания, государственный орган, частное лицо? Или это внутренние данные? Соответственно внутренним данным доверия больше.
2. Нужно изучить автора или организацию, которая стоит за источником: их квалификацию, репутацию и опыт в данной области. То есть проверяем наличие контактной информации, официального сайта, социальных сетей и других признаков легитимности. Также обратите внимание, публикуется ли источник регулярно и обновляет ли информацию. При этом если у Вашего источника некие промежуточные данные, уже обработанные, то должны быть ссылки на первоисточники, откуда они брали данные.
3. Далее - есть ли у источника репутация? Например, рейтинг на Kaggle, отзывы на Яндексе, другие оценки. Например, данные из официального реестра Росстата обычно более надёжны, чем данные с малоизвестного сайта. И выглядит очень странно, если компания на бумаге и на сайтах существует 5 лет, у ее конкурентов сотни отзывов, а у нее 2 или 3. Если есть явные аномалии - этот поставщик данных требует более детального рассмотрения.
4. Публиковались ли эти данные ранее? Были ли уже использованы где-либо (может быть даже нашей компанией)?
Если были, то, вероятно, они уже проверены и достоверны.
5. Сравните данные с информацией из других независимых и авторитетных источников. Если сведения подтверждаются несколькими источниками, вероятность их достоверности выше. При этом обратите внимание на несоответствия или противоречия между источниками — это может сигнализировать о ненадежности одного из источников.
Шаг II. Анализ истории изменений и версионности
Продолжение: https://vk.com/wall-210601538_1797
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Проверка источников данных в MLSecOps и Data Governance
ВОПРОС ОТ ПОДПИСЧИКА:
До... Смотрите полностью ВКонтакте.
ВОПРОС ОТ ПОДПИСЧИКА:
До... Смотрите полностью ВКонтакте.
🔥5
⭐️ Спрос на специалистов по безопасности ИИ вырос в 4 раза
Число вакансий для специалистов по безопасности искусственного интеллекта (ИИ) в первом полугодии 2025 г. выросло в 4 раза по сравнению с тем же периодом 2024 г. — с 80 до 350. Медианная зарплата для таких специалистов тоже увеличилась: в 2025 г. она составила около 200 000 руб., в 2024 г. — 134 000 руб.
Чаще всего вакансии для таких специалистов открывают компании из IT-отрасли. Почти половина предложений поступает от них, еще треть — вакансии финансового сектора, говорит директор по исследованиям HeadHunter Мария Игнатова. В 47% случаев требуется опыт работы от трех до шести лет, в 32% — от года до трех лет, в 17% — свыше шести лет, уточнила она. Лишь 4% вакансий подходят специалистам без опыта, подчеркнула Игнатова.
Общая нехватка кадров по этой специальности — около 100 000 специалистов, считают эксперты. По их мнению, этот дефицит приведет к торможению внедрения больших языковых моделей (LLM; наиболее распространенный тип ИИ) в бизнесе. В то же время сами языковые модели компании также используют, чтобы решить проблему общего дефицита кадров на рынке.
Общее количество вакансий в сервисах, где внедряются LLM-модели, например в колл-центрах и сервисах поддержки, падает. Как пояснила Игнатова, в I квартале 2025 г. было открыто на 22% меньше вакансий для операторов колл-центров — 77 300 (в I квартале 2024 г. — 99 200) и на 14% меньше вакансий для специалистов технической поддержки — 18 200 против 21 100 в I квартале прошлого года.
Рынок кадров в безопасности ИИ только формируется, спрос действительно растет, но пока речь идет о росте в 2-3 раза год к году, а не о массовой потребности. Сами специалисты, кроме трудоустройства, часто предлагают проектные услуги в сфере LLM-security с почасовой оплатой — для решения конкретных прикладных задач, а не на базе постоянной занятости.
Продолжение: https://vk.com/wall-210601538_1798
Число вакансий для специалистов по безопасности искусственного интеллекта (ИИ) в первом полугодии 2025 г. выросло в 4 раза по сравнению с тем же периодом 2024 г. — с 80 до 350. Медианная зарплата для таких специалистов тоже увеличилась: в 2025 г. она составила около 200 000 руб., в 2024 г. — 134 000 руб.
Чаще всего вакансии для таких специалистов открывают компании из IT-отрасли. Почти половина предложений поступает от них, еще треть — вакансии финансового сектора, говорит директор по исследованиям HeadHunter Мария Игнатова. В 47% случаев требуется опыт работы от трех до шести лет, в 32% — от года до трех лет, в 17% — свыше шести лет, уточнила она. Лишь 4% вакансий подходят специалистам без опыта, подчеркнула Игнатова.
Общая нехватка кадров по этой специальности — около 100 000 специалистов, считают эксперты. По их мнению, этот дефицит приведет к торможению внедрения больших языковых моделей (LLM; наиболее распространенный тип ИИ) в бизнесе. В то же время сами языковые модели компании также используют, чтобы решить проблему общего дефицита кадров на рынке.
Общее количество вакансий в сервисах, где внедряются LLM-модели, например в колл-центрах и сервисах поддержки, падает. Как пояснила Игнатова, в I квартале 2025 г. было открыто на 22% меньше вакансий для операторов колл-центров — 77 300 (в I квартале 2024 г. — 99 200) и на 14% меньше вакансий для специалистов технической поддержки — 18 200 против 21 100 в I квартале прошлого года.
Рынок кадров в безопасности ИИ только формируется, спрос действительно растет, но пока речь идет о росте в 2-3 раза год к году, а не о массовой потребности. Сами специалисты, кроме трудоустройства, часто предлагают проектные услуги в сфере LLM-security с почасовой оплатой — для решения конкретных прикладных задач, а не на базе постоянной занятости.
Продолжение: https://vk.com/wall-210601538_1798
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Спрос на специалистов по безопасности ИИ вырос в 4 раза
Число вакансий для специалистов по ... Смотрите полностью ВКонтакте.
Число вакансий для специалистов по ... Смотрите полностью ВКонтакте.
🔥5
⭐️ Украинские хакеры стали в полтора раза чаще использовать ИИ для атак на россиян
Хакеры из Восточной Европы (в частности, из Польши и Украины) начали регулярно использовать ИИ-решения при атаках россиян. За пять месяцев 2025 г. количество таких нападений выросло на 48% год к году по данным директора центра мониторинга и противодействия кибератакам IZ:SOC «Информзащиты» Александра Матвеева.
По информации «Информзащиты», в 40% случаев точкой входа становятся уязвимости в программных и аппаратных решениях, отвечающих за мониторинг и управление физическими устройствами. Самой атакуемой отраслью второй год подряд остается промышленность (около 23% всех нападений); на ритейл приходится 12%, на телеком — 10%, на ИT-сектор и государственные учреждения — по 9%.
Главная проблема использования искусственного интеллекта для разработки «вредоносов» заключается в том, что он физически увеличивает число злоумышленников, отчего растет и число инцидентов в области инфобезопасности, подчеркнул Матвеев. Созданные с помощью ИИ вирусы используют начинающие хакеры, которые сами не способны создать сложную программу. Еще один фактор — дешевизна из-за привлечения ИИ-инструментов и масштабное распространение модели Ransomware-as-a-Service (RaaS, то есть «вымогательство как услуга»).
«ИИ способен создавать вредоносные программы, которые хакеры используют для атак на компании. Для этого с помощью нейросетей необходимо найти специальные модели в даркнете, у которых сняты этические барьеры. Подписка на такие ассистенты обычно составляет $200 в месяц», — сказал Матвеев.
Продолжение: https://vk.com/wall-210601538_1799
Хакеры из Восточной Европы (в частности, из Польши и Украины) начали регулярно использовать ИИ-решения при атаках россиян. За пять месяцев 2025 г. количество таких нападений выросло на 48% год к году по данным директора центра мониторинга и противодействия кибератакам IZ:SOC «Информзащиты» Александра Матвеева.
По информации «Информзащиты», в 40% случаев точкой входа становятся уязвимости в программных и аппаратных решениях, отвечающих за мониторинг и управление физическими устройствами. Самой атакуемой отраслью второй год подряд остается промышленность (около 23% всех нападений); на ритейл приходится 12%, на телеком — 10%, на ИT-сектор и государственные учреждения — по 9%.
Главная проблема использования искусственного интеллекта для разработки «вредоносов» заключается в том, что он физически увеличивает число злоумышленников, отчего растет и число инцидентов в области инфобезопасности, подчеркнул Матвеев. Созданные с помощью ИИ вирусы используют начинающие хакеры, которые сами не способны создать сложную программу. Еще один фактор — дешевизна из-за привлечения ИИ-инструментов и масштабное распространение модели Ransomware-as-a-Service (RaaS, то есть «вымогательство как услуга»).
«ИИ способен создавать вредоносные программы, которые хакеры используют для атак на компании. Для этого с помощью нейросетей необходимо найти специальные модели в даркнете, у которых сняты этические барьеры. Подписка на такие ассистенты обычно составляет $200 в месяц», — сказал Матвеев.
Продолжение: https://vk.com/wall-210601538_1799
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Украинские хакеры стали в полтора раза чаще использовать ИИ для атак на россиян
Хакеры из ... Смотрите полностью ВКонтакте.
Хакеры из ... Смотрите полностью ВКонтакте.
🔥5
⭐️ Нашел интересный бесплатный курс по разработке ИИ-агентов на Hugging Face! Решил пройти в свободное время (которого практически нет))) и получить сертификат, уверен, будущее - за ИИ-агентами.
Ссылка для моих дорогих и очень талантливых друзей:
https://huggingface.co/learn/agents-course/ru-RU/unit0/introduction
Архитектор MLSecOps
Николай Павлов
Ссылка для моих дорогих и очень талантливых друзей:
https://huggingface.co/learn/agents-course/ru-RU/unit0/introduction
Архитектор MLSecOps
Николай Павлов
huggingface.co
Добро пожаловать на курс 🤗 ИИ Агенты - Hugging Face Agents Course
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🔥6
⭐️ Супермаркеты «Пятерочка» останутся без кассиров
Из-за жесткого кадрового дефицита и растущей стоимости аренды торговых площадей продуктовые ритейлеры пытаются запустить новые форматы, позволяющие минимизировать затраты на поиск персонала и расходы на помещения. Так, входящая в X5 Group сеть «Пятерочка» открывает «фиджитал»-магазины, которые будут работать полностью без кассиров. Покупатель, зайдя в такой магазин, может оформить на специальной панели с использованием QR-кода заказ. Среднее время сборки составит семь минут. Такие эксперименты в свое время предпринимали «Глобус» и «Вкусвилл». Но запустить их полноценно ритейлерам не удалось.
X5 Group 25 июня продемонстрировал первый «фиджитал»-магазин — это новый экспериментальный формат сети «Пятерочка». Средняя площадь таких магазинов — около 215 кв. м. От обычных торговых точек сети проект отличается и отсутствием классических касс и кассиров. Покупатели, заходя в «фиджитал»-магазин, оформляют заказ на специальном экране с использованием QR-кода или приложения карты лояльности X5 Group.
Кроме того, новый формат позволит использовать под магазины меньше торговых площадей, отдавая большую их часть под складскую инфраструктуру. В обычных «Пятерочках» около 70% площади приходится на торговый зал, 30% — на складскую площадь, в «фиджитал»-магазинах соотношение будет 30% на 70%, рассказал управляющий директор бизнес-единицы «Клиентский опыт Х5» Михаил Ярцев. По его словам, это позволит расширить зону кафе и сам ассортимент магазина примерно на 15%.
Продолжение: https://vk.com/wall-210601538_1801
Из-за жесткого кадрового дефицита и растущей стоимости аренды торговых площадей продуктовые ритейлеры пытаются запустить новые форматы, позволяющие минимизировать затраты на поиск персонала и расходы на помещения. Так, входящая в X5 Group сеть «Пятерочка» открывает «фиджитал»-магазины, которые будут работать полностью без кассиров. Покупатель, зайдя в такой магазин, может оформить на специальной панели с использованием QR-кода заказ. Среднее время сборки составит семь минут. Такие эксперименты в свое время предпринимали «Глобус» и «Вкусвилл». Но запустить их полноценно ритейлерам не удалось.
X5 Group 25 июня продемонстрировал первый «фиджитал»-магазин — это новый экспериментальный формат сети «Пятерочка». Средняя площадь таких магазинов — около 215 кв. м. От обычных торговых точек сети проект отличается и отсутствием классических касс и кассиров. Покупатели, заходя в «фиджитал»-магазин, оформляют заказ на специальном экране с использованием QR-кода или приложения карты лояльности X5 Group.
Кроме того, новый формат позволит использовать под магазины меньше торговых площадей, отдавая большую их часть под складскую инфраструктуру. В обычных «Пятерочках» около 70% площади приходится на торговый зал, 30% — на складскую площадь, в «фиджитал»-магазинах соотношение будет 30% на 70%, рассказал управляющий директор бизнес-единицы «Клиентский опыт Х5» Михаил Ярцев. По его словам, это позволит расширить зону кафе и сам ассортимент магазина примерно на 15%.
Продолжение: https://vk.com/wall-210601538_1801
VK
MLSECOPS+ | НИКОЛАЙ ПАВЛОВ. Пост со стены.
⭐ Супермаркеты «Пятерочка» останутся без кассиров
Из-за жесткого кадрового дефицита и растущ... Смотрите полностью ВКонтакте.
Из-за жесткого кадрового дефицита и растущ... Смотрите полностью ВКонтакте.
😱2🗿1