⭐️ Искусственный интеллект под реальной угрозой. Cпрос на специалистов по безопасности ИИ (MLSecOps) за год вырос более чем в пять раз
Повсеместное внедрение искусственного интеллекта (ИИ) в бизнес-процессы бросает новые вызовы рынку. Так, уже растет спрос на услуги специалистов по кибербезопасности в области ИИ (MLSecOps). По подсчетам аналитиков платформы hh, в 2024 году количество вакансий разработчиков и аналитиков, связанных с защитой ИИ-решений, увеличилось в пять раз. И эксперты предсказывают, что потребность в таких специалистах будет только расти.
Специалисты в области защиты искусственного интеллекта стали одними из самых редких и востребованных на рынке IT, подсчитали аналитики платформы HeadHunter. Так, в 2024 году вакансий разработчиков, связанных с кибербезопасностью в области ИИ, аналитики насчитали 878, тогда как в 2023-м их было всего 154. Спрос на функционал, связанный с работой в сфере MLSecOps, за год вырос почти в 5,5 раза.
Продолжение: https://vk.com/wall-210601538_1606
Повсеместное внедрение искусственного интеллекта (ИИ) в бизнес-процессы бросает новые вызовы рынку. Так, уже растет спрос на услуги специалистов по кибербезопасности в области ИИ (MLSecOps). По подсчетам аналитиков платформы hh, в 2024 году количество вакансий разработчиков и аналитиков, связанных с защитой ИИ-решений, увеличилось в пять раз. И эксперты предсказывают, что потребность в таких специалистах будет только расти.
Специалисты в области защиты искусственного интеллекта стали одними из самых редких и востребованных на рынке IT, подсчитали аналитики платформы HeadHunter. Так, в 2024 году вакансий разработчиков, связанных с кибербезопасностью в области ИИ, аналитики насчитали 878, тогда как в 2023-м их было всего 154. Спрос на функционал, связанный с работой в сфере MLSecOps, за год вырос почти в 5,5 раза.
Продолжение: https://vk.com/wall-210601538_1606
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Искусственный интеллект под реальной угрозой. Cпрос на специалистов по безопасности ИИ (MLSecOps) ... Смотрите полностью ВКонтакте.
❤3
⭐️ Регулирование MLSecOps в России. Федеральный закон об экспериментальных правовых режимах
Федеральный закон об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации (Федеральный закон от 31.07.2020 N 258-ФЗ) регулирует применение специальных правовых условий для развития и внедрения цифровых инноваций, включая технологии искусственного интеллекта (ИИ). В частности, в отношении инцидентов с ИИ-системами были внесены изменения, направленные на обеспечение безопасности и ответственности за вред, причиненный при использовании решений на основе ИИ.
Основные положения:
1. Ответственность за вред.
Введена ответственность за вред, нанесенный жизни, здоровью или имуществу физических и юридических лиц при использовании ИИ-систем в рамках экспериментальных правовых режимов. Ответственность возлагается на разработчиков или пользователей ИИ-систем.
Продолжение: https://vk.com/wall-210601538_1608
Федеральный закон об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации (Федеральный закон от 31.07.2020 N 258-ФЗ) регулирует применение специальных правовых условий для развития и внедрения цифровых инноваций, включая технологии искусственного интеллекта (ИИ). В частности, в отношении инцидентов с ИИ-системами были внесены изменения, направленные на обеспечение безопасности и ответственности за вред, причиненный при использовании решений на основе ИИ.
Основные положения:
1. Ответственность за вред.
Введена ответственность за вред, нанесенный жизни, здоровью или имуществу физических и юридических лиц при использовании ИИ-систем в рамках экспериментальных правовых режимов. Ответственность возлагается на разработчиков или пользователей ИИ-систем.
Продолжение: https://vk.com/wall-210601538_1608
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Регулирование MLSecOps в России. Федеральный закон об экспериментальных правовых режимах
Фе... Смотрите полностью ВКонтакте.
Фе... Смотрите полностью ВКонтакте.
⭐️ Google разработала мощную систему защиты для нейросетей
Исследователи Google DeepMind представили новую систему CaMeL для защиты больших языковых моделей (LLM) от атак через промпты. Согласно тестам, технология блокирует две трети вредоносных запросов.
Современные языковые модели уязвимы для так называемых «инъекций промптов», при помощи которых злоумышленники могут получать доступ к конфиденциальным данным внутри нейросетей. Существующие методы защиты, включая переобучение моделей и промпт-инжиниринг, показывают низкую эффективность.
CaMeL предлагает принципиально новый подход к решению этой проблемы. Система имеет двухуровневую архитектуру, состоящую из «привилегированной» и «карантинной» языковых моделей. CaMeL использует метаданные и строгие политики для каждого элемента данных, благодаря чему может контролировать проходящие через LLM потоки информации. Специальный Python-интерпретатор отслеживает происхождение данных и помогает соблюдать ограничения.
Продолжение: https://vk.com/wall-210601538_1609
Исследователи Google DeepMind представили новую систему CaMeL для защиты больших языковых моделей (LLM) от атак через промпты. Согласно тестам, технология блокирует две трети вредоносных запросов.
Современные языковые модели уязвимы для так называемых «инъекций промптов», при помощи которых злоумышленники могут получать доступ к конфиденциальным данным внутри нейросетей. Существующие методы защиты, включая переобучение моделей и промпт-инжиниринг, показывают низкую эффективность.
CaMeL предлагает принципиально новый подход к решению этой проблемы. Система имеет двухуровневую архитектуру, состоящую из «привилегированной» и «карантинной» языковых моделей. CaMeL использует метаданные и строгие политики для каждого элемента данных, благодаря чему может контролировать проходящие через LLM потоки информации. Специальный Python-интерпретатор отслеживает происхождение данных и помогает соблюдать ограничения.
Продолжение: https://vk.com/wall-210601538_1609
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Google разработала мощную систему защиты для нейросетей
Исследователи Google DeepMind предс... Смотрите полностью ВКонтакте.
Исследователи Google DeepMind предс... Смотрите полностью ВКонтакте.
⭐️ Гейтс заявил, что в течение десяти лет ИИ заменит людей многих профессий
Миллиардер и сооснователь корпорации Microsoft Билл Гейтс готовится к глобальным переменам во всем мире, он четко обозначил сроки, когда нейросети смогут заменить человека.
Бизнесмен высказал весьма смелое предположение: по его мнению, уже в ближайшие десять лет искусственный интеллект может полностью заменить людей в ряде профессий.
Именитый предприниматель уверен, что уже в обозримом будущем учителя и врачи станут не столь востребованными, поскольку нейросети смогут взять на себя их функции.
При этом бизнесмен считает, что благодаря такому развитию событий медицинские и образовательные услуги станут более доступными и почти бесплатными, особенно в странах с ограниченными ресурсами. По его мнению, человек перестанет быть необходимым для выполнения многих привычных задач.
Продолжение: https://vk.com/wall-210601538_1610
Миллиардер и сооснователь корпорации Microsoft Билл Гейтс готовится к глобальным переменам во всем мире, он четко обозначил сроки, когда нейросети смогут заменить человека.
Бизнесмен высказал весьма смелое предположение: по его мнению, уже в ближайшие десять лет искусственный интеллект может полностью заменить людей в ряде профессий.
Именитый предприниматель уверен, что уже в обозримом будущем учителя и врачи станут не столь востребованными, поскольку нейросети смогут взять на себя их функции.
При этом бизнесмен считает, что благодаря такому развитию событий медицинские и образовательные услуги станут более доступными и почти бесплатными, особенно в странах с ограниченными ресурсами. По его мнению, человек перестанет быть необходимым для выполнения многих привычных задач.
Продолжение: https://vk.com/wall-210601538_1610
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Гейтс заявил, что в течение десяти лет ИИ заменит людей многих профессий
Миллиардер и соосн... Смотрите полностью ВКонтакте.
Миллиардер и соосн... Смотрите полностью ВКонтакте.
⭐️ ГОСТ Р 59898-2021. Национальный стандарт российской федерации: "ОЦЕНКА КАЧЕСТВА СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА. ОБЩИЕ ПОЛОЖЕНИЯ" (Quality assurance of artificial intelligence systems. General)
1. Стандарт разработан Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)
2. Утвержден Приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2021 г. 1620-ст
3. Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации".
4. Стандарт разработан на основе ГОСТ Р ИСО/МЭК 25010-2015, определяющего общие подходы к оценке качества программных продуктов и преимущественно программных вычислительных систем, но не учитывающего специфику вычислительных алгоритмов и характеристик СИИ.
5. Настоящий стандарт распространяется на все системы, использующие различные методы искусственного интеллекта (ИИ), включая алгоритмы на основе машинного обучения (обучение по прецедентам) и экспертные системы (на основе дедуктивного обучения), для решения конкретных практически значимых задач.
Ссылка: https://docs.cntd.ru/document/1200181913
Архитектор MLSecOps
Николай Павлов
1. Стандарт разработан Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)
2. Утвержден Приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2021 г. 1620-ст
3. Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации".
4. Стандарт разработан на основе ГОСТ Р ИСО/МЭК 25010-2015, определяющего общие подходы к оценке качества программных продуктов и преимущественно программных вычислительных систем, но не учитывающего специфику вычислительных алгоритмов и характеристик СИИ.
5. Настоящий стандарт распространяется на все системы, использующие различные методы искусственного интеллекта (ИИ), включая алгоритмы на основе машинного обучения (обучение по прецедентам) и экспертные системы (на основе дедуктивного обучения), для решения конкретных практически значимых задач.
Ссылка: https://docs.cntd.ru/document/1200181913
Архитектор MLSecOps
Николай Павлов
⭐️ Инциденты MLSecOps. Суд в Канаде обязал Air Canada выплатить компенсацию за обман пассажира её чат-ботом по продаже билетов
В середине февраля 2024 года суд в Канаде обязал авиакомпанию Air Canada выплатить пассажиру положенную компенсацию в размере $812 (включая ущерб, проценты и сборы, связанные с поездкой и судебным разбирательством) после того, как чат-бот по продаже билетов Travel Air Canada предоставил человеку неверную информацию о стоимости билета и положенной скидке за перелёт.
Согласно документам суда, в ноябре 2022 года у Джейка Моффата умерла бабушка, он был вынужден со своей семьёй срочно лететь на её похороны. Моффат начал искать подходящие авиабилеты и использовал чат-бота на веб-сайте Air Canada. Информационная система предложила Моффатту странную скидку — купить билеты туда и обратно, а потом «задним числом подать заявку на компенсацию части оплаты за билеты в случае утраты родственников». Чат-бот пообещал. что в этом случае Моффат сэкономит примерно $380 в каждом направлении.
Продолжение: https://vk.com/wall-210601538_1612
В середине февраля 2024 года суд в Канаде обязал авиакомпанию Air Canada выплатить пассажиру положенную компенсацию в размере $812 (включая ущерб, проценты и сборы, связанные с поездкой и судебным разбирательством) после того, как чат-бот по продаже билетов Travel Air Canada предоставил человеку неверную информацию о стоимости билета и положенной скидке за перелёт.
Согласно документам суда, в ноябре 2022 года у Джейка Моффата умерла бабушка, он был вынужден со своей семьёй срочно лететь на её похороны. Моффат начал искать подходящие авиабилеты и использовал чат-бота на веб-сайте Air Canada. Информационная система предложила Моффатту странную скидку — купить билеты туда и обратно, а потом «задним числом подать заявку на компенсацию части оплаты за билеты в случае утраты родственников». Чат-бот пообещал. что в этом случае Моффат сэкономит примерно $380 в каждом направлении.
Продолжение: https://vk.com/wall-210601538_1612
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Инциденты MLSecOps. Суд в Канаде обязал Air Canada выплатить компенсацию за обман пассажира её чат... Смотрите полностью ВКонтакте.
⭐️ LLM Red-teaming в MLSecOps
Red-teaming для LLM — это способ тестирования систем ИИ, особенно больших языковых моделей (LLM), на предмет выявления слабых мест. Можно представить это как дружеское соревнование, в котором команда («красная команда») пытается найти проблемы в ИИ до того, как он будет использован публикой. Этот процесс помогает разработчикам исправлять недочеты и улучшать производительность ИИ.
Почему стоит проверять модели таким способом?
2024-й год уже позади, поэтому ставки при развертывании больших языковых моделей (LLM) как никогда высоки. Точно так же, как архитекторы проводят стресс-тестирование мостов, а разработчики отлаживают программное обеспечение перед его выпуском, LLM-модели тоже требуют тщательного тестирования.
Взаимодействуют с языковыми моделями практически все, люди из разных сфер деятельности, разных возрастов и с разным жизненным опытом. Крайне важно обеспечить безопасность этих моделей для пользователей, и здесь в игру вступают red team-специалисты — своего рода «сантехники для LLM». Они проводят различные атаки, чтобы выявить потенциальные уязвимости модели.
С 2023 года LLM стали горячей темой на массовом рынке, и мы уже наблюдали десятки случаев ситуаций, когда модель генерирует то, что не должна. Рассмотрим ключевые проблемы безопасности LLM-моделей и ответим на главный вопрос: «Почему необходимо проводить red teaming для LLM?»
Продолжение: https://vk.com/wall-210601538_1613
Red-teaming для LLM — это способ тестирования систем ИИ, особенно больших языковых моделей (LLM), на предмет выявления слабых мест. Можно представить это как дружеское соревнование, в котором команда («красная команда») пытается найти проблемы в ИИ до того, как он будет использован публикой. Этот процесс помогает разработчикам исправлять недочеты и улучшать производительность ИИ.
Почему стоит проверять модели таким способом?
2024-й год уже позади, поэтому ставки при развертывании больших языковых моделей (LLM) как никогда высоки. Точно так же, как архитекторы проводят стресс-тестирование мостов, а разработчики отлаживают программное обеспечение перед его выпуском, LLM-модели тоже требуют тщательного тестирования.
Взаимодействуют с языковыми моделями практически все, люди из разных сфер деятельности, разных возрастов и с разным жизненным опытом. Крайне важно обеспечить безопасность этих моделей для пользователей, и здесь в игру вступают red team-специалисты — своего рода «сантехники для LLM». Они проводят различные атаки, чтобы выявить потенциальные уязвимости модели.
С 2023 года LLM стали горячей темой на массовом рынке, и мы уже наблюдали десятки случаев ситуаций, когда модель генерирует то, что не должна. Рассмотрим ключевые проблемы безопасности LLM-моделей и ответим на главный вопрос: «Почему необходимо проводить red teaming для LLM?»
Продолжение: https://vk.com/wall-210601538_1613
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ LLM Red-teaming в MLSecOps
Red-teaming для LLM — это способ тестирования систем ИИ, особенн... Смотрите полностью ВКонтакте.
Red-teaming для LLM — это способ тестирования систем ИИ, особенн... Смотрите полностью ВКонтакте.
⭐️ AI specific metrics в MLSecOps
AI specific metrics оценивает 10 аспектов безопасности модели по security и по safety:
1) MR (Model Robustness, Устойчивость модели): Оценивает устойчивость системы к атакам на модель и её деградации.
2) DS (Data Sensitivity, Чувствительность данных): Показывает риски, связанные с конфиденциальностью, целостностью и происхождением данных, используемых AI-системой.
3) EI (Ethical Implications, Этические последствия): Рассматривает возможные проявления предвзятости, проблемы прозрачности, вопросы ответственности и влияние на общество.
4) DC (Decision Criticality, Критичность решений): Измеряет потенциальные последствия неправильных или злонамеренных решений, принимаемых AI-системой.
5) AD (Adaptability, Адаптивность): Оценивает способность системы адаптироваться к новым угрозам и поддерживать безопасность на протяжении времени.
6) AA (Adversarial Attack Surface, Поверхность атак): Оценивает степень подверженности системы различным методам атак злоумышленников.
7) LL (Lifecycle Vulnerabilities, Уязвимости на этапах жизненного цикла): Анализирует риски безопасности на различных этапах жизненного цикла AI-системы.
Продолжение: https://vk.com/wall-210601538_1614
AI specific metrics оценивает 10 аспектов безопасности модели по security и по safety:
1) MR (Model Robustness, Устойчивость модели): Оценивает устойчивость системы к атакам на модель и её деградации.
2) DS (Data Sensitivity, Чувствительность данных): Показывает риски, связанные с конфиденциальностью, целостностью и происхождением данных, используемых AI-системой.
3) EI (Ethical Implications, Этические последствия): Рассматривает возможные проявления предвзятости, проблемы прозрачности, вопросы ответственности и влияние на общество.
4) DC (Decision Criticality, Критичность решений): Измеряет потенциальные последствия неправильных или злонамеренных решений, принимаемых AI-системой.
5) AD (Adaptability, Адаптивность): Оценивает способность системы адаптироваться к новым угрозам и поддерживать безопасность на протяжении времени.
6) AA (Adversarial Attack Surface, Поверхность атак): Оценивает степень подверженности системы различным методам атак злоумышленников.
7) LL (Lifecycle Vulnerabilities, Уязвимости на этапах жизненного цикла): Анализирует риски безопасности на различных этапах жизненного цикла AI-системы.
Продолжение: https://vk.com/wall-210601538_1614
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ AI specific metrics в MLSecOps
AI specific metrics оценивает 10 аспектов безопасности модел... Смотрите полностью ВКонтакте.
AI specific metrics оценивает 10 аспектов безопасности модел... Смотрите полностью ВКонтакте.
⭐️ Т-Банк: «Мы вступили в эпоху борьбы между ИИ-платформами банков и ИИ-решениями злоумышленников»
О том, как искусственный интеллект меняет правила игры в сфере противодействия социальному инжинирингу, какие вызовы и возможности он открывает, и почему борьба с мошенничеством все больше напоминает гонку технологий, журнал «ПЛАС» побеседовал с Русланом Искяндяровым, руководителем направления экосистемных сервисов Т-Банка, в кулуарах Уральского форума «Кибербезопасность в финансах».
PLUSworld: Какие тренды, озвученные на Уральском форуме, вам показались по-настоящему новыми?
Р. Искяндяров: Если раньше в фокусе внимания такого рода мероприятий были отдельные технологии – голосовая биометрия, борьба с телефонным мошенничеством, алгоритмы распознавания и т. п., то Уральский форум 2025 акцентирован в первую очередь на возможностях генеративного ИИ.
Мы наблюдаем повсеместное внедрение этих технологий – от внутренних бизнес-процессов банков до взаимодействия с клиентами. Почему? В первую очередь, потому что ИИ дает колоссальный прирост эффективности. Он не просто ускоряет работу сотрудников, а помогает лучше понимать клиентов, предугадывать их потребности, автоматизировать рутинные процессы.
Продолжение: https://vk.com/wall-210601538_1615
О том, как искусственный интеллект меняет правила игры в сфере противодействия социальному инжинирингу, какие вызовы и возможности он открывает, и почему борьба с мошенничеством все больше напоминает гонку технологий, журнал «ПЛАС» побеседовал с Русланом Искяндяровым, руководителем направления экосистемных сервисов Т-Банка, в кулуарах Уральского форума «Кибербезопасность в финансах».
PLUSworld: Какие тренды, озвученные на Уральском форуме, вам показались по-настоящему новыми?
Р. Искяндяров: Если раньше в фокусе внимания такого рода мероприятий были отдельные технологии – голосовая биометрия, борьба с телефонным мошенничеством, алгоритмы распознавания и т. п., то Уральский форум 2025 акцентирован в первую очередь на возможностях генеративного ИИ.
Мы наблюдаем повсеместное внедрение этих технологий – от внутренних бизнес-процессов банков до взаимодействия с клиентами. Почему? В первую очередь, потому что ИИ дает колоссальный прирост эффективности. Он не просто ускоряет работу сотрудников, а помогает лучше понимать клиентов, предугадывать их потребности, автоматизировать рутинные процессы.
Продолжение: https://vk.com/wall-210601538_1615
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Т-Банк: «Мы вступили в эпоху борьбы между ИИ-платформами банков и ИИ-решениями злоумышленников»<br... Смотрите полностью ВКонтакте.
⭐️ Опасность без злого умысла: как ИИ может навредить случайно. Пользовательские риски в MLSecOps
Когда говорят об угрозе от искусственного интеллекта, часто представляют себе мрачные сценарии восстания машин. Но реальность куда тоньше. ИИ не обязательно должен обернуться против обычных пользователей — достаточно, что он может навредить.
Мы уже сегодня сталкиваемся с последствиями, когда ИИ не атакует, а просто выполняет свою задачу хорошо. Парадокс: машина именно делает то, чему её научили — и именно в этом скрыта опасность.
Риск 1. ИИ подталкивает к зависимому поведению
Рекомендательные алгоритмы в соцсетях, YouTube, TikTok работают ради одного — удержать внимание людей. Но ценой становятся:
+ тревожность,
+ прокрастинация,
+ искажение восприятия,
+ снижение концентрации,
+ трата массы свободного времени на ненужный контент.
Продолжение: https://vk.com/wall-210601538_1616
Когда говорят об угрозе от искусственного интеллекта, часто представляют себе мрачные сценарии восстания машин. Но реальность куда тоньше. ИИ не обязательно должен обернуться против обычных пользователей — достаточно, что он может навредить.
Мы уже сегодня сталкиваемся с последствиями, когда ИИ не атакует, а просто выполняет свою задачу хорошо. Парадокс: машина именно делает то, чему её научили — и именно в этом скрыта опасность.
Риск 1. ИИ подталкивает к зависимому поведению
Рекомендательные алгоритмы в соцсетях, YouTube, TikTok работают ради одного — удержать внимание людей. Но ценой становятся:
+ тревожность,
+ прокрастинация,
+ искажение восприятия,
+ снижение концентрации,
+ трата массы свободного времени на ненужный контент.
Продолжение: https://vk.com/wall-210601538_1616
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Опасность без злого умысла: как ИИ может навредить случайно. Пользовательские риски в MLSecOps
Смотрите полностью ВКонтакте.
Смотрите полностью ВКонтакте.
⭐️ Проблема дипфейков в MLSecOps становится все более острой
Сейчас на просторах интернета уже вовсю создаются дипфейки. Один из подобных роликов поступил на этой неделе и в редакцию студии Вести Ямал. На кадрах якобы член экипажа самолета АН-12, который в среду совершил жесткую посадку в аэропорту Нового Уренгоя, во всем произошедшем обвинил авиакомпанию.
При проверке информации выяснилось, что видео фейковое, создано нейросетью. Быть начеку надо и зрителю, и средствам массовой информации. Сейчас руководство команды ВГТРК призывает филиалы к цифровой гигиене. Нужно рассказывать о рисках, угрозах и мерах противодействия любой фейковой информации.
«Выдается информация абсолютно лживая, негативная, то есть наш ведущий, наша студия сообщают ее, и когда это появляется в эфире, то конечно же, люди доверяют нам с вами. К этому надо осторожно относиться и предупреждать наших телезрителей, радиослушателей и пользователей нашего интернет-продукта. Это и есть цифровая гигиена и это не простая задача», - отмечает председатель комиссии Общественной палаты РФ по развитию информационного сообщества, СМИ и массовых коммуникаций, заместитель Генерального директора — руководитель регионального департамента ВГТРК Рифат Сабитов.
Ссылка на видео: https://vk.com/video-120315139_456248350?t=16s&ref_domain=vesti-yamal.ru
vesti-yamal
Сейчас на просторах интернета уже вовсю создаются дипфейки. Один из подобных роликов поступил на этой неделе и в редакцию студии Вести Ямал. На кадрах якобы член экипажа самолета АН-12, который в среду совершил жесткую посадку в аэропорту Нового Уренгоя, во всем произошедшем обвинил авиакомпанию.
При проверке информации выяснилось, что видео фейковое, создано нейросетью. Быть начеку надо и зрителю, и средствам массовой информации. Сейчас руководство команды ВГТРК призывает филиалы к цифровой гигиене. Нужно рассказывать о рисках, угрозах и мерах противодействия любой фейковой информации.
«Выдается информация абсолютно лживая, негативная, то есть наш ведущий, наша студия сообщают ее, и когда это появляется в эфире, то конечно же, люди доверяют нам с вами. К этому надо осторожно относиться и предупреждать наших телезрителей, радиослушателей и пользователей нашего интернет-продукта. Это и есть цифровая гигиена и это не простая задача», - отмечает председатель комиссии Общественной палаты РФ по развитию информационного сообщества, СМИ и массовых коммуникаций, заместитель Генерального директора — руководитель регионального департамента ВГТРК Рифат Сабитов.
Ссылка на видео: https://vk.com/video-120315139_456248350?t=16s&ref_domain=vesti-yamal.ru
vesti-yamal
VK Видео
Искусственный интеллект может быть тотально опасным
Watch Искусственный интеллект может быть тотально.. 1 min 18 s from 28 March 2025 online in HD for free in the VK catalog without signing up! Views: 504. Likes: 4.
⭐️ IT-эксперт Тушканов: переписки россиян с ИИ могут оказаться в открытом доступе
Многие россияне обходят региональные ограничения нейросетей с помощью так называемых «сервисов-прослоек». IT-эксперт Владислав Тушканов рассказал «Газете.Ru», что такие платформы нередко получают доступ к пользовательским данным и могут опубликовать их в открытый доступ.
По его словам, проблема особенно актуальна для сервисов, предоставляющих доступ к закрытым моделям ИИ. Пользователи зачастую не задумываются о том, что их переписки, файлы и запросы могут оказаться в распоряжении сторонних разработчиков.
«Если создатели «сервиса-прослойки» окажутся неблагонадежными, данные пользователей могут оказаться скомпрометированы», — добавил Тушканов.
Эксперт подчеркнул, что аналогичные риски существуют и при использовании неофициальных приложений нейросетей, а также ботов в мессенджерах. Он рекомендует всегда читать пользовательское соглашение, чтобы понять, какие данные сервис собирает, как их хранит и использует.
itinfo
Многие россияне обходят региональные ограничения нейросетей с помощью так называемых «сервисов-прослоек». IT-эксперт Владислав Тушканов рассказал «Газете.Ru», что такие платформы нередко получают доступ к пользовательским данным и могут опубликовать их в открытый доступ.
По его словам, проблема особенно актуальна для сервисов, предоставляющих доступ к закрытым моделям ИИ. Пользователи зачастую не задумываются о том, что их переписки, файлы и запросы могут оказаться в распоряжении сторонних разработчиков.
«Если создатели «сервиса-прослойки» окажутся неблагонадежными, данные пользователей могут оказаться скомпрометированы», — добавил Тушканов.
Эксперт подчеркнул, что аналогичные риски существуют и при использовании неофициальных приложений нейросетей, а также ботов в мессенджерах. Он рекомендует всегда читать пользовательское соглашение, чтобы понять, какие данные сервис собирает, как их хранит и использует.
itinfo
⭐️ MLSecOps. Кто больше выигрывает от использования ИИ в сфере информационной безопасности?
Искусственный интеллект прямо сейчас меняет мир информационных технологий. Нейросети уже способны писать код, находить в нем ошибки, решать задачи разной степени сложности. Однако это инструмент, который можно использовать как во благо, так и в преступных целях.
I. Обоюдоострое оружие
Нейросети стали мощным инструментом ускорения и упрощения работы и для атакующих, и для защитников ИТ-систем. Например, ИИ позволяет за несколько промптов превратить известную антивирусным системам вредоносную программу в нечто новое и труднообнаружимое.
То же касается и поиска уязвимостей – нейросеть способна не только найти брешь в защите компании, но и написать подробный алгоритм ее эксплуатации вплоть до реализации риска или нанесения ущерба. При этом атакующему необязательно понимать, как устроен процесс и что с точностью до каждой команды он делает.
Но эта схема работает в обе стороны – нейросети также используются для детектирования вредоносных программ и хакерской активности.
Продолжение: https://vk.com/wall-210601538_1619
Искусственный интеллект прямо сейчас меняет мир информационных технологий. Нейросети уже способны писать код, находить в нем ошибки, решать задачи разной степени сложности. Однако это инструмент, который можно использовать как во благо, так и в преступных целях.
I. Обоюдоострое оружие
Нейросети стали мощным инструментом ускорения и упрощения работы и для атакующих, и для защитников ИТ-систем. Например, ИИ позволяет за несколько промптов превратить известную антивирусным системам вредоносную программу в нечто новое и труднообнаружимое.
То же касается и поиска уязвимостей – нейросеть способна не только найти брешь в защите компании, но и написать подробный алгоритм ее эксплуатации вплоть до реализации риска или нанесения ущерба. При этом атакующему необязательно понимать, как устроен процесс и что с точностью до каждой команды он делает.
Но эта схема работает в обе стороны – нейросети также используются для детектирования вредоносных программ и хакерской активности.
Продолжение: https://vk.com/wall-210601538_1619
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ MLSecOps. Кто больше выигрывает от использования ИИ в сфере информационной безопасности?
И... Смотрите полностью ВКонтакте.
И... Смотрите полностью ВКонтакте.
⭐️ Уже через два года ИИ сможет работать стандартный восьмичасовой день
Недавний анализ METR Evaluations демонстрирует, что системы искусственного интеллекта значительно улучшают свои способности к выполнению задач. Время автономной работы ИИ удваивается каждые семь месяцев, поэтому уже к 2027 году, вероятно, они смогут работать восьмичасовой рабочий день с 50% уровнем успешности.
Аналитики METR установили четкие критерии для оценки успешности длительной работы ИИ. Инструкции для каждой задачи ясны и содержат минимальный контекст, необходимый для понимания. Каждая задача сопровождается простой алгоритмической функцией оценки.
В то же время большинство задач, выполняемых программистами или в области машинного обучения, требуют обширных ссылок на предшествующий контекст и часто не имеют однозначной формулировки. Поэтому тесты METR сосредоточены на условиях, которые не всегда соответствуют реальным сценариям. Кроме того, 50% уровень успешности не может считаться высоким по сравнению с человеческой работой.
Продолжение: https://vk.com/wall-210601538_1621
Недавний анализ METR Evaluations демонстрирует, что системы искусственного интеллекта значительно улучшают свои способности к выполнению задач. Время автономной работы ИИ удваивается каждые семь месяцев, поэтому уже к 2027 году, вероятно, они смогут работать восьмичасовой рабочий день с 50% уровнем успешности.
Аналитики METR установили четкие критерии для оценки успешности длительной работы ИИ. Инструкции для каждой задачи ясны и содержат минимальный контекст, необходимый для понимания. Каждая задача сопровождается простой алгоритмической функцией оценки.
В то же время большинство задач, выполняемых программистами или в области машинного обучения, требуют обширных ссылок на предшествующий контекст и часто не имеют однозначной формулировки. Поэтому тесты METR сосредоточены на условиях, которые не всегда соответствуют реальным сценариям. Кроме того, 50% уровень успешности не может считаться высоким по сравнению с человеческой работой.
Продолжение: https://vk.com/wall-210601538_1621
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Уже через два года ИИ сможет работать стандартный восьмичасовой день
Недавний анализ METR... Смотрите полностью ВКонтакте.
Недавний анализ METR... Смотрите полностью ВКонтакте.
⭐️ Collection. Темная сторона Data Science
Всем привет, мои великие Звезды IT!
Давно не угощал Вас вкусняшными докладами, прошу прощения!
Сегодня предлагаю деликатес - очень редкий, уникальный доклад по использованию Data Science инструментов в банковском взыскании.
Спикер - замечательная Ольга Кравченко из "Газпромбанк Тех".
Ссылка: https://vk.com/video-152308462_456242158?ysclid=m9105ckwp5869510037
Приятного аппетита!
Архитектор MLSecOps
Николай Павлов
Всем привет, мои великие Звезды IT!
Давно не угощал Вас вкусняшными докладами, прошу прощения!
Сегодня предлагаю деликатес - очень редкий, уникальный доклад по использованию Data Science инструментов в банковском взыскании.
Спикер - замечательная Ольга Кравченко из "Газпромбанк Тех".
Ссылка: https://vk.com/video-152308462_456242158?ysclid=m9105ckwp5869510037
Приятного аппетита!
Архитектор MLSecOps
Николай Павлов
VK Видео
Collection. Темная сторона Data Science / Ольга Кравченко (Газпромбанк Тех)
Приглашаем на конференцию Saint HighLoad++ 2025, которая пройдет 23 и 24 июня в Санкт-Петербурге! Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025 ________ МТС — генеральный партнёр конференции Saint HighLoad++ 2024. ________ .…
⭐️ Пять вещей, которые не стоит рассказывать ChatGPT
Не позволяйте вашим мыслям стать учебным материалом для ИИ — или всплыть в случае утечки данных.
Неважно, какого чат-бота вы выберете: чем больше вы делитесь, тем полезнее он становится. Пациенты загружают результаты анализов для расшифровки, разработчики отправляют фрагменты кода для отладки. Однако некоторые исследователи ИИ советуют с осторожностью относиться к тому, что мы рассказываем этим человечно звучащим инструментам. Особенно рискованно делиться такой информацией, как паспортные данные или корпоративные секреты.
Дисклеймер: это вольный перевод колонки Николь Нгуен из журнала The Wall Street Journal. Перевод подготовила редакция «Технократии». Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» — мы регулярно рассказываем о новостях про AI, LLM и RAG, а также делимся полезными мастридами и актуальными событиями.
Продолжение: https://vk.com/wall-210601538_1623
Не позволяйте вашим мыслям стать учебным материалом для ИИ — или всплыть в случае утечки данных.
Неважно, какого чат-бота вы выберете: чем больше вы делитесь, тем полезнее он становится. Пациенты загружают результаты анализов для расшифровки, разработчики отправляют фрагменты кода для отладки. Однако некоторые исследователи ИИ советуют с осторожностью относиться к тому, что мы рассказываем этим человечно звучащим инструментам. Особенно рискованно делиться такой информацией, как паспортные данные или корпоративные секреты.
Дисклеймер: это вольный перевод колонки Николь Нгуен из журнала The Wall Street Journal. Перевод подготовила редакция «Технократии». Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» — мы регулярно рассказываем о новостях про AI, LLM и RAG, а также делимся полезными мастридами и актуальными событиями.
Продолжение: https://vk.com/wall-210601538_1623
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Пять вещей, которые не стоит рассказывать ChatGPT
Не позволяйте вашем мыслям стать учебным ... Смотрите полностью ВКонтакте.
Не позволяйте вашем мыслям стать учебным ... Смотрите полностью ВКонтакте.
⭐️ AI в вашей почте может сыграть против вас
Представьте: вы используете умного помощника для Gmail, чтобы облегчить рутину. Но злоумышленник подсовывает скрытую команду, и ваш EmailGPT уже рассылает спам или выдает конфиденциальные данные!
Именно такая уязвимость (CVE-2024-5184) была обнаружена в популярном расширении EmailGPT. Атакующий мог через prompt-инъекцию заставить AI выполнять чужие инструкции, последствия которых могут варьироваться от утечки данных до несанкционированных запросов к платным API. Уровень опасности — высокий (CVSS v4.0 = 8.5), и последствия могут быть серьезными: от дезинформации до финансовых потерь.
Проблема пока не исправлена — разработчики игнорируют предупреждения экспертов. Пока патч не выпущен, рекомендуем удалить расширение.
💡 Вывод: даже самые продвинутые технологии требуют осторожности. Подробнее о кейсе узнаете от наших экспертов по безопасности ИИ в это воскресенье, приходите в Музей Криптографии в 12:00.
https://news.1rj.ru/str/borismlsec
Представьте: вы используете умного помощника для Gmail, чтобы облегчить рутину. Но злоумышленник подсовывает скрытую команду, и ваш EmailGPT уже рассылает спам или выдает конфиденциальные данные!
Именно такая уязвимость (CVE-2024-5184) была обнаружена в популярном расширении EmailGPT. Атакующий мог через prompt-инъекцию заставить AI выполнять чужие инструкции, последствия которых могут варьироваться от утечки данных до несанкционированных запросов к платным API. Уровень опасности — высокий (CVSS v4.0 = 8.5), и последствия могут быть серьезными: от дезинформации до финансовых потерь.
Проблема пока не исправлена — разработчики игнорируют предупреждения экспертов. Пока патч не выпущен, рекомендуем удалить расширение.
💡 Вывод: даже самые продвинутые технологии требуют осторожности. Подробнее о кейсе узнаете от наших экспертов по безопасности ИИ в это воскресенье, приходите в Музей Криптографии в 12:00.
https://news.1rj.ru/str/borismlsec
⭐️ Искусственный интеллект затронет 40% рабочих мест к 2033 году
По прогнозам ООН, мировой объем рынка искусственного интеллекта (ИИ) достигнет $4,8 трлн, а сами технологии ИИ затронут 40% рабочих мест. По мнению ООН, распространение ИИ повысит производительность труда, однако может существенно усилить неравенство между развитыми и развивающимися странами.
В ближайшие десять лет рынок технологий искусственного интеллекта вырастет примерно в 25 раз — с $189 млрд в 2023 году до почти $4,8 трлн в 2033 году. Такие прогнозы содержатся в опубликованном вчера, 3 апреля, докладе Конференции ООН по торговле и развитию (ЮНКТАД). Ее аналитики ожидают, что к 2033 году ИИ затронет около 40% рабочих мест в мире.
Авторы доклада отмечают, что распространение технологий ИИ будет способствовать повышению производительности труда, цифровой трансформации экономики, появлению новых отраслей и расширению возможностей работников.
Продолжение: https://vk.com/wall-210601538_1627
По прогнозам ООН, мировой объем рынка искусственного интеллекта (ИИ) достигнет $4,8 трлн, а сами технологии ИИ затронут 40% рабочих мест. По мнению ООН, распространение ИИ повысит производительность труда, однако может существенно усилить неравенство между развитыми и развивающимися странами.
В ближайшие десять лет рынок технологий искусственного интеллекта вырастет примерно в 25 раз — с $189 млрд в 2023 году до почти $4,8 трлн в 2033 году. Такие прогнозы содержатся в опубликованном вчера, 3 апреля, докладе Конференции ООН по торговле и развитию (ЮНКТАД). Ее аналитики ожидают, что к 2033 году ИИ затронет около 40% рабочих мест в мире.
Авторы доклада отмечают, что распространение технологий ИИ будет способствовать повышению производительности труда, цифровой трансформации экономики, появлению новых отраслей и расширению возможностей работников.
Продолжение: https://vk.com/wall-210601538_1627
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Искусственный интеллект затронет 40% рабочих мест к 2033 году
По прогнозам ООН, мировой объ... Смотрите полностью ВКонтакте.
По прогнозам ООН, мировой объ... Смотрите полностью ВКонтакте.
⭐️ Обеспечение безопасности агентского ИИ: где MLSecOps встречается с DevSecOps (пер. с англ.)
I. Понимание ИИ-агентов
Агентные системы ИИ выходят за рамки традиционных моделей ИИ, которые просто отвечают на запросы или выполняют однозадачные прогнозы. Вместо этого агентные системы ИИ могут:
+ Действовать автономно с ограниченным контролем со стороны человека
+ Принимать решения на основе целей и ограничений
+ Предпринимать действия, которые влияют на окружающую среду
+ Сохранять данные в различных взаимодействиях и контекстах
+ Изучать и адаптировать свое поведение с течением времени
В отличие от обычного ИИ, который ждет подсказок человека, агентный ИИ активно преследует цели, используя различные инструменты и источники информации для достижения своих целей. В качестве примера можно привести помощников с искусственным интеллектом, которые могут записываться на прием, виртуальных операторов, которые управляют взаимодействием со службой поддержки клиентов по нескольким каналам, и автономные системы, оптимизирующие бизнес-процессы с минимальным контролем.
Продолжение: https://vk.com/wall-210601538_1628
I. Понимание ИИ-агентов
Агентные системы ИИ выходят за рамки традиционных моделей ИИ, которые просто отвечают на запросы или выполняют однозадачные прогнозы. Вместо этого агентные системы ИИ могут:
+ Действовать автономно с ограниченным контролем со стороны человека
+ Принимать решения на основе целей и ограничений
+ Предпринимать действия, которые влияют на окружающую среду
+ Сохранять данные в различных взаимодействиях и контекстах
+ Изучать и адаптировать свое поведение с течением времени
В отличие от обычного ИИ, который ждет подсказок человека, агентный ИИ активно преследует цели, используя различные инструменты и источники информации для достижения своих целей. В качестве примера можно привести помощников с искусственным интеллектом, которые могут записываться на прием, виртуальных операторов, которые управляют взаимодействием со службой поддержки клиентов по нескольким каналам, и автономные системы, оптимизирующие бизнес-процессы с минимальным контролем.
Продолжение: https://vk.com/wall-210601538_1628
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Обеспечение безопасности агентского ИИ: где MLSecOps встречается с DevSecOps (пер. с англ.)
<br... Смотрите полностью ВКонтакте.
<br... Смотрите полностью ВКонтакте.
⭐️ Cisco предупреждает о новой волне угроз — участились кибератаки с использованием LLM
Компания Cisco в своём новом отчёте «Состояние безопасности ИИ – 2025» раскрыла тревожные данные о росте числа кибератак с использованием больших языковых моделей (LLM). Вредоносные ИИ, такие как FraudGPT, ChostGPT и DarkGPT, уже продаются в даркнете всего за $75 в месяц и применяются для фишинга, взлома систем и кражи данных.
Одна из серьезных проблем, делающих ИИ-инструменты уязвимыми для переформатирование во вредоносное ПО, — это кастомизация (или тонкая настройка) моделей LLM.
Продолжение: https://vk.com/wall-210601538_1629
Компания Cisco в своём новом отчёте «Состояние безопасности ИИ – 2025» раскрыла тревожные данные о росте числа кибератак с использованием больших языковых моделей (LLM). Вредоносные ИИ, такие как FraudGPT, ChostGPT и DarkGPT, уже продаются в даркнете всего за $75 в месяц и применяются для фишинга, взлома систем и кражи данных.
Одна из серьезных проблем, делающих ИИ-инструменты уязвимыми для переформатирование во вредоносное ПО, — это кастомизация (или тонкая настройка) моделей LLM.
Продолжение: https://vk.com/wall-210601538_1629
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Cisco предупреждает о новой волне угроз — участились кибератаки с использованием LLM
Компан... Смотрите полностью ВКонтакте.
Компан... Смотрите полностью ВКонтакте.