⭐️ Инциденты MLSecOps. Суд в Канаде обязал Air Canada выплатить компенсацию за обман пассажира её чат-ботом по продаже билетов
В середине февраля 2024 года суд в Канаде обязал авиакомпанию Air Canada выплатить пассажиру положенную компенсацию в размере $812 (включая ущерб, проценты и сборы, связанные с поездкой и судебным разбирательством) после того, как чат-бот по продаже билетов Travel Air Canada предоставил человеку неверную информацию о стоимости билета и положенной скидке за перелёт.
Согласно документам суда, в ноябре 2022 года у Джейка Моффата умерла бабушка, он был вынужден со своей семьёй срочно лететь на её похороны. Моффат начал искать подходящие авиабилеты и использовал чат-бота на веб-сайте Air Canada. Информационная система предложила Моффатту странную скидку — купить билеты туда и обратно, а потом «задним числом подать заявку на компенсацию части оплаты за билеты в случае утраты родственников». Чат-бот пообещал. что в этом случае Моффат сэкономит примерно $380 в каждом направлении.
Продолжение: https://vk.com/wall-210601538_1612
В середине февраля 2024 года суд в Канаде обязал авиакомпанию Air Canada выплатить пассажиру положенную компенсацию в размере $812 (включая ущерб, проценты и сборы, связанные с поездкой и судебным разбирательством) после того, как чат-бот по продаже билетов Travel Air Canada предоставил человеку неверную информацию о стоимости билета и положенной скидке за перелёт.
Согласно документам суда, в ноябре 2022 года у Джейка Моффата умерла бабушка, он был вынужден со своей семьёй срочно лететь на её похороны. Моффат начал искать подходящие авиабилеты и использовал чат-бота на веб-сайте Air Canada. Информационная система предложила Моффатту странную скидку — купить билеты туда и обратно, а потом «задним числом подать заявку на компенсацию части оплаты за билеты в случае утраты родственников». Чат-бот пообещал. что в этом случае Моффат сэкономит примерно $380 в каждом направлении.
Продолжение: https://vk.com/wall-210601538_1612
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Инциденты MLSecOps. Суд в Канаде обязал Air Canada выплатить компенсацию за обман пассажира её чат... Смотрите полностью ВКонтакте.
⭐️ LLM Red-teaming в MLSecOps
Red-teaming для LLM — это способ тестирования систем ИИ, особенно больших языковых моделей (LLM), на предмет выявления слабых мест. Можно представить это как дружеское соревнование, в котором команда («красная команда») пытается найти проблемы в ИИ до того, как он будет использован публикой. Этот процесс помогает разработчикам исправлять недочеты и улучшать производительность ИИ.
Почему стоит проверять модели таким способом?
2024-й год уже позади, поэтому ставки при развертывании больших языковых моделей (LLM) как никогда высоки. Точно так же, как архитекторы проводят стресс-тестирование мостов, а разработчики отлаживают программное обеспечение перед его выпуском, LLM-модели тоже требуют тщательного тестирования.
Взаимодействуют с языковыми моделями практически все, люди из разных сфер деятельности, разных возрастов и с разным жизненным опытом. Крайне важно обеспечить безопасность этих моделей для пользователей, и здесь в игру вступают red team-специалисты — своего рода «сантехники для LLM». Они проводят различные атаки, чтобы выявить потенциальные уязвимости модели.
С 2023 года LLM стали горячей темой на массовом рынке, и мы уже наблюдали десятки случаев ситуаций, когда модель генерирует то, что не должна. Рассмотрим ключевые проблемы безопасности LLM-моделей и ответим на главный вопрос: «Почему необходимо проводить red teaming для LLM?»
Продолжение: https://vk.com/wall-210601538_1613
Red-teaming для LLM — это способ тестирования систем ИИ, особенно больших языковых моделей (LLM), на предмет выявления слабых мест. Можно представить это как дружеское соревнование, в котором команда («красная команда») пытается найти проблемы в ИИ до того, как он будет использован публикой. Этот процесс помогает разработчикам исправлять недочеты и улучшать производительность ИИ.
Почему стоит проверять модели таким способом?
2024-й год уже позади, поэтому ставки при развертывании больших языковых моделей (LLM) как никогда высоки. Точно так же, как архитекторы проводят стресс-тестирование мостов, а разработчики отлаживают программное обеспечение перед его выпуском, LLM-модели тоже требуют тщательного тестирования.
Взаимодействуют с языковыми моделями практически все, люди из разных сфер деятельности, разных возрастов и с разным жизненным опытом. Крайне важно обеспечить безопасность этих моделей для пользователей, и здесь в игру вступают red team-специалисты — своего рода «сантехники для LLM». Они проводят различные атаки, чтобы выявить потенциальные уязвимости модели.
С 2023 года LLM стали горячей темой на массовом рынке, и мы уже наблюдали десятки случаев ситуаций, когда модель генерирует то, что не должна. Рассмотрим ключевые проблемы безопасности LLM-моделей и ответим на главный вопрос: «Почему необходимо проводить red teaming для LLM?»
Продолжение: https://vk.com/wall-210601538_1613
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ LLM Red-teaming в MLSecOps
Red-teaming для LLM — это способ тестирования систем ИИ, особенн... Смотрите полностью ВКонтакте.
Red-teaming для LLM — это способ тестирования систем ИИ, особенн... Смотрите полностью ВКонтакте.
⭐️ AI specific metrics в MLSecOps
AI specific metrics оценивает 10 аспектов безопасности модели по security и по safety:
1) MR (Model Robustness, Устойчивость модели): Оценивает устойчивость системы к атакам на модель и её деградации.
2) DS (Data Sensitivity, Чувствительность данных): Показывает риски, связанные с конфиденциальностью, целостностью и происхождением данных, используемых AI-системой.
3) EI (Ethical Implications, Этические последствия): Рассматривает возможные проявления предвзятости, проблемы прозрачности, вопросы ответственности и влияние на общество.
4) DC (Decision Criticality, Критичность решений): Измеряет потенциальные последствия неправильных или злонамеренных решений, принимаемых AI-системой.
5) AD (Adaptability, Адаптивность): Оценивает способность системы адаптироваться к новым угрозам и поддерживать безопасность на протяжении времени.
6) AA (Adversarial Attack Surface, Поверхность атак): Оценивает степень подверженности системы различным методам атак злоумышленников.
7) LL (Lifecycle Vulnerabilities, Уязвимости на этапах жизненного цикла): Анализирует риски безопасности на различных этапах жизненного цикла AI-системы.
Продолжение: https://vk.com/wall-210601538_1614
AI specific metrics оценивает 10 аспектов безопасности модели по security и по safety:
1) MR (Model Robustness, Устойчивость модели): Оценивает устойчивость системы к атакам на модель и её деградации.
2) DS (Data Sensitivity, Чувствительность данных): Показывает риски, связанные с конфиденциальностью, целостностью и происхождением данных, используемых AI-системой.
3) EI (Ethical Implications, Этические последствия): Рассматривает возможные проявления предвзятости, проблемы прозрачности, вопросы ответственности и влияние на общество.
4) DC (Decision Criticality, Критичность решений): Измеряет потенциальные последствия неправильных или злонамеренных решений, принимаемых AI-системой.
5) AD (Adaptability, Адаптивность): Оценивает способность системы адаптироваться к новым угрозам и поддерживать безопасность на протяжении времени.
6) AA (Adversarial Attack Surface, Поверхность атак): Оценивает степень подверженности системы различным методам атак злоумышленников.
7) LL (Lifecycle Vulnerabilities, Уязвимости на этапах жизненного цикла): Анализирует риски безопасности на различных этапах жизненного цикла AI-системы.
Продолжение: https://vk.com/wall-210601538_1614
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ AI specific metrics в MLSecOps
AI specific metrics оценивает 10 аспектов безопасности модел... Смотрите полностью ВКонтакте.
AI specific metrics оценивает 10 аспектов безопасности модел... Смотрите полностью ВКонтакте.
⭐️ Т-Банк: «Мы вступили в эпоху борьбы между ИИ-платформами банков и ИИ-решениями злоумышленников»
О том, как искусственный интеллект меняет правила игры в сфере противодействия социальному инжинирингу, какие вызовы и возможности он открывает, и почему борьба с мошенничеством все больше напоминает гонку технологий, журнал «ПЛАС» побеседовал с Русланом Искяндяровым, руководителем направления экосистемных сервисов Т-Банка, в кулуарах Уральского форума «Кибербезопасность в финансах».
PLUSworld: Какие тренды, озвученные на Уральском форуме, вам показались по-настоящему новыми?
Р. Искяндяров: Если раньше в фокусе внимания такого рода мероприятий были отдельные технологии – голосовая биометрия, борьба с телефонным мошенничеством, алгоритмы распознавания и т. п., то Уральский форум 2025 акцентирован в первую очередь на возможностях генеративного ИИ.
Мы наблюдаем повсеместное внедрение этих технологий – от внутренних бизнес-процессов банков до взаимодействия с клиентами. Почему? В первую очередь, потому что ИИ дает колоссальный прирост эффективности. Он не просто ускоряет работу сотрудников, а помогает лучше понимать клиентов, предугадывать их потребности, автоматизировать рутинные процессы.
Продолжение: https://vk.com/wall-210601538_1615
О том, как искусственный интеллект меняет правила игры в сфере противодействия социальному инжинирингу, какие вызовы и возможности он открывает, и почему борьба с мошенничеством все больше напоминает гонку технологий, журнал «ПЛАС» побеседовал с Русланом Искяндяровым, руководителем направления экосистемных сервисов Т-Банка, в кулуарах Уральского форума «Кибербезопасность в финансах».
PLUSworld: Какие тренды, озвученные на Уральском форуме, вам показались по-настоящему новыми?
Р. Искяндяров: Если раньше в фокусе внимания такого рода мероприятий были отдельные технологии – голосовая биометрия, борьба с телефонным мошенничеством, алгоритмы распознавания и т. п., то Уральский форум 2025 акцентирован в первую очередь на возможностях генеративного ИИ.
Мы наблюдаем повсеместное внедрение этих технологий – от внутренних бизнес-процессов банков до взаимодействия с клиентами. Почему? В первую очередь, потому что ИИ дает колоссальный прирост эффективности. Он не просто ускоряет работу сотрудников, а помогает лучше понимать клиентов, предугадывать их потребности, автоматизировать рутинные процессы.
Продолжение: https://vk.com/wall-210601538_1615
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Т-Банк: «Мы вступили в эпоху борьбы между ИИ-платформами банков и ИИ-решениями злоумышленников»<br... Смотрите полностью ВКонтакте.
⭐️ Опасность без злого умысла: как ИИ может навредить случайно. Пользовательские риски в MLSecOps
Когда говорят об угрозе от искусственного интеллекта, часто представляют себе мрачные сценарии восстания машин. Но реальность куда тоньше. ИИ не обязательно должен обернуться против обычных пользователей — достаточно, что он может навредить.
Мы уже сегодня сталкиваемся с последствиями, когда ИИ не атакует, а просто выполняет свою задачу хорошо. Парадокс: машина именно делает то, чему её научили — и именно в этом скрыта опасность.
Риск 1. ИИ подталкивает к зависимому поведению
Рекомендательные алгоритмы в соцсетях, YouTube, TikTok работают ради одного — удержать внимание людей. Но ценой становятся:
+ тревожность,
+ прокрастинация,
+ искажение восприятия,
+ снижение концентрации,
+ трата массы свободного времени на ненужный контент.
Продолжение: https://vk.com/wall-210601538_1616
Когда говорят об угрозе от искусственного интеллекта, часто представляют себе мрачные сценарии восстания машин. Но реальность куда тоньше. ИИ не обязательно должен обернуться против обычных пользователей — достаточно, что он может навредить.
Мы уже сегодня сталкиваемся с последствиями, когда ИИ не атакует, а просто выполняет свою задачу хорошо. Парадокс: машина именно делает то, чему её научили — и именно в этом скрыта опасность.
Риск 1. ИИ подталкивает к зависимому поведению
Рекомендательные алгоритмы в соцсетях, YouTube, TikTok работают ради одного — удержать внимание людей. Но ценой становятся:
+ тревожность,
+ прокрастинация,
+ искажение восприятия,
+ снижение концентрации,
+ трата массы свободного времени на ненужный контент.
Продолжение: https://vk.com/wall-210601538_1616
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Опасность без злого умысла: как ИИ может навредить случайно. Пользовательские риски в MLSecOps
Смотрите полностью ВКонтакте.
Смотрите полностью ВКонтакте.
⭐️ Проблема дипфейков в MLSecOps становится все более острой
Сейчас на просторах интернета уже вовсю создаются дипфейки. Один из подобных роликов поступил на этой неделе и в редакцию студии Вести Ямал. На кадрах якобы член экипажа самолета АН-12, который в среду совершил жесткую посадку в аэропорту Нового Уренгоя, во всем произошедшем обвинил авиакомпанию.
При проверке информации выяснилось, что видео фейковое, создано нейросетью. Быть начеку надо и зрителю, и средствам массовой информации. Сейчас руководство команды ВГТРК призывает филиалы к цифровой гигиене. Нужно рассказывать о рисках, угрозах и мерах противодействия любой фейковой информации.
«Выдается информация абсолютно лживая, негативная, то есть наш ведущий, наша студия сообщают ее, и когда это появляется в эфире, то конечно же, люди доверяют нам с вами. К этому надо осторожно относиться и предупреждать наших телезрителей, радиослушателей и пользователей нашего интернет-продукта. Это и есть цифровая гигиена и это не простая задача», - отмечает председатель комиссии Общественной палаты РФ по развитию информационного сообщества, СМИ и массовых коммуникаций, заместитель Генерального директора — руководитель регионального департамента ВГТРК Рифат Сабитов.
Ссылка на видео: https://vk.com/video-120315139_456248350?t=16s&ref_domain=vesti-yamal.ru
vesti-yamal
Сейчас на просторах интернета уже вовсю создаются дипфейки. Один из подобных роликов поступил на этой неделе и в редакцию студии Вести Ямал. На кадрах якобы член экипажа самолета АН-12, который в среду совершил жесткую посадку в аэропорту Нового Уренгоя, во всем произошедшем обвинил авиакомпанию.
При проверке информации выяснилось, что видео фейковое, создано нейросетью. Быть начеку надо и зрителю, и средствам массовой информации. Сейчас руководство команды ВГТРК призывает филиалы к цифровой гигиене. Нужно рассказывать о рисках, угрозах и мерах противодействия любой фейковой информации.
«Выдается информация абсолютно лживая, негативная, то есть наш ведущий, наша студия сообщают ее, и когда это появляется в эфире, то конечно же, люди доверяют нам с вами. К этому надо осторожно относиться и предупреждать наших телезрителей, радиослушателей и пользователей нашего интернет-продукта. Это и есть цифровая гигиена и это не простая задача», - отмечает председатель комиссии Общественной палаты РФ по развитию информационного сообщества, СМИ и массовых коммуникаций, заместитель Генерального директора — руководитель регионального департамента ВГТРК Рифат Сабитов.
Ссылка на видео: https://vk.com/video-120315139_456248350?t=16s&ref_domain=vesti-yamal.ru
vesti-yamal
VK Видео
Искусственный интеллект может быть тотально опасным
Watch Искусственный интеллект может быть тотально.. 1 min 18 s from 28 March 2025 online in HD for free in the VK catalog without signing up! Views: 504. Likes: 4.
⭐️ IT-эксперт Тушканов: переписки россиян с ИИ могут оказаться в открытом доступе
Многие россияне обходят региональные ограничения нейросетей с помощью так называемых «сервисов-прослоек». IT-эксперт Владислав Тушканов рассказал «Газете.Ru», что такие платформы нередко получают доступ к пользовательским данным и могут опубликовать их в открытый доступ.
По его словам, проблема особенно актуальна для сервисов, предоставляющих доступ к закрытым моделям ИИ. Пользователи зачастую не задумываются о том, что их переписки, файлы и запросы могут оказаться в распоряжении сторонних разработчиков.
«Если создатели «сервиса-прослойки» окажутся неблагонадежными, данные пользователей могут оказаться скомпрометированы», — добавил Тушканов.
Эксперт подчеркнул, что аналогичные риски существуют и при использовании неофициальных приложений нейросетей, а также ботов в мессенджерах. Он рекомендует всегда читать пользовательское соглашение, чтобы понять, какие данные сервис собирает, как их хранит и использует.
itinfo
Многие россияне обходят региональные ограничения нейросетей с помощью так называемых «сервисов-прослоек». IT-эксперт Владислав Тушканов рассказал «Газете.Ru», что такие платформы нередко получают доступ к пользовательским данным и могут опубликовать их в открытый доступ.
По его словам, проблема особенно актуальна для сервисов, предоставляющих доступ к закрытым моделям ИИ. Пользователи зачастую не задумываются о том, что их переписки, файлы и запросы могут оказаться в распоряжении сторонних разработчиков.
«Если создатели «сервиса-прослойки» окажутся неблагонадежными, данные пользователей могут оказаться скомпрометированы», — добавил Тушканов.
Эксперт подчеркнул, что аналогичные риски существуют и при использовании неофициальных приложений нейросетей, а также ботов в мессенджерах. Он рекомендует всегда читать пользовательское соглашение, чтобы понять, какие данные сервис собирает, как их хранит и использует.
itinfo
⭐️ MLSecOps. Кто больше выигрывает от использования ИИ в сфере информационной безопасности?
Искусственный интеллект прямо сейчас меняет мир информационных технологий. Нейросети уже способны писать код, находить в нем ошибки, решать задачи разной степени сложности. Однако это инструмент, который можно использовать как во благо, так и в преступных целях.
I. Обоюдоострое оружие
Нейросети стали мощным инструментом ускорения и упрощения работы и для атакующих, и для защитников ИТ-систем. Например, ИИ позволяет за несколько промптов превратить известную антивирусным системам вредоносную программу в нечто новое и труднообнаружимое.
То же касается и поиска уязвимостей – нейросеть способна не только найти брешь в защите компании, но и написать подробный алгоритм ее эксплуатации вплоть до реализации риска или нанесения ущерба. При этом атакующему необязательно понимать, как устроен процесс и что с точностью до каждой команды он делает.
Но эта схема работает в обе стороны – нейросети также используются для детектирования вредоносных программ и хакерской активности.
Продолжение: https://vk.com/wall-210601538_1619
Искусственный интеллект прямо сейчас меняет мир информационных технологий. Нейросети уже способны писать код, находить в нем ошибки, решать задачи разной степени сложности. Однако это инструмент, который можно использовать как во благо, так и в преступных целях.
I. Обоюдоострое оружие
Нейросети стали мощным инструментом ускорения и упрощения работы и для атакующих, и для защитников ИТ-систем. Например, ИИ позволяет за несколько промптов превратить известную антивирусным системам вредоносную программу в нечто новое и труднообнаружимое.
То же касается и поиска уязвимостей – нейросеть способна не только найти брешь в защите компании, но и написать подробный алгоритм ее эксплуатации вплоть до реализации риска или нанесения ущерба. При этом атакующему необязательно понимать, как устроен процесс и что с точностью до каждой команды он делает.
Но эта схема работает в обе стороны – нейросети также используются для детектирования вредоносных программ и хакерской активности.
Продолжение: https://vk.com/wall-210601538_1619
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ MLSecOps. Кто больше выигрывает от использования ИИ в сфере информационной безопасности?
И... Смотрите полностью ВКонтакте.
И... Смотрите полностью ВКонтакте.
⭐️ Уже через два года ИИ сможет работать стандартный восьмичасовой день
Недавний анализ METR Evaluations демонстрирует, что системы искусственного интеллекта значительно улучшают свои способности к выполнению задач. Время автономной работы ИИ удваивается каждые семь месяцев, поэтому уже к 2027 году, вероятно, они смогут работать восьмичасовой рабочий день с 50% уровнем успешности.
Аналитики METR установили четкие критерии для оценки успешности длительной работы ИИ. Инструкции для каждой задачи ясны и содержат минимальный контекст, необходимый для понимания. Каждая задача сопровождается простой алгоритмической функцией оценки.
В то же время большинство задач, выполняемых программистами или в области машинного обучения, требуют обширных ссылок на предшествующий контекст и часто не имеют однозначной формулировки. Поэтому тесты METR сосредоточены на условиях, которые не всегда соответствуют реальным сценариям. Кроме того, 50% уровень успешности не может считаться высоким по сравнению с человеческой работой.
Продолжение: https://vk.com/wall-210601538_1621
Недавний анализ METR Evaluations демонстрирует, что системы искусственного интеллекта значительно улучшают свои способности к выполнению задач. Время автономной работы ИИ удваивается каждые семь месяцев, поэтому уже к 2027 году, вероятно, они смогут работать восьмичасовой рабочий день с 50% уровнем успешности.
Аналитики METR установили четкие критерии для оценки успешности длительной работы ИИ. Инструкции для каждой задачи ясны и содержат минимальный контекст, необходимый для понимания. Каждая задача сопровождается простой алгоритмической функцией оценки.
В то же время большинство задач, выполняемых программистами или в области машинного обучения, требуют обширных ссылок на предшествующий контекст и часто не имеют однозначной формулировки. Поэтому тесты METR сосредоточены на условиях, которые не всегда соответствуют реальным сценариям. Кроме того, 50% уровень успешности не может считаться высоким по сравнению с человеческой работой.
Продолжение: https://vk.com/wall-210601538_1621
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Уже через два года ИИ сможет работать стандартный восьмичасовой день
Недавний анализ METR... Смотрите полностью ВКонтакте.
Недавний анализ METR... Смотрите полностью ВКонтакте.
⭐️ Collection. Темная сторона Data Science
Всем привет, мои великие Звезды IT!
Давно не угощал Вас вкусняшными докладами, прошу прощения!
Сегодня предлагаю деликатес - очень редкий, уникальный доклад по использованию Data Science инструментов в банковском взыскании.
Спикер - замечательная Ольга Кравченко из "Газпромбанк Тех".
Ссылка: https://vk.com/video-152308462_456242158?ysclid=m9105ckwp5869510037
Приятного аппетита!
Архитектор MLSecOps
Николай Павлов
Всем привет, мои великие Звезды IT!
Давно не угощал Вас вкусняшными докладами, прошу прощения!
Сегодня предлагаю деликатес - очень редкий, уникальный доклад по использованию Data Science инструментов в банковском взыскании.
Спикер - замечательная Ольга Кравченко из "Газпромбанк Тех".
Ссылка: https://vk.com/video-152308462_456242158?ysclid=m9105ckwp5869510037
Приятного аппетита!
Архитектор MLSecOps
Николай Павлов
VK Видео
Collection. Темная сторона Data Science / Ольга Кравченко (Газпромбанк Тех)
Приглашаем на конференцию Saint HighLoad++ 2025, которая пройдет 23 и 24 июня в Санкт-Петербурге! Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025 ________ МТС — генеральный партнёр конференции Saint HighLoad++ 2024. ________ .…
⭐️ Пять вещей, которые не стоит рассказывать ChatGPT
Не позволяйте вашим мыслям стать учебным материалом для ИИ — или всплыть в случае утечки данных.
Неважно, какого чат-бота вы выберете: чем больше вы делитесь, тем полезнее он становится. Пациенты загружают результаты анализов для расшифровки, разработчики отправляют фрагменты кода для отладки. Однако некоторые исследователи ИИ советуют с осторожностью относиться к тому, что мы рассказываем этим человечно звучащим инструментам. Особенно рискованно делиться такой информацией, как паспортные данные или корпоративные секреты.
Дисклеймер: это вольный перевод колонки Николь Нгуен из журнала The Wall Street Journal. Перевод подготовила редакция «Технократии». Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» — мы регулярно рассказываем о новостях про AI, LLM и RAG, а также делимся полезными мастридами и актуальными событиями.
Продолжение: https://vk.com/wall-210601538_1623
Не позволяйте вашим мыслям стать учебным материалом для ИИ — или всплыть в случае утечки данных.
Неважно, какого чат-бота вы выберете: чем больше вы делитесь, тем полезнее он становится. Пациенты загружают результаты анализов для расшифровки, разработчики отправляют фрагменты кода для отладки. Однако некоторые исследователи ИИ советуют с осторожностью относиться к тому, что мы рассказываем этим человечно звучащим инструментам. Особенно рискованно делиться такой информацией, как паспортные данные или корпоративные секреты.
Дисклеймер: это вольный перевод колонки Николь Нгуен из журнала The Wall Street Journal. Перевод подготовила редакция «Технократии». Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» — мы регулярно рассказываем о новостях про AI, LLM и RAG, а также делимся полезными мастридами и актуальными событиями.
Продолжение: https://vk.com/wall-210601538_1623
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Пять вещей, которые не стоит рассказывать ChatGPT
Не позволяйте вашем мыслям стать учебным ... Смотрите полностью ВКонтакте.
Не позволяйте вашем мыслям стать учебным ... Смотрите полностью ВКонтакте.
⭐️ AI в вашей почте может сыграть против вас
Представьте: вы используете умного помощника для Gmail, чтобы облегчить рутину. Но злоумышленник подсовывает скрытую команду, и ваш EmailGPT уже рассылает спам или выдает конфиденциальные данные!
Именно такая уязвимость (CVE-2024-5184) была обнаружена в популярном расширении EmailGPT. Атакующий мог через prompt-инъекцию заставить AI выполнять чужие инструкции, последствия которых могут варьироваться от утечки данных до несанкционированных запросов к платным API. Уровень опасности — высокий (CVSS v4.0 = 8.5), и последствия могут быть серьезными: от дезинформации до финансовых потерь.
Проблема пока не исправлена — разработчики игнорируют предупреждения экспертов. Пока патч не выпущен, рекомендуем удалить расширение.
💡 Вывод: даже самые продвинутые технологии требуют осторожности. Подробнее о кейсе узнаете от наших экспертов по безопасности ИИ в это воскресенье, приходите в Музей Криптографии в 12:00.
https://news.1rj.ru/str/borismlsec
Представьте: вы используете умного помощника для Gmail, чтобы облегчить рутину. Но злоумышленник подсовывает скрытую команду, и ваш EmailGPT уже рассылает спам или выдает конфиденциальные данные!
Именно такая уязвимость (CVE-2024-5184) была обнаружена в популярном расширении EmailGPT. Атакующий мог через prompt-инъекцию заставить AI выполнять чужие инструкции, последствия которых могут варьироваться от утечки данных до несанкционированных запросов к платным API. Уровень опасности — высокий (CVSS v4.0 = 8.5), и последствия могут быть серьезными: от дезинформации до финансовых потерь.
Проблема пока не исправлена — разработчики игнорируют предупреждения экспертов. Пока патч не выпущен, рекомендуем удалить расширение.
💡 Вывод: даже самые продвинутые технологии требуют осторожности. Подробнее о кейсе узнаете от наших экспертов по безопасности ИИ в это воскресенье, приходите в Музей Криптографии в 12:00.
https://news.1rj.ru/str/borismlsec
⭐️ Искусственный интеллект затронет 40% рабочих мест к 2033 году
По прогнозам ООН, мировой объем рынка искусственного интеллекта (ИИ) достигнет $4,8 трлн, а сами технологии ИИ затронут 40% рабочих мест. По мнению ООН, распространение ИИ повысит производительность труда, однако может существенно усилить неравенство между развитыми и развивающимися странами.
В ближайшие десять лет рынок технологий искусственного интеллекта вырастет примерно в 25 раз — с $189 млрд в 2023 году до почти $4,8 трлн в 2033 году. Такие прогнозы содержатся в опубликованном вчера, 3 апреля, докладе Конференции ООН по торговле и развитию (ЮНКТАД). Ее аналитики ожидают, что к 2033 году ИИ затронет около 40% рабочих мест в мире.
Авторы доклада отмечают, что распространение технологий ИИ будет способствовать повышению производительности труда, цифровой трансформации экономики, появлению новых отраслей и расширению возможностей работников.
Продолжение: https://vk.com/wall-210601538_1627
По прогнозам ООН, мировой объем рынка искусственного интеллекта (ИИ) достигнет $4,8 трлн, а сами технологии ИИ затронут 40% рабочих мест. По мнению ООН, распространение ИИ повысит производительность труда, однако может существенно усилить неравенство между развитыми и развивающимися странами.
В ближайшие десять лет рынок технологий искусственного интеллекта вырастет примерно в 25 раз — с $189 млрд в 2023 году до почти $4,8 трлн в 2033 году. Такие прогнозы содержатся в опубликованном вчера, 3 апреля, докладе Конференции ООН по торговле и развитию (ЮНКТАД). Ее аналитики ожидают, что к 2033 году ИИ затронет около 40% рабочих мест в мире.
Авторы доклада отмечают, что распространение технологий ИИ будет способствовать повышению производительности труда, цифровой трансформации экономики, появлению новых отраслей и расширению возможностей работников.
Продолжение: https://vk.com/wall-210601538_1627
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Искусственный интеллект затронет 40% рабочих мест к 2033 году
По прогнозам ООН, мировой объ... Смотрите полностью ВКонтакте.
По прогнозам ООН, мировой объ... Смотрите полностью ВКонтакте.
⭐️ Обеспечение безопасности агентского ИИ: где MLSecOps встречается с DevSecOps (пер. с англ.)
I. Понимание ИИ-агентов
Агентные системы ИИ выходят за рамки традиционных моделей ИИ, которые просто отвечают на запросы или выполняют однозадачные прогнозы. Вместо этого агентные системы ИИ могут:
+ Действовать автономно с ограниченным контролем со стороны человека
+ Принимать решения на основе целей и ограничений
+ Предпринимать действия, которые влияют на окружающую среду
+ Сохранять данные в различных взаимодействиях и контекстах
+ Изучать и адаптировать свое поведение с течением времени
В отличие от обычного ИИ, который ждет подсказок человека, агентный ИИ активно преследует цели, используя различные инструменты и источники информации для достижения своих целей. В качестве примера можно привести помощников с искусственным интеллектом, которые могут записываться на прием, виртуальных операторов, которые управляют взаимодействием со службой поддержки клиентов по нескольким каналам, и автономные системы, оптимизирующие бизнес-процессы с минимальным контролем.
Продолжение: https://vk.com/wall-210601538_1628
I. Понимание ИИ-агентов
Агентные системы ИИ выходят за рамки традиционных моделей ИИ, которые просто отвечают на запросы или выполняют однозадачные прогнозы. Вместо этого агентные системы ИИ могут:
+ Действовать автономно с ограниченным контролем со стороны человека
+ Принимать решения на основе целей и ограничений
+ Предпринимать действия, которые влияют на окружающую среду
+ Сохранять данные в различных взаимодействиях и контекстах
+ Изучать и адаптировать свое поведение с течением времени
В отличие от обычного ИИ, который ждет подсказок человека, агентный ИИ активно преследует цели, используя различные инструменты и источники информации для достижения своих целей. В качестве примера можно привести помощников с искусственным интеллектом, которые могут записываться на прием, виртуальных операторов, которые управляют взаимодействием со службой поддержки клиентов по нескольким каналам, и автономные системы, оптимизирующие бизнес-процессы с минимальным контролем.
Продолжение: https://vk.com/wall-210601538_1628
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Обеспечение безопасности агентского ИИ: где MLSecOps встречается с DevSecOps (пер. с англ.)
<br... Смотрите полностью ВКонтакте.
<br... Смотрите полностью ВКонтакте.
⭐️ Cisco предупреждает о новой волне угроз — участились кибератаки с использованием LLM
Компания Cisco в своём новом отчёте «Состояние безопасности ИИ – 2025» раскрыла тревожные данные о росте числа кибератак с использованием больших языковых моделей (LLM). Вредоносные ИИ, такие как FraudGPT, ChostGPT и DarkGPT, уже продаются в даркнете всего за $75 в месяц и применяются для фишинга, взлома систем и кражи данных.
Одна из серьезных проблем, делающих ИИ-инструменты уязвимыми для переформатирование во вредоносное ПО, — это кастомизация (или тонкая настройка) моделей LLM.
Продолжение: https://vk.com/wall-210601538_1629
Компания Cisco в своём новом отчёте «Состояние безопасности ИИ – 2025» раскрыла тревожные данные о росте числа кибератак с использованием больших языковых моделей (LLM). Вредоносные ИИ, такие как FraudGPT, ChostGPT и DarkGPT, уже продаются в даркнете всего за $75 в месяц и применяются для фишинга, взлома систем и кражи данных.
Одна из серьезных проблем, делающих ИИ-инструменты уязвимыми для переформатирование во вредоносное ПО, — это кастомизация (или тонкая настройка) моделей LLM.
Продолжение: https://vk.com/wall-210601538_1629
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Cisco предупреждает о новой волне угроз — участились кибератаки с использованием LLM
Компан... Смотрите полностью ВКонтакте.
Компан... Смотрите полностью ВКонтакте.
⭐️ Интерес к MLSecOps продолжает расти
Привет, мои самые умные и талантливые Звезды IT! По традиции раз в месяц я оцениваю динамики роста разных направлений, профессий и навыков в сфере IT.
По MLSecOps продолжается стремительный рост - например, если в марте 2024 года в Яндекс-поиске было всего 15 запросов с указанием MLSecOps, то в марте 2025 году их стало 398 (рост в 26 раз).
Пока неясно, линейная это динамики или все же экспоненциальная. Учитывая экспоненциальный рост больших данных в мире и экспоненциальный рост кибератак, есть вероятность, что спрос на технологии MLSecOps и интерес к ним окажется даже гиперэкспоненциальным.
Архитектор MLSecOps
Николай Павлов
Привет, мои самые умные и талантливые Звезды IT! По традиции раз в месяц я оцениваю динамики роста разных направлений, профессий и навыков в сфере IT.
По MLSecOps продолжается стремительный рост - например, если в марте 2024 года в Яндекс-поиске было всего 15 запросов с указанием MLSecOps, то в марте 2025 году их стало 398 (рост в 26 раз).
Пока неясно, линейная это динамики или все же экспоненциальная. Учитывая экспоненциальный рост больших данных в мире и экспоненциальный рост кибератак, есть вероятность, что спрос на технологии MLSecOps и интерес к ним окажется даже гиперэкспоненциальным.
Архитектор MLSecOps
Николай Павлов
⭐️ OWASP повысил Gen AI Security Project до флагманского статуса
Компания Open Worldwide Application Security Project (OWASP) объявила сегодня о том, что ее список OWASP Top 10 for LLM and Generative AI стал проектом OWASP Gen AI Security Project. Изменение названия отражает популярность первоначального списка Top 10 for LLM и признание расширенной направленности проекта.
Проект OWASP Gen AI Security — это глобальная инициатива с открытым исходным кодом, направленная на выявление, снижение и документирование рисков безопасности, связанных с технологиями генеративного искусственного интеллекта. Этот новый флагманский проект, призванный расширить возможности организаций, специалистов по безопасности, практиков в области искусственного интеллекта и политиков, будет постоянно публиковать всеобъемлющие, действенные руководства и инструменты для обеспечения безопасной разработки, развертывания и управления генеративными системами искусственного интеллекта.
Продолжение: https://vk.com/wall-210601538_1631
Компания Open Worldwide Application Security Project (OWASP) объявила сегодня о том, что ее список OWASP Top 10 for LLM and Generative AI стал проектом OWASP Gen AI Security Project. Изменение названия отражает популярность первоначального списка Top 10 for LLM и признание расширенной направленности проекта.
Проект OWASP Gen AI Security — это глобальная инициатива с открытым исходным кодом, направленная на выявление, снижение и документирование рисков безопасности, связанных с технологиями генеративного искусственного интеллекта. Этот новый флагманский проект, призванный расширить возможности организаций, специалистов по безопасности, практиков в области искусственного интеллекта и политиков, будет постоянно публиковать всеобъемлющие, действенные руководства и инструменты для обеспечения безопасной разработки, развертывания и управления генеративными системами искусственного интеллекта.
Продолжение: https://vk.com/wall-210601538_1631
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ OWASP повысил Gen AI Security Project до флагманского статуса
Компания Open Worldwide Appli... Смотрите полностью ВКонтакте.
Компания Open Worldwide Appli... Смотрите полностью ВКонтакте.
⭐️ ИИ уже знает ваши секреты — конфиденциальность под угрозой?
Искусственный интеллект в 2025 году стал уже не чем-то фантастическим, а вполне обычным инструментом в жизни и бизнесе. Однако вместе с удобством и эффективностью встаёт вопрос: а безопасны ли наши личные данные, которые мы доверяем нейросетям?
В Нидерландах регулятор по защите данных оштрафовал на 30,5 млн евро американскую компанию Clearview AI, которая, как утверждается, собрала незаконную базу данных с миллиардами фотографий людей. Власти Италии обнаружили возможную утечку данных пользователей GPT и даже временно заблокировали сервис.
Сравним, как популярные модели защищают ваши данные или данные ваших доверителей (работодателей), если вы юрист или адвокат.
I. ChatGPT
OpenAI, известная моделью GPT, занимает лидирующие позиции на рынке ИИ. У корпоративных версий (API, Enterprise, Pro) всё строго: данные клиентов не используются по умолчанию. Ведь в случае утечки компании точно уйдут к конкурентам.
Продолжение: https://vk.com/wall-210601538_1632
Искусственный интеллект в 2025 году стал уже не чем-то фантастическим, а вполне обычным инструментом в жизни и бизнесе. Однако вместе с удобством и эффективностью встаёт вопрос: а безопасны ли наши личные данные, которые мы доверяем нейросетям?
В Нидерландах регулятор по защите данных оштрафовал на 30,5 млн евро американскую компанию Clearview AI, которая, как утверждается, собрала незаконную базу данных с миллиардами фотографий людей. Власти Италии обнаружили возможную утечку данных пользователей GPT и даже временно заблокировали сервис.
Сравним, как популярные модели защищают ваши данные или данные ваших доверителей (работодателей), если вы юрист или адвокат.
I. ChatGPT
OpenAI, известная моделью GPT, занимает лидирующие позиции на рынке ИИ. У корпоративных версий (API, Enterprise, Pro) всё строго: данные клиентов не используются по умолчанию. Ведь в случае утечки компании точно уйдут к конкурентам.
Продолжение: https://vk.com/wall-210601538_1632
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ ИИ уже знает ваши секреты — конфиденциальность под угрозой?
Искусственный интеллект в 2025 ... Смотрите полностью ВКонтакте.
Искусственный интеллект в 2025 ... Смотрите полностью ВКонтакте.
⭐️ Google выпускает модели Gemini быстрее, чем отчёты по их безопасности
Google, который два года назад оказался застигнут врасплох выпуском ChatGPT от OpenAI, теперь резко ускорил темп разработки собственных ИИ-моделей. Однако эта спешка вызывает опасения у экспертов отрасли.
В конце марта компания представила модель искусственного интеллекта с улучшенными возможностями рассуждения, Gemini 2.5 Pro, которая лидирует в отрасли по нескольким ключевым показателям, оценивающим способности к программированию и математическим вычислениям. Примечательно, что релиз состоялся всего через 3 месяца после выпуска предыдущей модели Gemini 2.0 Flash, которая на момент выхода также считалась передовой.
Директор и руководитель продукта Gemini, Тулси Доши, в интервью TechCrunch подтвердила, что увеличение частоты выпуска моделей является частью целенаправленных усилий компании по соответствию быстро меняющейся индустрии искусственного интеллекта.
Продолжение: https://vk.com/wall-210601538_1633
Google, который два года назад оказался застигнут врасплох выпуском ChatGPT от OpenAI, теперь резко ускорил темп разработки собственных ИИ-моделей. Однако эта спешка вызывает опасения у экспертов отрасли.
В конце марта компания представила модель искусственного интеллекта с улучшенными возможностями рассуждения, Gemini 2.5 Pro, которая лидирует в отрасли по нескольким ключевым показателям, оценивающим способности к программированию и математическим вычислениям. Примечательно, что релиз состоялся всего через 3 месяца после выпуска предыдущей модели Gemini 2.0 Flash, которая на момент выхода также считалась передовой.
Директор и руководитель продукта Gemini, Тулси Доши, в интервью TechCrunch подтвердила, что увеличение частоты выпуска моделей является частью целенаправленных усилий компании по соответствию быстро меняющейся индустрии искусственного интеллекта.
Продолжение: https://vk.com/wall-210601538_1633
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Google выпускает модели Gemini быстрее, чем отчёты по их безопасности
Google, который два г... Смотрите полностью ВКонтакте.
Google, который два г... Смотрите полностью ВКонтакте.
⭐️ Эксперт предсказал рост кибератак с помощью ИИ до десятков миллионов В ближайшие три года
По словам Дмитрия Маркова, исполнительного директора MTS AI, количество кибератак с использованием технологий дипфейков в ближайшие три года может вырасти до десятков миллионов. Это связано с тем, что технологии искусственного интеллекта становятся более доступными, и в скором времени каждый сможет создать фальшивый голос или заменить лицо на фото и видео. Марков отметил, что если сегодня таких атак несколько десятков тысяч, то в будущем ситуация изменится.
Он также добавил, что число атак с дипфейками может быть ещё больше, чем сообщают официальные источники. Мошенники часто используют эти технологии для кражи денег, и пострадавшие сообщают о мошенничестве в случае, если надеются вернуть средства. При этом развитие технологий создания дипфейков опережает методы их обнаружения. Например, чтобы создать аудиодипфейк, злоумышленникам достаточно 10-15 секунд записи голоса человека.
Продолжение: https://vk.com/wall-210601538_1634
По словам Дмитрия Маркова, исполнительного директора MTS AI, количество кибератак с использованием технологий дипфейков в ближайшие три года может вырасти до десятков миллионов. Это связано с тем, что технологии искусственного интеллекта становятся более доступными, и в скором времени каждый сможет создать фальшивый голос или заменить лицо на фото и видео. Марков отметил, что если сегодня таких атак несколько десятков тысяч, то в будущем ситуация изменится.
Он также добавил, что число атак с дипфейками может быть ещё больше, чем сообщают официальные источники. Мошенники часто используют эти технологии для кражи денег, и пострадавшие сообщают о мошенничестве в случае, если надеются вернуть средства. При этом развитие технологий создания дипфейков опережает методы их обнаружения. Например, чтобы создать аудиодипфейк, злоумышленникам достаточно 10-15 секунд записи голоса человека.
Продолжение: https://vk.com/wall-210601538_1634
VK
MLSecOps+ | Николай Павлов. Пост со стены.
⭐ Эксперт предсказал рост кибератак с помощью ИИ до десятков миллионов В ближайшие три года
П... Смотрите полностью ВКонтакте.
П... Смотрите полностью ВКонтакте.