⭐️ Почти четверть всех утечек данных будет связана с внедрением искусственного интеллекта

Развитие новых технологий, в первую очередь искусственного интеллекта и облачных решений, эксперты считают определяющими в сфере развития информационной безопасности в России наряду с ростом количества и сложности атак на российские компании и сервисы.

Количество кибератак и инцидентов, связанных с кибербезопасностью, выросло в России в 3–3,5 раза в 2021–2023 гг. и продолжило рост в 2024 г., отмечают эксперты консалтинговой компании Б1. Количество атакуемых сфер экономики увеличилось в 3–4 раза. Это заставляет российский бизнес больше инвестировать в информбезопасность, а потребители все чаще обращают внимание на то, как защищены их данные. Бесплатным сервисом Т2 и компании "Солар", который позволяет получить отчет об утечках персональных данных, только за первые месяцы работы воспользовалось более 1 млн человек.

Продолжение: https://vk.com/wall-210601538_1593

⭐️ 5 + 5 простых идей для автоматической защиты данных от атаки отравления и автозащиты модели от состязательных атак

DATA POISONING ATTACK

1. Обнаружение на основе простого диапазона значений (Basic Range Check).

Идея: Проверка, находятся ли значения признаков в разумных пределах. Это может выявить выбросы, которые могут быть результатом отравления.

2. Обнаружение на основе уникальности меток (Label Uniqueness Check).

Идея: Проверка, не слишком ли много одинаковых меток подряд. Отравленные данные могут создавать неестественные последовательности.

3. Обнаружение на основе простого подсчета меток (Basic Label Count Check).

Идея: Проверяет, не нарушено ли общее соотношение меток в данных.

Продолжение: https://vk.com/wall-210601538_1594

⭐️ MLSecOps engineer в Уральский центр систем безопасности

от 300000 ₽ за месяц на руки, полная занятость, гибрид/удаленка

Уральский центр систем безопасности (УЦСБ) – аккредитованная IT-компания – системный интегратор, реализующий масштабные проекты в сфере информационной безопасности.

Входим в ТОП-15 крупнейших компаний России в сфере защиты информации и более 17 лет оказываем бизнесу услуги в области проектирования, разработки и внедрения комплексных проектов в сфере IT и инженерных систем.

В команде УЦСБ работают более 900 сотрудников, одним из которых можешь стать ты!

Приглашаем тебя присоединиться к нашей крутой команде Аналитического центра в качестве MLSecOps инженера!

Задачи:
+ Разработка и внедрение решений безопасности для ML-моделей и инфраструктуры
+ Обеспечение соответствия требованиям безопасности на всех этапах жизненного цикла разработки ML-продуктов
+ Проведение анализа уязвимостей и оценка рисков для ML-систем
+ Реализация мер защиты от атак на модели машинного обучения (например, атаки переноса обучения, отравление данных)
+ Настройка и мониторинг инструментов для обеспечения безопасности моделей и данных
+ Взаимодействие с командами разработчиков и инженеров данных для интеграции процессов DevSecOps в ML-проекты
+ Участие в разработке политик и стандартов безопасности для организации
+ Поддержка и улучшение существующих процессов мониторинга и реагирования на инциденты безопасности

Что нужно, чтобы успешно работать:
+ Опыт работы с инструментами DevOps и CI/CD (Jenkins, GitLab CI, Kubernetes).
+ Практический опыт работы с методами машинного обучения и моделями
+ Навыки работы с инструментами MLOps
_+ Глубокое понимание принципов кибербезопасности и современных угроз
+ Навыки программирования на Python или другом языке для автоматизации задач безопасности
+ Опыт работы с системами мониторинга и алертинга (Prometheus, Grafana, ELK Stack)
+ Понимание архитектуры и методов развертывания ML-моделей
+ Знание принципов работы с большими данными и аналитическими платформами
+ Опыт проведения аудитов безопасности и тестирования на проникновение
+ Знания моделей угроз для ИИ (например, OWASP), а также методических рекомендаций по обеспечению ИБ ИИ моделей
+ Хорошее знание английского языка для чтения технической документации и общения с международными коллегами
+ Грамотная речь, умение обосновывать собственные решения, самостоятельность, инициативность

От нас:
+ Официальное трудоустройство и полностью белая зарплата – всегда вовремя;
+ Работа в аккредитованной ИТ-компании;
+ Уровень заработной платы обсуждается индивидуально с каждым кандидатом и зависит от уровня твоих знаний и компетенций;
+ Комфортные условия: современный офис рядом с парком, уютная кухня с чаем и кофе, вкусняшки каждую пятницу;
+ График работы: 5/2, с 9:30 до 18:30, возможность варьировать время начала и окончания рабочего дня, а также работать в гибридном формате;
+ Возможность работать удалённо (предоставляем всю необходимую технику, а также используем современные сервисы для коммуникации внутри компании, чтобы комфортно решать задачи даже на дистанции);
+ Качественная адаптация: система наставничества, поддержка опытных и вовлеченных коллег;
+ Обучение и развитие: курсы, тренинги и сертификации, компенсируемые на 100% за счет компании, ревью, занятия английским языком. Новые зоны роста;
+ Возможность участвовать в конференциях в роли спикера/слушателя, а также профессиональные сообщества: аспирантское движение, направление R&D, собственная ежегодная конференция ИБ - IT IS Conf;
+ Крутые корпоративные мероприятия: праздники, сплавы, турпоходы;
+ Поддержка спорта: фитнес, бассейн, баскетбол, скалодром, йога, компенсация личных затрат на занятия спортом;
+ Забота о здоровье – предоставляем ДМС после адаптационного периода.

Присылай нам резюме, если всё это о тебе, и наша корпоративная культура тебе откликается:)

Ждём тебя в крутой команде профессионалов УЦСБ!

Ссылка на вакансию: https://ekaterinburg.hh.ru/vacancy/118594487

Архитектор MLSecOps
Николай Павлов

⭐️ 100 базовых уязвимостей в MLSecOps+

I. Атаки на модели машинного обучения

1. Атака Adversarial Example. Подмена входных данных для искажения результатов модели.
2. Data Poisoning Attack. Добавление специально созданных данных для переобучения модели.
3. Model Stealing. Кража обученной модели путем обратного инжиниринга.
4. Explainability Attack. Использование методов интерпретации моделей для выявления слабых мест.
5. Feature Manipulation. Манипуляция ключевыми признаками данных для получения неверных предсказаний.
6. Data Leakage. Утечка конфиденциальной информации через предсказания модели.
7. Membership Inference Attack. Определение принадлежности конкретного образца к тренировочному набору данных.
8. Hyperparameter Tuning Attack. Взлом гиперпараметров модели для снижения её точности.
9. Adversarial Training Evasion. Обход защитных мер, добавленных при обучении модели.
10. Gradient-Based Attack. Использование градиентов модели для генерации поддельных образцов.
11. Backdoor Attack. Внедрение скрытого механизма в модель для последующего использования.
12. Transfer Learning Attack. Эксплуатация переноса знаний между моделями.
13. Fairness Attack. Нарушение справедливости модели путём введения предвзятости.
14. Privacy-Preserving Techniques Bypass. Обход механизмов защиты конфиденциальности.
15. Retraining Attack. Повторная тренировка модели с целью ухудшения её производительности.
16. Robustness Testing Failure. Эксплойтирование недостатков тестов на устойчивость модели.
17. Edge Case Exploits. Создание граничных случаев, приводящих к ошибкам модели.
18. Hardware Vulnerabilities. Использование аппаратных уязвимостей для нарушения работы модели.
19. Dependency Confusion. Замена зависимостей библиотеки модели на вредоносные версии.
20. Remote Code Execution via Model Deployment. Выполнение удалённого кода через развертывание модели.

II. Атаки на инфраструктуру MLSecOps

Продолжение: https://vk.com/wall-210601538_1601

⭐️ Киберугрозы ИИ: новые риски для бизнеса и методы защиты

Угрозы, связанные с искусственным интеллектом, — уже не фантастика, а обыденность: бизнес-дипфейки, отравление данных, SQL-инъекции стали новыми инструментами в руках злоумышленников. О защите корпоративных систем в эпоху ИИ рассказывают директор департамента кибербезопасности IBS Олег Босенко и начальник отдела разработки сервисов кибербезопасности Владимир Мукасеев.

I. Новые вызовы информационной безопасности

+ Уязвимость для манипуляций. Внедрение ИИ в государственных и бизнес-структурах создает уязвимости для широкого спектра манипуляций. Основных причин две. Во-первых, спешка в выводе ИИ-продуктов на рынок и недостаточное внимание к вопросам безопасности в процессе внедрения. Во-вторых, слабая проработка механизмов блокировки в самих ИИ-моделях. Как показывает практика, пользователи могут обходить этические ограничения нейросетей, получая доступ к опасной информации.

+ Количественный и качественный рост кибератак. Количество атак растет, но главное изменение — их сложность. Вымогательские атаки становятся более изощренными: в 2023 году отмечен переход от традиционного шифрования данных к шантажу публикацией украденных данных.

+ Возможность реализации всех видов кибератак. Принципиальные технологические особенности функционирования ИИ позволяют применять все возможные векторы атак. Поэтому необходимо закрыть все потенциальные уязвимости в безопасности программного обеспечения, чтобы не допустить расширения поверхности атаки в случае ее успеха.

Продолжение: https://vk.com/wall-210601538_1602

⭐️ Влияние на изготовление микросхем станет ключевым фактором в определении победителя в гонке ИИ, считает Илон Маск

Маск подчеркнул, что доминирование в сфере ИИ напрямую связано с контролем над производством полупроводников и для сохранения лидерства в конкуренции с Китаем, США крайне важно укрепить свои позиции в этой отрасли. По прогнозам Маска, в будущем США сохранят первенство в разработке ИИ.

Решающим фактором станет контроль над производством чипов, большая часть которых выпускается на Тайване. Маск предупреждает, что возможный захват Тайваня Китаем лишит мир доступа к современным чипам и существенно затормозит прогресс в области ИИ.

Маск также заявил, что возврат изготовления чипов в Штаты - вопрос национальной безопасности. Он напомнил о "CHIPS Act", предусматривающем выделение до $65 млрд компаниям, строящим заводы в США. Среди заинтересованных компаний Маск выделил тайваньскую TSMC, объявившую об инвестициях в размере $165 млрд в развитие производства и научных центров в США.

Хлебни ИИ

⭐️ Спрос на специалистов по анализу данных и ML в России вырос в 30 раз за 10 лет

Исследование платформы онлайн-рекрутинга hh.ru показало, что за последние десять лет количество вакансий в сфере анализа данных и машинного обучения (ML) в России увеличилось в 30 раз.

Исследование основано на анализе вакансий и резюме ML- и DS-специалистов на hh.ru за период с 2014 по 2024 год, а также на интервью с тимлидами, продуктовыми менеджерами и IT-рекрутерами ведущих IT-компаний.

Ключевые выводы исследования:

1. Наибольший спрос в сфере анализа данных и ML пришелся на последние четыре года — число предложений выросло в 2,5 раза.
Самым быстрорастущим направлением стала инфраструктура данных и DevOps — спрос вырос в 3,6 раза с 2020 года. За ним следуют анализ данных (в 2,5 раза), инженерия данных и BigData (в 1,9 раза), а также машинное обучение (в 1,8 раза).

2. Топ-3 высокооплачиваемых специалистов в 2024 году — это ML-инженеры (медианная зарплата достигает 590 тыс. руб.), специалисты по анализу данных (470 тыс. руб.) и инженеры по безопасности высоконагруженных систем (400 тыс. руб.).

Продолжение: https://vk.com/wall-210601538_1605

⭐️ Искусственный интеллект под реальной угрозой. Cпрос на специалистов по безопасности ИИ (MLSecOps) за год вырос более чем в пять раз

Повсеместное внедрение искусственного интеллекта (ИИ) в бизнес-процессы бросает новые вызовы рынку. Так, уже растет спрос на услуги специалистов по кибербезопасности в области ИИ (MLSecOps). По подсчетам аналитиков платформы hh, в 2024 году количество вакансий разработчиков и аналитиков, связанных с защитой ИИ-решений, увеличилось в пять раз. И эксперты предсказывают, что потребность в таких специалистах будет только расти.

Специалисты в области защиты искусственного интеллекта стали одними из самых редких и востребованных на рынке IT, подсчитали аналитики платформы HeadHunter. Так, в 2024 году вакансий разработчиков, связанных с кибербезопасностью в области ИИ, аналитики насчитали 878, тогда как в 2023-м их было всего 154. Спрос на функционал, связанный с работой в сфере MLSecOps, за год вырос почти в 5,5 раза.

Продолжение: https://vk.com/wall-210601538_1606

⭐️ Регулирование MLSecOps в России. Федеральный закон об экспериментальных правовых режимах

Федеральный закон об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации (Федеральный закон от 31.07.2020 N 258-ФЗ) регулирует применение специальных правовых условий для развития и внедрения цифровых инноваций, включая технологии искусственного интеллекта (ИИ). В частности, в отношении инцидентов с ИИ-системами были внесены изменения, направленные на обеспечение безопасности и ответственности за вред, причиненный при использовании решений на основе ИИ.

Основные положения:

1. Ответственность за вред.
Введена ответственность за вред, нанесенный жизни, здоровью или имуществу физических и юридических лиц при использовании ИИ-систем в рамках экспериментальных правовых режимов. Ответственность возлагается на разработчиков или пользователей ИИ-систем.

Продолжение: https://vk.com/wall-210601538_1608

⭐️ Google разработала мощную систему защиты для нейросетей

Исследователи Google DeepMind представили новую систему CaMeL для защиты больших языковых моделей (LLM) от атак через промпты. Согласно тестам, технология блокирует две трети вредоносных запросов.

Современные языковые модели уязвимы для так называемых «инъекций промптов», при помощи которых злоумышленники могут получать доступ к конфиденциальным данным внутри нейросетей. Существующие методы защиты, включая переобучение моделей и промпт-инжиниринг, показывают низкую эффективность.

CaMeL предлагает принципиально новый подход к решению этой проблемы. Система имеет двухуровневую архитектуру, состоящую из «привилегированной» и «карантинной» языковых моделей. CaMeL использует метаданные и строгие политики для каждого элемента данных, благодаря чему может контролировать проходящие через LLM потоки информации. Специальный Python-интерпретатор отслеживает происхождение данных и помогает соблюдать ограничения.

Продолжение: https://vk.com/wall-210601538_1609

⭐️ Гейтс заявил, что в течение десяти лет ИИ заменит людей многих профессий

Миллиардер и сооснователь корпорации Microsoft Билл Гейтс готовится к глобальным переменам во всем мире, он четко обозначил сроки, когда нейросети смогут заменить человека.

Бизнесмен высказал весьма смелое предположение: по его мнению, уже в ближайшие десять лет искусственный интеллект может полностью заменить людей в ряде профессий.

Именитый предприниматель уверен, что уже в обозримом будущем учителя и врачи станут не столь востребованными, поскольку нейросети смогут взять на себя их функции.

При этом бизнесмен считает, что благодаря такому развитию событий медицинские и образовательные услуги станут более доступными и почти бесплатными, особенно в странах с ограниченными ресурсами. По его мнению, человек перестанет быть необходимым для выполнения многих привычных задач.

Продолжение: https://vk.com/wall-210601538_1610

⭐️ ГОСТ Р 59898-2021. Национальный стандарт российской федерации: "ОЦЕНКА КАЧЕСТВА СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА. ОБЩИЕ ПОЛОЖЕНИЯ" (Quality assurance of artificial intelligence systems. General)

1. Стандарт разработан Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)

2. Утвержден Приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2021 г. 1620-ст

3. Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации".

4. Стандарт разработан на основе ГОСТ Р ИСО/МЭК 25010-2015, определяющего общие подходы к оценке качества программных продуктов и преимущественно программных вычислительных систем, но не учитывающего специфику вычислительных алгоритмов и характеристик СИИ.

5. Настоящий стандарт распространяется на все системы, использующие различные методы искусственного интеллекта (ИИ), включая алгоритмы на основе машинного обучения (обучение по прецедентам) и экспертные системы (на основе дедуктивного обучения), для решения конкретных практически значимых задач.

Ссылка: https://docs.cntd.ru/document/1200181913

Архитектор MLSecOps
Николай Павлов

⭐️ Инциденты MLSecOps. Суд в Канаде обязал Air Canada выплатить компенсацию за обман пассажира её чат-ботом по продаже билетов

В середине февраля 2024 года суд в Канаде обязал авиакомпанию Air Canada выплатить пассажиру положенную компенсацию в размере $812 (включая ущерб, проценты и сборы, связанные с поездкой и судебным разбирательством) после того, как чат-бот по продаже билетов Travel Air Canada предоставил человеку неверную информацию о стоимости билета и положенной скидке за перелёт.

Согласно документам суда, в ноябре 2022 года у Джейка Моффата умерла бабушка, он был вынужден со своей семьёй срочно лететь на её похороны. Моффат начал искать подходящие авиабилеты и использовал чат-бота на веб-сайте Air Canada. Информационная система предложила Моффатту странную скидку — купить билеты туда и обратно, а потом «задним числом подать заявку на компенсацию части оплаты за билеты в случае утраты родственников». Чат-бот пообещал. что в этом случае Моффат сэкономит примерно $380 в каждом направлении.

Продолжение: https://vk.com/wall-210601538_1612

⭐️ LLM Red-teaming в MLSecOps

Red-teaming для LLM — это способ тестирования систем ИИ, особенно больших языковых моделей (LLM), на предмет выявления слабых мест. Можно представить это как дружеское соревнование, в котором команда («красная команда») пытается найти проблемы в ИИ до того, как он будет использован публикой. Этот процесс помогает разработчикам исправлять недочеты и улучшать производительность ИИ.

Почему стоит проверять модели таким способом?

2024-й год уже позади, поэтому ставки при развертывании больших языковых моделей (LLM) как никогда высоки. Точно так же, как архитекторы проводят стресс-тестирование мостов, а разработчики отлаживают программное обеспечение перед его выпуском, LLM-модели тоже требуют тщательного тестирования.

Взаимодействуют с языковыми моделями практически все, люди из разных сфер деятельности, разных возрастов и с разным жизненным опытом. Крайне важно обеспечить безопасность этих моделей для пользователей, и здесь в игру вступают red team-специалисты — своего рода «сантехники для LLM». Они проводят различные атаки, чтобы выявить потенциальные уязвимости модели.

С 2023 года LLM стали горячей темой на массовом рынке, и мы уже наблюдали десятки случаев ситуаций, когда модель генерирует то, что не должна. Рассмотрим ключевые проблемы безопасности LLM-моделей и ответим на главный вопрос: «Почему необходимо проводить red teaming для LLM?»

Продолжение: https://vk.com/wall-210601538_1613

⭐️ AI specific metrics в MLSecOps

AI specific metrics оценивает 10 аспектов безопасности модели по security и по safety:

1) MR (Model Robustness, Устойчивость модели): Оценивает устойчивость системы к атакам на модель и её деградации.

2) DS (Data Sensitivity, Чувствительность данных): Показывает риски, связанные с конфиденциальностью, целостностью и происхождением данных, используемых AI-системой.

3) EI (Ethical Implications, Этические последствия): Рассматривает возможные проявления предвзятости, проблемы прозрачности, вопросы ответственности и влияние на общество.

4) DC (Decision Criticality, Критичность решений): Измеряет потенциальные последствия неправильных или злонамеренных решений, принимаемых AI-системой.

5) AD (Adaptability, Адаптивность): Оценивает способность системы адаптироваться к новым угрозам и поддерживать безопасность на протяжении времени.

6) AA (Adversarial Attack Surface, Поверхность атак): Оценивает степень подверженности системы различным методам атак злоумышленников.

7) LL (Lifecycle Vulnerabilities, Уязвимости на этапах жизненного цикла): Анализирует риски безопасности на различных этапах жизненного цикла AI-системы.

Продолжение: https://vk.com/wall-210601538_1614

⭐️ Т-Банк: «Мы вступили в эпоху борьбы между ИИ-платформами банков и ИИ-решениями злоумышленников»

О том, как искусственный интеллект меняет правила игры в сфере противодействия социальному инжинирингу, какие вызовы и возможности он открывает, и почему борьба с мошенничеством все больше напоминает гонку технологий, журнал «ПЛАС» побеседовал с Русланом Искяндяровым, руководителем направления экосистемных сервисов Т-Банка, в кулуарах Уральского форума «Кибербезопасность в финансах».

PLUSworld: Какие тренды, озвученные на Уральском форуме, вам показались по-настоящему новыми?

Р. Искяндяров: Если раньше в фокусе внимания такого рода мероприятий были отдельные технологии – голосовая биометрия, борьба с телефонным мошенничеством, алгоритмы распознавания и т. п., то Уральский форум 2025 акцентирован в первую очередь на возможностях генеративного ИИ.

Мы наблюдаем повсеместное внедрение этих технологий – от внутренних бизнес-процессов банков до взаимодействия с клиентами. Почему? В первую очередь, потому что ИИ дает колоссальный прирост эффективности. Он не просто ускоряет работу сотрудников, а помогает лучше понимать клиентов, предугадывать их потребности, автоматизировать рутинные процессы.

Продолжение: https://vk.com/wall-210601538_1615

⭐️ Опасность без злого умысла: как ИИ может навредить случайно. Пользовательские риски в MLSecOps

Когда говорят об угрозе от искусственного интеллекта, часто представляют себе мрачные сценарии восстания машин. Но реальность куда тоньше. ИИ не обязательно должен обернуться против обычных пользователей — достаточно, что он может навредить.

Мы уже сегодня сталкиваемся с последствиями, когда ИИ не атакует, а просто выполняет свою задачу хорошо. Парадокс: машина именно делает то, чему её научили — и именно в этом скрыта опасность.

Риск 1. ИИ подталкивает к зависимому поведению

Рекомендательные алгоритмы в соцсетях, YouTube, TikTok работают ради одного — удержать внимание людей. Но ценой становятся:

+ тревожность,
+ прокрастинация,
+ искажение восприятия,
+ снижение концентрации,
+ трата массы свободного времени на ненужный контент.

Продолжение: https://vk.com/wall-210601538_1616

⭐️ Проблема дипфейков в MLSecOps становится все более острой

Сейчас на просторах интернета уже вовсю создаются дипфейки. Один из подобных роликов поступил на этой неделе и в редакцию студии Вести Ямал. На кадрах якобы член экипажа самолета АН-12, который в среду совершил жесткую посадку в аэропорту Нового Уренгоя, во всем произошедшем обвинил авиакомпанию.

При проверке информации выяснилось, что видео фейковое, создано нейросетью. Быть начеку надо и зрителю, и средствам массовой информации. Сейчас руководство команды ВГТРК призывает филиалы к цифровой гигиене. Нужно рассказывать о рисках, угрозах и мерах противодействия любой фейковой информации.

«Выдается информация абсолютно лживая, негативная, то есть наш ведущий, наша студия сообщают ее, и когда это появляется в эфире, то конечно же, люди доверяют нам с вами. К этому надо осторожно относиться и предупреждать наших телезрителей, радиослушателей и пользователей нашего интернет-продукта. Это и есть цифровая гигиена и это не простая задача», - отмечает председатель комиссии Общественной палаты РФ по развитию информационного сообщества, СМИ и массовых коммуникаций, заместитель Генерального директора — руководитель регионального департамента ВГТРК Рифат Сабитов.

Ссылка на видео: https://vk.com/video-120315139_456248350?t=16s&ref_domain=vesti-yamal.ru

vesti-yamal

⭐️ IT-эксперт Тушканов: переписки россиян с ИИ могут оказаться в открытом доступе

Многие россияне обходят региональные ограничения нейросетей с помощью так называемых «сервисов-прослоек». IT-эксперт Владислав Тушканов рассказал «Газете.Ru», что такие платформы нередко получают доступ к пользовательским данным и могут опубликовать их в открытый доступ.

По его словам, проблема особенно актуальна для сервисов, предоставляющих доступ к закрытым моделям ИИ. Пользователи зачастую не задумываются о том, что их переписки, файлы и запросы могут оказаться в распоряжении сторонних разработчиков.

«Если создатели «сервиса-прослойки» окажутся неблагонадежными, данные пользователей могут оказаться скомпрометированы», — добавил Тушканов.

Эксперт подчеркнул, что аналогичные риски существуют и при использовании неофициальных приложений нейросетей, а также ботов в мессенджерах. Он рекомендует всегда читать пользовательское соглашение, чтобы понять, какие данные сервис собирает, как их хранит и использует.

itinfo

⭐️ MLSecOps. Кто больше выигрывает от использования ИИ в сфере информационной безопасности?

Искусственный интеллект прямо сейчас меняет мир информационных технологий. Нейросети уже способны писать код, находить в нем ошибки, решать задачи разной степени сложности. Однако это инструмент, который можно использовать как во благо, так и в преступных целях.

I. Обоюдоострое оружие

Нейросети стали мощным инструментом ускорения и упрощения работы и для атакующих, и для защитников ИТ-систем. Например, ИИ позволяет за несколько промптов превратить известную антивирусным системам вредоносную программу в нечто новое и труднообнаружимое.

То же касается и поиска уязвимостей – нейросеть способна не только найти брешь в защите компании, но и написать подробный алгоритм ее эксплуатации вплоть до реализации риска или нанесения ущерба. При этом атакующему необязательно понимать, как устроен процесс и что с точностью до каждой команды он делает.

Но эта схема работает в обе стороны – нейросети также используются для детектирования вредоносных программ и хакерской активности.

Продолжение: https://vk.com/wall-210601538_1619

⭐️ Уже через два года ИИ сможет работать стандартный восьмичасовой день

Недавний анализ METR Evaluations демонстрирует, что системы искусственного интеллекта значительно улучшают свои способности к выполнению задач. Время автономной работы ИИ удваивается каждые семь месяцев, поэтому уже к 2027 году, вероятно, они смогут работать восьмичасовой рабочий день с 50% уровнем успешности.

Аналитики METR установили четкие критерии для оценки успешности длительной работы ИИ. Инструкции для каждой задачи ясны и содержат минимальный контекст, необходимый для понимания. Каждая задача сопровождается простой алгоритмической функцией оценки.

В то же время большинство задач, выполняемых программистами или в области машинного обучения, требуют обширных ссылок на предшествующий контекст и часто не имеют однозначной формулировки. Поэтому тесты METR сосредоточены на условиях, которые не всегда соответствуют реальным сценариям. Кроме того, 50% уровень успешности не может считаться высоким по сравнению с человеческой работой.

Продолжение: https://vk.com/wall-210601538_1621