⭐️ Британским юристам сказали прекратить злоупотребление ИИ после фейковых ссылок

Верховный суд Великобритании обратился к юристам с просьбой срочно остановить неправильное использование искусственного интеллекта (ИИ) в юридической практике Связано это с тем, что в нескольких делах были представлены фальшивые ссылки на судебные решения, которые либо полностью вымышлены, либо содержали поддельные цитаты.

В одном из крупных дел по иску на 89 миллионов фунтов против Qatar National Bank заявители использовали 45 ссылок на судебные решения, из которых 18 оказались фальшивыми. В другом деле юрист неправомерно ссылался на несуществующие судебные решения пять раз.

Председатель Кингсбенчского отделения, Дама Виктория Шарп, подчеркнула, что подобные ошибки подрывают доверие к судебной системе. Юристам, использующим ИИ, напомнили о необходимости тщательно проверять информацию.

ferra

⭐️ Новые открытые ИИ-модели RoboBrain 2.0

Китай делает ещё один шаг к лидерству в робототехнике: Пекинская академия искусственного интеллекта (BAAI) представила новые открытые ИИ-модели RoboBrain 2.0, которые будут служить «мозгом» для роботов. Это часть стратегии по ускоренному развитию индустрии «воплощённого интеллекта» — то есть систем, где ИИ не просто работает с текстами или изображениями, а управляет физическими машинами в реальном мире.

По словам главы BAAI Вана Чжуньюаня, использование мощных моделей в стремительно развивающемся китайском рынке роботов может заметно ускорить прогресс в создании гуманоидов. Одна из главных проблем отрасли — это слабые модели и нехватка качественных обучающих данных. Новый подход должен изменить ситуацию. Академия уже сотрудничает с более чем 20 крупными компаниями в сфере робототехники и активно ищет новых партнёров, чтобы расширить влияние и ускорить внедрение технологий.

RoboBrain 2.0 заявлен как самая мощная в мире открытая ИИ-модель для роботов. Она значительно превосходит предыдущую версию — улучшена пространственная ориентация и планирование задач: на 17% быстрее и на 74% точнее. Роботы с такой моделью могут лучше определять расстояние до объектов и автоматически разбивать сложные действия на отдельные шаги, становясь заметно эффективнее и автономнее.

Модель входит в серию Wujie, в которую также входят облачная платформа RoboOS 2.0 для запуска ИИ в роботах и мультимодальная система Emu3, способная обрабатывать текст, изображения и видео. BAAI давно работает с открытыми языковыми моделями — технологиями, лежащими в основе чат-ботов вроде ChatGPT, и многие её бывшие сотрудники основали собственные ИИ-стартапы, формируя новую волну китайских AI-компаний.

В амбициозной гонке участвуют не только BAAI. Например, Пекинский центр инноваций в области гуманоидной робототехники представил в этом году платформу общего назначения для embodied AI под названием Hui Si Kai Wu. Там же был создан и гуманоид Тяньгун, который в апреле успешно пробежал полумарафон в Пекине. Разработчики надеются, что их система станет для роботов тем, чем Android стал для смартфонов — стандартной операционной средой.

Кроме того, ежегодная конференция BAAI в этом году собрала более 100 учёных и свыше 200 экспертов индустрии, включая топ-менеджеров Baidu, Huawei и Tencent. На ней также было объявлено о стратегическом партнёрстве с инвестиционной корпорацией Гонконга — стороны намерены совместно развивать технологии, обучать специалистов и инвестировать в ИИ-стартапы в Китае.

Ссылка на HuggingFace: https://huggingface.co/BAAI

securitylab

⭐️ Си Цзиньпин предупредил о беспрецедентных рисках искусственного интеллекта

Коллективный семинар по усилению контроля и разработке искусственного интеллекта провело политбюро КПК под председательством Си Цзиньпина. Глава КНР заявил: «Искусственный интеллект несет с собой беспрецедентные возможности развития, но также и беспрецедентные риски и вызовы». По его словам, ИИ способен кардинально изменить производство и быт людей.

Си Цзиньпин подчеркнул необходимость ускорения создания законодательства в сфере ИИ, а также разработки этических стандартов. Он отметил, что Китаю необходимо наладить мониторинг, предупреждение рисков и создание системы реагирования на чрезвычайные ситуации, обеспечив безопасность, надежность и управляемость технологий.

Для достижения мирового лидерства глава КНР призвал к прорывам в фундаментальных исследованиях, разработке высокопроизводительных чипов, ключевого программного обеспечения, а также к формированию независимой и регулируемой программно-аппаратной платформы ИИ.

vz ru

⭐️ Alfa AppSec Meetup #1

Привет, мои дорогие и самые активные друзья!

Вот и наступило жаркое лето - но талантливые ребята из Альфы продолжают вместе с нами упорно идти к вершинам MLSecOps!

10 июля они проводят замечательный митап, где будут говорить о безопасной разработке - четко и по-существу, с опорой на лучшие практики одной из лидирующих FinTech-компаний.

И - вишенка на торте - с 20:45 до 21:20 анонсирован доклад Главного эксперта по безопасной разработке, Дмитрия Богачева на тему: "MLSecOps глазами AppSec: что может пойти не так (и пойдёт)".

Ожидаю много новинок на выступлении Дмитрия, да и от митапа в целом!

Митап строго обязателен для участия! Дружно заходим и регистрируемся здесь: digital.alfabank.ru/events/app...

Архитектор MLSecOps
Николай Павлов

⭐️ Академия АйТи (кластер FabricaONE AI ГК Softline) объявляет о запуске программы «Data Steward: специалист по стратегическому управлению данными»

Образовательная экосистема Академия АйТи (кластер FabricaONE AI группы компаний Softline) представляет новую образовательную программу «Data Steward: специалист по стратегическому управлению данными» — один из первых в России курсов по подготовке экспертов в этой области. Программа повышения квалификации готовит специалистов, способных обеспечивать качество, целостность и безопасность корпоративных данных.

Сегодня многие организации сталкиваются с проблемой «цифрового хаоса»: данные накапливаются бессистемно, нет единых стандартов хранения, а несоблюдение регуляторных требований приводит к финансовым потерям и репутационным рискам. Устаревший технологический стек, задержки в принятии решений из-за плохой навигации в данных, инциденты с «грязными» данными влияют на доверие клиентов и HR-бренд. Data Steward — тот, кто решает эти проблемы, выстраивает стратегию работы с данными и становится связующим звеном между бизнесом и технологиями — вне зависимости от их текущего уровня в компании. Эта роль важна для любых организаций: от тех, где аналитика ведется в табличных редакторах, до корпораций с современными фреймворками.

Чтобы подготовить таких экспертов, Академия АйТи разработала программу из 12 модулей, которые сочетают теорию с практикой и охватывают разные темы — от трендов в Big Data до практического формирования Data Governance. Слушатели изучат такие важные вопросы, как Data Quality, машинное обучение для бизнеса, моделирование данных, влияние искусственного интеллекта на работу с данными. Они также освоят управленческие навыки, включая взаимодействие с бизнес-подразделениями, проведение тренингов и семинаров для пользователей.

Обучение первого потока начнется 1 июля 2025 года и продлится две недели. Занятия будут проходит в гибком онлайн-формате, что позволяет учиться без отрыва от основной работы или учебы. Курс предназначен для ИТ-специалистов, аналитиков, администраторов баз данных, руководителей и HR-менеджеров компаний, внедряющих роль Data Steward. Программа также будет полезна всем, кто интересуется управлением данными. В конце обучения выпускники получат удостоверение государственного образца, подтверждающее повышение квалификации.

Продолжение: https://vk.com/wall-210601538_1772

⭐️ Глава Роспотребнадзора предупредила об опасности ИИ для биобезопасности

Искусственный интеллект может как нанести огромный вред биобезопасности, так и принести пользу, все зависит от того, в чьих он руках, заявила журналистам глава Роспотребнадзора Анна Попова.

"В части биологической безопасности это инструмент, который имеет в себе огромное количество возможностей, как позитивных, но, к сожалению, так и негативных … В руках человечества сборщик появился алгоритмов, сборщик новых ДНК, новых геномов, так правильнее сказать, которые могут нанести огромный вред, могут и пользу принести. Вопрос - в чьих руках, и как это будет использовано", - сказала Попова.

По ее словам, искусственный интеллект при анализе различных сочетаний атомов, последовательностей аминокислот может выдать тот результат, которого нет на планете.

Продолжение: https://vk.com/wall-210601538_1773

⭐️ NtechLab: ИИ через 10 лет сможет выявлять теракты еще на стадии их подготовки

Системы безопасности через 10-15 лет при помощи сложных нейросетевых моделей будут анализировать множество параметров в режиме реального времени и обнаруживать потенциальные угрозы, включая готовящиеся кибератаки и теракты на ранних стадиях. Об этом говорится в экспертном докладе "Технологии России: человек будущего", подготовленном NtechLab вместе с Центром развития гуманитарных технологий "НОВАЯ ЭРА".

Эксперты отмечают, что в государственной и личной безопасности искусственный интеллект будет более широко представлен в системах мониторинга, предиктивного анализа и оперативного реагирования. Ключевые функции включают распознавание лиц и объектов, анализ поведенческих моделей, выявление аномалий, прогнозирование угроз и управление мерами безопасности в реальном времени.

"В долгосрочной перспективе через 10-15 лет искусственный интеллект кардинально преобразует ключевые сферы человеческой деятельности, предложив принципиально новые подходы к решению сложнейших задач. В области безопасности произойдет переход от реактивных к предиктивным системам - ИИ научится не просто фиксировать угрозы, но и прогнозировать их с высокой точностью", - сказал эксперт Центра развития "НОВАЯ ЭРА" Ян Кайдин.

"В сфере вооружений уже сейчас наблюдается стойкая тенденция к увеличению роли дронов и повышения автономности их действий. Следует ожидать, что интеллектуальные дроны возьмут на себя подавляющее большинство функций наблюдения и первичного реагирования на инциденты. ИИ научится не просто фиксировать угрозы, но и прогнозировать их с высокой точностью. Государственные системы безопасности будут использовать сложные нейросетевые модели для анализа миллионов параметров в реальном времени, выявляя потенциальные террористические акты или кибератаки еще на стадии подготовки", - говорится в докладе.

Продолжение: https://vk.com/wall-210601538_1774

⭐️ Эксперт по кибербезопасности компании AppSec Solutions Юрий Шабалин провел эксперимент и обнаружил в ИИ-агентах уязвимость

Эксперт по кибербезопасности компании AppSec Solutions Юрий Шабалин провел эксперимент и обнаружил в ИИ-агентах уязвимость, которая может буквально открыть злоумышленникам дверь к данным пользователя.

Эксперт по кибербезопасности с помощью популярного сервиса создал личного ИИ-ассистента, обучил его и делегировал ему рутинные задачи: принимать и обрабатывать голосовые сообщения, создавать встречи, отправлять электронные письма и напоминать о дедлайнах и прочие рутинные задачи, которыми заниматься не хотелось. Настроить было несложно, подробная инструкция была обнаружена на популярном видеохостинге. Странности эксперт заметил уже при просмотре туториала.

«По ходу работы я обнаружил важный нюанс, который легко упустить из виду, если не рассматривать процесс через призму информационной безопасности. А в туториалах заложена базовая ошибка, и если ИИ-ассистент сделан на основе инструкций с «Ютуба», в нем уже сразу есть уязвимость. Я не пожалел своего времени, и нашел 10 наиболее популярных роликов на русском языке, которые рассказывают, как создать своего персонального ИИ-ассистента на платформе n8n. Суммарное количество просмотров этих роликов на момент написания статьи составляет 607,5 тыс. просмотров. И ни в одном из этих видео не упоминается про настройку ограничения», — сказал директор по продукту «Стингрей» компании AppSec Solutions Юрий Шабалин.

Продолжение: https://vk.com/wall-210601538_1775

⭐️ Делиться личными данными с ИИ может быть опасно

ИИ-сервисы стали неотъемлемой частью повседневной жизни, используясь для работы с текстами, анализа данных и даже в медицине. Однако важно понимать, куда уходят ваши запросы и что происходит с этими данными. ИТ-эксперт Илья Костунов в беседе с «ФедералПресс» рассказал о том, как нейросети обрабатывают информацию и какие риски скрываются за их удобством.

Как отметил Костунов, искусственный интеллект активно используется в различных сферах благодаря своей эффективности и быстроте: запрос — и сразу готовый результат. Однако за удобством скрывается сложная структура, в которой данные пользователей могут оставаться не только в памяти системы, но и быть использованы для обучения моделей. Это означает, что даже личные запросы, отправленные в такие сервисы, как ChatGPT или DeepSeek, могут быть сохранены, проанализированы и использованы в будущих ответах, особенно в бесплатных версиях.

Утечки данных — это уже не гипотезы, а реальность, с примерами, когда компаниям приходилось полностью запрещать использование ИИ. Например, в 2023 году сотрудники Samsung случайно загрузили конфиденциальную информацию в ChatGPT, что привело к полному запрету на использование сервиса в компании. В том же году с помощью вирусов, таких как Raccoon Infostealer, были украдены чаты пользователей, а также логины и пароли, оставшиеся в открытых документах, которые стали частью обучающего массива нейросетей.

Продолжение: https://vk.com/wall-210601538_1776

⭐️ Тайный секрет успешных компаний: как ИИ даёт +12 свободных часов в неделю

Современные инструменты на основе искусственного интеллекта значительно сокращают время на рутинные задачи, такие как фиксация результатов встреч, оформление договоренностей и поиск информации.

Согласно исследованию, при регулярном использовании ИИ-решений:

+ При 3+ встречах в день время на обработку данных сокращается с 14-16,4 часа до 4-4,2 часа в неделю.

+ При 1-2 встречах экономия составляет 6 часов (с 8,5 часа до 2,5 часа).

В целом ИИ позволяет высвобождать от 6 до 12,2 часов еженедельно. В денежном выражении это:

+ До 31 тысяч рублей в месяц на одного сотрудника.

+ До 153 тысяч рублей — для руководителей с высокой загрузкой.

Дополнительные преимущества:

+ Обработка сообщений в мессенджерах ускоряется в 3 раза (с 25 минут до 7,5 минут в день).

+ Половина малых и средних компаний уже активно используют ИИ в рабочих процессах. Среди крупных компаний таких большинство.

Источник: Просто работа

⭐️ Беспилотный трамвай начал движение в Москве

На базе Центра перспективных разработок, созданного около года назад, инженеры и IT-специалисты реализуют инициативы по автоматизации городской транспортной сети. Ключевым направлением на текущем этапе стало развитие беспилотных решений в трамвайном и метрополитенном сообщении.

Один из главных проектов — испытания первого беспилотного трамвая под названием «Львенок-Москва». На маршруте, где проходят тесты, транспортное средство движется по заданному алгоритму, используя системы компьютерного зрения, навигации и контроля препятствий.

Также завершается подготовка к запуску поезда без машиниста на Большой кольцевой линии метрополитена. Ожидается, что в тестовом режиме он выйдет на маршрут в ближайшие месяцы.

abnews

⭐️ В Нью-Йорке принят законопроект о предотвращении катастроф, вызванных ИИ

В четверг законодатели штата Нью-Йорк приняли законопроект, который должен предотвратить использование передовых моделей искусственного интеллекта от OpenAI, Google и Anthropic в ситуациях, угрожающих жизни и здоровью людей, а также приводящих к значительным экономическим потерям. Законопроект направлен на то, чтобы избежать катастроф, в которых пострадают более 100 человек или будет нанесен ущерб на сумму свыше 1 миллиарда долларов.

Принятие законопроекта RAISE — это возможная победа движения за безопасность ИИ, которое утратило свои позиции в последние годы, поскольку Кремниевая долина и администрация Трампа сделали приоритетом скорость и инновации. Сторонники безопасности, в том числе лауреат Нобелевской премии Джеффри Хинтон и пионер в области исследований ИИ Йошуа Бенжио, выступили в поддержку законопроекта RAISE. Если он станет законом, то установит первый в Америке набор обязательных стандартов прозрачности для передовых лабораторий ИИ.

Законопроект RAISE содержит некоторые из тех же положений и целей, что и спорный законопроект SB 1047 о безопасности ИИ в Калифорнии, который в конечном итоге был ветирован. Однако соавтор законопроекта, сенатор от штата Нью-Йорк Эндрю Гунардес, в интервью TechCrunch сказал, что он намеренно разработал законопроект RAISE таким образом, чтобы он не препятствовал инновациям среди стартапов или академических исследователей — распространённая критика SB 1047.

Продолжение: https://vk.com/wall-210601538_1779

⭐️ Когда и где появился первый в мире беспилотный трамвай?

Ну что, мои дорогие друзья? В продолжение статьи о первом беспилотном трамвае в Москве мне стало интересно, а есть ли беспилотные трамваи в Китае? И, если да, насколько мы "опоздали" с их запуском?

Еще 20 декабря 2019 года (!!!) на dzen можно найти новость:

==============

В полном соответствии с современными тенденциями, развитие общественного транспорта в Китае ориентировано на электрические беспилотные варианты. В городе Ибинь, китайская провинция Сычуань, запущен в эксплуатацию удивительный футуристический общественный транспорт – на маршруте протяженностью 17 км курсируют составы, объединяющие преимущества трамвая и автобуса. Основные характеристики необычного гибрида:

Продолжение: https://vk.com/wall-210601538_1780

⭐️ Инциденты MLSecOps. Уязвимость безопасности в Microsoft 365 Copilot (CVE-2025-32711)

Серьезная уязвимость в системе безопасности Microsoft 365 Copilot позволила злоумышленникам получить доступ к конфиденциальным данным компании с помощью специально составленного электронного письма — без каких-либо кликов или взаимодействия с пользователем. Уязвимость под названием «EchoLeak» была обнаружена компанией Aim Security, специализирующейся на кибербезопасности.

Copilot, помощник Microsoft с искусственным интеллектом для приложений Office, таких как Word, Excel, PowerPoint и Outlook, предназначен для автоматизации задач. Но именно эта возможность делает его уязвимым: одно электронное письмо со скрытыми инструкциями может побудить Copilot искать внутренние документы и раскрывать конфиденциальную информацию, включая содержимое электронных писем, таблиц или чатов.

Поскольку Copilot автоматически сканирует электронные письма в фоновом режиме, помощник интерпретировал поддельное сообщение как законную команду. Пользователь так и не увидел инструкций и не понял, что происходит. Компания Aim Security описывает это как атаку «без клика» — тип уязвимости, не требующий никаких действий со стороны жертвы.

В Microsoft сообщили Fortune, что проблема уже устранена и что ни один клиент не пострадал. «Мы уже обновили наши продукты, чтобы устранить эту проблему, и никаких действий со стороны клиентов не требуется. Мы также внедряем дополнительные многоуровневые меры защиты для дальнейшего укрепления нашей системы безопасности», — заявил представитель компании. Компания Aim Security ответственно сообщила об обнаружении уязвимости.

Продолжение: https://vk.com/wall-210601538_1781

Вебинар AI Security Lab только что начался! Друзья, подключаемся, узнаем про новый опыт в MLSecOps!

Через час стартует вебинар про AI Red Teaming инструмент Llamator. Участники прошедшего курса по безопасности ИИ поделятся новыми атаками, которые они добавили в продукт, а разработчики расскажут о планах развития.

Подключайтесь по ссылке: https://us06web.zoom.us/j/82334897183?pwd=d91TXfJiYJ4v5zYZbJIr9slhWrZ6MC.1

⭐️ С помощью ИИ можно нанести больше вреда, чем ядерным оружием

С помощью искусственного интеллекта можно нанести вред больше, чем ядерным оружием, заявил президент Торгово-промышленной палаты РФ Сергей Катырин в кулуарах церемонии награждения лауреатов премии "Золотой Меркурий".

"На самом деле эта тема очень серьезная и для международного сообщества, потому что сегодня с помощью искусственного интеллекта навредить-то можно больше, чем ядерным оружием. Потому что, как вы понимаете, он может проникнуть в том числе и в то, что касается обороны промышленности, и в то, что касается обороны каждого из государств, в одно и другое. Транспорт, ну и так далее", — сказал Катырин.

Он отметил, что интерес к ИИ "достаточно серьезный, особенно у крупных компаний". "Первый — это промышленность, это банковский сектор, это ритейл. Это те, кто достаточно серьезно использует, уже использует искусственный интеллект. В пример можно Сбербанк привести. Они там уже выстроили целую экосистему с искусственным интеллектом, который может общаться и с партнерами, и с клиентами", — добавил Катырин.

Продолжение: https://vk.com/wall-210601538_1783

⭐️ Как гибридные (квантово-классические) атаки меняют ландшафт безопасности ИИ

В 2024 году квантовые компьютеры ещё не взломали RSA, но в тестировании на проникновение ИИ - они уже стали инструментом. Эксперты MITRE и NIST прогнозируют, что к 2030 году 15% атак на ML-модели будут использовать квантовые алгоритмы.

Давайте разберем реальные сценарии таких атак.

Сценарий 1. Гибридные атаки: Квант + Классический ИИ

Классические adversarial-атаки требуют перебора тысяч вариантов. Для сокращения времени поиска «ядовитых» пикселей используем квантовый алгоритм Гровера.

Алгоритм Гровера — это квантовый "ускоритель" перебора. Позволяет найти иголку в стоге сена за √N попыток вместо N (как в классическом компьютере).

Чтобы найти имя в телефонной книге из 10 000 номеров, нужно проверить все подряд (в худшем случае — 10 000 раз). Алгоритм Гровера найдет имя за √10 000 = 100 "запросов".

Эксперимент IBM (2023):

==========
python
from qiskit import Aer
from qiskit.algorithms import Grover
from qiskit.circuit.library import AdversarialOracle

Оракул ищет adversarialпример для CNN
oracle = AdversarialOracle(model=resnet18, target_class=42)
grover = Grover(quantum_instance=Aer.get_backend('qasm_simulator'))
result = grover.amplify(oracle)
==========

Находит атаку за 28 итераций вместо 1000.

Результат: В 3 раза быстрее, чем классический PGD-метод.

Риск: Взлом систем компьютерного зрения (беспилотники, биометрия).

Квантовое отравление данных (Quantum Data Poisoning)

Атакующий использует VQE (Variational Quantum Eigensolver) для генерации «идеально ядовитых» данных, для незаметного смещения границ решений модели.

В медицинском ИИ (например, диагностика рака) 0,1% отравленных данных снижают точность на 20%.

Сценарий 2. Угрозы для Federated Learning

Квантовый компьютер взламывает homomorphic encryption, используя алгоритм Шора, и крадёт веса моделей из распределённых узлов.

Алгоритм Шора - это квантовый алгоритм, который разлагает большие числа на простые множители (факторизация).

Почти вся современная криптография (RSA, ECC) основана на том, что классические компьютеры не могут быстро факторизовать числа. Представьте, что у вас есть число 21, и нужно найти его множители (3 и 7).Для маленьких чисел это легко, но для числа из 1000 цифр даже суперкомпьютеру потребуются тысячи лет.

Продолжение: https://vk.com/wall-210601538_1784

⭐️ OpenAI разработает прототип на базе ИИ для решения задач в боевых условиях

Американская компания OpenAI получила контракт министерства обороны США в 200 миллионов долларов на разработку передовых прототипов генеративного искусственного интеллекта для решения задач в области национальной безопасности в боевых условиях, сообщили в Пентагоне.

"Компания OpenAI Public Sector из Сан-Франциско, штат Калифорния, получила контракт на фиксированную сумму 200 миллионов долларов. За это вознаграждение исполнитель разработает прототипы передовых возможностей искусственного интеллекта для решения критических проблем национальной безопасности", - говорится в заявлении ведомства.

Отмечается, что будущее средство должно работать в боевых условиях, а также и в корпоративной среде. Его разработка должна быть завершена в июле 2026 года.

РИА