Исследователи из Института Ады Лавлейс выпустили статью о том, каким образом лучше организовать проведение внешнего независимого аудита для систем ИИ

Группа авторов из Института Ады Лавлейс опубликовала статью с рефлексией относительно текущей практики проведения внешних независимых аудитов систем ИИ. Исследователи сконцентрировались на опыте реализации положений акта города Нью-Йорк об аудите предвзятости при использовании автоматизированных инструментов принятия решений в сфере трудоустройства, который вступил в силу 5 июля прошлого года. Разбор акта имеется на моем канале тут.

Остановимся на некоторых интересных выводах:

- принятие акта не повлияло на справедливость при приеме на работу. За год всего 20 работодателей в Нью-Йорке провели аудит и опубликовали отчеты;

- отчасти корень проблемы зарыт в самих положениях акта, которые требуют лишь предоставить кандидатам или работникам информацию об использовании в их отношении алгоритма, но не вводят запрет на применение предвзятых систем;

- терминология, использующаяся в акте, слишком узкая, а органам власти не переданы полномочия по контролю за его соблюдением;

- эффективности акта помешало также отсутствие четких стандартов и методик работы аудиторов, которые позволили бы им получать всю необходимую информацию, особенно касающуюся чувствительных вопросов;

- однако благодаря вступлению акту в силу удалось разработать стандартизированные критерии оценки работодателей, что заставило некоторых из них расширить внедрение практик ответственного использования ИИ-решений.

По итогам проведенного исследования авторы сформулировали рекомендации для законодателей:

- нормативные акты должны содержать четкие определения, которые позволяют однозначно понять предмет регулирования (какие конкретно системы и модели подлежат аудиту);

- нормативные акты должны устанавливать четкие метрики для аудиторов, а также необходимость разработки стандартных методик и правил поведения аудитора. Аудиторы должны быть обеспечены соответствующими правами по доступу к информации;

- необходимо создать единый публично доступный реестр, в котором будут содержаться отчеты о проведенных аудитах, а также юридические механизмы, позволяющие оспаривать их результаты;

- нормативные акты должны устанавливать механизмы, позволяющие контролировать их соблюдение.

Интересно, что в рамках исследования были опрошены эксперты из компаний и организаций, которые занимаются оценкой систем и моделей ИИ. В их числе, например, знакомые многим моим читателям ForHumanity, BABL, HollisticAI, CredoAI, SolasAI.

Над постом прикрепляю полезную инфографику из статьи.

Обзор Закона штата Колорадо «О защите прав потребителей при взаимодействии с системами искусственного интеллекта»

Друзья, сегодня решил порадовать вас материалом, в котором я разобрал свежий закон штата Колорадо «О защите прав потребителей при взаимодействии с системами искусственного интеллекта» (Colorado AI Act (CAIA)). Этот закон является первой попыткой комплексно урегулировать разработку и применение систем ИИ на уровне штатов США.

Примечательно, что по аналогии с Регламентом ЕС об ИИ в основе акта также лежит риск-ориентированный подход. В законе выделяется группа систем ИИ повышенного риска, к разработчикам и эксплуатантам которых и применяется большая часть его требований.

Интересна и роль генерального прокурора штата, на которого возложены функции по контролю за исполнением положений закона и разработки вспомогательных документов и систем риск-менеджмента.

Также законодатели признают роль других актов и систем риск-менеджмента: разработчики и эксплуатанты могут сослаться на то, что уже соответствуют положениям других актов и документов, устанавливающих сходные или более жесткие требования: NIST AI RMF, ISO/IEC 42001, иные международные стандарты и акты других стран (например, Регламент ЕС об ИИ).

Как вы думаете, стоит ли ждать от этого акта «Калифорнийского эффекта» или скоро мы увидим новые комплексные инициативы в других штатах США?

С полным текстом обзора можно ознакомиться по ссылке.

Подписан закон о внесении изменений в ФЗ «Об экспериментальных правовых режимах в сфере цифровых инноваций в РФ»

Позавчера Президент РФ подписал закон, который вносит изменения в ФЗ № 258. Закон содержит ряд технических правок, позволяет собирать больше информации о разных субъектах (например, субъекты ЭПР теперь должны будут вести реестры контрагентов и ИС, в том числе созданной с помощью систем ИИ).

Также на основе обобщения опыта более четко прописано требование об обязательном страховании участниками ЭПР своей гражданской ответственности за причинение вреда жизни, здоровью или имуществу других лиц.

Еще одной новацией стал механизм, позволяющий определять лиц, ответственных за причинение вреда жизни, здоровью или имуществу человека либо имуществу юридического лица.

Для этого будет создаваться специальная комиссия, которая должна будет изучить обстоятельства происшедшего и издать заключение. Правда, самым жестким последствием для субъекта ЭПР может стать решение уполномоченного органа о приостановлении его статуса. Из финального текста закона пропало положение о том, что заключение может быть использовано при проведении расследования или судебного разбирательства (но и запретов на его использование тоже нет). Однако заключение может быть обжаловано в суде.

Плюс теперь Правительство РФ должно будет ежегодно предоставлять доклад Федеральному собранию о реализации ЭПР.

Закон вступает в силу по истечение 180 дней со дня официального опубликования (опубликован 8 июля).

Мою рефлексию на предложенные изменения я изложил в посте в январе месяце, когда Правительство РФ только инициировало законопроект.

Полный текст закона тут.

Опубликован финальный текст Регламента ЕС об ИИ

Сегодня в официальном источнике был опубликован финальный текст Регламента ЕС об ИИ. В силу документ вступит уже скоро – 1 августа.

Однако напоминаю, что применяться Регламент начнет со 2 августа 2026 года. Таким образом, законодатели, с одной стороны, дали время бизнесу изучить новые требования и подготовиться к ним, а с другой – органам ЕС разработать необходимые рекомендации, имплементационные акты и технические стандарты.

Для отдельных положений установлены иные сроки:

- Главы I (Общие положения) и II (Запрещенные ИИ-практики) применяются со 2 февраля 2025 года;

- раздел 4 Главы III (Нотифицированные органы), глава V (Модели ИИ общего назначения), глава VII (Управление (Governance)) и глава XII (Штрафы и иные меры воздействия (за исключением статьи 101 – Штрафы для поставщиков моделей ИИ общего назначения)), а также статья 78 (Конфиденциальность) применяются со 2 августа 2025 года;

- Часть 1 Статьи 6 (основания классификации систем ИИ в качестве систем повышенного риска) и соответствующие ей обязательства применяются со 2 августа 2027 года.

Регулирование в сфере ИИ в России: электропони бегают по кругу

Сегодня в Коммерсанте вышел материал, в котором были изложены некоторые выводы спикеров по итогам прошедшей вчера конференции по развитию цифровой экономики БРИКС. После ознакомления с ним и небольшого обсуждения с коллегами возникло острое ощущение дежавю.

Например, спикеркой из Роспотребнадзора были подняты вопросы заимствования европейского опыта в связи с недавним принятием Регламента ЕС об ИИ, особенно в части требований к прозрачности функционирования систем ИИ: обязательное информирование пользователя о том, что он взаимодействует с системой ИИ, и возможность одностороннего отказа от такого взаимодействия.

Хочется отметить, что предложение использовать риск-ориентированный подход при формулировании отечественного подхода к регулированию в сфере ИИ по аналогии ЕС имелось еще в крайне неоднозначной Концепции развития регулирования до 2024 года, утвержденной Правительством РФ. Более того, в ней содержатся и те же самые предложения о прозрачности. Сам документ разрабатывался и обсуждался в 2019-2020 годах (бывал на тех мероприятиях). Тогда текст проекта Регламента ЕС об ИИ еще не был представлен. Все вдохновлялись документами HLEG и CAHAI, а потом и вайтпейпером 2020 года, в котором и были сформулированы основы будущего подхода ЕС.

Что мы имеем в мире спустя почти 5 лет?

В ЕС скоро начнет действовать Регламент ЕС об ИИ, равно как и разработан и/или принят целый кластер новых нормативных правовых актов, затрагивающих как публичный, так и частный секторы.

В США урегулирована деятельность федеральных органов власти в сфере разработки и применения систем ИИ. Для частного сектора разработаны акты мягкого права. Суды и органы власти оперативно делятся лучшими практиками и восполняют пробелы в рамках своей компетенции. Штаты экспериментируют над собственными опережающими подходами.

В Китае на время разработки комплексного правового регулирования для частного сектора были разработаны акты, регламентирующие отдельные сферы применения систем ИИ (с публичным все не очень).

Что мы имеем в России спустя почти 5 лет?

В этом году была незначительно скорректирована под современные тренды Национальная стратегия развития ИИ до 2030 года (писал об этом тут). Крайне фрагментарно урегулированы рекомендательные технологии (можно почитать тут). Действуют 14 экспериментальных правовых режимов, но только в сферах медицины и беспилотного транспорта. Упомянутая мной ранее концепция за четыре года так и не была реализована. Еще был разработан Кодекс этики и другие рекомендации, соблюдение которых ничем не обеспечено. Таким образом, разработчиков и пользователей систем и моделей ИИ сейчас ограничивает по большей части только общее законодательство и деловая репутация. А вот государство не ограничивает почти ничего.

Может быть, и не надо нам ваше регулирование?

Очень часто я сталкиваюсь с тезисом о том, что нормативное регулирование не нужно, так как оно тормозит развитие инноваций. Действительно, поспешное, чрезмерное или некачественное правовое регулирование отнюдь нельзя назвать хорошим способом решения проблем. Так же, как и его отсутствие или недостаточность.

Дикий Запад в частной сфере скорее толкает к использованию недобросовестных практик, чем стимулирует развитие. Бизнесу (особенно юристам) проще работать, когда в сложных и неоднозначных ситуациях есть возможность опереться на сформулированные органами позиции и лучшие практики.

Однако если в частной сфере недостаточность правового регулирования можно еще связать с намеренной проинновационностью, то следует как минимум урегулировать разработку и применение систем и моделей ИИ органами власти. Особенно, когда это уже приводит к многочисленным нарушениям прав человека, например, за счет произвольного использования систем распознавания лиц правоохранительными органами (например, писал об этом тут).

На мой взгляд, стоило бы для начала защитить конституционные права человека, а не обсуждать из года в год одно и то же, когда представляется инфоповод в виде новостей из-за рубежа.

Американский AI Safety Institute опубликовал рекомендации по снижению рисков ненадлежащего использования фундаментальных моделей ИИ двойного назначения

Американский AI Safety Institute подготовил еще один проект документа (NIST AI 800-1 Managing Misuse Risk for Dual-Use Foundation Models), который призван дополнить Систему управления рисками в сфере ИИ (NIST AI Risk Management Framework (AI RMF)), опубликованную в марте 2023 года. Разработка данного документа была определена октябрьским Указом Президента США «О разработке и использовании искусственного интеллекта в условиях безопасности, надежности и доверия» (мой разбор указа можно почитать тут).

В Указе содержится определение моделей ИИ двойного назначения. Так как оно довольно громоздкое, выложу его отдельно комментарием к посту.

Документ обобщает лучшие практики по выявлению, оценке и управлению рисками, которые могут возникнуть при ненадлежащем использовании моделей ИИ. Указанные в нем рекомендации направлены на всех субъектов, участвующих в жизненном цикле моделей, но наиболее релевантны именно для разработчиков.

Рекомендации определяются в виде семи целей, которым корреспондируют конкретные практики (в документе практики расписаны более подробно, включая необходимое документирование):

1. Оценить риски потенциальной возможности ненадлежащего использования моделей, если они станут доступны злоумышленникам. Делать это следует еще до разработки моделей на основе их предполагаемых характеристик.

2. Разработать планы по управлению рисками в случае ненадлежащего использования моделей. В частности, следует определить приемлемые и неприемлемые уровни риска, учитывая нормативные требования и потенциальные выгоды (оправданы ли риски), а также согласовать планы разработки и развертывания моделей с ресурсами и ограничениями, которые могут потребоваться для управления рисками.

3. Управлять рисками утечки и кражи информации, которая позволит злоумышленникам воссоздать модель. Стоит разрабатывать модель только тогда, когда соответствующие риски значительно снижены путем использования разнообразных методов (например, посредством метода красных команд, использования передовых фреймворков кибербезопасности).

4. Оценить, учитывая технические и социальные факторы, каким образом злоумышленники могут использовать модель ненадлежащим образом.

5. Распространять модель (через API или публиковать параметры и иные характеристики) только тогда, когда риски адекватно снижены.

6. Изучать опыт уже развернутых моделей, а также взаимодействовать с общественность и другими организациями в целях поиска путей митигирования потенциальных рисков.

7. Раскрыть релевантную информацию о разработке и применении моделей для общественности и научных организаций.

В документе содержатся два приложения. Первое представляет собой глоссарий терминов, а второе – примеры конкретных мер защиты моделей от ненадлежащего использования.

К таким мерам относятся, например: а) внедрение более совершенных методов обучения моделей; б) определение и блокирование попыток ненадлежащего использования моделей; в) ограничение доступа к возможностям моделей; г) обеспечение адекватного уровеня открытости моделей; д) прекращение разработки и использования моделей, если имеются высокие риски их ненадлежащего использования.

Также ранее Национальный институт стандартов и технологий США (NIST) опубликовал еще четыре проекта документа, связанных с генеративными системами ИИ. Почитать про них подробнее можно в моем посте тут.

Национальный институт стандартов и технологий США (NIST) опубликовал рекомендации для генеративных систем ИИ

В апреле я опубликовал пост о том, что NIST разместил для широкого обсуждения четыре проекта документа, связанных с генеративными системами ИИ. В конце июля два из них были опубликованы в финальной версии.

Оба документа имеют важное значение и определяют шаги по обеспечению безопасности для субъектов, которые разрабатывают и используют системы и модели ИИ. В первую очередь они направлены на модели и системы генеративного ИИ и на модели ИИ двойного назначения.

1. AI RMF Generative AI Profile (NIST AI 600-1)

Документ является дополнением к Системе управления рисками в сфере ИИ (NIST AI Risk Management Framework (AI RMF)), опубликованной в марте 2023 года. Напомню, что AI RMF предусматривает рекомендации, сформулированные органами власти для частных компаний, по безопасным разработке и использованию систем ИИ в разных сферах. Новый документ сосредоточен на способах митигирования специфических рисков, которые возникают в ходе разработки и использования генеративных систем ИИ. Эти риски я раскрывал в предыдущем посте, они не претерпели значительных изменений.

2. Secure Software Development Practices for Generative AI and Dual-Use Foundation Models (NIST SP 800-218A)

Документ призван дополнить Систему безопасной разработки программного обеспечения (Secure Software Development Framework (SSDF) Version 1.1: Recommendations for Mitigating the Risk of Software Vulnerabilities (NIST SP 800-218)) в отношении особенностей, связанных с системами и моделями генеративного ИИ и моделями ИИ двойного назначения.

Особое внимание следует уделить вторым частям обоих документов, в которых содержатся рекомендации по осуществлению конкретных действий по управлению рисками и обеспечению безопасности разработки и применения. Если вам уже сейчас нужно предпринимать шаги по обеспечению безопасности продуктов, но вы не знаете, каким образом это делать в отсутствии нормальных законодательных требований, то рекомендую ознакомиться с содержанием новых документов, даже если вы не собираетесь работать с данной юрисдикцией.

Бонусом еще одна интересная новость из США: Сэм Альтман в своем твитте подчеркнул, что OpenAI сейчас работает над соглашением с US AI Safety Institute (функционирует в структуре NIST) о предоставлении раннего доступа к своим передовым фундаментальным моделям для проведения проверок на их безопасность.

Таким образом, мы продолжаем прослеживать тренд на постепенное установление требований о проведении внешних оценок передовых моделей государственными органами или независимыми организациями.