Frontier Safety Framework от Google Deepmind
Исследователи из Google Deepmind опубликовали первую версию Frontier Safety Framework, направленную на выявление и митигирование будущих рисков, которые потенциально могут возникнуть при появлении более продвинутых моделей ИИ.
Фреймворк призван дополнить уже разработанные подходы компании по созданию безопасного и ответственного ИИ, а также выравниваю ценностей и задач между человеком и ИИ. К началу 2025 года предполагается его окончательно доработать и начать использовать в полной мере.
Фреймворк состоит из трех основных частей:
- выявление опасных возможностей моделей ИИ. Для этого предполагается исследовать, каким минимальным уровнем возможностей должна обладать модель ИИ, чтобы быть способной причинить вред. Начиная с этого минимального порога, исследователи выделяют уровни критических возможностей (Critical Capability Levels, CCL), которые определяют подход к оценке и уменьшению рисков. Эти уровни определяются по четырем областям: автономности, биобезопасности, кибербезопасности и исследований и разработок в области машинного обучения. Каждому уровню корреспондирует набор мер по общей безопасности моделей ИИ и их развертыванию;
- периодическая оценка существующих моделей компании на достижение критических уровней возможностей. Для этого предполагается выработать критерии оценки моделей, которые буду способны предупреждать разработчиков о достижении ими критического уровня возможностей (early warning evaluations);
- применение плана уменьшения вредных последствий в том случае, если модель прошла оценку раннего предупреждения. Соответствующие меры будут направлены в первую очередь на безопасность (предотвращение утечки моделей) и развертывание (предотвращение неправильного использования критических возможностей).
Исследователи из Google Deepmind опубликовали первую версию Frontier Safety Framework, направленную на выявление и митигирование будущих рисков, которые потенциально могут возникнуть при появлении более продвинутых моделей ИИ.
Фреймворк призван дополнить уже разработанные подходы компании по созданию безопасного и ответственного ИИ, а также выравниваю ценностей и задач между человеком и ИИ. К началу 2025 года предполагается его окончательно доработать и начать использовать в полной мере.
Фреймворк состоит из трех основных частей:
- выявление опасных возможностей моделей ИИ. Для этого предполагается исследовать, каким минимальным уровнем возможностей должна обладать модель ИИ, чтобы быть способной причинить вред. Начиная с этого минимального порога, исследователи выделяют уровни критических возможностей (Critical Capability Levels, CCL), которые определяют подход к оценке и уменьшению рисков. Эти уровни определяются по четырем областям: автономности, биобезопасности, кибербезопасности и исследований и разработок в области машинного обучения. Каждому уровню корреспондирует набор мер по общей безопасности моделей ИИ и их развертыванию;
- периодическая оценка существующих моделей компании на достижение критических уровней возможностей. Для этого предполагается выработать критерии оценки моделей, которые буду способны предупреждать разработчиков о достижении ими критического уровня возможностей (early warning evaluations);
- применение плана уменьшения вредных последствий в том случае, если модель прошла оценку раннего предупреждения. Соответствующие меры будут направлены в первую очередь на безопасность (предотвращение утечки моделей) и развертывание (предотвращение неправильного использования критических возможностей).
❤4
В Японии выпустили руководство по ИИ для бизнеса
Несколько японских министерств в апреле выпустили первую версию Руководства для бизнеса в сфере ИИ.
Руководство рассчитано на разработчиков, поставщиков и бизнес-пользователей систем и моделей ИИ.
Документ условно можно разбить на три части:
- терминология. Тут интересного мало. Терминология во многом взята из стандартов ISO и документов ОЭСР;
- принципы использования ИИ для бизнеса. Из Социальных принципов человеко-ориентированного ИИ 2019 года взяты три базовых философских принципа (достоинство личности, разнообразие и инклюзивность, устойчивое развитие), а также на основе международных документов сформулированы десять более конкретных принципов и описаны шаги для бизнеса по их имплементации (расписаны на скриншоте);
- конкретные рекомендации для разработчиков, поставщиков и бизнес-пользователей. Большинство этих рекомендаций также взяты из международных документов, но не будет лишним еще раз по ним пробежаться.
Несколько японских министерств в апреле выпустили первую версию Руководства для бизнеса в сфере ИИ.
Руководство рассчитано на разработчиков, поставщиков и бизнес-пользователей систем и моделей ИИ.
Документ условно можно разбить на три части:
- терминология. Тут интересного мало. Терминология во многом взята из стандартов ISO и документов ОЭСР;
- принципы использования ИИ для бизнеса. Из Социальных принципов человеко-ориентированного ИИ 2019 года взяты три базовых философских принципа (достоинство личности, разнообразие и инклюзивность, устойчивое развитие), а также на основе международных документов сформулированы десять более конкретных принципов и описаны шаги для бизнеса по их имплементации (расписаны на скриншоте);
- конкретные рекомендации для разработчиков, поставщиков и бизнес-пользователей. Большинство этих рекомендаций также взяты из международных документов, но не будет лишним еще раз по ним пробежаться.
❤5
Еврокомиссия определилась со структурой компетентного органа в сфере ИИ
Вчера Еврокомиссия опубликована пресс-релиз, в котором содержится информация о внутренней структуре European AI Office. Орган начал действовать в составе Еврокомиссии с февраля этого года. Подробнее писал об этом тут.
Также известный нам по инсайдам о проекте Регламента ЕС об ИИ журналист Лука Бертуцци опубликовал в своем Линкедине пост о персональном составе руководства органа.
Возглавлять орган будет Руководитель AI Office, который будет работать вместе с советником по науке и советником по международным вопросам.
Руководителем стала Лучилла Сиоли, которая ранее работала на лидирующих позициях, связанных с ИИ, внутри Еврокомиссии.
AI Office будет состоять из пяти структурных подразделений:
Отдел по нормативному регулированию и комплаенсу (Regulation and Compliance Unit), который будет координировать единообразное применение Регламента ЕС об ИИ в странах-членах и участвовать в расследованиях возможных нарушений;
Отдел по вопросам безопасности ИИ (Unit on AI safety), специализирующийся на выявлении системных рисков, связанных с использованием передовых моделей ИИ, а также на разработке подходов к оценке и тестированию систем и моделей ИИ;
Отдел передового опыта в области ИИ и робототехники (Excellence in AI and Robotics Unit), который буде поддерживать передовые исследования и обеспечивать обмен опытом. Подразделение будет координировать инициативу GenAI4EU (направлена на внедрение моделей ИИ в ключевые секторы экономики);
Отдел по использованию искусственного интеллекта в интересах общества (AI for Societal Good Unit) будет координировать международное сотрудничество в таких областях, как применение ИИ для моделирования погоды, диагностика рака, создания цифровых двойников для реконструкции зданий;
Отдел координации инноваций и политики в сфере ИИ (AI Innovation and Policy Coordination Unit ), который будет отвечать за реализацию стратегии ЕС в сфере ИИ, стимулировать внедрение ИИ через сеть европейских центров цифровых инноваций и создание фабрик ИИ, а также содействовать развитию инновационной экосистемы путем создания регуляторных песочниц и иных тестовых зон.
Для обеспечения работы в AI Office предполагается принять на работу более 140 сотрудников (конечно, будут и юристы). Пока вакантными являются более 80 позиций. Можно попытать удачу тут.
В своей деятельности AI Office будет сотрудничать вместе с Европейским советом по ИИ (European Artificial Intelligence Board), состоящим из представителей государств-членов, Научной группой независимых экспертов (Scientific Panel of independent experts) и Консультативным форумом (Advisory Forum), представляющем интересы стейкхолдеров.
Вчера Еврокомиссия опубликована пресс-релиз, в котором содержится информация о внутренней структуре European AI Office. Орган начал действовать в составе Еврокомиссии с февраля этого года. Подробнее писал об этом тут.
Также известный нам по инсайдам о проекте Регламента ЕС об ИИ журналист Лука Бертуцци опубликовал в своем Линкедине пост о персональном составе руководства органа.
Возглавлять орган будет Руководитель AI Office, который будет работать вместе с советником по науке и советником по международным вопросам.
Руководителем стала Лучилла Сиоли, которая ранее работала на лидирующих позициях, связанных с ИИ, внутри Еврокомиссии.
AI Office будет состоять из пяти структурных подразделений:
Отдел по нормативному регулированию и комплаенсу (Regulation and Compliance Unit), который будет координировать единообразное применение Регламента ЕС об ИИ в странах-членах и участвовать в расследованиях возможных нарушений;
Отдел по вопросам безопасности ИИ (Unit on AI safety), специализирующийся на выявлении системных рисков, связанных с использованием передовых моделей ИИ, а также на разработке подходов к оценке и тестированию систем и моделей ИИ;
Отдел передового опыта в области ИИ и робототехники (Excellence in AI and Robotics Unit), который буде поддерживать передовые исследования и обеспечивать обмен опытом. Подразделение будет координировать инициативу GenAI4EU (направлена на внедрение моделей ИИ в ключевые секторы экономики);
Отдел по использованию искусственного интеллекта в интересах общества (AI for Societal Good Unit) будет координировать международное сотрудничество в таких областях, как применение ИИ для моделирования погоды, диагностика рака, создания цифровых двойников для реконструкции зданий;
Отдел координации инноваций и политики в сфере ИИ (AI Innovation and Policy Coordination Unit ), который будет отвечать за реализацию стратегии ЕС в сфере ИИ, стимулировать внедрение ИИ через сеть европейских центров цифровых инноваций и создание фабрик ИИ, а также содействовать развитию инновационной экосистемы путем создания регуляторных песочниц и иных тестовых зон.
Для обеспечения работы в AI Office предполагается принять на работу более 140 сотрудников (конечно, будут и юристы). Пока вакантными являются более 80 позиций. Можно попытать удачу тут.
В своей деятельности AI Office будет сотрудничать вместе с Европейским советом по ИИ (European Artificial Intelligence Board), состоящим из представителей государств-членов, Научной группой независимых экспертов (Scientific Panel of independent experts) и Консультативным форумом (Advisory Forum), представляющем интересы стейкхолдеров.
European Commission - European Commission
Commission establishes AI Office to strengthen EU leadership in safe and trustworthy Artificial Intelligence
Today the Commission has unveiled the AI Office, established within the Commission.
Набор данных о законодательстве и органах ЕС в сфере цифровых инноваций
Исследователи из аналитического центра Bruegel представили сегодня набор данных о законодательстве и органах на уровне ЕС, занимающихся вопросами регулирования отношений в сфере цифрового пространства.
Документ состоит из двух частей:
- существующее законодательство в цифровой сфере и проекты НПА с ходом их движения в рамках правотворческого процесса;
- правительственные и неправительственные органы на уровне ЕС, компетентные в сфере цифровых инноваций.
Уверен, что у большинства коллег, кто профессионально занимается данной сферой, уже были похожие базы знаний в ноушене или экселе👀 , но сверить часы не помешает никому.
Исследователи из аналитического центра Bruegel представили сегодня набор данных о законодательстве и органах на уровне ЕС, занимающихся вопросами регулирования отношений в сфере цифрового пространства.
Документ состоит из двух частей:
- существующее законодательство в цифровой сфере и проекты НПА с ходом их движения в рамках правотворческого процесса;
- правительственные и неправительственные органы на уровне ЕС, компетентные в сфере цифровых инноваций.
Уверен, что у большинства коллег, кто профессионально занимается данной сферой, уже были похожие базы знаний в ноушене или экселе
Please open Telegram to view this post
VIEW IN TELEGRAM
Bruegel | The Brussels-based economic think tank
A dataset on EU legislation for the digital world
❤5
Media is too big
VIEW IN TELEGRAM
Друзья, на днях я прочитал лекцию о подходах к нормативному правовому регулированию в сфере разработки и применения систем и моделей ИИ в США, КНР и России — в рамках курса AI Governance от RPPA, которую недавно анонсировал.
Несмотря на то, что аналогичные лекции или курсы по ИИ регулированию я проводил уже неоднократно, все равно было интересно отвлечься от регулирования ЕС, которое сейчас по большей части находится в фокусе ИИ-юристов.
В лекции мы рассмотрели пути возникновения и развития подходов стран, их особенности, а также сформулировали действующую систему нормативного правого регулирования в сфере разработки и применения систем и моделей ИИ, беспилотного трансопрта и робототехники.
В небольшом эпизоде из лекции, который я приложил к посту, мы со студентами курса разбирали классификацию передовых фундаментальных моделей ИИ в контексте Указа Президента США «О разработке и использовании искусственного интеллекта в условиях безопасности, надежности и доверия», который я анализировал тут.
Всем приятных выходных! А я пока буду готовить для вас новый пост🤓 .
Несмотря на то, что аналогичные лекции или курсы по ИИ регулированию я проводил уже неоднократно, все равно было интересно отвлечься от регулирования ЕС, которое сейчас по большей части находится в фокусе ИИ-юристов.
В лекции мы рассмотрели пути возникновения и развития подходов стран, их особенности, а также сформулировали действующую систему нормативного правого регулирования в сфере разработки и применения систем и моделей ИИ, беспилотного трансопрта и робототехники.
В небольшом эпизоде из лекции, который я приложил к посту, мы со студентами курса разбирали классификацию передовых фундаментальных моделей ИИ в контексте Указа Президента США «О разработке и использовании искусственного интеллекта в условиях безопасности, надежности и доверия», который я анализировал тут.
Всем приятных выходных! А я пока буду готовить для вас новый пост
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10❤5
Исследователи из Института Ады Лавлейс выпустили статью о том, каким образом лучше организовать проведение внешнего независимого аудита для систем ИИ
Группа авторов из Института Ады Лавлейс опубликовала статью с рефлексией относительно текущей практики проведения внешних независимых аудитов систем ИИ. Исследователи сконцентрировались на опыте реализации положений акта города Нью-Йорк об аудите предвзятости при использовании автоматизированных инструментов принятия решений в сфере трудоустройства, который вступил в силу 5 июля прошлого года. Разбор акта имеется на моем канале тут.
Остановимся на некоторых интересных выводах:
- принятие акта не повлияло на справедливость при приеме на работу. За год всего 20 работодателей в Нью-Йорке провели аудит и опубликовали отчеты;
- отчасти корень проблемы зарыт в самих положениях акта, которые требуют лишь предоставить кандидатам или работникам информацию об использовании в их отношении алгоритма, но не вводят запрет на применение предвзятых систем;
- терминология, использующаяся в акте, слишком узкая, а органам власти не переданы полномочия по контролю за его соблюдением;
- эффективности акта помешало также отсутствие четких стандартов и методик работы аудиторов, которые позволили бы им получать всю необходимую информацию, особенно касающуюся чувствительных вопросов;
- однако благодаря вступлению акту в силу удалось разработать стандартизированные критерии оценки работодателей, что заставило некоторых из них расширить внедрение практик ответственного использования ИИ-решений.
По итогам проведенного исследования авторы сформулировали рекомендации для законодателей:
- нормативные акты должны содержать четкие определения, которые позволяют однозначно понять предмет регулирования (какие конкретно системы и модели подлежат аудиту);
- нормативные акты должны устанавливать четкие метрики для аудиторов, а также необходимость разработки стандартных методик и правил поведения аудитора. Аудиторы должны быть обеспечены соответствующими правами по доступу к информации;
- необходимо создать единый публично доступный реестр, в котором будут содержаться отчеты о проведенных аудитах, а также юридические механизмы, позволяющие оспаривать их результаты;
- нормативные акты должны устанавливать механизмы, позволяющие контролировать их соблюдение.
Интересно, что в рамках исследования были опрошены эксперты из компаний и организаций, которые занимаются оценкой систем и моделей ИИ. В их числе, например, знакомые многим моим читателям ForHumanity, BABL, HollisticAI, CredoAI, SolasAI.
Над постом прикрепляю полезную инфографику из статьи.
Группа авторов из Института Ады Лавлейс опубликовала статью с рефлексией относительно текущей практики проведения внешних независимых аудитов систем ИИ. Исследователи сконцентрировались на опыте реализации положений акта города Нью-Йорк об аудите предвзятости при использовании автоматизированных инструментов принятия решений в сфере трудоустройства, который вступил в силу 5 июля прошлого года. Разбор акта имеется на моем канале тут.
Остановимся на некоторых интересных выводах:
- принятие акта не повлияло на справедливость при приеме на работу. За год всего 20 работодателей в Нью-Йорке провели аудит и опубликовали отчеты;
- отчасти корень проблемы зарыт в самих положениях акта, которые требуют лишь предоставить кандидатам или работникам информацию об использовании в их отношении алгоритма, но не вводят запрет на применение предвзятых систем;
- терминология, использующаяся в акте, слишком узкая, а органам власти не переданы полномочия по контролю за его соблюдением;
- эффективности акта помешало также отсутствие четких стандартов и методик работы аудиторов, которые позволили бы им получать всю необходимую информацию, особенно касающуюся чувствительных вопросов;
- однако благодаря вступлению акту в силу удалось разработать стандартизированные критерии оценки работодателей, что заставило некоторых из них расширить внедрение практик ответственного использования ИИ-решений.
По итогам проведенного исследования авторы сформулировали рекомендации для законодателей:
- нормативные акты должны содержать четкие определения, которые позволяют однозначно понять предмет регулирования (какие конкретно системы и модели подлежат аудиту);
- нормативные акты должны устанавливать четкие метрики для аудиторов, а также необходимость разработки стандартных методик и правил поведения аудитора. Аудиторы должны быть обеспечены соответствующими правами по доступу к информации;
- необходимо создать единый публично доступный реестр, в котором будут содержаться отчеты о проведенных аудитах, а также юридические механизмы, позволяющие оспаривать их результаты;
- нормативные акты должны устанавливать механизмы, позволяющие контролировать их соблюдение.
Интересно, что в рамках исследования были опрошены эксперты из компаний и организаций, которые занимаются оценкой систем и моделей ИИ. В их числе, например, знакомые многим моим читателям ForHumanity, BABL, HollisticAI, CredoAI, SolasAI.
Над постом прикрепляю полезную инфографику из статьи.
www.adalovelaceinstitute.org
Code & conduct
How to create third-party auditing regimes for AI systems
❤6
Системы_искусственного_интеллекта_и_внедоговорная_гражданско_правовая.pdf
389.9 KB
Опубликована моя статья о системах ИИ и внедоговорной гражданско-правовой ответственности
Друзья, пока я нахожусь в небольшом отпуске после адского по числу проектов прошлого месяца, делюсь с вами статьей, которую мы с коллегой недавно опубликовали. Сразу обращу ваше внимание, что первый ее текст был направлен в редакцию еще в январе месяце, поэтому некоторые законодательные новеллы и самые свежие доктринальные источники по понятным причинам остались за кадром.
В статье предлагается сочетать правила строгой и виновной ответственности для случаев, когда функционирование систем и моделей ИИ причиняет вред третьим лицам. Для систем и моделей, которые представляют неприемлемый или высокий риск правам и человека, предлагается применять правила строгой ответственности разработчика. Для других случаев при восстановлении прав потерпевших предлагается использовать правила виновной ответственности с необходимостью доказывания вины ответчика и причинно-следственной связи.
Полный текст статьи прикладываю к посту, буду рад обратной связи🤩 .
Друзья, пока я нахожусь в небольшом отпуске после адского по числу проектов прошлого месяца, делюсь с вами статьей, которую мы с коллегой недавно опубликовали. Сразу обращу ваше внимание, что первый ее текст был направлен в редакцию еще в январе месяце, поэтому некоторые законодательные новеллы и самые свежие доктринальные источники по понятным причинам остались за кадром.
В статье предлагается сочетать правила строгой и виновной ответственности для случаев, когда функционирование систем и моделей ИИ причиняет вред третьим лицам. Для систем и моделей, которые представляют неприемлемый или высокий риск правам и человека, предлагается применять правила строгой ответственности разработчика. Для других случаев при восстановлении прав потерпевших предлагается использовать правила виновной ответственности с необходимостью доказывания вины ответчика и причинно-следственной связи.
Полный текст статьи прикладываю к посту, буду рад обратной связи
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10
Насколько могут быть убедительными современные модели ИИ в общении с человеком?
Недавно наткнулся на предварительное исследование, в котором авторы протестировали, насколько эффективно GPT-4 может использоваться в дебатах с людьми для изменения их мнения по тому или иному вопросу. Помимо эффективности убеждения, исследователи также проверили, влияет ли на нее дополнительная информация о личности и убеждениях собеседника, заданная модели через промт.
Выводы оказались интересными: GPT-4 с персонализацией на 81.7% эффективней убеждает, чем обычный человек. Более того, GPT-4 с персонализацией все еще эффективней (но уже не так значительно), чем человек, обладающий теми же данными о своем оппоненте. Таким образом, по данным исследования, модели ИИ способны эффективно использовать персональную информацию для адаптации своих аргументов и делают это гораздо эффективнее, чем люди.
Более подробная информация о методологии исследования и используемых промтах и обсуждаемых вопросах приложена в скриншотах к посту.
Таким образом, очевидно, что использование моделей ИИ как в политических, так и в коммерческих целях, в ближайшее время будет только нарастать. Вместе с тем ситуацию вряд ли серьезно изменят отдельные законодательные решения, направленные на конкретные сферы жизни, такие как, например, выборы или алгоритмические рекомендации.
Недавно наткнулся на предварительное исследование, в котором авторы протестировали, насколько эффективно GPT-4 может использоваться в дебатах с людьми для изменения их мнения по тому или иному вопросу. Помимо эффективности убеждения, исследователи также проверили, влияет ли на нее дополнительная информация о личности и убеждениях собеседника, заданная модели через промт.
Выводы оказались интересными: GPT-4 с персонализацией на 81.7% эффективней убеждает, чем обычный человек. Более того, GPT-4 с персонализацией все еще эффективней (но уже не так значительно), чем человек, обладающий теми же данными о своем оппоненте. Таким образом, по данным исследования, модели ИИ способны эффективно использовать персональную информацию для адаптации своих аргументов и делают это гораздо эффективнее, чем люди.
Более подробная информация о методологии исследования и используемых промтах и обсуждаемых вопросах приложена в скриншотах к посту.
Таким образом, очевидно, что использование моделей ИИ как в политических, так и в коммерческих целях, в ближайшее время будет только нарастать. Вместе с тем ситуацию вряд ли серьезно изменят отдельные законодательные решения, направленные на конкретные сферы жизни, такие как, например, выборы или алгоритмические рекомендации.
❤5