Передние рубежи нормативного регулирования в сфере ИИ
В начале месяца очень обширной и представительной группой ученых был опубликован препринт статьи «Передние рубежи ИИ-регулирования: управление рисками, возникающими в сфере общественной безопасности» (Frontier AI Regulation: Managing Emerging Risks to Public Safety).
В статье авторы приходят к выводу о том, что для безопасного применения современных базовых моделей уже недостаточно полагаться только на корпоративные стандарты и лучше практики. Необходимо комплексное законодательное регулирование. Это связано с рядом проблем, присущих базовым моделям, которые потенциально способны сделать их применение опасным для человека.
Проблема неожиданных возможностей базовых моделей. Она связана с тем, что последние могут приобретать некоторые функции, которые не были заранее предусмотрены разработчиками. Например, это может быть связано с увеличением числа параметров или подключения к дополнительным продуктам или интернету, загрузке новых данных. Некоторые из таких функций иногда относят к эмерджентным способностям. Про них мы писали тут.
Проблема безопасности эксплуатации базовых моделей. Эта проблема связана со сложностью обеспечения стабильности функционирования наиболее передовых моделей. Остается масса узких мест в обеспечении их корректной работы и безопасности.
Проблема быстрого распространения базовых моделей. Последние крайне быстро становятся доступными широкому кругу лиц. В связи с этим любые их недостатки потенциально становятся значительной угрозой для многих людей.
Отдельные управленческие и нормативные механизмы, направленные на уменьшение указанных рисков:
Во-первых, необходимо сформировать механизмы оперативного и регулярного обновления нормативных требований под изменяющиеся технологические реалии с учетом мнения экспертного сообщества и заинтересованных сторон.
Во-вторых, должны иметься механизмы по раскрытию информации, которые позволят органам власти следить за развитием передовых базовых моделей и вовремя реагировать на новые вызовы.
В-третьих, необходимо создать систему обеспечения соблюдения нормативных требований в виде создания компетентных органов и введения наряду с добровольными обязательных внешних независимых аудитов и сертификаций для отдельных базовых моделей.
Минимально необходимый набор нормативных требований должен включать:
Во-первых, проведение всесторонней оценки рисков с учетом анализа опасных потенциальных
возможностей и управляемости базовых моделей.
Во-вторых, привлечение внешних экспертов для независимой оценки моделей.
В-третьих, следование стандартизированным требованиям для разработки и вывода на рынок базовых моделей с учетом проведенной оценки рисков. Результаты оценки риска должны определять, будет ли развернута модель и каким образом, а также какие меры предосторожности будут предприняты.
В-четвертых, регулярное обновление требований к оценке риска на основе информации о развитии технологий.
В начале месяца очень обширной и представительной группой ученых был опубликован препринт статьи «Передние рубежи ИИ-регулирования: управление рисками, возникающими в сфере общественной безопасности» (Frontier AI Regulation: Managing Emerging Risks to Public Safety).
В статье авторы приходят к выводу о том, что для безопасного применения современных базовых моделей уже недостаточно полагаться только на корпоративные стандарты и лучше практики. Необходимо комплексное законодательное регулирование. Это связано с рядом проблем, присущих базовым моделям, которые потенциально способны сделать их применение опасным для человека.
Проблема неожиданных возможностей базовых моделей. Она связана с тем, что последние могут приобретать некоторые функции, которые не были заранее предусмотрены разработчиками. Например, это может быть связано с увеличением числа параметров или подключения к дополнительным продуктам или интернету, загрузке новых данных. Некоторые из таких функций иногда относят к эмерджентным способностям. Про них мы писали тут.
Проблема безопасности эксплуатации базовых моделей. Эта проблема связана со сложностью обеспечения стабильности функционирования наиболее передовых моделей. Остается масса узких мест в обеспечении их корректной работы и безопасности.
Проблема быстрого распространения базовых моделей. Последние крайне быстро становятся доступными широкому кругу лиц. В связи с этим любые их недостатки потенциально становятся значительной угрозой для многих людей.
Отдельные управленческие и нормативные механизмы, направленные на уменьшение указанных рисков:
Во-первых, необходимо сформировать механизмы оперативного и регулярного обновления нормативных требований под изменяющиеся технологические реалии с учетом мнения экспертного сообщества и заинтересованных сторон.
Во-вторых, должны иметься механизмы по раскрытию информации, которые позволят органам власти следить за развитием передовых базовых моделей и вовремя реагировать на новые вызовы.
В-третьих, необходимо создать систему обеспечения соблюдения нормативных требований в виде создания компетентных органов и введения наряду с добровольными обязательных внешних независимых аудитов и сертификаций для отдельных базовых моделей.
Минимально необходимый набор нормативных требований должен включать:
Во-первых, проведение всесторонней оценки рисков с учетом анализа опасных потенциальных
возможностей и управляемости базовых моделей.
Во-вторых, привлечение внешних экспертов для независимой оценки моделей.
В-третьих, следование стандартизированным требованиям для разработки и вывода на рынок базовых моделей с учетом проведенной оценки рисков. Результаты оценки риска должны определять, будет ли развернута модель и каким образом, а также какие меры предосторожности будут предприняты.
В-четвертых, регулярное обновление требований к оценке риска на основе информации о развитии технологий.
www.governance.ai
Frontier AI Regulation | GovAI Blog
The next generation of foundation models could threaten public safety. We explore the challenges of regulating frontier AI models and the building blocks of a potential regulatory regime.
🔥2👍1
Как должны регулироваться передовые базовые модели?
20 июля обсуждение данной статьи состоится в рамках вебинара в Центре государственного управления в сфере ИИ.
Зарегистрироваться можно по ссылке.
20 июля обсуждение данной статьи состоится в рамках вебинара в Центре государственного управления в сфере ИИ.
Зарегистрироваться можно по ссылке.
❤2👍1
Llama 2 свободно доступна для коммерческого использования ⚡️
Базовая модель Llama от компании Meta (запрещена в РФ) в свое время оказывает огромное значение на развитие опенсорс решений и проектов энтузиастов.
Она распространяется по открытой лицензии для некоммерческого использования. Тем не менее через несколько недель после релиза модель утекла в сеть и стала широко использоваться энтузиастами в своих проектах. Это позволило буквально за несколько месяцев за счет усилий коммьюнити доработать модель до уровня таких приложений, как ChatGPT, а также добавить в нее возможности тонкой настройки (fine tuning), мультимодальность, обучения с подкреплением на основе отзывов от человека (RLHF), в том числе и для решения проблемы этического выравнивания и контроля (alignment).
Более подробно про будущее моделей распространения базовых моделей можно почитать в нашем посте тут.
Сегодня Meta анонсировала выход базовой модели Llama 2, которую свободно можно будет использовать как для исследовательских, так и для коммерческих задач.
Доступны предварительно обученные и тонко настроенные модели с параметрами 7B, 13B и 70B.
Событие действительно историческое, так как теперь каждый сможет запустить и адаптировать под свои нужды передовую базовую модель. А за счет энтузиастов и коммьюнити в течение ближайших месяцев появятся сотни модификаций и приложений.
Также это сильнейший вызов для компаний, выбравшим SaaS модель распространения базовых моделей (например, OpenAI).
В очень интересное время живем, друзья!
Ссылка на сайт модели.
Статья с подробным описанием модели.
Базовая модель Llama от компании Meta (запрещена в РФ) в свое время оказывает огромное значение на развитие опенсорс решений и проектов энтузиастов.
Она распространяется по открытой лицензии для некоммерческого использования. Тем не менее через несколько недель после релиза модель утекла в сеть и стала широко использоваться энтузиастами в своих проектах. Это позволило буквально за несколько месяцев за счет усилий коммьюнити доработать модель до уровня таких приложений, как ChatGPT, а также добавить в нее возможности тонкой настройки (fine tuning), мультимодальность, обучения с подкреплением на основе отзывов от человека (RLHF), в том числе и для решения проблемы этического выравнивания и контроля (alignment).
Более подробно про будущее моделей распространения базовых моделей можно почитать в нашем посте тут.
Сегодня Meta анонсировала выход базовой модели Llama 2, которую свободно можно будет использовать как для исследовательских, так и для коммерческих задач.
Доступны предварительно обученные и тонко настроенные модели с параметрами 7B, 13B и 70B.
Событие действительно историческое, так как теперь каждый сможет запустить и адаптировать под свои нужды передовую базовую модель. А за счет энтузиастов и коммьюнити в течение ближайших месяцев появятся сотни модификаций и приложений.
Также это сильнейший вызов для компаний, выбравшим SaaS модель распространения базовых моделей (например, OpenAI).
В очень интересное время живем, друзья!
Ссылка на сайт модели.
Статья с подробным описанием модели.
Please open Telegram to view this post
VIEW IN TELEGRAM
Meta
Llama 2: Open Foundation and Fine-Tuned Chat Models | Research - AI at Meta
In this work, we develop and release Llama 2, a collection of pretrained and fine-tuned large language models (LLMs) ranging in scale from 7 billion to...
👍3
ОЭСР подготовила доклад про регуляторные песочницы в сфере ИИ
Организация экономического сотрудничества и развития (ОЭСР) изучила вопрос использования регуляторных песочниц для тестирования ИИ и опубликовала в этом месяце доклад: «Регуляторные песочницы в сфере ИИ» (Regulatory Sandboxes in AI). В документе рассмотрены различные проблемы применения песочниц и сформулированы предложения по совершенствованию политики в этой сфере.
Междисциплинарное и многостороннее сотрудничество
ИИ-продукты являются комплексными и часто затрагивают несколько областей, поэтому в их тестировании должны участвовать разные регулирующие органы. Например, в Великобритании создана специальная группа по регулированию цифровой среды, в рамках которой сотрудничают антимонопольные, информационно-коммуникационные, финансовые органы и органы по защите информации. В Корее в запуске песочниц участвуют представители различных министерств, а в Бразилии Комиссия по ценным бумагам совместно с Центральным банком создали комитет, который взаимодействует с университетами, ассоциациями и представителями отраслей для оценки заявок на участие в песочнице.
Международное взаимодействие регулирующих органов и роль политики в сфере торговли
Требуется тесное международное сотрудничество при осуществлении экспериментального регулирования. Песочницы и другие способы регулирования в сфере технологий могут быть приравнены к «техническим регламентам» через «соглашения об эквивалентности». Уже сейчас имеется торговое соглашение о партнерстве в области цифровой экономики между Чили, Новой Зеландией и Сингапуром, направленное на содействие безопасному и ответственному использованию ИИ, которое также выступает за внедрение песочниц.
Схожие критерии для запуска и тестирования ИИ
Необходимо международное сотрудничество по вопросам совместимых способов проведения экспериментов, включая условий по тестированию ИИ. В частности, такие критерии, как инновационность, общественный интерес и готовность к тестированию могут быть унифицированы на международном уровне. А учитывая то, что бизнес в сфере ИИ, как правило, является международным, то наличие совместимых условий проведения экспериментов в разных юрисдикциях было бы очень выгодно компаниям.
Так, ОЭСР в пример приводит ЕС, который во избежание разрозненности регулирования в странах-членах союза планирует реализовать через Регламент ЕС об ИИ единый подход к песочницам, предлагая схожий набор требований и процедур тестирования ИИ.
Влияние на инновации
Растущее число песочниц по всему миру ведет к формированию глобальной экосистемы регулирования, поощряющей инновации. Однако отсутствие стандартных типологий приводит к тому, что каждая песочница отличается от другой. В частности, песочницы в зависимости от времени выхода на рынок ИИ-продукта могут являться: 1) предрыночным инструментом - до запуска системы ИИ; 2) регуляторным инструментом - работает параллельно с выпуском системы ИИ на рынок, позволяя заинтересованным сторонам коммерциализировать свои системы; 3) добровольным инструментом ex-post - используется уже после выхода продукта на рынок с тем, чтобы расширить возможные сценарии его использования.
Взаимодействие с другими инструментами, стимулирующими инновации
Песочницы должны оцениваться в сочетании с другими инструментами, например, стандартами. Данные, собираемые в песочницах ИИ, могут использоваться для выявления закономерностей и необходимости разработки стандарта в конкретной области. И наоборот, текущие процессы стандартизации могут служить основой для тестирования ИИ в песочницах.
Стандарты также позволяют обеспечить совместимость между песочницами. В двух юрисдикциях могут применяться различные песочницы, но при этом использоваться одни и те же стандарты для тестирования безопасности или выявления рисков ИИ. Это может привести к созданию общей системы тестирования и, возможно, к согласованным результатам работы песочницы. Напротив, принятие различных стандартов ИИ может привести к различным оценкам безопасности или качества ИИ, что может негативно сказаться на торговых отношениях между странами.
Организация экономического сотрудничества и развития (ОЭСР) изучила вопрос использования регуляторных песочниц для тестирования ИИ и опубликовала в этом месяце доклад: «Регуляторные песочницы в сфере ИИ» (Regulatory Sandboxes in AI). В документе рассмотрены различные проблемы применения песочниц и сформулированы предложения по совершенствованию политики в этой сфере.
Междисциплинарное и многостороннее сотрудничество
ИИ-продукты являются комплексными и часто затрагивают несколько областей, поэтому в их тестировании должны участвовать разные регулирующие органы. Например, в Великобритании создана специальная группа по регулированию цифровой среды, в рамках которой сотрудничают антимонопольные, информационно-коммуникационные, финансовые органы и органы по защите информации. В Корее в запуске песочниц участвуют представители различных министерств, а в Бразилии Комиссия по ценным бумагам совместно с Центральным банком создали комитет, который взаимодействует с университетами, ассоциациями и представителями отраслей для оценки заявок на участие в песочнице.
Международное взаимодействие регулирующих органов и роль политики в сфере торговли
Требуется тесное международное сотрудничество при осуществлении экспериментального регулирования. Песочницы и другие способы регулирования в сфере технологий могут быть приравнены к «техническим регламентам» через «соглашения об эквивалентности». Уже сейчас имеется торговое соглашение о партнерстве в области цифровой экономики между Чили, Новой Зеландией и Сингапуром, направленное на содействие безопасному и ответственному использованию ИИ, которое также выступает за внедрение песочниц.
Схожие критерии для запуска и тестирования ИИ
Необходимо международное сотрудничество по вопросам совместимых способов проведения экспериментов, включая условий по тестированию ИИ. В частности, такие критерии, как инновационность, общественный интерес и готовность к тестированию могут быть унифицированы на международном уровне. А учитывая то, что бизнес в сфере ИИ, как правило, является международным, то наличие совместимых условий проведения экспериментов в разных юрисдикциях было бы очень выгодно компаниям.
Так, ОЭСР в пример приводит ЕС, который во избежание разрозненности регулирования в странах-членах союза планирует реализовать через Регламент ЕС об ИИ единый подход к песочницам, предлагая схожий набор требований и процедур тестирования ИИ.
Влияние на инновации
Растущее число песочниц по всему миру ведет к формированию глобальной экосистемы регулирования, поощряющей инновации. Однако отсутствие стандартных типологий приводит к тому, что каждая песочница отличается от другой. В частности, песочницы в зависимости от времени выхода на рынок ИИ-продукта могут являться: 1) предрыночным инструментом - до запуска системы ИИ; 2) регуляторным инструментом - работает параллельно с выпуском системы ИИ на рынок, позволяя заинтересованным сторонам коммерциализировать свои системы; 3) добровольным инструментом ex-post - используется уже после выхода продукта на рынок с тем, чтобы расширить возможные сценарии его использования.
Взаимодействие с другими инструментами, стимулирующими инновации
Песочницы должны оцениваться в сочетании с другими инструментами, например, стандартами. Данные, собираемые в песочницах ИИ, могут использоваться для выявления закономерностей и необходимости разработки стандарта в конкретной области. И наоборот, текущие процессы стандартизации могут служить основой для тестирования ИИ в песочницах.
Стандарты также позволяют обеспечить совместимость между песочницами. В двух юрисдикциях могут применяться различные песочницы, но при этом использоваться одни и те же стандарты для тестирования безопасности или выявления рисков ИИ. Это может привести к созданию общей системы тестирования и, возможно, к согласованным результатам работы песочницы. Напротив, принятие различных стандартов ИИ может привести к различным оценкам безопасности или качества ИИ, что может негативно сказаться на торговых отношениях между странами.
❤3
Продолжение дискуссии про передовые базовые модели
На неделе делились с вами постом про препринт статьи «Передние рубежи ИИ-регулирования: управление рисками, возникающими в сфере общественной безопасности» (Frontier AI Regulation: Managing Emerging Risks to Public Safety).
В статье авторы приходят к выводу о том, что для безопасного применения современных базовых моделей уже недостаточно полагаться только на корпоративные стандарты и лучшие практики.
Необходимо комплексное законодательное регулирование. Это связано с рядом проблем, присущих базовым моделям, которые потенциально способны сделать их применение опасным для человека.
Более подробно можно почитать в нашем посте тут.
Отдельно необходимо подчеркнуть, что речь в статье и посте будет идти именно о передовых базовых моделях, а не обо всех системах ИИ.
Этот термин используют авторы статьи, чтобы описать наиболее развитые современные базовые модели, которые могут представлять потенциальную угрозу для общества.
Австралийский ученый и предприниматель Джереми Ховард опубликовал заметку с критикой отдельных положений статьи. Остановимся на нескольких дискуссионных вопросах.
Во-первых, по его мнению, нормативное регулирование в сфере разработки и использования передовых базовых моделей должно исходить из следующей развилки:
а) создать общий ИИ (AGI) невозможно, существующие модели будут улучшаться до определенного предела. Тогда и не требуется специфических требований для их разработки и использования. Для применения существующих систем ИИ, как и любых других изобретений человека, потребуется доработка общей нормативной базы;
б) создание общего ИИ возможно, и наука плавно движется к этому. В этом случае необходимо предпринять ряд конкретных и довольно жестких нормативных требований к разработчикам передовых базовых моделей. Автор предлагает исходить именно из второго сценария.
Во-вторых, необходимо сосредоточиться не на уровне применения базовых моделей, а на уровне их разработки. Это связано с тем, что, как правило, наиболее продвинутые базовые модели создаются и эксклюзивно используются крупными технологическими компаниями (например, OpenA и Anthropic). Пользователи лишь получают доступ к отдельной части данной модели, которая подверглась тонкой настройке и различным ограничениями. Соответственно, никто в точности не знает, с какими моделями имеют дело сами разработчики внутри компаний. Таким образом, если какая-то команда действительно создаст общий ИИ, то у очень узкого круга допущенных к ней людей мгновенно откроются беспрецедентные возможности по контролю над человечеством.
Другой стороной этой проблемы является и то, что выпущенные (или слитые) на рынок модели мгновенно становятся доступными для использования каждому человеку и могут быть реплицированы огромное число раз. Это и делает передовые модели более опасными, чем, например, ядерное оружие. Создать и распространить последнее - задача трудно выполнимая.
Таким образом, необходимо установить обязательное раскрытие информации о намерении разрабатывать передовые базовые модели, а также проводить внешний независимый аудит уже на стадии разработки, а не фактического применения. Вместе с тем современные законодательные инициативы в большей степени направлены именно на этап вывода на рынок систем ИИ.
В-третьих, по мнению автора, неверные подходы к регулированию приведут лишь к дальнейшей монополизации отрасли. Например, он выразил свои опасения по поводу предложенной в статье идеи по введению лицензирования для создание передовых базовых моделей. Создание органа, уполномоченного решать, кому можно и кому нельзя создавать такие модели, приведет к его чрезмерному усилению и возможности влияния через него на потенциальных конкурентов со стороны бигтэков.
Дискуссия продолжилась также в ходе вебинара, на который мы давали ссылку тут. Запись мероприятия пока не нашли. Если кто-то видел, поделитесь!
На неделе делились с вами постом про препринт статьи «Передние рубежи ИИ-регулирования: управление рисками, возникающими в сфере общественной безопасности» (Frontier AI Regulation: Managing Emerging Risks to Public Safety).
В статье авторы приходят к выводу о том, что для безопасного применения современных базовых моделей уже недостаточно полагаться только на корпоративные стандарты и лучшие практики.
Необходимо комплексное законодательное регулирование. Это связано с рядом проблем, присущих базовым моделям, которые потенциально способны сделать их применение опасным для человека.
Более подробно можно почитать в нашем посте тут.
Отдельно необходимо подчеркнуть, что речь в статье и посте будет идти именно о передовых базовых моделях, а не обо всех системах ИИ.
Этот термин используют авторы статьи, чтобы описать наиболее развитые современные базовые модели, которые могут представлять потенциальную угрозу для общества.
Австралийский ученый и предприниматель Джереми Ховард опубликовал заметку с критикой отдельных положений статьи. Остановимся на нескольких дискуссионных вопросах.
Во-первых, по его мнению, нормативное регулирование в сфере разработки и использования передовых базовых моделей должно исходить из следующей развилки:
а) создать общий ИИ (AGI) невозможно, существующие модели будут улучшаться до определенного предела. Тогда и не требуется специфических требований для их разработки и использования. Для применения существующих систем ИИ, как и любых других изобретений человека, потребуется доработка общей нормативной базы;
б) создание общего ИИ возможно, и наука плавно движется к этому. В этом случае необходимо предпринять ряд конкретных и довольно жестких нормативных требований к разработчикам передовых базовых моделей. Автор предлагает исходить именно из второго сценария.
Во-вторых, необходимо сосредоточиться не на уровне применения базовых моделей, а на уровне их разработки. Это связано с тем, что, как правило, наиболее продвинутые базовые модели создаются и эксклюзивно используются крупными технологическими компаниями (например, OpenA и Anthropic). Пользователи лишь получают доступ к отдельной части данной модели, которая подверглась тонкой настройке и различным ограничениями. Соответственно, никто в точности не знает, с какими моделями имеют дело сами разработчики внутри компаний. Таким образом, если какая-то команда действительно создаст общий ИИ, то у очень узкого круга допущенных к ней людей мгновенно откроются беспрецедентные возможности по контролю над человечеством.
Другой стороной этой проблемы является и то, что выпущенные (или слитые) на рынок модели мгновенно становятся доступными для использования каждому человеку и могут быть реплицированы огромное число раз. Это и делает передовые модели более опасными, чем, например, ядерное оружие. Создать и распространить последнее - задача трудно выполнимая.
Таким образом, необходимо установить обязательное раскрытие информации о намерении разрабатывать передовые базовые модели, а также проводить внешний независимый аудит уже на стадии разработки, а не фактического применения. Вместе с тем современные законодательные инициативы в большей степени направлены именно на этап вывода на рынок систем ИИ.
В-третьих, по мнению автора, неверные подходы к регулированию приведут лишь к дальнейшей монополизации отрасли. Например, он выразил свои опасения по поводу предложенной в статье идеи по введению лицензирования для создание передовых базовых моделей. Создание органа, уполномоченного решать, кому можно и кому нельзя создавать такие модели, приведет к его чрезмерному усилению и возможности влияния через него на потенциальных конкурентов со стороны бигтэков.
Дискуссия продолжилась также в ходе вебинара, на который мы давали ссылку тут. Запись мероприятия пока не нашли. Если кто-то видел, поделитесь!
fast.ai
AI Safety and the Age of Dislightenment – fast.ai
Model licensing & surveillance will likely be counterproductive by concentrating power in unsustainable ways
🔥2
Крупные ИИ-компании дали слово Белому дому быть молодцами
Еще одна заметная новость прошедшей недели. Несколько дней назад Президент США Джо Байден провел встречу с представителями семи ведущих компаний в области искусственного интеллекта - Amazon, Anthropic, Google, Inflection, Meta, Microsoft и OpenAI.
По результатам встречи было объявлено, что данные компании добровольно обязуются обеспечивать ряд мер по ответственному развитию ИИ.
В основе договоренности лежат три принципа: безопасность, защищенность и доверие.
В рамках них компаниям надлежит предпринять восемь мер:
1. Принять на себя обязательства по проведению внутренней и внешней оценки базовых моделей и систем ИИ в таких областях, как нецелевое использование, риски для общества и угрозы национальной безопасности.
Проверять их надлежит на:
а) риски по упрощению создания биологического, химического и ядерного оружия за счет использования базовых моделей;
б) риски для кибербезопасности (способность базовых моделей искать уязвимости);
в) способность базовой модели использовать объекты (в том числе материальные) в качестве инструментов;
г) способность создавать свои копии или иным образом самовоспроизводиться;
д) риски для общества, такие как предвзятость и дискриминация.
2. Обмениваться информацией между собой, другими компаниями и государственными органами относительно потенциальных рисков и способов их уменьшения. В том числе надлежит обмениваться стандартами и лучшими практикам.
3. Инвестировать средства в обеспечение кибербезопасности и защиту от инсайдеров для сохранения важной инфраструктурной информации о базовых моделях.
4. Стимулировать поиск проблем и уязвимостей со стороны внешних участников (например, установить вознаграждения за информацию, проводить чемпионаты по хакингу и т.п.).
5. Разрабатывать и внедрять механизмы, позволяющие пользователям понять, является ли аудио- или визуальный контент сгенерированным ИИ (подтверждение происхождения, маркировки, водяные знаки и т.п.).
6. Публично раскрывать информацию о возможностях, ограничениях и целесообразных сценариях использования базовых моделей и систем ИИ. Для этого компании обязуются публиковать соответствующие отчеты.
7. Сделать исследования социальных рисков применения базовых моделей и систем ИИ приоритетными. Это включает в себя, в том числе, предотвращение предвзятостей, дискриминации, проникновение в частную жизнь.
8. Разрабатывать и внедрять передовые базовые модели в целях решения важнейших проблем общества. Например, борьба с изменением климата, киберугрозами, поддержка научный исследований, образование и просвещение людей и т.п.
Следует отметить, что никакой ответственности для компаний за нарушение договоренностей не устанавливается. Только репутационные издержки и доброе отношение властей.
Таким образом, документ является плоть от плоти американского подхода к нормативному регулированию применения систем ИИ. Последний заключается в поддержке государством технологического бизнеса при избежании установления жестких нормативных требований.
Подробно про американский подход можно почитать в нашем недавнем большом обзоре.
Еще одна заметная новость прошедшей недели. Несколько дней назад Президент США Джо Байден провел встречу с представителями семи ведущих компаний в области искусственного интеллекта - Amazon, Anthropic, Google, Inflection, Meta, Microsoft и OpenAI.
По результатам встречи было объявлено, что данные компании добровольно обязуются обеспечивать ряд мер по ответственному развитию ИИ.
В основе договоренности лежат три принципа: безопасность, защищенность и доверие.
В рамках них компаниям надлежит предпринять восемь мер:
1. Принять на себя обязательства по проведению внутренней и внешней оценки базовых моделей и систем ИИ в таких областях, как нецелевое использование, риски для общества и угрозы национальной безопасности.
Проверять их надлежит на:
а) риски по упрощению создания биологического, химического и ядерного оружия за счет использования базовых моделей;
б) риски для кибербезопасности (способность базовых моделей искать уязвимости);
в) способность базовой модели использовать объекты (в том числе материальные) в качестве инструментов;
г) способность создавать свои копии или иным образом самовоспроизводиться;
д) риски для общества, такие как предвзятость и дискриминация.
2. Обмениваться информацией между собой, другими компаниями и государственными органами относительно потенциальных рисков и способов их уменьшения. В том числе надлежит обмениваться стандартами и лучшими практикам.
3. Инвестировать средства в обеспечение кибербезопасности и защиту от инсайдеров для сохранения важной инфраструктурной информации о базовых моделях.
4. Стимулировать поиск проблем и уязвимостей со стороны внешних участников (например, установить вознаграждения за информацию, проводить чемпионаты по хакингу и т.п.).
5. Разрабатывать и внедрять механизмы, позволяющие пользователям понять, является ли аудио- или визуальный контент сгенерированным ИИ (подтверждение происхождения, маркировки, водяные знаки и т.п.).
6. Публично раскрывать информацию о возможностях, ограничениях и целесообразных сценариях использования базовых моделей и систем ИИ. Для этого компании обязуются публиковать соответствующие отчеты.
7. Сделать исследования социальных рисков применения базовых моделей и систем ИИ приоритетными. Это включает в себя, в том числе, предотвращение предвзятостей, дискриминации, проникновение в частную жизнь.
8. Разрабатывать и внедрять передовые базовые модели в целях решения важнейших проблем общества. Например, борьба с изменением климата, киберугрозами, поддержка научный исследований, образование и просвещение людей и т.п.
Следует отметить, что никакой ответственности для компаний за нарушение договоренностей не устанавливается. Только репутационные издержки и доброе отношение властей.
Таким образом, документ является плоть от плоти американского подхода к нормативному регулированию применения систем ИИ. Последний заключается в поддержке государством технологического бизнеса при избежании установления жестких нормативных требований.
Подробно про американский подход можно почитать в нашем недавнем большом обзоре.
The White House
FACT SHEET: Biden-Harris Administration Secures Voluntary Commitments from Leading Artificial Intelligence Companies to Manage…
Voluntary commitments – underscoring safety, security, and trust – mark a critical step toward developing responsible AI Biden-Harris Administration will continue to take decisive action by developing an Executive Order and pursuing bipartisan legislation…
👍2❤1👾1
Как в России планируют регулировать применение рекомендательных алгоритмов
О необходимости регулирования рекомендательных алгоритмов в РФ в парламенте говорили еще давно. Однако до конкретных шагов дело никак не доходило. Месяц назад в Госдуму внесли проект закона, в соответствии с которым к использованию рекомендательных алгоритмов в интернете будет предъявляться ряд требований.
Прежде всего отметим, что акт использует термин рекомендательные технологии, под которыми понимаются технологии, позволяющие предоставлять информацию на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей интернета. Не ошибемся, если скажем, что рекомендательные технологии и рекомендательные алгоритмы равнозначны по своей сути, но далее по тексту будем использовать термин из проекта закона.
Так, в соответствии с законопроектом не допускается применение рекомендательных технологий:
а) нарушающих права и законные интересы граждан и организаций;
б) без информирования об этом пользователей соответствующих информационных ресурсов.
Пункт “а” носит декларативный характер, поскольку положение “нарушение прав и законных интересов” не конкретизируется в тексте. Можно было бы указать, в чем именно должно выражаться такое нарушение, например, рекомендации манипулировали поведением лица таким образом, что это причинило ему существенный вред. В отсутствие какой-либо детализации основным способом воздействия акта на общественные отношения будет являться пункт “б”, который содержит конкретное требование по информированию пользователей.
Однако и здесь можно было бы пойти дальше и предусмотреть право пользователей на отказ от применения в их отношении алгоритма или хотя бы изменение его параметров. По такому пути последовали, в частности, Китай (приказ Администрации киберпространства Китая "О регулировании применения рекомендательных алгоритмов информационных Интернет-служб") и Европейский союз ("Акт о цифровых услугах").
Согласно законопроекту информирование должно осуществляться посредством размещения на информационном ресурсе документа с правилами применения рекомендательных технологий. Сами правила применения должны содержать:
а) описание применяемых рекомендательных технологий;
б) виды сведений о предпочтениях пользователей интернета, на основе которых работают рекомендации, а также источники получения таких сведений.
Последствия несоблюдения требований
Если Роскомнадзор обнаружит информационный ресурс, на котором: 1) применяются рекомендательные технологии, нарушающие права и законные интересы граждан и организаций; или 2) отсутствует информирование пользователей, то он может запросить у владельца ресурса документацию, касающуюся технологии, и доступ к программно-техническим средствам для проведения оценки соответствия законодательству.
При выявлении факта нарушения Роскомнадзор направляет владельцу ресурса уведомление о необходимости его устранения. Если владелец не выполняет свои обязанности, то Роскомнадзор направляет указанному лицу требование о запрете предоставления информации с применением рекомендательных технологий. В случае отказа от приостановления применения рекомендательной технологии Роскомнадзор незамедлительно направляет операторам связи требование об ограничении доступа к ресурсу, на котором применяется технология. Оператор, соответственно, будет обязан заблокировать этот ресурс. Также предусматривается, что после устранения нарушений у владельца есть право на то, чтобы доступ к ресурсу был возобновлен.
Положения акта распространяются только на частный сектор. Таким образом, государственные информационные системы (их сейчас более 800 только на федеральном уровне и они содержат большие объемы данных различного характера), государственные органы и органы местного самоуправления не будут подпадать под регулирование. Представляется, что основными объектами регулирования станут маркетплейсы, социальные сети и видеохостинги.
Проект закона к настоящему времени практически единогласно прошел первое чтение. Сейчас идет процесс по его доработке, возможно, в скором времени он будет принят.
О необходимости регулирования рекомендательных алгоритмов в РФ в парламенте говорили еще давно. Однако до конкретных шагов дело никак не доходило. Месяц назад в Госдуму внесли проект закона, в соответствии с которым к использованию рекомендательных алгоритмов в интернете будет предъявляться ряд требований.
Прежде всего отметим, что акт использует термин рекомендательные технологии, под которыми понимаются технологии, позволяющие предоставлять информацию на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей интернета. Не ошибемся, если скажем, что рекомендательные технологии и рекомендательные алгоритмы равнозначны по своей сути, но далее по тексту будем использовать термин из проекта закона.
Так, в соответствии с законопроектом не допускается применение рекомендательных технологий:
а) нарушающих права и законные интересы граждан и организаций;
б) без информирования об этом пользователей соответствующих информационных ресурсов.
Пункт “а” носит декларативный характер, поскольку положение “нарушение прав и законных интересов” не конкретизируется в тексте. Можно было бы указать, в чем именно должно выражаться такое нарушение, например, рекомендации манипулировали поведением лица таким образом, что это причинило ему существенный вред. В отсутствие какой-либо детализации основным способом воздействия акта на общественные отношения будет являться пункт “б”, который содержит конкретное требование по информированию пользователей.
Однако и здесь можно было бы пойти дальше и предусмотреть право пользователей на отказ от применения в их отношении алгоритма или хотя бы изменение его параметров. По такому пути последовали, в частности, Китай (приказ Администрации киберпространства Китая "О регулировании применения рекомендательных алгоритмов информационных Интернет-служб") и Европейский союз ("Акт о цифровых услугах").
Согласно законопроекту информирование должно осуществляться посредством размещения на информационном ресурсе документа с правилами применения рекомендательных технологий. Сами правила применения должны содержать:
а) описание применяемых рекомендательных технологий;
б) виды сведений о предпочтениях пользователей интернета, на основе которых работают рекомендации, а также источники получения таких сведений.
Последствия несоблюдения требований
Если Роскомнадзор обнаружит информационный ресурс, на котором: 1) применяются рекомендательные технологии, нарушающие права и законные интересы граждан и организаций; или 2) отсутствует информирование пользователей, то он может запросить у владельца ресурса документацию, касающуюся технологии, и доступ к программно-техническим средствам для проведения оценки соответствия законодательству.
При выявлении факта нарушения Роскомнадзор направляет владельцу ресурса уведомление о необходимости его устранения. Если владелец не выполняет свои обязанности, то Роскомнадзор направляет указанному лицу требование о запрете предоставления информации с применением рекомендательных технологий. В случае отказа от приостановления применения рекомендательной технологии Роскомнадзор незамедлительно направляет операторам связи требование об ограничении доступа к ресурсу, на котором применяется технология. Оператор, соответственно, будет обязан заблокировать этот ресурс. Также предусматривается, что после устранения нарушений у владельца есть право на то, чтобы доступ к ресурсу был возобновлен.
Положения акта распространяются только на частный сектор. Таким образом, государственные информационные системы (их сейчас более 800 только на федеральном уровне и они содержат большие объемы данных различного характера), государственные органы и органы местного самоуправления не будут подпадать под регулирование. Представляется, что основными объектами регулирования станут маркетплейсы, социальные сети и видеохостинги.
Проект закона к настоящему времени практически единогласно прошел первое чтение. Сейчас идет процесс по его доработке, возможно, в скором времени он будет принят.
🔥2
Контроль над ИИ: принципы нормативного регулирования
Несколько дней назад в Подкомитете по неприкосновенности частной жизни, технологиям и законодательству при Комитете по судебной власти Сената США состоялись слушания, посвященные широкому кругу вопросов относительно регулирования применения систем ИИ.
На мероприятии с докладами выступили несколько очень известных спикеров. Дискуссия получилась довольно длинная. Остановимся на наиболее интересных моментах, на которых сосредоточились выступающие.
Дарио Амодей (CEO Anthropic) рассказал об опыте применения конституционных принципов для ценностного выравнивания систем ИИ с человеком при разработке базовых моделей компании Claude и Claude 2. Это довольно интересный способ, который использовался в качестве альтернативы обучению на основе человеческих отзывов (RLHF). Подробно о конституционных принципах для ИИ мы писали в посте тут.
Также докладчик разделил все риски, связанные с применением ИИ, на три группы: текущие (предвзятости, нарушение тайны частной жизни человека, дезинформация), среднесрочные (вредное использование систем ИИ, например, для создания химического или биологического оружия) и долгосрочные (опасность для человечества).
В своем выступлении он остановился на среднесрочных рисках (2–3 года). Для их уменьшения спикер предложил реализовать меры по обеспечению безопасности в ходе всей цепочки производства систем ИИ (от создания чипов до тонкой настройки для разных уровней применения), ввести обязательное тестирование и внешний независимый аудит систем ИИ до их выхода на рынок, а также разработать необходимые для этого критерии и стандарты.
Йошуа Бенджио (основатель и научный директор Mila – Québec AI Institute, профессор Монреальского университета) также поддержал идею о введении обязательного внешнего независимого аудита и лицензирования для наиболее больших (передовых) базовых моделей.
Еще одной интересной идей стала необходимость создать при университетах советы по этике ИИ, которые должны следить за безопасностью разработки и применения базовых моделей, а также недопущения их использования для вредоносных целей.
Стюарт Рассел (профессор Калифорнийского университета, Беркли) высказал необходимость создания в США и на международном уровне специального государственного органа, который должен заниматься разработкой нормативной политики, а также осуществлять лицензирование, аккредитовывать аудиторов и т.п.
Также он призвал ввести запрет на создание и применение отдельных видов систем ИИ, обеспечить их идентификацию перед человеком, а также обязать устанавливать «красную кнопку», которая позволит в любой момент прекратить их функционирование.
Несколько дней назад в Подкомитете по неприкосновенности частной жизни, технологиям и законодательству при Комитете по судебной власти Сената США состоялись слушания, посвященные широкому кругу вопросов относительно регулирования применения систем ИИ.
На мероприятии с докладами выступили несколько очень известных спикеров. Дискуссия получилась довольно длинная. Остановимся на наиболее интересных моментах, на которых сосредоточились выступающие.
Дарио Амодей (CEO Anthropic) рассказал об опыте применения конституционных принципов для ценностного выравнивания систем ИИ с человеком при разработке базовых моделей компании Claude и Claude 2. Это довольно интересный способ, который использовался в качестве альтернативы обучению на основе человеческих отзывов (RLHF). Подробно о конституционных принципах для ИИ мы писали в посте тут.
Также докладчик разделил все риски, связанные с применением ИИ, на три группы: текущие (предвзятости, нарушение тайны частной жизни человека, дезинформация), среднесрочные (вредное использование систем ИИ, например, для создания химического или биологического оружия) и долгосрочные (опасность для человечества).
В своем выступлении он остановился на среднесрочных рисках (2–3 года). Для их уменьшения спикер предложил реализовать меры по обеспечению безопасности в ходе всей цепочки производства систем ИИ (от создания чипов до тонкой настройки для разных уровней применения), ввести обязательное тестирование и внешний независимый аудит систем ИИ до их выхода на рынок, а также разработать необходимые для этого критерии и стандарты.
Йошуа Бенджио (основатель и научный директор Mila – Québec AI Institute, профессор Монреальского университета) также поддержал идею о введении обязательного внешнего независимого аудита и лицензирования для наиболее больших (передовых) базовых моделей.
Еще одной интересной идей стала необходимость создать при университетах советы по этике ИИ, которые должны следить за безопасностью разработки и применения базовых моделей, а также недопущения их использования для вредоносных целей.
Стюарт Рассел (профессор Калифорнийского университета, Беркли) высказал необходимость создания в США и на международном уровне специального государственного органа, который должен заниматься разработкой нормативной политики, а также осуществлять лицензирование, аккредитовывать аудиторов и т.п.
Также он призвал ввести запрет на создание и применение отдельных видов систем ИИ, обеспечить их идентификацию перед человеком, а также обязать устанавливать «красную кнопку», которая позволит в любой момент прекратить их функционирование.
www.judiciary.senate.gov
Artificial Intelligence and Human Rights | United States Senate Committee on the Judiciary
❤1👍1🔥1
Форум передовых базовых моделей
Еще немного новостей из США. В продолжении инициативы Белого дома, о которой мы рассказывали на днях, компании Anthropic, Google, Microsoft и OpenAI создали Форум передовых базовых моделей.
Он представляет собой отраслевой орган, призванный обеспечить безопасную и ответственную разработку таких моделей.
Основатели Форума приглашают к сотрудничеству и других участников рынка.
Ключевыми задачами Форума являются продвижение исследований в области безопасности систем ИИ, выявление лучших практик, а также стимулирование использование ИИ для решения проблем человечества.
Для организации работы будет создан консультативный совет Форума.
Также предполагается, что Форум будет оказывать поддержку существующим органам и инициативам, таким как Хиросимский процесс G7 (о нем писали тут), ОЭСР, Совет США и ЕС по торговле и технологиям.
Любые отраслевые стандарты – дело хорошее. Однако если они дополняют нормативное регулирование, а не заменяют его.
Еще немного новостей из США. В продолжении инициативы Белого дома, о которой мы рассказывали на днях, компании Anthropic, Google, Microsoft и OpenAI создали Форум передовых базовых моделей.
Он представляет собой отраслевой орган, призванный обеспечить безопасную и ответственную разработку таких моделей.
Основатели Форума приглашают к сотрудничеству и других участников рынка.
Ключевыми задачами Форума являются продвижение исследований в области безопасности систем ИИ, выявление лучших практик, а также стимулирование использование ИИ для решения проблем человечества.
Для организации работы будет создан консультативный совет Форума.
Также предполагается, что Форум будет оказывать поддержку существующим органам и инициативам, таким как Хиросимский процесс G7 (о нем писали тут), ОЭСР, Совет США и ЕС по торговле и технологиям.
Любые отраслевые стандарты – дело хорошее. Однако если они дополняют нормативное регулирование, а не заменяют его.
Openai
Frontier Model Forum
We’re forming a new industry body to promote the safe and responsible development of frontier AI systems: advancing AI safety research, identifying best practices and standards, and facilitating information sharing among policymakers and industry.
❤2
О кибербезопасности передовых моделей ИИ
Американская ИИ-компания Anthropic поделилась своим видением того, как можно и нужно обеспечивать кибербезопасность передовых базовых моделей. Эта тема привлекает внимание, поскольку передовые базовые модели по степени потенциальной опасности и возможности причинения вреда сопоставимы с объектами критической инфраструктуры.
Компания остановилась на трех рекомендациях, адресованных индустрии в целом: а) обеспечение двойного контроля; б) соблюдение лучших практик по разработке безопасного ПО; в) сотрудничество государства с частным сектором.
Двойной контроль
Для обеспечения кибербезопасности современных систем ИИ необходим двойной контроль. Суть и ценность его в том, что ни один человек не имеет постоянного доступа к критически важной инфраструктуре модели ИИ, доступ возможен только по согласованию с другим субъектом (коллегой) и на ограниченное количество времени. Такой контроль уже используется в различных областях, например, для открытия особо охраняемых хранилищ требуется два независимых человека с двумя ключами, а многосторонние схемы проверки применяются в производстве, пищевой промышленности, медицине и финансах. Метод также используется в крупных технологических компаниях для защиты от наиболее продвинутых киберугроз.
Двойной контроль следует применять ко всем системам, вовлеченным в разработку, обучение, размещение и эксплуатацию передовых моделей ИИ. Такое средство контроля могут использовать даже небольшие ИИ-лаборатории, не обладающие крупными ресурсами.
Лучшие практики по разработке ПО
Передовые модели ИИ создаются и размещаются почти точно так же, как и ПО. Поэтому в Anthropic предлагают распространять лучшие практики по разработке ПО на всю инфраструктуру передовых моделей ИИ. Золотым стандартом таких практик являются:
– NIST Secure Software Development Framework – концепция, представляющая собой набор фундаментальных, надежных и безопасных методов разработки ПО;
– Supply Chain Levels for Software Artifacts – система безопасности, перечень стандартов и средств контроля, позволяющих предотвратить несанкционированное вмешательство, повысить надежность, защитить компоненты и инфраструктуру.
Правильное применение этих практик позволит связать созданную модель с компаниями, участвовавшими в ее разработке на всех этапах ее жизненного цикла. Тем самым это поможет проследить подлинность и безопасность всей модели ИИ.
Сотрудничество государства с частным сектором
Исследовательские лаборатории в сфере ИИ должны сотрудничать с государством так, как это делают компании, занятые в критически важных сферах (в частности, в области финансов). Как вариант, ИИ сфера может быть выделена в качестве специального направления внутри ИТ сектора. Такое выделение нужно для обмена информацией между исследовательскими центрами и государственными структурами, что поможет всем ИИ-лабораториям лучше защищаться от злоумышленников, обладающих большими ресурсами.
Американская ИИ-компания Anthropic поделилась своим видением того, как можно и нужно обеспечивать кибербезопасность передовых базовых моделей. Эта тема привлекает внимание, поскольку передовые базовые модели по степени потенциальной опасности и возможности причинения вреда сопоставимы с объектами критической инфраструктуры.
Компания остановилась на трех рекомендациях, адресованных индустрии в целом: а) обеспечение двойного контроля; б) соблюдение лучших практик по разработке безопасного ПО; в) сотрудничество государства с частным сектором.
Двойной контроль
Для обеспечения кибербезопасности современных систем ИИ необходим двойной контроль. Суть и ценность его в том, что ни один человек не имеет постоянного доступа к критически важной инфраструктуре модели ИИ, доступ возможен только по согласованию с другим субъектом (коллегой) и на ограниченное количество времени. Такой контроль уже используется в различных областях, например, для открытия особо охраняемых хранилищ требуется два независимых человека с двумя ключами, а многосторонние схемы проверки применяются в производстве, пищевой промышленности, медицине и финансах. Метод также используется в крупных технологических компаниях для защиты от наиболее продвинутых киберугроз.
Двойной контроль следует применять ко всем системам, вовлеченным в разработку, обучение, размещение и эксплуатацию передовых моделей ИИ. Такое средство контроля могут использовать даже небольшие ИИ-лаборатории, не обладающие крупными ресурсами.
Лучшие практики по разработке ПО
Передовые модели ИИ создаются и размещаются почти точно так же, как и ПО. Поэтому в Anthropic предлагают распространять лучшие практики по разработке ПО на всю инфраструктуру передовых моделей ИИ. Золотым стандартом таких практик являются:
– NIST Secure Software Development Framework – концепция, представляющая собой набор фундаментальных, надежных и безопасных методов разработки ПО;
– Supply Chain Levels for Software Artifacts – система безопасности, перечень стандартов и средств контроля, позволяющих предотвратить несанкционированное вмешательство, повысить надежность, защитить компоненты и инфраструктуру.
Правильное применение этих практик позволит связать созданную модель с компаниями, участвовавшими в ее разработке на всех этапах ее жизненного цикла. Тем самым это поможет проследить подлинность и безопасность всей модели ИИ.
Сотрудничество государства с частным сектором
Исследовательские лаборатории в сфере ИИ должны сотрудничать с государством так, как это делают компании, занятые в критически важных сферах (в частности, в области финансов). Как вариант, ИИ сфера может быть выделена в качестве специального направления внутри ИТ сектора. Такое выделение нужно для обмена информацией между исследовательскими центрами и государственными структурами, что поможет всем ИИ-лабораториям лучше защищаться от злоумышленников, обладающих большими ресурсами.
Anthropic
Frontier Model Security
Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.
👍4
Предложения о поддержке open source решений в проекте Регламента ЕС об ИИ
Группа организаций (коммерческих и некоммерческих), связанных с распространением опен сорс решений (Creative Commons, EleutherAI, GitHub, Hugging Face, LAION, Open Future) опубликовали письмо c рекомендациями, которые, по их мнению, следует учесть европейским законодателям в ходе стадии трилога:
Во-первых, необходимо дать четкое определение компонентам ИИ (AI components). Последняя версия текста проекта Регламента (версия Европарламента) содержит такой термин относительно опен сорс решений (статьи 5e и 12a-с) однако не дает его исчерпывающей дефиниции. Таким образом, для ясности законодателям предлагается данный термин определить.
Во-вторых, следует дополнительно уточнить, что совместная разработка компонентов ИИ с открытым исходным кодом и их размещение в открытых репозиториях не подпадает под требования проекта Регламента. Данное положение уже содержится в последнем тексте проекта Регламента (статьи 5e и 12a-с), авторами письма предлагается дополнительно уточнить формулировки, чтобы деятельность по совместной разработке ПО не подпадала под регулирование.
В-третьих, авторы поддерживают необходимость создания Офиса ИИ (AI Office), положения о котором появились в последнем тексте проекта Регламента.
В-четвертых, предлагается упростить возможности по тестированию систем ИИ для научных целей в реальных условиях Текущий текст предоставляет возможность тестирования только в рамках регуляторных песочниц.
В-пятых, авторы отмечают, что статья 28b проекта Регламента устанавливает достаточно обременительные требования для поставщиков базовых моделей. Авторы предлагают дифференцировать эти требования в зависимости от различных сценариев использования, способов разработки, положения на рынке базовых моделей. По их мнению, это будет способствовать помощи небольшим командам и стартапам. Также предлагается наделить Офис ИИ полномочиями по пересмотру этих требований в зависимости от реалий технологического развития.
Полную версию письма можно почитать тут.
Группа организаций (коммерческих и некоммерческих), связанных с распространением опен сорс решений (Creative Commons, EleutherAI, GitHub, Hugging Face, LAION, Open Future) опубликовали письмо c рекомендациями, которые, по их мнению, следует учесть европейским законодателям в ходе стадии трилога:
Во-первых, необходимо дать четкое определение компонентам ИИ (AI components). Последняя версия текста проекта Регламента (версия Европарламента) содержит такой термин относительно опен сорс решений (статьи 5e и 12a-с) однако не дает его исчерпывающей дефиниции. Таким образом, для ясности законодателям предлагается данный термин определить.
Во-вторых, следует дополнительно уточнить, что совместная разработка компонентов ИИ с открытым исходным кодом и их размещение в открытых репозиториях не подпадает под требования проекта Регламента. Данное положение уже содержится в последнем тексте проекта Регламента (статьи 5e и 12a-с), авторами письма предлагается дополнительно уточнить формулировки, чтобы деятельность по совместной разработке ПО не подпадала под регулирование.
В-третьих, авторы поддерживают необходимость создания Офиса ИИ (AI Office), положения о котором появились в последнем тексте проекта Регламента.
В-четвертых, предлагается упростить возможности по тестированию систем ИИ для научных целей в реальных условиях Текущий текст предоставляет возможность тестирования только в рамках регуляторных песочниц.
В-пятых, авторы отмечают, что статья 28b проекта Регламента устанавливает достаточно обременительные требования для поставщиков базовых моделей. Авторы предлагают дифференцировать эти требования в зависимости от различных сценариев использования, способов разработки, положения на рынке базовых моделей. По их мнению, это будет способствовать помощи небольшим командам и стартапам. Также предлагается наделить Офис ИИ полномочиями по пересмотру этих требований в зависимости от реалий технологического развития.
Полную версию письма можно почитать тут.
huggingface.co
AI Policy @🤗: Open ML Considerations in the EU AI Act
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🔥1
Спасаемся от скайнет
Друзья, в выходные делимся с вами крайне интересной лекцией одного из отцов современного ИИ Стюарта Рассела "Как не уничтожить мир с помощью искусственного интеллекта".
В лекции рассматривается широкий круг вопросов относительного того, каким образом создать ИИ, который будет служить на благо человечества.
Для перевода на русский можно использовать нейронки. Например, известное решение от Яндекса.
Друзья, в выходные делимся с вами крайне интересной лекцией одного из отцов современного ИИ Стюарта Рассела "Как не уничтожить мир с помощью искусственного интеллекта".
В лекции рассматривается широкий круг вопросов относительного того, каким образом создать ИИ, который будет служить на благо человечества.
Для перевода на русский можно использовать нейронки. Например, известное решение от Яндекса.
YouTube
How Not To Destroy the World With AI - Stuart Russell
Stuart Russell, Professor of Computer Science, UC Berkeley
About Talk:
It is reasonable to expect that artificial intelligence (AI) capabilities will eventually exceed those of humans across a range of real-world decision-making scenarios. Should this be…
About Talk:
It is reasonable to expect that artificial intelligence (AI) capabilities will eventually exceed those of humans across a range of real-world decision-making scenarios. Should this be…
❤2
Взлом больших языковых моделей
Продолжаем нагонять жути😱 . На днях вышел препринт интересной статьи о новых методиках взлома популярных больших языковых моделей (ChatGPT, Claude, Bard, LLaMA-2-Chat, Pythia, Falcon и т.д.).
В процессе разработки этих моделей обученные базовые модели, лежащие в их основе, подвергаются тонкой настройке при помощи дополнительного набора данных (fine tuning) и ценностному выравниванию (alignment) (прим.: чтобы выходной результат соответствовал ценностям и задачам человека) для того, чтобы в процессе использования они не выдавали вредную или оскорбительную информацию.
Ценностное выравнивание, как правило, осуществляется с помощью дообучения на основе человеческих отзывов (RLHF) и конституционных принципов. В первом случае буквально сидят люди и руками помечают некорректные ответы. Этот способ использовался при создании ChatGPT и ряда других опен сорс решений. Во втором случае формулируется некий список общечеловеческих ценностей, на соответствие которым проверяются ответы. Данный способ разработан и используется компанией Anthropic (мы уже писали об этом тут).
С самого начала публичных релизов языковых моделей энтузиасты и ученые массово проверяют их на наличие разного рода уязвимостей. Одной из таких уязвимостей является возможность взлома через запрос (промт). В интернете можно найти массу скриншотов, на которых люди через правильно составленный промт “уговаривали” модели выдавать вредный результат (например, инструкцию по производству оружия). Так вот, большинство проблем с текстовыми взломами были решены через рассмотренные выше техники.
Вместе с тем исследователи в цитируемой статье придумали способ взлома через промт путем добавления в него определенного ряда символов. При понимании закономерностей работы модели генерацию этих символов можно полностью автоматизировать. Также авторы статьи первоначально предполагали использовать данный метод только на опен сорс моделях, о которых известна вся информация об исходном коде и инфраструктуре. Тем не менее оказалось, что и частные модели (например, ChatGPT, Claude, Bard) также являются неустойчивыми к такого рода взломам.
Примеры диалогов можно посмотреть на прикрепленных к посту скриншотах. В данном случае авторы просили подготовить пошаговый туториал по уничтожению человечества.
Таким образом, существующие продукты, созданные на основе базовых моделей, все еще далеки от полной безопасности и защищенности.
Следовательно, нужно очень аккуратно подходить к вопросу об их использовании в деятельности своих компаний. Также следует максимально стараться следовать требованиям законодательства и всячески митигировать возможные риски.
Продолжаем нагонять жути
В процессе разработки этих моделей обученные базовые модели, лежащие в их основе, подвергаются тонкой настройке при помощи дополнительного набора данных (fine tuning) и ценностному выравниванию (alignment) (прим.: чтобы выходной результат соответствовал ценностям и задачам человека) для того, чтобы в процессе использования они не выдавали вредную или оскорбительную информацию.
Ценностное выравнивание, как правило, осуществляется с помощью дообучения на основе человеческих отзывов (RLHF) и конституционных принципов. В первом случае буквально сидят люди и руками помечают некорректные ответы. Этот способ использовался при создании ChatGPT и ряда других опен сорс решений. Во втором случае формулируется некий список общечеловеческих ценностей, на соответствие которым проверяются ответы. Данный способ разработан и используется компанией Anthropic (мы уже писали об этом тут).
С самого начала публичных релизов языковых моделей энтузиасты и ученые массово проверяют их на наличие разного рода уязвимостей. Одной из таких уязвимостей является возможность взлома через запрос (промт). В интернете можно найти массу скриншотов, на которых люди через правильно составленный промт “уговаривали” модели выдавать вредный результат (например, инструкцию по производству оружия). Так вот, большинство проблем с текстовыми взломами были решены через рассмотренные выше техники.
Вместе с тем исследователи в цитируемой статье придумали способ взлома через промт путем добавления в него определенного ряда символов. При понимании закономерностей работы модели генерацию этих символов можно полностью автоматизировать. Также авторы статьи первоначально предполагали использовать данный метод только на опен сорс моделях, о которых известна вся информация об исходном коде и инфраструктуре. Тем не менее оказалось, что и частные модели (например, ChatGPT, Claude, Bard) также являются неустойчивыми к такого рода взломам.
Примеры диалогов можно посмотреть на прикрепленных к посту скриншотах. В данном случае авторы просили подготовить пошаговый туториал по уничтожению человечества.
Таким образом, существующие продукты, созданные на основе базовых моделей, все еще далеки от полной безопасности и защищенности.
Следовательно, нужно очень аккуратно подходить к вопросу об их использовании в деятельности своих компаний. Также следует максимально стараться следовать требованиям законодательства и всячески митигировать возможные риски.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8
Ирландия начала готовиться к вступлению в силу Регламента ЕС об ИИ
Национальный орган по стандартизации Ирландии (National Standards Authority of Ireland, NSAI) представил дорожную карту (AI Standards & Assurance Roadmap Actions) по реализации политики в сфере ИИ. Ключевым фактором, из-за которого принята дорожная карта, является то, что государство таким способом готовится к последствиям принятия Регламента ЕС об ИИ (Регламент). В Ирландии расположены штаб-квартиры многих крупных технологических компаний, работающих в ИИ-индустрии. Поэтому Ирландия очень заинтересована в том, чтобы у бизнеса, находящегося под их юрисдикцией, были максимально комфортные правовые и организационные условия для работы.
Сейчас на уровне ЕС активно разрабатываются унифицированные стандарты для систем ИИ. Европейская комиссия в мае этого года утвердила финальную версию запроса в адрес европейских организаций по стандартизации с тем, чтобы они разработали ряд стандартов. В запросе содержится десять тематик, по которым требуются стандарты (риск-менеджмент, управление датасетами, прозрачность и информированность пользователей и т.п.).
Из дорожной карты следует, что Ирландия намерена полноценно участвовать в разработке международных и европейских стандартов с тем, чтобы обеспечить свои интересы. В частности, на национальном уровне в NSAI существует комитет, занимающийся вопросами ИИ (NSAI/TC2/SC18). В состав этого комитета входят ирландские эксперты, обладающие широким спектром знаний в области ИИ. Он является зеркальным комитетом по отношению к комитетам по ИИ: а) Международной организации по стандартизации (ISO/IEC JTC 1/SC 42); и б) европейских организаций по стандартизации (CEN-CENELEC 21 "Искусственный интеллект”). Через этот комитет Ирландия активно участвует в работе. Несколько его членов играют ведущую роль в разработке стандартов на международном и европейском уровнях, являясь председателями комитетов, организаторами рабочих групп и руководителями проектов.
Такой интерес Ирландии к стандартам закономерен, поскольку Регламент предусматривает, что системы ИИ, соответствующие унифицированным стандартам, будут расцениваться как уже удовлетворяющие значимым требованиям европейского акта. В частности, Регламент потребует прохождения процедуры оценки соответствия (по общему правилу) организациями, разрабатывающими и внедряющими высокорисковые системы ИИ. Таким образом, Ирландия всячески будет стремиться к тому, чтобы их отечественные компании соблюдали унифицированные стандарты, касающиеся сферы ИИ. Это позволит поставщикам и эксплуатантам систем ИИ пользоваться в том числе упрощенными процедурами оценки соответствия.
Среди конкретных мер, которые Ирландия планирует принять в соответствие с дорожной картой, мы бы хотели обратить внимание на следующие:
– заблаговременное назначение национального регулирующего органа, который будет выполнять функции компетентного органа в сфере ИИ;
– своевременное принятие руководств для индустрии, разъясняющих систему регулирования применения систем ИИ, в том числе юридические особенности прохождения процедуры оценки соответствия;
– развитие национальной экосистемы создания надежных систем ИИ для укрепления репутации Ирландии на международном уровне;
– для тех случаев, когда высокорисковые системы ИИ являются компонентами других продуктов, которые подлежат прохождению процедуры оценки соответствия в силу других актов, важно, чтобы отраслевые национальные органы и нотификационные органы работали сообща для того, чтобы интегрировать в свои проверочные мероприятия процедуры оценки соответствия систем ИИ (чтобы организациям не приходилось проводить процедуру оценки соответствия два раза).
Еще одним любопытным обстоятельством является то, что согласно дорожной карте NSAI планирует получить статус нотификационного органа в значении Регламента. NSAI уже является нотифицированным органом по медицинским изделиям, метрологии и строительству. Поэтому авторы этой идеи посчитали, что именно эта организация лучше всего подойдет для выполнения функций по нотификации.
Национальный орган по стандартизации Ирландии (National Standards Authority of Ireland, NSAI) представил дорожную карту (AI Standards & Assurance Roadmap Actions) по реализации политики в сфере ИИ. Ключевым фактором, из-за которого принята дорожная карта, является то, что государство таким способом готовится к последствиям принятия Регламента ЕС об ИИ (Регламент). В Ирландии расположены штаб-квартиры многих крупных технологических компаний, работающих в ИИ-индустрии. Поэтому Ирландия очень заинтересована в том, чтобы у бизнеса, находящегося под их юрисдикцией, были максимально комфортные правовые и организационные условия для работы.
Сейчас на уровне ЕС активно разрабатываются унифицированные стандарты для систем ИИ. Европейская комиссия в мае этого года утвердила финальную версию запроса в адрес европейских организаций по стандартизации с тем, чтобы они разработали ряд стандартов. В запросе содержится десять тематик, по которым требуются стандарты (риск-менеджмент, управление датасетами, прозрачность и информированность пользователей и т.п.).
Из дорожной карты следует, что Ирландия намерена полноценно участвовать в разработке международных и европейских стандартов с тем, чтобы обеспечить свои интересы. В частности, на национальном уровне в NSAI существует комитет, занимающийся вопросами ИИ (NSAI/TC2/SC18). В состав этого комитета входят ирландские эксперты, обладающие широким спектром знаний в области ИИ. Он является зеркальным комитетом по отношению к комитетам по ИИ: а) Международной организации по стандартизации (ISO/IEC JTC 1/SC 42); и б) европейских организаций по стандартизации (CEN-CENELEC 21 "Искусственный интеллект”). Через этот комитет Ирландия активно участвует в работе. Несколько его членов играют ведущую роль в разработке стандартов на международном и европейском уровнях, являясь председателями комитетов, организаторами рабочих групп и руководителями проектов.
Такой интерес Ирландии к стандартам закономерен, поскольку Регламент предусматривает, что системы ИИ, соответствующие унифицированным стандартам, будут расцениваться как уже удовлетворяющие значимым требованиям европейского акта. В частности, Регламент потребует прохождения процедуры оценки соответствия (по общему правилу) организациями, разрабатывающими и внедряющими высокорисковые системы ИИ. Таким образом, Ирландия всячески будет стремиться к тому, чтобы их отечественные компании соблюдали унифицированные стандарты, касающиеся сферы ИИ. Это позволит поставщикам и эксплуатантам систем ИИ пользоваться в том числе упрощенными процедурами оценки соответствия.
Среди конкретных мер, которые Ирландия планирует принять в соответствие с дорожной картой, мы бы хотели обратить внимание на следующие:
– заблаговременное назначение национального регулирующего органа, который будет выполнять функции компетентного органа в сфере ИИ;
– своевременное принятие руководств для индустрии, разъясняющих систему регулирования применения систем ИИ, в том числе юридические особенности прохождения процедуры оценки соответствия;
– развитие национальной экосистемы создания надежных систем ИИ для укрепления репутации Ирландии на международном уровне;
– для тех случаев, когда высокорисковые системы ИИ являются компонентами других продуктов, которые подлежат прохождению процедуры оценки соответствия в силу других актов, важно, чтобы отраслевые национальные органы и нотификационные органы работали сообща для того, чтобы интегрировать в свои проверочные мероприятия процедуры оценки соответствия систем ИИ (чтобы организациям не приходилось проводить процедуру оценки соответствия два раза).
Еще одним любопытным обстоятельством является то, что согласно дорожной карте NSAI планирует получить статус нотификационного органа в значении Регламента. NSAI уже является нотифицированным органом по медицинским изделиям, метрологии и строительству. Поэтому авторы этой идеи посчитали, что именно эта организация лучше всего подойдет для выполнения функций по нотификации.
❤2🔥2
В России принят федеральный закон, регулирующий применение рекомендательных алгоритмов
С 1 октября 2023 года в России вступит в силу федеральный закон, который потребует от интернет-ресурсов информировать своих пользователей о применении рекомендательных алгоритмов. Информирование должно осуществляться владельцами через размещение на самом ресурсе документа с описанием того, как работает алгоритм. В частности, необходимо будет указывать виды сведений о предпочтениях пользователей, на основе которых работают рекомендации, а также источники их получения. При нарушении владельцем интернет-ресурса требований закона, Роскомнадзор будет блокировать доступ к соответствующим ресурсам.
Подробный обзор положений закона можете почитать здесь.
С 1 октября 2023 года в России вступит в силу федеральный закон, который потребует от интернет-ресурсов информировать своих пользователей о применении рекомендательных алгоритмов. Информирование должно осуществляться владельцами через размещение на самом ресурсе документа с описанием того, как работает алгоритм. В частности, необходимо будет указывать виды сведений о предпочтениях пользователей, на основе которых работают рекомендации, а также источники их получения. При нарушении владельцем интернет-ресурса требований закона, Роскомнадзор будет блокировать доступ к соответствующим ресурсам.
Подробный обзор положений закона можете почитать здесь.
Telegram
howtocomply_AI
Как в России планируют регулировать применение рекомендательных алгоритмов
О необходимости регулирования рекомендательных алгоритмов в РФ в парламенте говорили еще давно. Однако до конкретных шагов дело никак не доходило. Месяц назад в Госдуму внесли проект…
О необходимости регулирования рекомендательных алгоритмов в РФ в парламенте говорили еще давно. Однако до конкретных шагов дело никак не доходило. Месяц назад в Госдуму внесли проект…
❤4👍2
В Сенате США обсудили проблемы авторских прав в контексте генеративного ИИ
Часть 1.
В Подкомитете по неприкосновенности частной жизни, технологиям и законодательству при Комитете по судебной власти Сената США состоялись слушания на тему Искусственный интеллект и интеллектуальная собственность - часть II: авторское право.
Напомним, что разбор первой части про патенты, инновации и конкуренцию мы опубликовали тут.
На мероприятие были приглашены несколько представителей креативной индустрии, ИИ-компаний и науки. Заседание получилось насыщенным, остановимся на наиболее острых вопросах:
Бен Брукс (руководитель отдела по государственной политике, Stability AI) пытался заверить публику, что их системы ИИ призваны быть помощниками, не заменой креативного класса.
Также он отметил ряд шагов, которые позволят лучше защитить права авторов:
Передовые методы обучения. Поскольку Stable Diffusion предварительно обучается на контенте из открытых наборов данных, это позволяет авторам определить, появятся ли в этих датасетах их работы. Stability AI проактивно запрашивает у авторов запросы на отказ от участия в обучении и будет учитывать эти запросы при обучении новых моделей Stable Diffusion (сейчас их уже более 160 миллионов). Компания соблюдает существующие цифровые протоколы (например, robot.txt), которые показывают, согласен ли сайт на автоматизированный сбор данных с него. Также он указал, что Stability AI занимается разработкой машиночитаемых отказов, которые бы вшивались в метаданные контента.
Идентификация контента. Компания внедряет различные идентификаторы подлинности контента и скрытые водяные знаки, которые призваны в дальнейшим помогать выявлять сгенерированные данные держателям цифровых платформ.
Качество датасетов. Stability AI активно занимается улучшением качества и репрезентативности своих датасетов, чтобы избежать проблем нарушения прав авторов из-за ошибок работы моделей (например, переобучения).
Меры по предотвращению ненадлежащего использования продуктов. Компания использует лицензию Open Responsible AI License (для Stable Diffusion), что позволяет запретить ряд вредных сценариев использования. Также встраиваются фильтры для данных и промтов, а также имеется карточка продукта, описывающая его особенности и ограничения использования (разместим ее под постом).
Дана Рао (исполнительный вице-президент, главный советник и директор по обеспечения доверия, Adobe Inc.) остановился на особенностях нового продукта компании Adobe Firefly, который был полностью обучен на юридически чистых данных (своем датасете Adobe Stock, а также на работах с открытой лицензией и контенте, находящемся в общественном достоянии, авторские права на который истекли). Также у компании имеется целая команда модераторов, которые проверяют новые данные на риски нарушения авторских прав перед добавлением их в датасеты.
Спикер также остановился на технологии Content Credentials, которую внедряет целый ряд компаний, входящих в Инициативу по аутентичности контента. Технология позволяет добавлять в метаданные пометку “Do Not Train”, что должно позволить не включать в дальнейшем эти данные в датасеты, ставить цифровую метку об авторстве произведения, а также разделять сгенерированный контент и авторский (в целях защиты созданных человеком элементов авторским правом). Прим.: это как раз соответствует сформулированной в позиции Ведомства по патентам и товарным знакам США в мартовском разъяснении и по запросу Кристины Каштановой.
Что касается законодательных изменений, то спикер высказал необходимость разработки нормативных механизмов по защите от копирования авторского стиля. Adobe также работает над соответствующим продуктом, чтобы обеспечить генерацию контента в стиле конкретного автора с возможностью отчисления за это вознаграждения со стороны пользователя.
Мэтью Саг (профессор права, Университет Эмори) указал, что действующее американское законодательство не нуждается в серьезных изменениях в данный момент времени. В частности, по его мнению:
во-первых, системы ИИ не могут быть признаны авторами произведений;
Часть 1.
В Подкомитете по неприкосновенности частной жизни, технологиям и законодательству при Комитете по судебной власти Сената США состоялись слушания на тему Искусственный интеллект и интеллектуальная собственность - часть II: авторское право.
Напомним, что разбор первой части про патенты, инновации и конкуренцию мы опубликовали тут.
На мероприятие были приглашены несколько представителей креативной индустрии, ИИ-компаний и науки. Заседание получилось насыщенным, остановимся на наиболее острых вопросах:
Бен Брукс (руководитель отдела по государственной политике, Stability AI) пытался заверить публику, что их системы ИИ призваны быть помощниками, не заменой креативного класса.
Также он отметил ряд шагов, которые позволят лучше защитить права авторов:
Передовые методы обучения. Поскольку Stable Diffusion предварительно обучается на контенте из открытых наборов данных, это позволяет авторам определить, появятся ли в этих датасетах их работы. Stability AI проактивно запрашивает у авторов запросы на отказ от участия в обучении и будет учитывать эти запросы при обучении новых моделей Stable Diffusion (сейчас их уже более 160 миллионов). Компания соблюдает существующие цифровые протоколы (например, robot.txt), которые показывают, согласен ли сайт на автоматизированный сбор данных с него. Также он указал, что Stability AI занимается разработкой машиночитаемых отказов, которые бы вшивались в метаданные контента.
Идентификация контента. Компания внедряет различные идентификаторы подлинности контента и скрытые водяные знаки, которые призваны в дальнейшим помогать выявлять сгенерированные данные держателям цифровых платформ.
Качество датасетов. Stability AI активно занимается улучшением качества и репрезентативности своих датасетов, чтобы избежать проблем нарушения прав авторов из-за ошибок работы моделей (например, переобучения).
Меры по предотвращению ненадлежащего использования продуктов. Компания использует лицензию Open Responsible AI License (для Stable Diffusion), что позволяет запретить ряд вредных сценариев использования. Также встраиваются фильтры для данных и промтов, а также имеется карточка продукта, описывающая его особенности и ограничения использования (разместим ее под постом).
Дана Рао (исполнительный вице-президент, главный советник и директор по обеспечения доверия, Adobe Inc.) остановился на особенностях нового продукта компании Adobe Firefly, который был полностью обучен на юридически чистых данных (своем датасете Adobe Stock, а также на работах с открытой лицензией и контенте, находящемся в общественном достоянии, авторские права на который истекли). Также у компании имеется целая команда модераторов, которые проверяют новые данные на риски нарушения авторских прав перед добавлением их в датасеты.
Спикер также остановился на технологии Content Credentials, которую внедряет целый ряд компаний, входящих в Инициативу по аутентичности контента. Технология позволяет добавлять в метаданные пометку “Do Not Train”, что должно позволить не включать в дальнейшем эти данные в датасеты, ставить цифровую метку об авторстве произведения, а также разделять сгенерированный контент и авторский (в целях защиты созданных человеком элементов авторским правом). Прим.: это как раз соответствует сформулированной в позиции Ведомства по патентам и товарным знакам США в мартовском разъяснении и по запросу Кристины Каштановой.
Что касается законодательных изменений, то спикер высказал необходимость разработки нормативных механизмов по защите от копирования авторского стиля. Adobe также работает над соответствующим продуктом, чтобы обеспечить генерацию контента в стиле конкретного автора с возможностью отчисления за это вознаграждения со стороны пользователя.
Мэтью Саг (профессор права, Университет Эмори) указал, что действующее американское законодательство не нуждается в серьезных изменениях в данный момент времени. В частности, по его мнению:
во-первых, системы ИИ не могут быть признаны авторами произведений;
👍3
Часть 2.
во-вторых, обучение моделей на произведениях, защищенных авторским правом, обычно является добросовестным использованием, так как технически не нацелено на копирование существующих работ, если модель функционирует должным образом;
в-третьих, спикер высказал предположения о возможных судебных решениях по использованию данных для тренировки моделей для коммерческого использования из теневых библиотек (прим.: один иск уже подан против OpenAI, мы разбирали тут), а также при игнорировании при сборе данных сертификатов о запрете их использования для обучения моделей.
Карла Ортис (концепт-художник, иллюстратор и художник (делала контент, например, для последних Стражей Галактики, Доктора Стрэнджа и сериала Локи)) ожидаемо высказалась за поддержку сообщества авторов. В частности, по ее мнению, необходимо установить обязательный механизм отзыва согласия на использование контента для обучения моделей, а также ввести штрафы за обучение без согласия автора.
Также в ходе обсуждения был затронут интересный вопрос “машинного разобучения” (Machine unlearning), которое бы позволяло извлекать данные не только из датасетов, но и из обученных моделей без необходимости их обучать заново. Сейчас данный вопрос как раз находится в центре внимания исследователей.
Джеффри Харлстон (главный советник и исполнительный вице-президент по коммерческим и юридическим вопросам Universal Music Group) как представитель индустрии выступил за следующие законодательные новеллы:
во-первых, необходимость защиты артистов от дипфейков;
во-вторых, прозрачный допуск держателей контента к датасетам;
в-третьих, маркировку сгенерированного контента.
во-вторых, обучение моделей на произведениях, защищенных авторским правом, обычно является добросовестным использованием, так как технически не нацелено на копирование существующих работ, если модель функционирует должным образом;
в-третьих, спикер высказал предположения о возможных судебных решениях по использованию данных для тренировки моделей для коммерческого использования из теневых библиотек (прим.: один иск уже подан против OpenAI, мы разбирали тут), а также при игнорировании при сборе данных сертификатов о запрете их использования для обучения моделей.
Карла Ортис (концепт-художник, иллюстратор и художник (делала контент, например, для последних Стражей Галактики, Доктора Стрэнджа и сериала Локи)) ожидаемо высказалась за поддержку сообщества авторов. В частности, по ее мнению, необходимо установить обязательный механизм отзыва согласия на использование контента для обучения моделей, а также ввести штрафы за обучение без согласия автора.
Также в ходе обсуждения был затронут интересный вопрос “машинного разобучения” (Machine unlearning), которое бы позволяло извлекать данные не только из датасетов, но и из обученных моделей без необходимости их обучать заново. Сейчас данный вопрос как раз находится в центре внимания исследователей.
Джеффри Харлстон (главный советник и исполнительный вице-президент по коммерческим и юридическим вопросам Universal Music Group) как представитель индустрии выступил за следующие законодательные новеллы:
во-первых, необходимость защиты артистов от дипфейков;
во-вторых, прозрачный допуск держателей контента к датасетам;
в-третьих, маркировку сгенерированного контента.
🔥5