Как обеспечить безопасность при разработке ИИ-систем

Кроме этого CNIL опубликовал рекомендации по обеспечению безопасности ИИ-систем, особенно при обработке персональных данных и перечислил соответствующие меры, которые можно применять при обучении данных, разработке и эксплуатации систем, а также сквозные меры.

👀 Ключевые выводы:

1️⃣ Меры безопасности должны соответствовать современному уровню технологий, контексту обработки и влиянию на права и свободы субъектов данных.

2️⃣ Защита инфраструктуры, контроль доступа, резервное копирование и физическая безопасность остаются фундаментальными элементами.

3️⃣ Практики безопасной разработки, управление уязвимостями и процессы обновления должны быть встроены на всех этапах жизненного цикла ИИ.

4️⃣ Большие обучающие наборы данных, поведение модели и процессы дообучения создают новые факторы риска, которые необходимо оценивать отдельно.

5️⃣Цели безопасности: конфиденциальность, целостность и устойчивость ИИ-систем.

6️⃣ Оставшийся риск должен быть приемлемым. Рекомендованные меры помогают снизить риски, связанные с ИИ, до уровня, соответствующего ожиданиям GDPR.

#LawAndDisorder
————
@pattern_ai

Разрабатываете agentic AI или только думаете о внедрении?

Смотрим аналитический отчёт о развитии agentic AI и советы от британского ICO в рамках инициативы ICO Tech Futures ( естественно про персональные данные пользователей...)

Agentic AI - автономные системы ИИ, способные самостоятельно принимать решения, планировать действия, взаимодействовать с окружающей средой и выполнять цепочки операций без постоянного вмешательства человека.

По оценке ICO, именно такие системы могут существенно изменить повседневную жизнь и бизнес-процессы уже в ближайшие пять лет ( от персональных ассистентов до автономных корпоративных агентов).

Ключевые регуляторные риски:

1️⃣ Нарушение принципа минимизации данных. Автономные ИИ-системы по своей архитектуре ориентированы на расширение контекста, что создаёт системный риск обработки персональных данных, не ограниченной необходимостью для конкретной цели обработки.
2️⃣ Неопределённость ролей контролёра и процессора. В агентных экосистемах (базовая модель, оркестратор, инструменты, плагины, внешние API) затрудняется установление, кто является контролёром персональных данных, кто действует как процессор, где возникает совместное контролирование.
3️⃣Повышенные риски информационной безопасности (несанкционированный доступ, утечки персональных данных, нарушения принципа целостности и конфиденциальности).

👀 Позиция регулятора:

Privacy by design и privacy by default должны быть встроены на уровне архитектуры автономного ИИ, а не добавляться постфактум

Автономность системы не освобождает от обязанностей:
▪️определить законное основание обработки;
▪️ограничить цели и объём данных;
▪️обеспечить подотчётность.

Даются четкие рамки при проектировании:
▪️соответствующие GDPR- агентные системы;
▪️ агентные механизмы контроля и управления доступами;
▪️автоматизированные инструменты управления приватностью и аудита.

Для разработчиков и компаний ICO предлагает практические механизмы взаимодействия:

🔹Regulatory Sandbox - программа для проектов любого масштаба, использующих персональные данные или новые технологии нестандартным образом. Участники получают практическую регуляторную поддержку на этапе разработки.
🔹 Innovation Advice - консультации по вопросам соответствия требованиям защиты данных на ранних стадиях продукта. И полезная часть, что можно посмотреть ответы на вопросы здесь.
🔹 ICO Innovation Hub - единая точка входа для компаний, работающих с ИИ, данными и новыми цифровыми решениями.

#LawAndDisorder #AIShelf
————
@pattern_ai

ИИ для встреч (записи, саммари, заметки и черновики документов), а что с GDPR?

Хотите внедрить у себя AI-инструменты для:
▪️записи онлайн-встреч;
▪️ автоматического саммари;
▪️ ведения протоколов;
▪️ подготовки черновиков документов.

И кажется, что «мы же не используем ИИ для новых целей, не принимаем решений о людях и не передаём данные провайдеру для обучения модели», что может пойти не так?

Давайте разберёмся:

1️⃣Цели обработки и правовое основание
Если AI-инструмент не используется для новых целей и не создаёт новых видов обработки, организация может продолжать опираться на уже определённые правовые основания.

Если встречи и так записывались, то правовое основание уже есть (обычно legitimate interests или contract).
Если протоколы и так велись вручную, то ИИ лишь средство, а не новая цель.
Если обрабатываются специальные категории данные (например, здоровье, участие в профсоюзах), то новое основание не требуется, если цель та же.

⚠️А теперь "НО" на примерах:

Автоматическое саммари = переработка и интерпретация информации, т.к. ИИ решает, что «важно», а что нет, переформулирует высказывания, сжимает контекст и создаёт выводы.

Само по себе это ещё не новая обработка. Решающим становится дальнейшее использование выводов:
▪️Если саммари используется как вспомогательная заметка, хранится рядом с оригинальной записью, проверяется человеком, то цель обработки остаётся прежней.
▪️Если саммари используется HR для оценки сотрудников, включается в комплаенс-расследования, применяется для контроля эффективности или управленческих выводов, то меняется цель использования данных, а значит появляется новая обработка, даже если исходные данные те же.

Черновики документов. Используем ту же логику.
Если AI превращает обсуждение на встрече в проект мемо, полиси или письмо, структурирует данные под формальный документ, то информация переходит из контекста внутреннего общения в контекст потенциально "юридически или операционно" значимого текста. Меняется функция данных, может расшириться круг получателей, возрастает риск последствий для субъекта данных. С точки зрения закона это уже изменение контекста обработки, а не просто иной формат.

2️⃣ Если возникает «новая обработка» или новые цели, то каждую из них нужно отдельно описать, обосновать и легализовать ( новое правовое основание, возможно DPIA, обязателен пересмотр уведомлений субъектов данных).

3️⃣ Прозрачность и Privacy Notice

Даже если цели не меняются, то использование AI должно быть прямо отражено в Privacy Notice:
▪️факт использования AI-инструмента и какого;
▪️для каких задач (запись, саммари, черновики);
▪️кто получает доступ к результатам;
▪️используется ли ревью человеком.

Если данные планируется использовать по-новому ,то уведомление должно быть до начала обработки, а не постфактум.

4️⃣Точность данных и риск «галлюцинаций»

Организации обязаны проверять корректность ИИ-выходов и исправлять ошибки.

Последствия:
▪️ИИ-саммари не может считаться “истиной по умолчанию”;
▪️Ответственность за ошибки лежит на контролере, а не на модели;

5️⃣ Автоматизированные решения и профилирование

Регуляторы смотрят на фактический эффект, а не формулировки в политике.
Если ИИ-саммари влияет на оценку поведения, становится основанием для управленческих действий, то возможны ограничения (ст. 22 GDPR и т.д).

6️⃣ Передача данных провайдеру

Если данные не используются провайдером для обучения, нет вторичного использования, то это снижает риски, но не отменяет квалификацию отношений (processor / joint controller), DPA и инструкции по обработке, трансграничные трансферы (SCC и т.д.).

Если же данные передаются для обучения или улучшения модели, то:
▪️требуется отдельное правовое основание;
▪️для специальных категорий данных отдельные условия.


❕Использование ИИ - это не просто новых корпоративный инструмент. Риски появляются там, где незаметно расширяется контекст использования данных.

#LawAndDisorder #UXWatch
————
@pattern_ai

ИИ-транскрипция голоса и персональные данные (позиция Испанского регулятора (AEPD))

Использование ИИ для расшифровки речи - это обработка персональных данных, поскольку голос может прямо или косвенно идентифицировать человека (блог AEPD).

ИИ-транскрипция голоса - это фиксация информации.
ИИ для встреч - это инструменты для интерпретации и переработки информации.

Даже если вы используете транскрипцию исключительно для протоколов или заметок, голосовые данные нередко сопровождаются метаданными (номер телефона, IP-адрес, данные об устройстве), которые также являются персональными данными и должны учитываться при оценке рисков.

👀 AEPD подчёркивает, что необходимо чётко различать:
▪️Транскрипцию голоса с помощью ИИ (например, для подготовки протоколов встреч);
▪️Использование голосовых данных для обучения или донастройки модели, если провайдер применяет их для собственных целей.

Это две разные обработки данных, каждая из которых требует отдельной цели, собственного правового основания, прозрачного информирования субъектов данных.

Контролер при выборе провайдера обязан понимать:
▪️какие именно данные обрабатываются;
▪️используются ли они для обучения модели;
▪️сроки хранения;
▪️какие меры безопасности применяются.

Отдельное внимание AEPD рекомендует уделять функциям, которые могут выходить за рамки простой транскрипции, например, анализ эмоций, состояния здоровья или других чувствительных характеристик. Такие операции могут подпадать под усиленные ограничения или запреты по праву ЕС, включая AI Act.

Выбор правового основания зависит от контекста:
▪️ исполнение договора,
▪️легитимный интерес
▪️согласие.

До начала обработки необходимо уведомить людей о:
▪️ целях транскрипции;
▪️роли ИИ-провайдера;
▪️ возможном дополнительном использовании данных;
▪️ правах, включая право на доступ, исправление и удаление данных.

GDPR не применяется к синтетическим голосам или данным, которые не позволяют идентифицировать физическое лицо.
НО

Если содержание записи или метаданные относятся к конкретному человеку, такие данные по-прежнему считаются персональными, даже если используется искусственный или изменённый голос.

❕Требования регуляторов о чётком разделения целей обработки, прозрачности для пользователей и осознанного выбора провайдеров остаются неизменны.

#LawAndDisorder
————
@pattern_ai

Когда ИИ ведёт себя как человек: проект стандартов управления и обслуживания от Китая

Китайский регулятор (CAC) предложил для обсуждения правила для ИИ-сервисов, которые общаются “по-человечески”, т.е. которые ведут диалог, проявляют эмоции, создают ощущение личности (антропоморфные интерактивные сервисы с использованием ИИ).
Будут применяться к продуктам или услугам, использующим технологии ИИ, для предоставления населению на территории КНР.

👀 Если кратко, то от ИИ-провайдеров будут требовать:
▪️ чётко обозначать, что перед пользователем AI, а не человек;
▪️ не вводить в заблуждение насчёт «личности», чувств или намерений системы;
▪️ не формировать эмоциональную зависимость и не подталкивать к долгому или навязчивому общению;
▪️не использовать стиль общения для манипуляции, давления или скрытого влияния;
▪️ учитывать уязвимые группы, включая несовершеннолетних ( в том числе получать явное согласие от их представителей);
▪️обеспечивать безопасность на протяжении всего жизненного цикла, представлять отчет об оценке в департамент кибербезопасности провинциального уровня в своей юрисдикции:
▪️соблюдать перечень требований для наборов данных;
▪️разработать механизмы реагирования на случаи чрезвычайных ситуаций, иметь шаблоны ответов и т.п.
Если вы разрабатываете такие сервисы, то внедрить предлагаемые стандарты будет полезно для любой юрисдикции, снижения рисков проекта и повышения своей ответственности.

Еще из интересного, предлагается обязать интернет-магазины приложений и другие платформы распространения приложений:
▪️ ежедневно осуществлять проверку размещенных приложений и реагировать на чрезвычайные ситуации,
▪️проверять безопасность и соответствие требованиям приложений, предоставляющих интерактивные услуги с использованием антропоморфных изображений;
▪️ при нарушении правил незамедлительно принимать соответствующие меры (запрет на размещение, вынесение предупреждений, приостановка предоставления услуг или удаление с платформы).

❕Китай одним из первых внедряет регулирование не только ИИ контента, но и модели поведения ИИ в общении с человеком. Такой подход почти неизбежно станет глобальным.

#LawAndDisorder
————
@pattern_ai

Ошибки Eurostar AI: когда чат-бот «сошел с рельсов»

Исследователи Pen Test Partners проанализировали чат-бот Eurostar и показали, что даже при использовании языковой модели и защитных ограничений система может быть уязвимой из-за ошибок в архитектуре и процессе разработки.

👀 Обнаруженные проблемы:
▪️ Обход защитных ограничений ( проверки применялись только к последнему сообщению, а не ко всему контексту диалога, что позволяло изменять предыдущие сообщения и внедрять вредоносные инструкции)
▪️ Prompt injection (манипуляции с входными данными позволяли модели раскрывать служебную информацию (настройки, тип модели).
▪️HTML / self-XSS ( ответы бота отображались как HTML без экранирования, что позволяло внедрять скрипты в интерфейс чата).
▪️Отсутствие серверной проверки идентификаторов (идентификаторы сообщений и диалогов не проверялись на сервере, что позволяло подменять или повторно использовать контекст).

Там же и рекомендации для разработчиков чат-ботов:
▪️системные подсказки и ограничения использовать как механизм безопасности, а не как настройку поведения модели.
▪️чётко определять роли модели (что она может делать и какие действия запрещены).
▪️разделять инструкции и данные (любой пользовательский ввод, а также контент с сайтов и документов следует считать потенциально небезопасным и а не как дополнительную системную подсказку).
▪️применять принцип минимальных привилегий (предоставлять модели только те инструменты, данные и действия, которые ей действительно необходимы для конкретного сценария).
▪️проверять и очищать все входные данные (текст, идентификаторы, закодированные параметры, внешний контент), как при работе с любым API.
▪️не отображать вывод модели напрямую как HTML ( по умолчанию использовать обычный текст, а расширенный формат только через строго разрешённый список элементов без скриптов и обработчиков событий).
▪️контроль и проверку реализовывать только на сервере ( идентификатор сообщения, идентификатор диалога, содержимое сообщения и результат проверки должны объединяться в криптографически проверяемую подпись, которую сервер проверяет при каждом запросе). Идентификаторы сообщений и диалогов должны создаваться на сервере, быть привязаны к конкретной сессии, а любые попытки повторного использования или смешивания истории из разных чатов должны отклоняться.
▪️после развертывания вести журнал событий и мониторинг ( фиксировать все взаимодействия с моделью, решения механизмов защиты и использование функций, настраивать оповещения о подозрительной активности и иметь аварийный выключатель для быстрого отключения бота или его инструментов).

#BehindTheMachine
————
@pattern_ai

Контролер vs процессор в AI-проектах: позиция ICO UK

Вопрос «кто контролер, а кто процессор» решается по фактическому контролю над целями и способами обработки данных.
Контролер - тот, кто определяет зачем и как обрабатываются персональные данные.
Процессор - тот, кто обрабатывает данные по инструкциям контролера.

👀 Смотрим разницу.
Например, сторонний поставщик предлагает британской компания (Business ABC) решение для глубокого обучения на базе ИИ:

1️⃣Если сторонний поставщик (разработчик ИИ) действует строго по инструкциям заказчика +НЕ использует данные для собственных целей = процессор.

2️⃣Если сторонний поставщик (разработчик ИИ) использует данные для обучения других моделей ИЛИ повторно применяет данные вне инструкций ИЛИ обрабатывает данные по собственной инициативе или по требованиям закона, то он становится контролером или совместным контролером для этой части обработки.

ICO подчёркивает: важно не кто физически видит данные, а кто принимает решения.
Если организация не получает персональные данные, но определяет цели и логику обработки, то она всё равно может быть контролером или совместным контролером.
Контракт важен, но не решающий. Реальная роль определяется фактической свободой принимать решения о целях и способах обработки.

❓Платформы и онлайн-сервисы (каталоги, маркетплейсы)

🔹Если платформа действует строго по инструкциям поставщиков услуг, то является процессором.
🔹Если решения принимаются совместно (что собирать, как использовать), то совместные контролеры.
🔹Если платформа сама решает, какие данные собирать и как использовать, то контролер.

Обратите внимание:
Даже, если платформа является процессором для клиентских данных, она всё равно будет контролером для аналитики, собственных бизнес-целей, данных о поставщиках услуг.

❓ Внешние мобильные приложения (например, health, monitoring, decision-support)
Пример, компания хочет использовать сторонние мобильные приложения для мониторинга и принятия клинических решений в отношении хронических заболеваний пациентов, имеет ограниченный контроль над тем, какая личная информация вводится в приложения.

🔹Если организация рекомендует приложение пациентам, использует данные из приложения для клинических решений, то является контролером, даже если не контролирует, какие именно поля заполняет пользователь.
🔹Поставщик приложения может являться:
▪️процессором, если он не использует данные для себя, а только их обрабатывает,
▪️совместным контролером, если цели и способы обработки определяются совместно;
▪️отдельным контролером, если он использует данные для собственных целей.

❓ ИИ - системы транскрипции и обработки контента
Пример, компания разрабатывает ИИ-продукты, которые можно использовать для создания расшифровок телефонных разговоров, хранит записи разговоров в своей системе, создает расшифровки, а затем удаляет записи. Расшифровки будут храниться до тех пор, пока клиент не запросит их удаление.

🔹Если поставщик ИИ-решения хранит записи, создает транскрипты, удаляет данные по условиям, выбранным клиентом, то клиент остаётся контролером, а поставщик ИИ-решения процессором, даже если он определяет технические детали (например, сроки хранения аудио).
Но:
🔹 Если поставщик ИИ-решения сам меняет условия обработки ИЛИ использует данные для обучения модели, то он становится контролером для этой обработки.

Практические выводы:
▪️Анализируйте каждую операцию обработки отдельно;
▪️Фиксируйте роли в договорах, но проверяйте фактическую модель;
▪️Обеспечьте прозрачность для субъектов данных;
▪️Пересматривайте роли при изменении ИИ-функциональности;
▪️Помните, что у процессора есть свои собственные обязанности по GDPR.

📌 Innovation advice service - Previously asked questions |ICO

#LawAndDisorder
————
@pattern_ai

Grok под глобальным давлением: к расследованиям подключилась Бразилия

После отчёта AI Forensics и реакции ЕС, Великобритании, Индии (разбор в этом посте) к проверке Grok подключилась Бразилия.
Бразильское агентство по защите данных (ANPD) совместно с Министерством юстиции и органом по защите прав потребителей (Senacon) выпустили официальные рекомендации в адрес X в связи с генерацией Grok сексуализированных дипфейк-изображений без согласия людей ( Nota Técnica nº 1/2026/FIS/CGF/ANPD, рекомендации от ANPD + MPF + Senacon).

👀 Регуляторы потребовали:
▪️ предотвратить генерацию новых изображений, видео или аудио с сексуализированным содержанием, созданных через Grok без согласия.
▪️внедрить технические и операционные меры для выявления, проверки и удаления уже существующего нежелательного контента.
▪️ приостановить аккаунты пользователей, участвовавших в создании такого материала.
▪️создать механизмы для эффективного обращения субъектов данных, включая возможность подачи жалоб и требований по удалению контента.
▪️ представить отчёт и оценку воздействию на защиту данных по операциям Grok, где данные позволяют идентифицировать субъектов.

В рекомендациях подчёркивается, что при несоблюдении этих мер органы могут перейти к административным или судебным действиям против X.

Параллельно ANPD расширило расследование в отношении X, прямо указав:
"Cинтетические данные, созданные ИИ, считаются персональными, если они относятся к идентифицируемым лицам. Создание такого контента, особенно когда оно связано с биометрической информацией, является обработкой чувствительных персональных данных в рамках LGPD. Это означает, что все этапы создания, распространения и распространения синтетического контента подчиняются LGPD."

❕Бразильские регуляторы создают прецедент, рассматривая синтетический контент, создаваемый ИИ как персональные данные, и тем самым усиливают международное давление на платформы, использующие генеративный ИИ без должных гарантий прав субъектов данных.
Следим дальше....

#UXWatch #LawAndDisorder
————
@pattern_ai

AI Incident Tracker от FireTail

Открытая база инцидентов безопасности, связанных с искусственным интеллектом ( утечки данных, уязвимости, слабые места в ИИ-системах).
Цель трекера - помочь специалистам по безопасности, разработчикам и исследователям видеть реальные случаи проблем, извлекать уроки и усиливать защиту.
Данные доступны в виде таблицы:
▪️название,
▪️тип события,
▪️описание проблемы,
▪️последствия,
▪️ссылки на сами кейсы.

📌 Пост со списком всех трекеров ИИ (регулирование, иски, галлюцинации, риски и т.п.)

#AIShelf

Регулирование ИИ уже в Узбекистане

Президент подписал закон № ЗРУ-1115, который вносит масштабные правки в законы «Об информатизации» и «Кодекс об административной ответственности».
👀 Вступил в силу со дня его официального опубликования 21 января 2026 года.

Искусственный интеллект - комплекс технологических решений, дающий возможность имитации знаний и навыков человека, самостоятельного обучения, поиска решений и получения результатов, сопоставимых с результатами умственной деятельности человека при выполнении конкретных задач.

🔹Решения, имеющие юридическое значение и влияющие на права и свободы человека, НЕ МОГУТ приниматься исключительно на основе выводов ИИ.

🔹Установлено требование, чтобы системы ИИ не наносили ущерб жизни, здоровью, чести, достоинству и свободе граждан и не должны нарушать его иные неотъемлемые права.

Изначально в проекте закона речь шла о введении обязательной маркировки контента. В итоговом тексте мы видим общую формулировку.
НО на практике, например, если контент, созданный ИИ, вводит человека в заблуждение (например, фейковая новость или дипфейк), это уже считается нарушением прав и достоинства граждан, что прямо запрещено новой статьей.
Конкретные требования увидим в подзаконных актах.

🔹Незаконная обработка персональных данных с использованием технологий искусственного интеллекта, их распространение в средствах массовой информации, сетях телекоммуникаций или всемирной информационной сети Интернет влечет:
▪️штраф от 50 до 100 базовых расчетных величин (примерно от 20,6 млн до 41,2 млн сумов);
▪️конфискацию технических средств, использованных при совершении правонарушения.

✏️ Примеры для бизнеса:
▪️Маркируйте контент. Если вы постите дипфейк или сгенерированное фото как реальное, то вы нарушаете закон. Пишите просто: «Создано нейросетью».
▪️ Проверьте основания сбора ПД, в том числе согласия. Например, если ваш бот собирает ФИО или телефоны клиентов для обработки через ИИ, то проверьте пользовательское соглашение.
▪️ Любой результат работы ИИ, который влияет на права других людей, должен проверять ваш сотрудник.


#LawAndDisorder
————
@pattern_ai

ИИ и биометрия в ЕС: что запрещено, что относится к высокому риску и что требует только уведомления

Биометрические данные совместно с их обработкой ИИ активно используются бизнесом ( сканирование лица для доступа, определение возраста в интернет-магазинах, распознавание голоса в службе поддержки, анализ эмоций в видеосвязи). AI Act оценивает уровни рисков таких систем по функции и контексту.

👀

Биометрические данные - персональные данные, полученные в результате технической обработки физических, физиологических или поведенческих характеристик человека (лицо, голос, походка, манера набора текста).

🔹Биометрическая идентификация («кто это?»)
Запрет на удалённую идентификация в реальном времени в публичных местах правоохранительными органами.
К высокому риску (Annex III No. 1 AI Act) относятся, например, контроль доступа по лицу в офис, распознавание клиентов при входе в магазин, идентификация по голосу в банке.
Ряд жестких требований. Нет отдельного про уведомление.

🔹Биометрическая категоризация («к какой группе относится?»)

Запрет на системы, если нацелены на определение этнического происхождения, религии, состояния здоровья, политических убеждений или сексуальной ориентации.

Относятся к высокому риску (пол, возраст, цвет волос, цвет глаз, татуировки или личные предпочтения и интересы), свой ряд требований + прозрачность ст. 50 (3) AI Act. Например, уведомить при определении возраста и пола покупателей, поведенческом профилировании клиентов, классификации внешности.

Исключение: системы ИИ, неразрывно связанные с другими коммерческими услугами в качестве чисто вспомогательной функции по объективным техническим причинам. Например,
виртуальная примерка одежды или очков в интернет-магазине как вспомогательная функция. В таком случае только уведомление пользователей.

🔹Распознавание эмоций («что он чувствует?»)

Запрет на анализ эмоций на рабочем месте или в учебных заведениях ( например, на собеседованиях, эмоций учеников во время обучения). Исключения: по медицинским причинам или соображениям безопасности при наличии высоких гарантий.

Относятся к высокому риску, требования для таких систем + требования о прозрачности (уведомление пользователей). Например, когда система ИИ, которая автоматически распознает такие эмоции, как страх, гнев или удивление, на основе выражения лица, жестов и голоса (анализ настроения клиентов в колл-центрах или во время онлайн-консультаций).

🔹Скрейпинг
Запрет на неизбирательное массовое считывание (например, веб-краулерами или ботами) изображений лиц из интернета, социальных сетей или записей видеонаблюдения с целью создания или расширения баз данных распознавания лиц.
НО запрет не распространяется на другие биометрические данные, такие как голос или отпечатки пальцев. Кроме того, запрещено только создание базы данных для целей распознавания лиц, а другие цели, такие как обучение генеративного ИИ, сами по себе не запрещены.

❗️Примеры требований для систем высокого риска: построение системы управления рисками, обеспечить качество данных, подробная техническая документация, человеческий контроль, заявленная точность, устойчивость к атакам, автоматическая фиксация работы и ключевых решений, проведение аудитов и расследование инцидентов, проведение оценки соответствия, внесение в реестр ЕС для ИИ высокого риска.

❕Важно определить не «есть ли у вас биометрические данные», а что именно делает система и в каком контексте. Ошибка в квалификации ведет к рискам и запрету со стороны регулятора.

📌
▪️Members’ Viewpoints: The Relationship Between Biometrics and Artificial Intelligence (AI)| Biometrics Institute;
▪️Biometrics & AI – Explained|CCIA;
▪️Biometrics in the EU: Navigating the GDPR, AI Act| IAPP;
▪️Artificial Intelligence – Questions and Answers| European Commission;

#LawAndDisorder
————
@pattern_ai

Grok: Еврокомиссия переходит к расследованию

Европейская комиссия начала новое официальное расследование в отношении компании X в соответствии с Законом о цифровых услугах (DSA), плюс расширила текущее расследование.

👀 Будет оценено:
▪️соответствие алгоритмов Grok и системы рекомендаций X требованиям DSA;
▪️ эффективность превентивных мер по снижению рисков распространения незаконного, вредоносного и сексуализированного контента;
▪️ архитектура и процессы модерации, в том числе связанные с deepfake-изображениями, сексуальным контентом и материалами без согласия субъектов данных.

DSA предоставляет Еврокомиссии полномочия инициировать формальные процедуры против "Very Large Online Platforms (VLOPs)", если есть основания полагать, что платформа системно нарушает требования по управлению рисками, прозрачности алгоритмов и защите основных прав пользователей. Расследование может привести к юридическим обязательствам исполнения, штрафам и принудительным мерам для устранения нарушений по ст.34(1) и (2), 35(1) и 42(2) DSA.

ЕС переходит от наблюдения к принуждению. Следим дальше...

📌 В предыдущих "сериях":
▪️Отчет AI Forensic: фактическая картина злоупотреблений;
▪️Еврокомиссия обязала X сохранить данные Grok;
▪️Реакция государств на нарушения Grok;
▪️Реакция Бразилии;

#UXWatch #LawAndDisorder
————
@pattern_ai

Чему AI-креаторам стоит научиться из сделки Khaby Lame на $900+ млн

И пока одни борются с незаконными дипфейками, другие заключают беспрецедентную сделку в мировой медиа-индустрии. Хаби Лейм (Khaby Lame), один из крупнейших по количеству подписчиков создатель контента в TikTok, заключил соглашение, стоящее приблизительно $900–975 млн (пресс-релиз).

👀 Хаби Лейм станет контролирующим акционером, Rich Sparkle Holdings получит не просто долю в компании, а эксклюзивные глобальные права на использование образа Лейма ( "интеграцию цифровых двойников ИИ") на 3 года:
▪️Face ID, Voice ID и поведенческих моделей для разработки цифровых двойников Лейма для создания ИИ-контента;
▪️делать это в коммерческих целях - многоязычного, многоверсионного производства контента- (реклама, e-commerce, livestream-торговля);
▪️масштабировать без обязательного участия самого Лейма в каждой кампании (коммерческой деятельности в виртуальных прямых трансляциях различной продолжительности в разных часовых поясах).
Три ключевых рынка + скоординированная стратегия на США, Ближний Восток и Юго-Восточную Азию и как итог, амбициозный план с годовым объемом продаж в сфере онлайн-торговли до 4 миллиардов долларов.

✏️ Что все это значит для ИИ-креаторов и тех, кто строит персональные бренды:
🔹Имя, лицо, голос, манера поведения это не «что-то абстрактное», а набор прав, которые можно лицензировать, эксклюзивно передавать, ограничивать по сроку, целям и рынкам.
🔹Использование образа в ИИ-аватаре не равно обычной рекламе, не покрывается «стандартным согласием на контент», а требует отдельных условий ( кто обучает модель, кто владеет результатом, можно ли дообучать, можно ли использовать после расторжения договора).
🔹 Основные риски:
- несанкционированное использование биометрии (лицо, голос);
- нарушения авторских и смежных прав при создании творческого контента;
- потенциальные конфликты с нормами о защите персональных данных и правах на цифровой образ.
🔹Эксклюзивность стоит дорого, но меньше свободы. Подумайте над вариантами компенсации (гарантированный доход, строгие ограничения на злоупотребления и т.д).
🔹Не забудьте про новые вопросы, которые возникают насчет ИИ-двойников, например:
- Что происходит с ИИ-двойником после окончания договора?
- Можно ли использовать его в "adult"-контенте, спорных продуктах?
- Есть ли право на отзыв лицензии?

❕С учётом масштабов сделки и её инновационного характера, соглашение по сути становится новым вектором развития для контрактов с digital-творцами, включающим ИИ-идентичность.

📌 Посты:
▪️Как запустить ИИ- блогера и не нарушить закон;
▪️ Чек-лист по этическим и юридическим стандартам для операторов ИИ-блогеров и ИИ-контента;
▪️ Дипфейки и требования маркировки контента;

#LawAndDisorder #UXWatch
————
@pattern_ai

Когда ИИ увеличивает охваты, а права на результаты творчества превращают в бизнес

В предыдущем посте мы говорили про сделку Khaby Lame на $900+ млн. Ключевая ценность возникла из контроля над правами на образ, контент и способами их коммерческого использования.
✏️ Исследование EUIPO (Ведомство по интеллектуальной собственности ЕС) подтверждает это цифрами:

1️⃣Как инфлюенсеры используют ИИ
▪️51 % инфлюенсеров в ЕС уже применяют ИИ часто или периодически (контент, кампании, аналитика).
▪️18 % пока не используют. Речь идёт о постепенной, но устойчивой интеграции.

2️⃣Ожидания на ближайший год
▪️ 56 % ожидают улучшения показателей и упрощения организации рекламных кампаний.
▪️ 49 % понимают, что контент-стратегии придётся адаптировать к среде, насыщенной ИИ.
▪️47 % опасаются переработки и повторного использования их контента системами ИИ в интересах третьих лиц.
▪️44 % считают виртуальных инфлюенсеров источником недобросовестной конкуренции.

3️⃣Кто выигрывает от оформленных прав
Инфлюенсеры, у которых зарегистрированы права на результаты интеллектуальной деятельности, находятся на более зрелой стадии профессионального развития:
▪️ 55 % имеют собственный бренд (против 24 % у тех, чьи права не оформлены);
▪️ 33 % управляют онлайн-магазином (против 14 %).

4️⃣Осознание рисков
72 % знают, что ИИ может нарушать IP-права, генерируя «похожие» результаты. У nano-инфлюенсеров осознанность ниже лишь 58 %.

5️⃣Ответственность есть, а публичного разговора нет
▪️48 % считают, что обсуждение важности соблюдения прав на результаты интеллектуальной деятельности не влияет на рост аудитории;
▪️17 % ожидают негативный эффект.
▪️При этом 96 % инфлюенсеров признают свою ответственность за влияние рекламного контента на подписчиков, а 97 % осознают риски для аудитории при продвижении неофициальных или нелегитимных товаров и контента.

❕Долгосрочный результат возникает там, где права оформлены, условия использования понятны, ИИ является инструментом усиления, а не источником утраты контроля.

📌
Как “агентные” ИИ-аккаунты переполняют TikTok и обходят модерацию;
"Красота по алгоритму" или как кейс Vogue запустил новую волну дебатов в индустрии моды;
Как владельцам контента в ЕС отказаться от использования их данных для обучения ИИ?

#AIShelf #UXWatch
————
@pattern_ai

Зачем МакКонахи регистрирует товарные знаки

Пока EUIPO фиксирует рост тревожности инфлюенсеров из-за переработки их контента ИИ, публичные лица используют разные юридические стратегии.

Мэттью МакКонахи зарегистрировал 8 товарных знаков в США, охватывающие его голос, образ и узнаваемые фразы, включая «alright, alright, alright».

👀 Цель: защититься от несанкционированного использования личности в ИИ-контенте ( deepfake-видео, синтетической рекламы, озвучки и имитаций).
Это первый случай, когда актер использовал закон о товарных знаках для защиты своего изображения от возможного неправомерного использования ИИ.

Планируется, что такие товарные знаки позволят быстро реагировать на ситуации, где ИИ-контент создаёт впечатление его участия, одобрения или аффилированности с брендом или продуктом.

📌 Посты:
▪️Как запустить ИИ- блогера и не нарушить закон;
▪️ Чек-лист по этическим и юридическим стандартам для операторов ИИ-блогеров и ИИ-контента;

#UXWatch
————
@pattern_ai

Кейс Kentucky vs Character. AI: дизайн AI чат -бота как предмет правовой оценки

Кентукки стал первым штатом США, который подал иск против Character. AI и ее чат-ботов из-за рисков для детей. Кентукки использует законы о защите прав потребителей и конфиденциальности данных, чтобы доказать, что небезопасный дизайн является обманной практикой.
👀 В жалобе представлены:
▪️ссылки на все известные нарушения
▪️примеры диалогов, где бот поощряет самоповреждение и суицидальные мысли у подростков;
▪️примеры сексуализированного контента и обсуждений запрещённых веществ;
▪️как возрастные ограничения легко обходились вводом фейковой даты рождения.

В пресс-релизе говорится, что десятки тысяч жителей штата Кентукки активно заходят на Character.AI, в том числе тысячи лиц моложе 18 лет, и в качестве причины указывается отсутствие на платформе проверки возраста.

Основные требования: обязать компанию Character.AI изменить свою практику и выплатить компенсацию.

🛡Параллельно в ЕС, вчера, отмечая День защиты персональных данных, Европейских совет по защите данных (EDPB) выпустил напоминание, что защита данных детей является стратегическим приоритетом, и будет выпущено Руководство по обработке данных о детях, а также будет запущен специальный хаб “Privacy for Kids”.

📝 Мировая тенденция на лицо, речь уже не об абстрактных этических принципах и внедрении добровольных best practices, а о юридической ответственности за ваши конкретные решения:
▪️age gate носит декларативный характер и не препятствует доступу несовершеннолетних,
▪️меры безопасности формальны и не соответствуют реальным сценариям использования,
▪️риски для детей являются предсказуемым следствием продуктовых и engagement-метрик,
значит может быть квалификация как "unsafe and deceptive design" с соответствующими последствиями.

❕ Задавайте при создании продукта один из ключевых вопросов, обеспечивают ли применяемые меры фактическую защиту уязвимых пользователей или лишь создают видимость соответствия требованиям?

#UXWatch #LawAndDisorder
————
@pattern_ai

Проблема не только в Grok: десятки «nudify»-AI-приложений в Apple и Google App Stores

Новое расследование Tech Transparency Project (TTP) показывает, что проблема генерации сексуализированных изображений без согласия не ограничена только чат-ботом Grok.
Десятки приложений размещены в Google Play и Apple App Store, способных использовать ИИ для автоматического «nudify» ( снимать одежду с людей на фото или видео без их согласия) и доступны детям.

👀 Основные выводы расследования:

▪️55 таких приложений были найдены в Google Play Store и 47 в Apple App Store (102 всего).
Эти сервисы генерируют сексуализированные deepfake-изображения и видео из обычных фотографий.
▪️Приложения были скачаны более 700 млн раз по всему миру и принесли ≈ $117 млн дохода через подписки и покупки.
▪️ Apple и Google получают свою долю через комиссии в сторах ( комиссии до 30%).
▪️многие приложения обошли процессы проверки качества и безопасности сторов, несмотря на явное нарушение правил платформ по запрещению сексуального и унижающего контента;
▪️генерируют контент без видимых ограничений или адекватных мер;
▪️фактически превращают обычное фото человека в непристойное изображение без согласия субъекта, потенциально нарушая честь, достоинство и законы о защите данных.
▪️Размещены в категориях "подходит для детей", не смотря на то, что и Google , и Apple требуют от разработчиков предоставлять информацию для расчета возрастных рейтингов, чтобы защитить детей от неприемлемого контента, а Apple обновила свою систему рейтингов только в прошлом году, Например, приложение DreamFace ( по данным AppMagic, приложение принесло 1 миллион долларов дохода) - " от 13 лет и старше», и в « для детей от 9 лет и старше».
Подробные разборы с примерами в самом докладе.

Google и Apple запросили список приложений, выявленных в ходе этого расследования. Обе компании отказались от комментариев. Apple сообщила, что удалила 28 приложений, выявленных TTP, и предупредила разработчиков других приложений, что они рискуют быть удалены, если не устранят нарушения (TTP насчитала 27 удаленных приложений.) Google сообщила, что приостановила работу нескольких приложений в рамках продолжающейся проверки, в итоге удалила 31 приложение.

❕Неэффективность контроля своих же "платформ" и не обеспечение своих же правил, прибыль при этом получена.
Ждем реакцию со стороны регуляторов, особенно на фоне пристального внимания к защите детей, и следим за "сериалом" дальше...

📌 Grok: Еврокомиссия переходит к расследованию
Grok floods X with sexualized images of women and children/ ССDH

#UXWatch
————
@pattern_ai

Отдохнуть в субботу с ИИ-сериалом...Почему бы и да?

Знаменитый режиссёр Даррен Аронофски ("Пойман с поличным", "Реквием по мечте," Черный лебедь") выпустил короткометражный ИИ-анимационный сериал о событиях Американской революции 1776 года. Серия коротких эпизодов выходит на канале Time на YouTube.

Используется генеративный ИИ + традиционные методы, голоса озвучивают настоящие актёры.

По словам президента студии Бен Битонни: " Этот проект - пример того, как может выглядеть вдумчивое, творческое, ориентированное на художников использование ИИ, не заменяющее ремесло, а расширяющее возможности и позволяющее рассказчикам заходить туда, куда они раньше просто не могли".

❓ И вопрос для обсуждения за чашкой кофе или здесь в комментариях: " Если мы уже с помощью ИИ пересказываем историю, то кто и как будет формировать наше представление о прошлом завтра?" .
На фоне всего этого хороший повод вспомнить свежую дискуссию вокруг Grokopedia, которую уже критикуют за галлюцинации, вымышленные источники и SEO-маскировку под «надёжное знание», что уже совсем другой уровень риска.

Приятного просмотра и хорошей субботы❄️☀️
📌Explore AI and Filmmaking with Darren Aronofsky’s Primordial Soup and Google DeepMind

#UXWatch
————
@pattern_ai