Как тёмные паттерны обманывают LLM-веб-агентов: системное исследование

В статье "Investigating the Impact of Dark Patterns on LLM-Based Web Agents" (Devin Ersoy и другие) представлено первое исследование по влиянию тёмных паттернов на процесс принятия решений универсальными веб-агентами на основе LLM.
Команда разработала фреймворк LiteAgent, который запускает любого веб-агента на сайте и фиксирует все его действия. Для тестирования была создана управляемая среда TrickyArena (e-commerce, health portal, streaming, news) с включаемыми/выключаемыми тёмными паттернами.
Оценивали 6 популярных агентов ( Skyvern, DoBrowser, BrowserUse, Agent-E, WebArena и VisualWebArena), используя три модели: Claude 3.7 Sonnet, GPT-4o, Gemini 2.5 Pro.

👀 Выводы:
🔹При наличии всего одного тёмного паттерна агенты ошибаются и “попадаются” в 41% случаев.
🔹Самые «сильные» агенты нередко оказываются наиболее подвержены тёмным паттернам.
🔹 При одновременном включении нескольких тёмных паттернов резко падает точность выполнения задач. Некоторые паттерны, будучи неэффективными по отдельности, становятся эффективными в комбинации.
🔹 Изменение визуальных и технических характеристик паттерна (цвет, форма, структура DOM) влияет по-разному.Часть агентов не замечает разницы, но у других значительно падает успешность задач и растёт уязвимость.
🔹 Тесты с включённым vision показали, что у большинства агентов падает успешность и растёт уязвимость к паттернам.
🔹Противодействие через подсказки (prompts) работает ограниченно, эффект показали только детальные, пошаговые инструкции о том, как избегать определенного темного паттерна, снижая уязвимость в среднем лишь на ~32%

Ошибки агента могут стоить вам слишком дорого, а чем сложнее сайт, тем выше риск. Примеры таких рисков и рекомендации для пользователей читайте в посте.

#UXWatch
————
@pattern_ai

ЕС требует новых правил для защиты детей, в том числе от ИИ

Европарламент принял резолюцию о защите детей онлайн и подробно обозначил риски генеративного ИИ, чатботов-компаньонов и AI-алгоритмов, с которыми сталкиваются несовершеннолетние. Резолюция не является законом, но задаёт направление для будущих инициатив Еврокомиссии и усиленного применения AI Act.

👀Основное предложение:
🔹 установить общеевропейский «цифровой минимальный возраст» ( 16 лет для доступа к онлайн-платформам).
🔹13 лет предлагается закрепить как абсолютный нижний порог.
🔹 Подростки 13–16 лет смогут пользоваться платформами только с разрешения родителей.
🔹Запреты на рекомендательные алгоритмы ( лутбоксы и другие игровые механики, напоминающие азартные игры), а также отключение или запрет по умолчанию наиболее вызывающих привыкание функций для лиц младше 18 лет ( бесконечная прокрутка, автовоспроизведение, обновление по нажатию и циклы вознаграждений).
🔹В контексте ИИ Парламент называет Кодекс практики для GPAI (foundation models) краеугольным элементом для выполнения AI Act в части системных рисков и защиты детей, что является важным сигналом для разработчиков foundation-моделей, призывает поддерживать исследования «AI for children» и «with children», уменьшать цифровое неравенство.
🔹 Государства должны назначить компетентные органы для контроля запретов AI Act, расследовать деятельность компаний с ИИ-системами, которые могут:
- эксплуатировать уязвимость детей,
- искажать поведение,
- причинять значимый вред.

🔍 Выделяются следующие риски:
🔹Генеративный ИИ доступен детям слишком легко. Парламент предупреждает о рисках манипуляции, антропоморфизма, дипфейков, эмоциональной зависимости и искажении реальности. Уже зафиксированы трагические случаи, включающие суициды и финансовые потери.
🔹 Дети становятся источником данных. AI-сервисы могут собирать и обрабатывать детские данные без информированного согласия ребёнка или родителей, что является нарушением GDPR.
🔹Рост вредоносного контента. Deepfake-сексуализация, nudity apps и использование изображений детей создают угрозы безопасности и достоинству, усиливают буллинг и гендерное насилие.
🔹 Алгоритмы вовлечения и аддиктивный дизайн (психология моделей поведения и привычек человека). Бесконечные ленты, autoplay и рекомендации усиливают зависимость, мешают развитию и будут регулироваться строже.

Главный посыл, что любое AI-взаимодействие с детьми будет считаться зоной повышенного регулирования и аудитов со стороны регуляторов и требований ответственного подхода от компаний.

📌 Примерный чек-лист по созданию AI-продуктов для детей

#LawAndDisorder
————
@pattern_ai

Утечка Mixpanel/OpenAI или как аналитика снова подвела

OpenAI подтвердила инцидент утечки у стороннего провайдера аналитики Mixpanel.
Mixpanel обнаружил несанкционированный доступ 9 ноября 2025 года, уведомила OpenAI 25 ноября.

Затронутые данные (только API-продукты OpenAI):
- имя, которое было предоставлено в учетной записи API;
- адрес электронной почты, связанный с учетной записью API;
- примерное местоположение на основе API браузера пользователя (город, штат, страна);
- OC и браузер, используемые для доступа к учетной записи API;
- ссылающиеся сайты;
- идентификаторы организаций или пользователей, связанные с учетной записью API.
Нет полной информации о том, как долго был доступ, сколько пользователей затронуто, ограничилась ли утечка объявленными полями.
OpenAI немедленно удалила Mixpanel и начала проверку всех сторонних поставщиков.

👀 В чем риск для пользователей?
Эта комбинация данных точно подтверждает, что вы являетесь клиентом OpenAI API = отличная база для персонализированного фишинга и попыток выманить API-ключи.
Если пользователь использовал то же имя пользователя (email) и простой пароль на другом сайте = риск взлома.

Что сделать пользователям OpenAI API:
▪️ включите MFA/2FA (+ на почте, связанной с аккаунтом и на всех корпоративных учетных записях, связанных с API);
▪️проявите высокую бдительность к фишингу ( не переходите по ссылкам в подозрительных письмах, не вводите пароли или ключи API в ответ на email/смс/чат, проверяйте домен отправителя);
▪️ротация ключей API ( сгенерировать новые ключи API и отозвать старые, особенно если вы беспокоитесь о том, что ключи могли быть случайно зарегистрированы в аналитических событиях).
▪️ограничьте права ключей и используйте scoped keys;
▪️убедитесь, что все разработчики и администраторы вашей организации, использующие API, проинформированы о риске фишинга.

Инцидент подтверждает, что сторонние поставщики аналитики являются одними из самых слабых звеньев.

✏️ Уроки, которые необходимо извлечь на будущее:
🔹Минимизация данных. Вы действительно отправляете email в сторонние аналитические системы? В 95% случаев нет необходимости. Cобирайте только те данные, которые абсолютно необходимы для выполнения задачи.
🔹Карта потоков данных. У вас должна быть точная карта того, какие PII передаются каждому сервису.
Если вы не знаете, то это главный риск.
🔹Аудит поставщиков. Есть ли у них MFA для всех сотрудников? Какой план реагирования на инциденты согласован с вашим? Посмотрите на примере Mixpanel.
🔹Сегментация и изоляция сред. Обеспечивает ли архитектура систем полную изоляцию данных? Если взламывают систему аналитики, гарантирует ли это, что никакие данные, кроме аналитических, не могут быть скомпрометированы (например, ключи API, пароли)?
🔹Скорость реакции на инцидент. В этом кейсе прошло 16 дней.....У вас должен быть план на случай утечки: отзыв ключей, уведомление пользователей, восстановление доступа, ограничение дальнейших рисков.

#UXWatch #BehindTheMachine
————
@pattern_ai

😵‍💫 Pattern_AI Recap: обзор постов за сентябрь-ноябрь

Подборка по ключевым рубрикам:

⚖️ #LawAndDisorder
🔹Может ли ИИ быть автором, что говорят законы сегодня;
🔹Как использовать ИИ в играх легально;
🔹Как использовать ИИ в рекламе и не нарушить закон;
🔹Как запустить ИИ- блогера и не нарушить закон;
🔹Попытки платформ обеспечить прозрачность ИИ-контента;
🔹Чек-лист по этическим и юридическим стандартам для операторов ИИ-блогеров и ИИ-контента;
🔹Новые законы в США по регулированию ИИ-компаньонов;
🔹Нидерланды упростили EU AI Act до гайда в 21 страницу ;
🔹EU AI Act: Еврокомиссия предлагает важные изменения;
🔹ЕС требует новых правил для защиты детей, в том числе от ИИ;
🔹Италия первой в ЕС вводит уголовную ответственность за преступления с использованием ИИ;
🔹Обновлены рекомендации EDPS по генеративному ИИ;
🔹Как превратить европейскую отчётность в инструмент доверия и качества;
🔹Маркировка ИИ контента в Китае стала обязательной;
🔹Почему нам стоит посмотреть на опыт Египта в AI-регулировании;
🔹У вас есть юзеры из Южной Кореи? Готовьтесь к требованиям Закона "О развитии ИИ";
🔹Ваши пользователи из Индии? Смотрим новые AI Guidelines;
🔹AI Governance в Африке;
🔹AI Regulation Global Guide или правила игры в 12 юрисдикциях;
🔹Кейс GEMA vs OpenAI или как ИИ выучил песни слишком хорошо;
🔹Deepfake в суде (дело Mendones v. Cushman & Wakefield);

🔍 #UXWatch
🔹Как адаптировать ИИ-сервис для нового рынка;
🔹18+ или ChatGPT скоро “повзрослеет” и это не совсем безопасно;
🔹Риски использования ChatGPT Atlas;
🔹Троянский конь Meta Camera Roll;
🔹Эмоциональная зависимость от ChatGPT;
🔹Как ИИ меняет поведение людей и наоборот;
🔹Как тёмные паттерны обманывают LLM-веб-агентов;
🔹Катастрофические риски ИИ;
🔹Когда промпт становится уликой;
🔹ИИ в медицине: между потенциалом и реальностью;
🔹ИИ в школах: урок Ирландии по безопасному внедрению;
🔹ИИ и инклюзивное образование;
🔹Чистые наборов данных или как OECD формирует доверие к ИИ на практике ;
🔹Автоматизация исследовательской работы от Deutsche Bank;
🔹Насколько опасен ИИ в юриспруденции;
🔹10 минут вместо 10 часов, а как честно биллинговать работу с ИИ, например юристам?
🔹Утечка Mixpanel/OpenAI или как аналитика снова подвела;

🎙#AIShelf
🔹Как получить реальный ROI от ИИ: отчет и советы от Google;
🔹Первая «законопослушная» AI-модель Европы;
🔹Покупка ИИ-инструментов: на что обратить внимание перед подписанием контракта;
🔹Как превратить Office в умный редактор;
🔹AI Leadership Blueprint: чек-листы, метрики и готовые шаблоны для компаний и гос.оранов от Университета Юты;
🔹Как на самом деле используют ChatGPT;
🔹AI in Courts - Insights from South Korea, Australia, and Singapore;
🔹Как ЕС учиться измерять мощность и риски GPAI;
🔹Инструмент проверки соответствия AI Act от Еврокомиссии;
🔹Шаблон политики в области ИИ от Австралийского правительства;
🔹Как разработчики ИИ управляют рисками: первый сводный отчёт по Хиросимскому процессу;
🔹Исследование Microsoft: как используется ИИ;
🔹The Annual AI Governance Report 2025: Steering the Future of AI;
🔹Как злоумышленники используют ИИ в 2025 году;
🔹Отчет "GenAI, Fake Law & Fallout";
🔹Новое Руководство по управлению рисками систем ИИ от EDPS;
🔹65 сценариев использования ИИ-агентов от Stack AI;
🔹Лекции Гарварда про ИИ бесплатные;

👌 #BehindTheMachine
🔹Первая атака, проведённая ИИ-агентом;
🔹OWASP AI Testing Guide v1;

📚#TalkPrompty
🔹Промпт для проверки DPA от DataGrail;
🔹Sora 2 и как создавать своих ИИ-блогеров;
🔹Библиотеки промптов;
🔹Обучающие гайды по ИИ от Google, Perplexity и OpenAI;

Читайте, пересылайте, возвращайтесь к важному.
————
@pattern_ai

Наши данные после смерти или "воскреснуть" с помощью ИИ

Французский регулятор по защите данных (CNIL) опубликовал отчет «Our Data After Us», который посвящён использованию цифровых данных после смерти ( управление аккаунтами, передача данных, появление новые сервисов, в том числе AI‑агентов, натренированных на данных покойных).
👀 Приводятся данные опроса Harris Interactive:
- 1/3 французов уже сталкивались с контентом умерших в соцсетях,
- 50% респондентов хотела бы, чтобы их собственные социальные публикации удалялись после смерти
- 50% респондентов указали, что сортировку или удаление должен выполнять родственник или потомок, 22% - они сами, 14% - доверенная третья сторона (поставщик услуг, нотариус) и 13% - непосредственно платформа, на которой размещены данные.

Изучены 20 самых востребованных сервисов и составлена картография маршрутов пользователя для управления посмертными данными.

🔍Риски и вопросы, которые возникают:
▪️Связанные с "семьей" ( эмоциональные, моральные). Цифровые копии умерших ( “deadbots” / “ghostbots”) могут вызывать сильные эмоциональные переживания у родственников, осложнение процесса горевания ( в этом вопросе между специалистам ведутся споры легче или сложнее), легкий путь к мошенническим действиям со стороны третьих лиц.
▪️Проблемы приватности и безопасности данных. Посмертные биометрические или медицинские данные (например, данные мозга, фото, переписки) особенно чувствительны. Также посмертные данные содержат информацию о родственниках, друзьях и коллегах , что делает их уязвимыми.
+ новый «парадокс конфиденциальности», когда человек фактически «возрождается» без его явного согласия. + этические вопросы (можно ли создавать цифровых аватаров умерших без согласия при жизни? Кто имеет право это запрещать?)
▪️Репутационные. Боты могут стать автономными, формируя реплики, поведение и высказывания, которые уже не совпадают с тем, как человек жил и выражал себя при жизни.
▪️Культурные и религиозные аспекты.Не все культуры или религии одинаково воспринимают идею цифрового "воскрешения". В некоторых традициях это может быть воспринято как неуважение к умершему или к его памяти.
▪️Отсутствие контроля. Большинство платформ не объясняют, что происходит с данными после смерти (архивируются/ удаляются/ используются для обучения ИИ).
▪️Материальные аспекты. Инфраструктура хранения “цифрового наследия” требует постоянного технического обслуживания.
▪️ Отсутствие и техническая сложность создания транснациональных систем и механизмов регулирования, связанных с посмертными данными.

Между тем рынки, связанные с «цифровой смертью» ( DeathTech), уже существуют и активно растут. В 2024 году глобальный рынок был оценён примерно в USD 22.46 млрд, а к 2034-му ожидается рост до ~USD 78.98 млрд.

Со стороны экспертов есть предложение про право контролировать воссоздание своей личности после смерти и включение в завещание просьбы не становиться роботом («do not bot me»), наследникам дать исключительное право создавать/разрешать/ запрещать deadbots и конкурирующих версий любому другому лицу, включая фанатов знаменитостей.

Продуктовым командам необходимо помнить про эти данные и встраивать соответствующие механизмы:
▪️лёгкого управления «посмертным сценарием» (удаление, архив, отказ от использования данных);
▪️информирования пользователей о рисках «digital resurrection»;
▪️ограничения/запрета на коммерческое использование deadbots без согласия;
▪️чётких UX-путей для тех, кто решает, что делать с цифровым наследием.

Готовы ли мы к последствиям тренда на “оживление” фотографий ( и не только) людей, которых уже нет? Хотели бы вы так "воскреснуть" ?

Что почитать:
🔹The Ethical Frontier of Generative Artificial Intelligence and Posthumous Data Protection;
🔹Chilling AI ‘ghostbots’ of the dead could ‘digitally stalk’ bereaved from beyond the grave, experts warn;
🔹Digital afterlife leaders: professionalisation as a social innovation in the digital afterlife industry;
🔹Governing Ghostbots;
🔹Draft Guidelines on Data Protection in the context of neuroscience;

#UXWatch
————
@pattern

Проект правил о запуске AI-песочниц от Еврокомиссии

Еврокомиссия вынесла на общественное обсуждение проект правил, которые объясняют, как именно должны работать регуляторные AI-песочницы, предусмотренные AI Act.
Прием замечаний открыт до 6 января.
Предполагается, что до 2 августа 2026 года в каждой стране ЕС должна появиться как минимум одна работающая песочница.

👀 ИИ-песочница (sandbox) - это контролируемая среда, где компании могут тестировать, обучать, валидировать и испытывать свои модели под наблюдением специалистов и надзорных органов.
🔹Участие для SMEs и стартапов должно быть бесплатным кроме «исключительных затрат», которые могут быть компенсированы справедливо и пропорционально.
🔹Процедура подачи заявки, участия, выхода и завершения должна быть понятной, прозрачной и унифицированной по всему ЕС.
🔹После завершения участник может получить «свидетельство» (written proof) и «exit report», описывающий результаты, опыт и оценки рисков. Это может помочь при дальнейшем соответствии законодательству или при сертификации. НО не гарантирует автоматически «зеленый свет» для выхода на рынок.
🔹Если ИИ-проект обрабатывает персональные данные, то национальные органы защиты данных (DPA) должны быть вовлечены в работу.

Почему полезно для разработчиков:
Участие в "песочнице" может стать безопасным способом проверить свои решения, повысить качество продукта, получить обратную связь регулятора ещё до выхода на рынок и тем самым снизить риски.

#LawAndDisorder
————
@pattern_ai

AI Impact Assessment Tool от Австралии

Агентство цифровой трансформации (DTA) продолжает радовать подробными и практичными гайдами.
Гайд + AI impact assessment tool +чек-лист призваны помочь госзаказчикам и проектным командам закупать, проектировать и использовать продукты и услуги, связанные с ИИ, при строгом учёте рисков этического, правового, социального характера.

Оценку воздействия можно взять за образец и даже при помощи ИИ сократить, оставив необходимое именно для вашего проекта.
Подходит как для сложных, так и для типичных кейсов (градация минимальный/средний/высокий уровень риска).
Инструмент оценки воздействия ИИ:
▪️ показывает, есть ли риски для людей и данных;
▪️помогает оценить прозрачность и справедливость системы;
▪️подсказывает, где нужно усилить контроль человека;
▪️предлагает структуру, чтобы документировать каждый шаг.
В примере документа предлагается зафиксировать: кто отвечает за оценку, кто участвует, технические характеристики ИИ, как используются данные, какие решения принимает система, и как обеспечивается контроль, мониторинг, документация.

📌Шаблон политики в области ИИ от Австралийского правительства

#AIShelf #LawAndDisorder
————
@pattern_ai

AI Impact Assessment для чего необходима
Ч.2.

🔹AI Impact Assessment (оценка воздействия ИИ) - широкая, комплексная оценка всех рисков, связанных с ИИ (этических, социальных, технических, экономических и правовых).

Необходима для:
▪️управления рисками;
▪️соблюдения нормативных требований;
▪️повышения прозрачности и подотчетности;
▪️демонстрации общественности и заинтересованным сторонам, что организация серьезно относится к этическим вопросам и воздействию ИИ.

В некоторых странах уже обязательна для систем, используемых в гос. услугах (н-р, Канада), также используется организациями, желающими придерживаться стандартов ответственного ИИ (Responsible AI) или при наличии внутренних корпоративных требований.
В ЕС разработчикам корпоративных AI-решений (например, в сфере финансовых технологий или здравоохранения) предлагается ALTAI и подобные ему инструменты для классификации риска своей системы (например, является ли она "высокого риска" в соответствии с AI Act), и самооценки по семи ключевым требованиях к надежному ИИ, в том числе для включения функций объяснимости и справедливости на этапе разработки, а не после завершения.

📌 Подборка инструментов:
▪️Algorithmic Impact Assessment (AIA) tool| Canada;
▪️Artificial Intelligence Impact Assessment | Government of the Netherlands;
▪️A system-level AI Impact Assessment (AIIA) |RAI Institute UK;
▪️Artificial Intelligence Impact Assessment Tool|Australia;
▪️The Assessment List for Trustworthy Artificial Intelligence;
▪️Responsible AI Toolbox|Microsoft;
▪️AI Risk Management Framework |NIST;
▪️ISO/IEC 42005:2025 Information technology — Artificial intelligence (AI) — AI system impact assessment;
▪️Co-designing an AI Impact Assessment Report Template with AI Practitioners and AI Compliance Experts;

#LawAndDisorder #AIShelf
————
@pattern_ai

Fundamental Rights Impact Assessment (FRIA) для чего необходима
Ч.3.

🔹Fundamental Rights Impact Assessment (FRIA) - оценка, направленная исключительно на то, чтобы гарантировать, что развертывание и использование конкретной системы ИИ не нарушает основные права и свободы человека.
Если говорим про ЕС, то AI Act ссылается на закрепленные в Хартии Европейского Союза основные права (недискриминация, справедливое судебное разбирательство, свобода выражения мнения, неприкосновенность частной жизни и т.д) и FRIA требуется только для развертывателей (Deployers) высокорисковых систем ИИ перед их первым использованием.

Необходима для того, чтобы:
▪️ гарантировать, что такие системы уважают права субъектов;
▪️выявить потенциальные риски для прав человека;
▪️ принять адекватные меры для их устранения.

Субъекты, которые обязаны проводить FRIA (требования ст. 27 EU AI Act):
▪️ органы, регулируемые публичным правом;
▪️частные субъекты, предоставляющие государственные услуги;
▪️разработчики систем ИИ, предназначенных для оценки кредитоспособности или установления кредитных рейтингов для физических лиц (исключение: системы ИИ, предназначенные для обнаружения финансового мошенничества);
▪️ разработчики систем ИИ, используемых для оценки рисков и ценообразования в страховании жизни и здоровья физических лиц.

Что делать по EU AI Act?
Развертыватели должны провести оценку, состоящую из:
▪️описания процессов, в которых будет использовала высокорисковая система ИИ (в соответствии со своей предполагаемой целью - предназначением);
▪️описания, в какой период времени (или с какой частотой) предполагается использовать высокорисковую систему ИИ;
▪️категорий физических лиц (групп), которые могут пострадать от использования высокорискового ИИ в конкретном контексте;
▪️конкретных рисков причинения вреда, которые могут оказать влияние на категории физических лиц (групп), с учетом информации, предоставленной поставщиком в соответствии со ст.13 AI Act;
▪️описания принятых мер по надзору со стороны сотрудников (человека) в соответствии с инструкцией;
▪️мер, которые необходимо принять в случае возникновения этих рисков, включая механизмы внутреннего управления и механизмы подачи жалоб.

Также в других странах создают свои механизмы оценки воздействия.

📌 Шаблоны и гайды:
▪️The ALIGNER Fundamental Rights Impact Assessment (AFRIA);
▪️FRIA Model: Guide and use cases| Catalan DPA;
▪️Fundamental Rights Impact Assessment |White Label Consultancy;

▪️Human Rights Impact Assessment to Protect Human Rights on the Development and Use of AI |Sourth Korea;
▪️AI Human Rights Impact Assessment Tools for Educators|University of Waterloo;
▪️Human Rights Impact Assessment Workbook

#LawAndDisorder #AIShelf
————
@pattern_ai

Data Protection Impact Assessment (DPIA) для чего необходима
Ч.4.

🔹Data Protection Impact Assessment (DPIA) - проводится, если запланированная деятельность по обработке персональных данных, вероятно, приведет к высокому риску для прав личности субъектов данных.

Обязательна, если есть:
▪️обработка больших объемов персональных данных.
При использовании ИИ для анализа или обработки больших наборов данных, содержащих персональные данные, особенно если они включают конфиденциальные или специальные данные категории (например, информацию о состоянии здоровья, расовое или этническое происхождение, биометрические данные и т. д.) устранить риски раскрытия или неправомерного использования.
▪️автоматизированное принятие решений и профилирование.
Системы ИИ, которые принимают решения исключительно на основе автоматизированной обработки, включая профилирование, которое может иметь правовые или существенные последствия для отдельных лиц ( ИИ для кредитного скоринга, найма и т.п.).
▪️обработка данных с высоким риском.
Наблюдение, мониторинг поведения или отслеживание с помощью ИИ (например, распознавание лиц, отслеживание местоположения, поведенческая аналитика) в общественных местах или в пределах бизнеса - влияние на конфиденциальность отдельных лиц.
▪️обработка данных с участием уязвимых субъектов данных (н-р, дети, пожилые люди).

Примеры: Системы машинного обучения и глубокого обучения, автономные транспортные средства с ИИ, интеллектуальные транспортные системы, умные технологии, включая носимые устройства, некоторые приложения Интернета вещей (IoT)

Что необходимо сделать:
▪️определить характер, объем, контекст и цели обработки данных ИИ, показать потоки данных и указать этапы, на которых обработка ИИ может затронуть людей.
▪️оценить необходимость и пропорциональность обработки. Ответить на ряд вопросов:
- нужно ли использовать ИИ для достижения цели?
- есть ли менее навязчивые способы достичь того же результата?
- соразмерны ли интересы организации рискам для прав и свобод людей?
Любые компромиссы (например, сохранение большего объема данных ради точности анализа) должны быть обоснованы.
▪️оценить риски для прав и свобод отдельных лиц. Задокументировать и проанализировать любой потенциальный вред конфиденциальности субъектов данных, включая риски утечки, финансовые потери, репутационные потери, потенциальную предвзятость или несправедливое воздействие. Зафиксировать вероятность и серьёзность каждого риска и присвоить им оценку.
▪️описать меры по снижению рисков. Реализовать технические и организационные меры (н-р минимизация данных/ псевдонимизация /шифрование, реализация возможности отказа от обработки данных, где допустимо, соглашения о передаче данных, обучение сотрудников,) для минимизации выявленных рисков.

📌 Шаблоны и гайды:
▪️DPIA for the development of AI systems| CNIL;
▪️DPIA |EDPS;
▪️How to use AI and personal data appropriately and lawfully| ICO;
▪️How Google Cloud helps navigate your DPIA and AI privacy compliance journey;

#LawAndDisorder #AIShelf
————
@pattern_ai

Онлайн-покупки без лишних данных или как EDPB хочет сломать привычную модель сбора данных для ИИ

Европейский комитет по защите данных (EDPB) опубликовал Recommendations 2/2025 о том, когда интернет-платформы/магазины могут требовать создание аккаунта.

Подход простой: оплата без регистрации («guest checkout») должна быть доступна всегда, кроме случаев, когда аккаунт действительно необходим (н-р, подписочная модель или предоставление эксклюзивных услуг/сервисов, завязанных на личный кабинет). Такой подход рекомендуется в соответствии с принципами «privacy by design» и «privacy by default». EDPB уточняет, что требование от пользователей создания постоянного аккаунта для стандартных транзакций электронной коммерции, как правило, является незаконным согласно GDPR, т.к. продажа и доставка товаров может быть выполнена и без него.
Однако последствия ограничений выходят далеко за рамки приватности.

👀 Что это значит для ИИ и систем персонализации?
Рекомендации таким образом фактически ограничивают объём данных, которые компании смогут получить в «залогированных» пользовательских сессиях, критически важных для обучения алгоритмов персонализации и рекомендательных моделей:
- стабильные идентифицируемые данные, привязанные к аккаунту;
- последовательные данные длительного наблюдения, формируемые при повторных входах;
-поведенческие паттерны, необходимые для построения рекомендаций.
Архитектура и дизайн сервисов должны будут учитывать минимизацию сбора данных, возможную анонимизацию, поддержку сценариев работы без постоянных аккаунтов.

Публичное обсуждение документа и прием предложений по нему продлится до 12 февраля 2026 года.

#LawAndDisorder #UXWatch
————
@pattern_ai

Как “агентные” ИИ-аккаунты переполняют TikTok и обходят модерацию

Исследователи AI Forensics опубликовали отчёт "Prompt. Upload. Repeat: How Agentic AI Accounts Flood TikTok with Harmful content".
AAA - это новая категория «креаторов», которые почти не используют человеческое участие. Контент генерируется и заливается автоматически, с массовым тестированием алгоритмов рекомендаций, максимальная виральность и быстрый доход.

🔍Что показало исследование:
🔹Массовое производство контента как стратегия.
65% таких аккаунтов созданы в 2025 году. Некоторые публикуют до 11 постов в день, есть и 70 видео за сутки в одном аккаунте. Почти 80% из них это аккаунты, изначально созданные как полностью ИИ-генерируемые.

🔹 AAA массово распространяют:
- сексуализированные изображения женщин с детскими чертами,
- искажённые и нездоровые образы тела,
- ложные «новости», созданные под стилистику репортажей и документалистики,
- ксенофобские и расистские нарративы (в т.ч. антисемитские «тренды»),
- контент на стыке провокации, хайпа и манипуляции,
Многие тренды ( «mother-son», «antisemitic trend») воспроизводятся до бесконечности, что стимулирует появление новых AAA, «прыгающих» в уже раскрученные форматы.

🔹Маркировка ИИ-контента фактически не работает.
▪️55% ИИ-контента на TikTok не имеют маркировки.
▪️TikTok сам добавляет метку «AI-generated media» менее чем в 1,38% случаев. Если контент помечен, это добровольное усилие со стороны создателей.
▪️30% авторов никогда не помечают контент как ИИ-созданный.
▪️Пользователи замечают синтетичность гораздо чаще, чем сама платформа.
Это создаёт масштабный эффект обмана, особенно в политическом и «журналистском» ИИ-контенте.

🔹Монетизация: доход получают немногие, но экосистема уже работает.
Большинство AAA не попадают в Creator Rewards Program TikTok, однако:
- часть зарабатывает на промо сомнительных БАДов;
- другие на рекламе ИИ-инструментов и онлайн-курсов;
- некоторые копируют поведение человеческих инфлюенсеров, создавая «персонажей» для повышения доверия

🔹 Экосистема ИИ-виральности уже формируется.
AAA используют готовые сервисы, например Yapper.so, обещающие «массовое производство вирусного видео». Эти инструменты:
- предлагают готовые шаблоны, сюжеты, «виральные ситуации»,
- генерируют видео, включая фотореалистичных людей и “похожих на знаменитостей” без согласия,
- снижают цену производства почти до нуля, а значит стимулируют лавинообразный рост синтетического контента,

Риски:
▪️Нормализация вредного контента, алгоритмы закрепляют и масштабируют вредные паттерны.
▪️Эффект подмены человеческого контента. AI-трафик не просто «разбавляет» контент, формирует новые тренды, вытесняя реальных создателей.
▪️Манипуляция аудиторией и распространение фейков. Синтетическая «журналистика» становится неотличимой от реальной. Алгоритмы рекомендаций усиливают проблемные нарративы.
▪️Провал в маркировке ИИ-медиа. При отсутствии обязательной, унифицированной и проверяемой маркировки пользователи продолжают воспринимать ИИ-контент как человеческий.

Отчёт напрямую указывает на разрыв между масштабом автоматизированной генерации и способностью платформ обеспечивать прозрачность и безопасность.

#UXWatch
—————
@pattern_ai