Как превратить европейскую отчётность в инструмент доверия и качества

Еврокомиссия выпустила проект отчета и правил по статье 73 AI Act о том, как компании должны сообщать о серьёзных сбоях высокорисковых систем ИИ.
🔍 Но даже если ваш продукт не попадает под категорию «высокий риск», то эти правила могут стать ориентиром для выстраивания структуры управления ИИ и готовности к любым проверкам. Например,

▪️Что считать «серьезным инцидентом» у себя в компании.
AI Act называет «серьёзным инцидентом» случай, когда система ИИ напрямую или косвенно вызывает:
- смерть или серьёзный вред здоровью,
- сбой критической инфраструктуры (электричество, транспорт, финансы),
- нарушение основных прав человека (например, дискриминация, вторжение в частную жизнь),
- серьёзный ущерб имуществу или окружающей среде.
И даже если ваш продукт «низкорисковый», то эти критерии могут быть “красной карточкой" для вас и помогут гарантировать, что любой инцидент, который может привести к значительному ущербу или репутационному ущербу, будет рассмотрен с должной срочностью и строгостью.

▪️Создание и настройка внутренней системы “раннего предупреждения”
Инциденты редко случаются внезапно. В правилах приводятся примеры "звонков" или рутинных инцидентов, за которыми может последовать серьезный сбой: ошибки классификации, падение точности, временные отключения, непредсказуемое поведение модели.
▪️Обязанность расследования инцидентов и алгоритм действий, как действовать, если что-то пошло не так.
Обязанность расследования должна быть принята в качестве стандартной операционной процедуры для всех инцидентов, независимо от классификации риска.
Для любого продукта ИИ можно взять тот же алгоритм: что именно вывело систему из строя, было ли это прямое влияние ИИ или решение человека по его совету.
Внедрить внутреннюю политику и сохранять доказательства для для анализа и возможной экспертизы (логи, данные, версии модели, никаких апдейтов до фиксации состояния).
Далее оценить риски, принять меры, зафиксировать в реестре инцидентов. Установленные сроки помогут "держать руку на пульсе". Например, оповестить команду о серьёзном инциденте в течение 24 часов, дать 2-15 дней на расследование и первичный отчёт.

▪️Использовать шаблон как руководство для структурирования внутренней документации по инциденту и фиксировать важные детали:
- подробное описание инцидента (что, где, когда).
- сведения о подрядчике/провайдере.
- анализ причинно-следственной связи с системой ИИ (прямой или косвенной).
- информация о пострадавших сторонах и масштабах ущерба.
- немедленные и плановые корректирующие действия.
- идентификация системы и контекст.

▪️Следить за соответствием другим законам. Например, если утечка связана с персональными данными и речь идет про ЕС, то соблюдать требования GDPR. Соблюдать требования про защиту основных прав человека, вести мониторинг предвзятости модели (напимер, исключает кандидатов по полу или этнической принадлежности, завышает цены для жителей определённых районов).
Можно делать оценку влияния на права (FRIA).

🫡 Зачем тратить усилия на выполнение того, что кажется необязательным?
- формула «сообщить = помочь проекту», а не «сообщить = виноват» будет обеспечивать его дальнейшую надежность;
- меньше правовых и репутационных рисков;
- проще интеграция с другими фреймворками и проектами;
- доверие клиентов и инвесторов.

#LawAndDisorder
————
@pattern_ai

Как ChatGPT Atlas меняет взаимодействие с вебом

Сегодня OpenAI представила ChatGPT Atlas, который интегрирует в браузер не только чат-бота, но и полноценный ИИ-агент. Он запоминает действия пользователя, его интересы и истории посещений, становится более персонализированным, может брать на себя рутинные задачи ( оформлять бронирования билетов, редактировать документы, делать заказы по заданию пользователя).
Доступен для macOS, релиз для Windows, iOS и Android ожидается в ближайшее время.

👀 Звучит здорово, а что с рисками использования?

▪️Может неправильно выполнить задачу. OpenAI сам предупреждает, что в сложных сценариях агент может допускать ошибки, и активно работает над улучшением надежности и скорости выполнения задач.
▪️Скрытые вредоносные инструкции;
▪️Уязвимости и новые угрозы. Компания признает, что не все угрозы могут быть предотвращены, и пользователи должны осознавать возможные риски (скрин с их страницы).
▪️Обработка данных. Хотя по умолчанию OpenAI не использует содержимое веб-страниц для обучения моделей, при включённой опции «Include web browsing» данные могут быть использованы для тренировки моделей.
▪️Безопасность детей. Для обеспечения безопасности в ChatGPT Atlas OpenAI внедрила родительский контроль, т.е. настройки, применённые в ChatGPT, автоматически действуют в Atlas.
Родители могут отключать режим агента и память браузера, чтобы ограничить взаимодействие с веб-страницами. Но опять же гарантий никто не дает.

Рекомендации для пользователей:
🔹Используйте режим инкогнито, предотвратит сохранение истории и использование данных из памяти браузера. Это и OpenAI рекомендует.
🔹Включайте агент только при необходимости.
🔹Не предоставляйте агенту доступ к чувствительной информации или аккаунтам без необходимости.
🔹Убедитесь, что ваши настройки соответствуют вашим требованиям безопасности.
🔹Регулярно проверяйте и контролируйте действия агента.
🔹Настройте родительский контроль, если дети используют ChatGPT Atlas.

Это c одной стороны новый мощный инструмент, расширяющий возможности ChatGPT, и конкурент Google. НО важно осознавать риски и принимать меры для их минимизации. Про потенциальные ловушки для пользователей в Gemini 2.5. Computer Use было в предыдущем посте.

#UXWatch
————
@pattern_ai

Еще один пример функции ИИ или троянский конь Meta Camera Roll

Не только Google и OpenAI радуют нас новинками. Meta еще с лета тестирует новую функцию под названием Camera Roll (или Meta Camera Sync), которая предлагает пользователям “вдохновляющие идеи для контента”, например, коллажи, клипы и подборки из ваших фото и видео. Естественно, что запуск начался в США и Канаде, плюс там не такое строгое регулирование.

Meta просит opt-in доступ ( судя по всему постоянный) к медиатеке устройства и загружает часть контента “в облако Meta” на постоянной основе, т.е. фото и видео, ещё не загруженные на Facebook, могут быть «просмотрены» системой и обработаны, чтобы предложить пользователю готовые к публикации идеи (коллажи, монтажи, тематические подборки) или подсказки к публикации.
Если пользователь соглашается редактировать или публиковать фото через Meta AI, этот контент может использоваться для обучения ИИ. В окне согласия также прямо сказано, что “media and facial features can be analyzed by Meta AI.”

🔍В Privacy Policy Meta термин “camera roll content” встречается больше 10 раз в разделе о данных, которые компания может собирать, анализировать и передавать третьим лицам.
Согласно документу, Meta может использовать контент с камеры устройства для:
- персонализации продуктов и улучшения алгоритмов;
- аналитики и исследований;
- обеспечения безопасности и целостности сервисов;
- обмена данными с другими компаниями Meta и партнёрами;
- инноваций для общественного блага (что бы это ни значило);
- обработки данных в соответствии с законодательством и по запросам госорганов.
В окне согласия сказано, что данные не используются для рекламы, но политика конфиденциальности допускает персонализацию и идентификацию пользователя как клиента Meta, т. е. для профилирования.

👀 Основные риски:
▪️Фоновая передача данных. Даже если пользователь не открывает приложение, фото и видео могут синхронизироваться.
▪️Объём и характер данных. Обрабатываются не только «выбранные» фото, но потенциально вся фотоплёнка устройства, включая снимки, которые не были опубликованы и имеют высокую степень приватности.
▪️Обработка биометрических данных. В тексте упоминается анализ “facial features” .
▪️Неопределённое будущее использования. Несмотря на текущие обещания, формулировка «если вы редактируете / публикуете» оставляет лазейку для расширения использования данных в будущем.
▪️ Нет прозрачного механизма удаления.
▪️Международная передача данных, если релиз фичи будет распространен на другие юрисдикции.
▪️Этические и правовые аспекты. Снимки с лицами третьих лиц (друзья, дети) могут оказаться обработаны без их явного согласия.

Также Meta подтвердила, что будет собирать данные о взаимодействии со своими инструментами ИИ для показа таргетированной рекламы в Facebook, Instagram и Threads, пока будет применяться к голосовым чатам и текстовым сообщениям, но почему бы и не выдать вам в итоге рекламу на основе фото с устройства....
Регуляторы пока молчат.

Что делать пользователям:
▪️Как вариант, не включать эту функцию. Если видите предложение “Get creative ideas with your camera roll”, то нажать Not Now.
▪️Проверить настройки Meta AI и ограничить обработку контента.
▪️Проверить права доступа приложения к фото на устройстве, ограничить доступ/ дать доступ только к выбранным фото/ вообще запретить.
▪️Хранить чувствительные данные отдельно.
▪️Следить за обновлениями политики. Meta часто меняет тексты согласий, и они могут автоматически применяться к уже загруженным данным.
Осознанный выбор это не просто дать разрешение, но знать, что именно вы разрешаете.

Продуктовым командам важно извлечь урок: любое взаимодействие с личными данными должно строиться на понятной, прямой и обратимой модели согласия, интерфейс должен содержать чёткие пояснения, сценарии реагирования, простой opt-out, контроль правовых и этических аспектов.

*Meta признана экстремистской организацией и запрещена в России.

#UXWatch
————
@pattern_ai

ИИ в школах: урок Ирландии по безопасному внедрению

Министерство образования и молодежи Ирландии выпустило руководство по использованию ИИ в школах. Можно брать за практический навигатор для директоров, учителей и школьных IT‑администраторов.

👀Посмотрим основные тезисы:
🔹Учитель остаётся в центре. ИИ - это инструмент, а не замена. Решения о внедрении технологий должны приниматься педагогами с учётом учебных целей и этических стандартов.
🔹 Любое использование ИИ должно учитывать конфиденциальность данных учащихся и предотвращать любые риски, связанные с алгоритмическими ошибками или предвзятостью моделей.
🔹 Документ рекомендует включать ИИ в школьную программу так, чтобы это развивало цифровую грамотность всех учеников, а не только тех, кто «уже в теме».
🔹И, главное, что руководство является "живым документом", т.е. будет обновляться по мере появления новых технологий и международных рекомендаций (например, от UNESCO или Европейского союза).
🔹В конце полезные примеры использования и перечень вопросов, на которые стоит ответить до внедрения ИИ в школьный процесс.

Отмечу, что помимо руководств (пост здесь), существуют наборы инструментов, такие как TeachAI, которые помогают школам и педагогам разрабатывать собственные политики по ИИ, учитывая и риски, и возможности. Это делает процесс более практичным и адаптируемым под конкретную школу.

#AIShelf
————
@pattern_ai

ИИ и инклюзивное образование

ИИ также может расширять возможности учеников с особенностями в обучении, если правильно его использовать, что продемонстрировал, проведенный Stanford AI + Learning Differences Hackathon и выпущенный whitepaper по его итогам.

👀Часть выводов:

🔹 Ключевой принцип “Start Together”: разрабатывать технологии вместе с учениками, педагогами и семьями, особенно с теми, кто имеет опыт обучения учеников с особенностями. Если ученики и их учителя участвуют в создании и тестировании ИИ‑решений, то технологии работают как помощник, а не как «черный ящик», который никто не понимает.
🔹Каждый ученик уникален. ИИ может адаптировать уроки под скорость и стиль обучения, давать подсказки и выбирать методику подачи материала для каждого ученика, но только если дизайн инструментов учитывает реальные потребности учащихся. Это делает обучение доступным и интересным для тех, кому стандартные методы даются сложнее.
🔹Инклюзивные ИИ‑системы требуют безопасного обращения с данными. Никаких компромиссов с конфиденциальностью и прозрачностью алгоритмов.
🔹Разработчикам рекомендуют:
- проверять обучающие данные на репрезентативность и исключать предвзятость;
- справедливо вознаграждать участников, делящихся своим опытом;
- строить продукты, которые эмоционально резонируют и реально улучшают процесс обучения.
Исследователям: объединять количественные и качественные методы, проводить длительные наблюдения и работать в партнёрстве со школами.
Политикам: создавать программы финансирования, которые поддерживают инклюзивные инновации и делают технологии доступными для всех.Исключение «одного подхода для всех».

Примеры уже существующих решений:
🔹 Alongside - цифровая платформа для поддержки ментального здоровья учеников 4–12 классов.
Создана совместно с подростками и клиницистами, доступна на 37 языках, работает 24/7.
После трёх месяцев использования 76% учеников из группы высокого риска перестали сообщать о суицидальных мыслях.
Платформа клинически валидирована и соответствует FERPA и COPPA.
🔹 Ellis - ИИ-помощник для учителей, который подбирает персонализированные стратегии для конкретных учеников. Помогает педагогам экономить время и уверенно работать с разнообразными образовательными потребностями. 89% учителей отметили улучшение индивидуального планирования.
🔹 Mursion - симуляционная среда, где педагоги тренируются решать реальные ситуации (конфликты, коммуникация с родителями, управление классом) через взаимодействие с AI-аватарами. Это безопасный способ развивать навыки лидерства и эмпатии до выхода «в поле».

Почитать:
▪️The Impact of Artificial Intelligence on Inclusive Education: A Systematic Review by Verónica-Alexandra Melo-López, Andrea Basantes-Andrade and other

#UXWatch #AIShelf
————
@pattern_ai