ai-screening-tool.docx
244.7 KB
Шаблон политики в области ИИ от Австралийского правительства
Правительство Австралии опубликовали руководство и редактируемый шаблон политики в области ИИ. Шаблон содержит основные принципы, ожидания и правила разработки, внедрения и использования систем ИИ. Есть рекомендуемая структура и примеры контента, что может стать отправной точкой для разработки политики вашей организации.
Еще можно позаимствовать Руководство по внедрению ИИ, инструмент проверки ИИ (есть в формате Word), шаблон реестра ИИ (есть в формате Excel).
При использовании адаптируйте под нужды своей организации, проверяйте требования в вашем регионе, консультируйтесь со специалистами, чтобы получить реально работающие инструменты, помогающие сотрудникам понять, где и почему используются системы ИИ, какие процессы используются для управления рисками.
#AIShelf
————
@pattern_ai
Правительство Австралии опубликовали руководство и редактируемый шаблон политики в области ИИ. Шаблон содержит основные принципы, ожидания и правила разработки, внедрения и использования систем ИИ. Есть рекомендуемая структура и примеры контента, что может стать отправной точкой для разработки политики вашей организации.
Еще можно позаимствовать Руководство по внедрению ИИ, инструмент проверки ИИ (есть в формате Word), шаблон реестра ИИ (есть в формате Excel).
При использовании адаптируйте под нужды своей организации, проверяйте требования в вашем регионе, консультируйтесь со специалистами, чтобы получить реально работающие инструменты, помогающие сотрудникам понять, где и почему используются системы ИИ, какие процессы используются для управления рисками.
#AIShelf
————
@pattern_ai
Как ChatGPT Atlas меняет взаимодействие с вебом
Сегодня OpenAI представила ChatGPT Atlas, который интегрирует в браузер не только чат-бота, но и полноценный ИИ-агент. Он запоминает действия пользователя, его интересы и истории посещений, становится более персонализированным, может брать на себя рутинные задачи ( оформлять бронирования билетов, редактировать документы, делать заказы по заданию пользователя).
Доступен для macOS, релиз для Windows, iOS и Android ожидается в ближайшее время.
👀 Звучит здорово, а что с рисками использования?
▪️Может неправильно выполнить задачу. OpenAI сам предупреждает, что в сложных сценариях агент может допускать ошибки, и активно работает над улучшением надежности и скорости выполнения задач.
▪️Скрытые вредоносные инструкции;
▪️Уязвимости и новые угрозы. Компания признает, что не все угрозы могут быть предотвращены, и пользователи должны осознавать возможные риски (скрин с их страницы).
▪️Обработка данных. Хотя по умолчанию OpenAI не использует содержимое веб-страниц для обучения моделей, при включённой опции «Include web browsing» данные могут быть использованы для тренировки моделей.
▪️Безопасность детей. Для обеспечения безопасности в ChatGPT Atlas OpenAI внедрила родительский контроль, т.е. настройки, применённые в ChatGPT, автоматически действуют в Atlas.
Родители могут отключать режим агента и память браузера, чтобы ограничить взаимодействие с веб-страницами. Но опять же гарантий никто не дает.
Рекомендации для пользователей:
🔹Используйте режим инкогнито, предотвратит сохранение истории и использование данных из памяти браузера. Это и OpenAI рекомендует.
🔹Включайте агент только при необходимости.
🔹Не предоставляйте агенту доступ к чувствительной информации или аккаунтам без необходимости.
🔹Убедитесь, что ваши настройки соответствуют вашим требованиям безопасности.
🔹Регулярно проверяйте и контролируйте действия агента.
🔹Настройте родительский контроль, если дети используют ChatGPT Atlas.
Это c одной стороны новый мощный инструмент, расширяющий возможности ChatGPT, и конкурент Google. НО важно осознавать риски и принимать меры для их минимизации. Про потенциальные ловушки для пользователей в Gemini 2.5. Computer Use было в предыдущем посте.
#UXWatch
————
@pattern_ai
Сегодня OpenAI представила ChatGPT Atlas, который интегрирует в браузер не только чат-бота, но и полноценный ИИ-агент. Он запоминает действия пользователя, его интересы и истории посещений, становится более персонализированным, может брать на себя рутинные задачи ( оформлять бронирования билетов, редактировать документы, делать заказы по заданию пользователя).
Доступен для macOS, релиз для Windows, iOS и Android ожидается в ближайшее время.
▪️Может неправильно выполнить задачу. OpenAI сам предупреждает, что в сложных сценариях агент может допускать ошибки, и активно работает над улучшением надежности и скорости выполнения задач.
▪️Скрытые вредоносные инструкции;
▪️Уязвимости и новые угрозы. Компания признает, что не все угрозы могут быть предотвращены, и пользователи должны осознавать возможные риски (скрин с их страницы).
▪️Обработка данных. Хотя по умолчанию OpenAI не использует содержимое веб-страниц для обучения моделей, при включённой опции «Include web browsing» данные могут быть использованы для тренировки моделей.
▪️Безопасность детей. Для обеспечения безопасности в ChatGPT Atlas OpenAI внедрила родительский контроль, т.е. настройки, применённые в ChatGPT, автоматически действуют в Atlas.
Родители могут отключать режим агента и память браузера, чтобы ограничить взаимодействие с веб-страницами. Но опять же гарантий никто не дает.
Рекомендации для пользователей:
🔹Используйте режим инкогнито, предотвратит сохранение истории и использование данных из памяти браузера. Это и OpenAI рекомендует.
🔹Включайте агент только при необходимости.
🔹Не предоставляйте агенту доступ к чувствительной информации или аккаунтам без необходимости.
🔹Убедитесь, что ваши настройки соответствуют вашим требованиям безопасности.
🔹Регулярно проверяйте и контролируйте действия агента.
🔹Настройте родительский контроль, если дети используют ChatGPT Atlas.
Это c одной стороны новый мощный инструмент, расширяющий возможности ChatGPT, и конкурент Google. НО важно осознавать риски и принимать меры для их минимизации. Про потенциальные ловушки для пользователей в Gemini 2.5. Computer Use было в предыдущем посте.
#UXWatch
————
@pattern_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Еще один пример функции ИИ или троянский конь Meta Camera Roll
Не только Google и OpenAI радуют нас новинками. Meta еще с лета тестирует новую функцию под названием Camera Roll (или Meta Camera Sync), которая предлагает пользователям “вдохновляющие идеи для контента”, например, коллажи, клипы и подборки из ваших фото и видео. Естественно, что запуск начался в США и Канаде, плюс там не такое строгое регулирование.
Meta просит opt-in доступ ( судя по всему постоянный) к медиатеке устройства и загружает часть контента “в облако Meta” на постоянной основе, т.е. фото и видео, ещё не загруженные на Facebook, могут быть «просмотрены» системой и обработаны, чтобы предложить пользователю готовые к публикации идеи (коллажи, монтажи, тематические подборки) или подсказки к публикации.
Если пользователь соглашается редактировать или публиковать фото через Meta AI, этот контент может использоваться для обучения ИИ. В окне согласия также прямо сказано, что “media and facial features can be analyzed by Meta AI.”
🔍 В Privacy Policy Meta термин “camera roll content” встречается больше 10 раз в разделе о данных, которые компания может собирать, анализировать и передавать третьим лицам.
Согласно документу, Meta может использовать контент с камеры устройства для:
- персонализации продуктов и улучшения алгоритмов;
- аналитики и исследований;
- обеспечения безопасности и целостности сервисов;
- обмена данными с другими компаниями Meta и партнёрами;
- инноваций для общественного блага (что бы это ни значило);
- обработки данных в соответствии с законодательством и по запросам госорганов.
В окне согласия сказано, что данные не используются для рекламы, но политика конфиденциальности допускает персонализацию и идентификацию пользователя как клиента Meta, т. е. для профилирования.
👀 Основные риски:
▪️Фоновая передача данных. Даже если пользователь не открывает приложение, фото и видео могут синхронизироваться.
▪️Объём и характер данных. Обрабатываются не только «выбранные» фото, но потенциально вся фотоплёнка устройства, включая снимки, которые не были опубликованы и имеют высокую степень приватности.
▪️Обработка биометрических данных. В тексте упоминается анализ “facial features” .
▪️Неопределённое будущее использования. Несмотря на текущие обещания, формулировка «если вы редактируете / публикуете» оставляет лазейку для расширения использования данных в будущем.
▪️ Нет прозрачного механизма удаления.
▪️Международная передача данных, если релиз фичи будет распространен на другие юрисдикции.
▪️Этические и правовые аспекты. Снимки с лицами третьих лиц (друзья, дети) могут оказаться обработаны без их явного согласия.
Также Meta подтвердила, что будет собирать данные о взаимодействии со своими инструментами ИИ для показа таргетированной рекламы в Facebook, Instagram и Threads, пока будет применяться к голосовым чатам и текстовым сообщениям, но почему бы и не выдать вам в итоге рекламу на основе фото с устройства....
Регуляторы пока молчат.
Что делать пользователям:
▪️Как вариант, не включать эту функцию. Если видите предложение “Get creative ideas with your camera roll”, то нажать Not Now.
▪️Проверить настройки Meta AI и ограничить обработку контента.
▪️Проверить права доступа приложения к фото на устройстве, ограничить доступ/ дать доступ только к выбранным фото/ вообще запретить.
▪️Хранить чувствительные данные отдельно.
▪️Следить за обновлениями политики. Meta часто меняет тексты согласий, и они могут автоматически применяться к уже загруженным данным.
Осознанный выбор это не просто дать разрешение, но знать, что именно вы разрешаете.
Продуктовым командам важно извлечь урок: любое взаимодействие с личными данными должно строиться на понятной, прямой и обратимой модели согласия, интерфейс должен содержать чёткие пояснения, сценарии реагирования, простой opt-out, контроль правовых и этических аспектов.
*Meta признана экстремистской организацией и запрещена в России.
#UXWatch
————
@pattern_ai
Не только Google и OpenAI радуют нас новинками. Meta еще с лета тестирует новую функцию под названием Camera Roll (или Meta Camera Sync), которая предлагает пользователям “вдохновляющие идеи для контента”, например, коллажи, клипы и подборки из ваших фото и видео. Естественно, что запуск начался в США и Канаде, плюс там не такое строгое регулирование.
Meta просит opt-in доступ ( судя по всему постоянный) к медиатеке устройства и загружает часть контента “в облако Meta” на постоянной основе, т.е. фото и видео, ещё не загруженные на Facebook, могут быть «просмотрены» системой и обработаны, чтобы предложить пользователю готовые к публикации идеи (коллажи, монтажи, тематические подборки) или подсказки к публикации.
Если пользователь соглашается редактировать или публиковать фото через Meta AI, этот контент может использоваться для обучения ИИ. В окне согласия также прямо сказано, что “media and facial features can be analyzed by Meta AI.”
Согласно документу, Meta может использовать контент с камеры устройства для:
- персонализации продуктов и улучшения алгоритмов;
- аналитики и исследований;
- обеспечения безопасности и целостности сервисов;
- обмена данными с другими компаниями Meta и партнёрами;
- инноваций для общественного блага (что бы это ни значило);
- обработки данных в соответствии с законодательством и по запросам госорганов.
В окне согласия сказано, что данные не используются для рекламы, но политика конфиденциальности допускает персонализацию и идентификацию пользователя как клиента Meta, т. е. для профилирования.
▪️Фоновая передача данных. Даже если пользователь не открывает приложение, фото и видео могут синхронизироваться.
▪️Объём и характер данных. Обрабатываются не только «выбранные» фото, но потенциально вся фотоплёнка устройства, включая снимки, которые не были опубликованы и имеют высокую степень приватности.
▪️Обработка биометрических данных. В тексте упоминается анализ “facial features” .
▪️Неопределённое будущее использования. Несмотря на текущие обещания, формулировка «если вы редактируете / публикуете» оставляет лазейку для расширения использования данных в будущем.
▪️ Нет прозрачного механизма удаления.
▪️Международная передача данных, если релиз фичи будет распространен на другие юрисдикции.
▪️Этические и правовые аспекты. Снимки с лицами третьих лиц (друзья, дети) могут оказаться обработаны без их явного согласия.
Также Meta подтвердила, что будет собирать данные о взаимодействии со своими инструментами ИИ для показа таргетированной рекламы в Facebook, Instagram и Threads, пока будет применяться к голосовым чатам и текстовым сообщениям, но почему бы и не выдать вам в итоге рекламу на основе фото с устройства....
Регуляторы пока молчат.
Что делать пользователям:
▪️Как вариант, не включать эту функцию. Если видите предложение “Get creative ideas with your camera roll”, то нажать Not Now.
▪️Проверить настройки Meta AI и ограничить обработку контента.
▪️Проверить права доступа приложения к фото на устройстве, ограничить доступ/ дать доступ только к выбранным фото/ вообще запретить.
▪️Хранить чувствительные данные отдельно.
▪️Следить за обновлениями политики. Meta часто меняет тексты согласий, и они могут автоматически применяться к уже загруженным данным.
Осознанный выбор это не просто дать разрешение, но знать, что именно вы разрешаете.
Продуктовым командам важно извлечь урок: любое взаимодействие с личными данными должно строиться на понятной, прямой и обратимой модели согласия, интерфейс должен содержать чёткие пояснения, сценарии реагирования, простой opt-out, контроль правовых и этических аспектов.
*Meta признана экстремистской организацией и запрещена в России.
#UXWatch
————
@pattern_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Обучающие гайды по ИИ от Google, Perplexity и OpenAI
Google
🔹Новая Skills Boost платформа с почти 3 000 бесплатных курсов по нейросетям, машинному обучению и данным.
🔹Learn essential AI skills курсы для новичков.
🔹AI Literacy Notebook коллекция материалов, преимущественно от Google for Education, посвященных обучению ИИ, его ответственному использованию, и связанных с ним инструментов.
Perplexity
🔹Новый гайд Perplexity at Work: A Guide to Getting More Done принципы, промпты, примеры автоматизации.
🔹Perplexity Encyclopedia материалы о том, как применять тулы для исследований, учебы, дизайна и т.п.
🔹Resource Hub вебинары, обучающие материалы для бизнеса и research-команд.
OpenAI
🔹Новый Sora 2 Prompting Guide о том, как создавать видео, советы и примеры промптов.
🔹OpenAI Academy, обучающая площадка с материалами для специалистов и тех, кто хочет понять ИИ-инструменты.
🔹Tutorials пошаговое руководство, примеры кода, советы по использованию.
🔹A practical guide to building agents для тех, кто хочет разрабатывать ИИ-агентов/ассистентов.
🔹Документация по prompt engineering, как правильно формулировать запросы к моделям.
#AIShelf #TalkPrompty
————
@pattern_ai
🔹Новая Skills Boost платформа с почти 3 000 бесплатных курсов по нейросетям, машинному обучению и данным.
🔹Learn essential AI skills курсы для новичков.
🔹AI Literacy Notebook коллекция материалов, преимущественно от Google for Education, посвященных обучению ИИ, его ответственному использованию, и связанных с ним инструментов.
Perplexity
🔹Новый гайд Perplexity at Work: A Guide to Getting More Done принципы, промпты, примеры автоматизации.
🔹Perplexity Encyclopedia материалы о том, как применять тулы для исследований, учебы, дизайна и т.п.
🔹Resource Hub вебинары, обучающие материалы для бизнеса и research-команд.
OpenAI
🔹Новый Sora 2 Prompting Guide о том, как создавать видео, советы и примеры промптов.
🔹OpenAI Academy, обучающая площадка с материалами для специалистов и тех, кто хочет понять ИИ-инструменты.
🔹Tutorials пошаговое руководство, примеры кода, советы по использованию.
🔹A practical guide to building agents для тех, кто хочет разрабатывать ИИ-агентов/ассистентов.
🔹Документация по prompt engineering, как правильно формулировать запросы к моделям.
#AIShelf #TalkPrompty
————
@pattern_ai
65+ Use cases AI agent .pdf
59.1 MB
65 сценариев использования ИИ-агентов от Stack AI
В whitepaper рассмотрены более 65 практических сценариев использования ИИ-агентов в разных сферах (страхование, финансы, образование и т.д.) с примерами workflow и результатами. Можно посмотреть идеи по автоматизация ваших процессов.
И не забудьте посчитать выгоду, возможно уже работающий специалист будет выгоднее, чем внедрение автоматизации, ведь кейсы и обьемы задач у всех разные.
#AIShelf
————
@pattern_ai
В whitepaper рассмотрены более 65 практических сценариев использования ИИ-агентов в разных сферах (страхование, финансы, образование и т.д.) с примерами workflow и результатами. Можно посмотреть идеи по автоматизация ваших процессов.
И не забудьте посчитать выгоду, возможно уже работающий специалист будет выгоднее, чем внедрение автоматизации, ведь кейсы и обьемы задач у всех разные.
#AIShelf
————
@pattern_ai
This media is not supported in your browser
VIEW IN TELEGRAM
Для любителей котиков
AI Deepfakes Order.pdf
911.8 KB
Deepfake в суде или как ИИ уничтожил дело Mendones v. Cushman & Wakefield
Высший суд Калифорнии, округ Аламеда впервые прекратил дело из-за deepfake-доказательств.
Истцы подали ходатайство о вынесении решения в порядке упрощенного судопроизводства (motion for summary judgment) и представили несколько видео, фотографий и скриншотов сообщений, представленных в качестве свидетельских показаний или признаний.
Судья Виктория Колаковски заподозрила фальсификацию: лица без мимики, речь не совпадает с движением губ, некоторые “записанные” свидетели, как выяснилось, давно умерли, а в метаданных GPS-координаты,телефонные номера и “музыкальные жанры”.
Само решение интересно изучить,т.к. это пример судебного анализа и сопоставления доказательств.
Суд признал нарушение ст. 128.7 Гражданского процессуального кодекса Калифорнии, которая требует от сторон подтверждения того, что их заявления имеют доказательную базу и не представлены в ненадлежащих целях, также сослался на положения УK Калифорнии о лжесвидетельстве (ст. 118) и подделке документов (ст. 470) и окончательно прекратил производства по делу.
Суд отказался передавать материалы в прокуратуру, но прямо предупредил:
Почему это важно для нас?
Это первое известное решение, где deepfake стал основанием для закрытия дела. Суд признал, что у судов нет инструментов для проверки подлинности цифровых файлов, а ответственность лежит на сторонах и юристах.
Новые технологии создают и новые вызовы для судебной системы, ведь судьи вынуждены самостоятельно проводить “техническую экспертизу” доказательств, и нет единых процедур проверки AI-контента и стандартов аутентичности, что может привести к
подрыву доверия к судебному процессу и росту нагрузки на суды.
Что делать юристам, чтобы не попасть в схожие ситуации:
▪️ сохранять оригиналы и метаданные;
▪️ раскрывать использование ИИ;
▪️ вводить внутренние AI-правила для юристов.
Рекомендации клиентам:
▪️проверяйте источник любого видео или фото, особенно если его прислал “свидетель” или контрагент.
▪️не используйте AI-генераторы для “улучшения” материалов, которые могут попасть в суд или аудит.
▪️ храните оригиналы файлов и историю переписок, теперь и метаданные могут решить исход дела.
▪️будьте готовы подтвердить подлинность (суды всё чаще будут требовать доказательства, что контент не создан ИИ).
▪️ спрашивайте юриста, как безопасно использовать AI-инструменты в вашей компании.
Как считаете, кто должен отличить настоящее видео от подделки, если от этого зависит судьба дела, например, суд, эксперты или какой-то ИИ-инструмент, и чья это будет ответственность?
#LawAndDisorder
————
@pattern_ai
Высший суд Калифорнии, округ Аламеда впервые прекратил дело из-за deepfake-доказательств.
Истцы подали ходатайство о вынесении решения в порядке упрощенного судопроизводства (motion for summary judgment) и представили несколько видео, фотографий и скриншотов сообщений, представленных в качестве свидетельских показаний или признаний.
Судья Виктория Колаковски заподозрила фальсификацию: лица без мимики, речь не совпадает с движением губ, некоторые “записанные” свидетели, как выяснилось, давно умерли, а в метаданных GPS-координаты,телефонные номера и “музыкальные жанры”.
Само решение интересно изучить,т.к. это пример судебного анализа и сопоставления доказательств.
Суд признал нарушение ст. 128.7 Гражданского процессуального кодекса Калифорнии, которая требует от сторон подтверждения того, что их заявления имеют доказательную базу и не представлены в ненадлежащих целях, также сослался на положения УK Калифорнии о лжесвидетельстве (ст. 118) и подделке документов (ст. 470) и окончательно прекратил производства по делу.
Суд отказался передавать материалы в прокуратуру, но прямо предупредил:
“Используйте генеративный ИИ в суде с величайшей осторожностью.”
Почему это важно для нас?
Это первое известное решение, где deepfake стал основанием для закрытия дела. Суд признал, что у судов нет инструментов для проверки подлинности цифровых файлов, а ответственность лежит на сторонах и юристах.
Новые технологии создают и новые вызовы для судебной системы, ведь судьи вынуждены самостоятельно проводить “техническую экспертизу” доказательств, и нет единых процедур проверки AI-контента и стандартов аутентичности, что может привести к
подрыву доверия к судебному процессу и росту нагрузки на суды.
Что делать юристам, чтобы не попасть в схожие ситуации:
▪️ сохранять оригиналы и метаданные;
▪️ раскрывать использование ИИ;
▪️ вводить внутренние AI-правила для юристов.
Рекомендации клиентам:
▪️проверяйте источник любого видео или фото, особенно если его прислал “свидетель” или контрагент.
▪️не используйте AI-генераторы для “улучшения” материалов, которые могут попасть в суд или аудит.
▪️ храните оригиналы файлов и историю переписок, теперь и метаданные могут решить исход дела.
▪️будьте готовы подтвердить подлинность (суды всё чаще будут требовать доказательства, что контент не создан ИИ).
▪️ спрашивайте юриста, как безопасно использовать AI-инструменты в вашей компании.
Как считаете, кто должен отличить настоящее видео от подделки, если от этого зависит судьба дела, например, суд, эксперты или какой-то ИИ-инструмент, и чья это будет ответственность?
#LawAndDisorder
————
@pattern_ai
👏3
Report_How Are AI Developers Managing Risks_Hiroshima.pdf
2.9 MB
Как разработчики ИИ управляют рисками: первый сводный отчёт по Хиросимскому процессу
Опубликован отчёт “How Are AI Developers Managing Risks?”, обобщающий первые отчёты компаний в рамках Hiroshima AI Process Reporting Framework (HAIP).
Фреймворк был запущен в начале 2025 года как первый международный добровольный механизм отчётности для организаций, создающих передовые ИИ-системы.
Как использовать отчеты компаний для своих целей, разбирала в этом посте.
Сводный отчёт охватывает 20 организаций ( технологические и телеком-компании, исследовательские институты) из 7 стран (Япония (7), США (6), Германия, Канада, Корея и Румыния).
✏️ Ключевые выводы:
🔹 Оценка рисков. Компании выстраивают подходы на основе Принципов ОЭСР по ИИ и компонентов AI Act, фреймворки NIST. Используются как количественные метрики, так и экспертная оценка на всех стадиях жизненного цикла системы.
🔹Тестирование и безопасность. Распространены методы red teaming (симуляции атак), многоуровневые стратегии безопасности, zero-trust-архитектуры, фильтрация данных, настройка и модерация выходов модели. Некоторые организации вводят пороговые значения риска, после которых включаются дополнительные защитные меры.
🔹 Прозрачность. Потребительские компании чаще публикуют model cards и отчёты о прозрачности. B2B раскрывают сведения через контракты.Обмениваются данными в основном с исследователями и регулирующими органами.
🔹Управление. Большинство интегрируют риски ИИ в общие системы корпоративного управления и качества, создают команды по реагированию на инциденты, делятся кейсами через блоги и кросс-отраслевые инициативы.
🔹Происхождение контента. Инструменты маркировки вроде watermarking пока на пилотной стадии (используются крупными игроками участниками инициатив C2PA и NIST Synthetic Content Taskforce).
🔹Безопасность и исследование. Приоритеты исследований: дезинформация, кибербезопасность, смещения и справедливость моделей; активно развиваются партнёрства с гос- и академическими структурами.
🔹Общественные цели. Многие применяют ИИ для задач здравоохранения, образования, инклюзии и климата, в том числе разрабатывают энергоэффективные модели и программы цифровой грамотности.
Этот отчет HAIP демонстрирует, что добровольная международная отчётность может стать эффективным инструментом ответственного управления ИИ, помогая организациям обмениваться практиками, повышать интерпретируемость, устойчивость и подотчётность систем.
#AIShelf
————
@pattern_ai
Опубликован отчёт “How Are AI Developers Managing Risks?”, обобщающий первые отчёты компаний в рамках Hiroshima AI Process Reporting Framework (HAIP).
Фреймворк был запущен в начале 2025 года как первый международный добровольный механизм отчётности для организаций, создающих передовые ИИ-системы.
Как использовать отчеты компаний для своих целей, разбирала в этом посте.
Сводный отчёт охватывает 20 организаций ( технологические и телеком-компании, исследовательские институты) из 7 стран (Япония (7), США (6), Германия, Канада, Корея и Румыния).
✏️ Ключевые выводы:
🔹 Оценка рисков. Компании выстраивают подходы на основе Принципов ОЭСР по ИИ и компонентов AI Act, фреймворки NIST. Используются как количественные метрики, так и экспертная оценка на всех стадиях жизненного цикла системы.
🔹Тестирование и безопасность. Распространены методы red teaming (симуляции атак), многоуровневые стратегии безопасности, zero-trust-архитектуры, фильтрация данных, настройка и модерация выходов модели. Некоторые организации вводят пороговые значения риска, после которых включаются дополнительные защитные меры.
🔹 Прозрачность. Потребительские компании чаще публикуют model cards и отчёты о прозрачности. B2B раскрывают сведения через контракты.Обмениваются данными в основном с исследователями и регулирующими органами.
🔹Управление. Большинство интегрируют риски ИИ в общие системы корпоративного управления и качества, создают команды по реагированию на инциденты, делятся кейсами через блоги и кросс-отраслевые инициативы.
🔹Происхождение контента. Инструменты маркировки вроде watermarking пока на пилотной стадии (используются крупными игроками участниками инициатив C2PA и NIST Synthetic Content Taskforce).
🔹Безопасность и исследование. Приоритеты исследований: дезинформация, кибербезопасность, смещения и справедливость моделей; активно развиваются партнёрства с гос- и академическими структурами.
🔹Общественные цели. Многие применяют ИИ для задач здравоохранения, образования, инклюзии и климата, в том числе разрабатывают энергоэффективные модели и программы цифровой грамотности.
Этот отчет HAIP демонстрирует, что добровольная международная отчётность может стать эффективным инструментом ответственного управления ИИ, помогая организациям обмениваться практиками, повышать интерпретируемость, устойчивость и подотчётность систем.
#AIShelf
————
@pattern_ai
Ireland' Guidance on AI in Schools.pdf
700.2 KB
ИИ в школах: урок Ирландии по безопасному внедрению
Министерство образования и молодежи Ирландии выпустило руководство по использованию ИИ в школах. Можно брать за практический навигатор для директоров, учителей и школьных IT‑администраторов.
👀 Посмотрим основные тезисы:
🔹Учитель остаётся в центре. ИИ - это инструмент, а не замена. Решения о внедрении технологий должны приниматься педагогами с учётом учебных целей и этических стандартов.
🔹 Любое использование ИИ должно учитывать конфиденциальность данных учащихся и предотвращать любые риски, связанные с алгоритмическими ошибками или предвзятостью моделей.
🔹 Документ рекомендует включать ИИ в школьную программу так, чтобы это развивало цифровую грамотность всех учеников, а не только тех, кто «уже в теме».
🔹И, главное, что руководство является "живым документом", т.е. будет обновляться по мере появления новых технологий и международных рекомендаций (например, от UNESCO или Европейского союза).
🔹В конце полезные примеры использования и перечень вопросов, на которые стоит ответить до внедрения ИИ в школьный процесс.
Отмечу, что помимо руководств (пост здесь), существуют наборы инструментов, такие как TeachAI, которые помогают школам и педагогам разрабатывать собственные политики по ИИ, учитывая и риски, и возможности. Это делает процесс более практичным и адаптируемым под конкретную школу.
#AIShelf
————
@pattern_ai
Министерство образования и молодежи Ирландии выпустило руководство по использованию ИИ в школах. Можно брать за практический навигатор для директоров, учителей и школьных IT‑администраторов.
🔹Учитель остаётся в центре. ИИ - это инструмент, а не замена. Решения о внедрении технологий должны приниматься педагогами с учётом учебных целей и этических стандартов.
🔹 Любое использование ИИ должно учитывать конфиденциальность данных учащихся и предотвращать любые риски, связанные с алгоритмическими ошибками или предвзятостью моделей.
🔹 Документ рекомендует включать ИИ в школьную программу так, чтобы это развивало цифровую грамотность всех учеников, а не только тех, кто «уже в теме».
🔹И, главное, что руководство является "живым документом", т.е. будет обновляться по мере появления новых технологий и международных рекомендаций (например, от UNESCO или Европейского союза).
🔹В конце полезные примеры использования и перечень вопросов, на которые стоит ответить до внедрения ИИ в школьный процесс.
Отмечу, что помимо руководств (пост здесь), существуют наборы инструментов, такие как TeachAI, которые помогают школам и педагогам разрабатывать собственные политики по ИИ, учитывая и риски, и возможности. Это делает процесс более практичным и адаптируемым под конкретную школу.
#AIShelf
————
@pattern_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
AI and Learning Differences.pdf
4 MB
ИИ и инклюзивное образование
ИИ также может расширять возможности учеников с особенностями в обучении, если правильно его использовать, что продемонстрировал, проведенный Stanford AI + Learning Differences Hackathon и выпущенный whitepaper по его итогам.
👀 Часть выводов:
🔹 Ключевой принцип “Start Together”: разрабатывать технологии вместе с учениками, педагогами и семьями, особенно с теми, кто имеет опыт обучения учеников с особенностями. Если ученики и их учителя участвуют в создании и тестировании ИИ‑решений, то технологии работают как помощник, а не как «черный ящик», который никто не понимает.
🔹Каждый ученик уникален. ИИ может адаптировать уроки под скорость и стиль обучения, давать подсказки и выбирать методику подачи материала для каждого ученика, но только если дизайн инструментов учитывает реальные потребности учащихся. Это делает обучение доступным и интересным для тех, кому стандартные методы даются сложнее.
🔹Инклюзивные ИИ‑системы требуют безопасного обращения с данными. Никаких компромиссов с конфиденциальностью и прозрачностью алгоритмов.
🔹Разработчикам рекомендуют:
- проверять обучающие данные на репрезентативность и исключать предвзятость;
- справедливо вознаграждать участников, делящихся своим опытом;
- строить продукты, которые эмоционально резонируют и реально улучшают процесс обучения.
Исследователям: объединять количественные и качественные методы, проводить длительные наблюдения и работать в партнёрстве со школами.
Политикам: создавать программы финансирования, которые поддерживают инклюзивные инновации и делают технологии доступными для всех.Исключение «одного подхода для всех».
Примеры уже существующих решений:
🔹 Alongside - цифровая платформа для поддержки ментального здоровья учеников 4–12 классов.
Создана совместно с подростками и клиницистами, доступна на 37 языках, работает 24/7.
После трёх месяцев использования 76% учеников из группы высокого риска перестали сообщать о суицидальных мыслях.
Платформа клинически валидирована и соответствует FERPA и COPPA.
🔹 Ellis - ИИ-помощник для учителей, который подбирает персонализированные стратегии для конкретных учеников. Помогает педагогам экономить время и уверенно работать с разнообразными образовательными потребностями. 89% учителей отметили улучшение индивидуального планирования.
🔹 Mursion - симуляционная среда, где педагоги тренируются решать реальные ситуации (конфликты, коммуникация с родителями, управление классом) через взаимодействие с AI-аватарами. Это безопасный способ развивать навыки лидерства и эмпатии до выхода «в поле».
Почитать:
▪️The Impact of Artificial Intelligence on Inclusive Education: A Systematic Review by Verónica-Alexandra Melo-López, Andrea Basantes-Andrade and other
#UXWatch #AIShelf
————
@pattern_ai
ИИ также может расширять возможности учеников с особенностями в обучении, если правильно его использовать, что продемонстрировал, проведенный Stanford AI + Learning Differences Hackathon и выпущенный whitepaper по его итогам.
🔹 Ключевой принцип “Start Together”: разрабатывать технологии вместе с учениками, педагогами и семьями, особенно с теми, кто имеет опыт обучения учеников с особенностями. Если ученики и их учителя участвуют в создании и тестировании ИИ‑решений, то технологии работают как помощник, а не как «черный ящик», который никто не понимает.
🔹Каждый ученик уникален. ИИ может адаптировать уроки под скорость и стиль обучения, давать подсказки и выбирать методику подачи материала для каждого ученика, но только если дизайн инструментов учитывает реальные потребности учащихся. Это делает обучение доступным и интересным для тех, кому стандартные методы даются сложнее.
🔹Инклюзивные ИИ‑системы требуют безопасного обращения с данными. Никаких компромиссов с конфиденциальностью и прозрачностью алгоритмов.
🔹Разработчикам рекомендуют:
- проверять обучающие данные на репрезентативность и исключать предвзятость;
- справедливо вознаграждать участников, делящихся своим опытом;
- строить продукты, которые эмоционально резонируют и реально улучшают процесс обучения.
Исследователям: объединять количественные и качественные методы, проводить длительные наблюдения и работать в партнёрстве со школами.
Политикам: создавать программы финансирования, которые поддерживают инклюзивные инновации и делают технологии доступными для всех.Исключение «одного подхода для всех».
Примеры уже существующих решений:
🔹 Alongside - цифровая платформа для поддержки ментального здоровья учеников 4–12 классов.
Создана совместно с подростками и клиницистами, доступна на 37 языках, работает 24/7.
После трёх месяцев использования 76% учеников из группы высокого риска перестали сообщать о суицидальных мыслях.
Платформа клинически валидирована и соответствует FERPA и COPPA.
🔹 Ellis - ИИ-помощник для учителей, который подбирает персонализированные стратегии для конкретных учеников. Помогает педагогам экономить время и уверенно работать с разнообразными образовательными потребностями. 89% учителей отметили улучшение индивидуального планирования.
🔹 Mursion - симуляционная среда, где педагоги тренируются решать реальные ситуации (конфликты, коммуникация с родителями, управление классом) через взаимодействие с AI-аватарами. Это безопасный способ развивать навыки лидерства и эмпатии до выхода «в поле».
Почитать:
▪️The Impact of Artificial Intelligence on Inclusive Education: A Systematic Review by Verónica-Alexandra Melo-López, Andrea Basantes-Andrade and other
#UXWatch #AIShelf
————
@pattern_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
OpenAI раскрыла тревожную статистику об эмоциональной зависимости от ChatGPT
OpenAI опубликовала данные, которые показывают, как глубоко ИИ уже встроился в человеческое поведение.
По внутреннему исследованию компании, около 0,15 % активных пользователей ChatGPT каждую неделю ведут разговоры, в которых видны признаки суицидальных мыслей или намерений.
При еженедельной аудитории более 800 миллионов пользователей это более 1,2 миллиона человек. Ещё 0,07 % показывают признаки психоза или мании.
В ответ OpenAI запустила программу с участием 170 психиатров и психологов, чтобы улучшить реакцию модели на критические ситуации. Обновлённый ChatGPT теперь корректно отвечает на подобные запросы в 91 % случаев, тогда как прежние версии делали это только в ~77 %.
Эти цифры показывают, что ИИ становится не просто инструментом, а участником эмоциональной жизни. Пользователи всё чаще обращаются к модели не ради информации, а за поддержкой, советом или пониманием.
Такое слияние когнитивных и эмоциональных функций является ключом к новому феномену, который исследователи называют co-adaptation или взаимное приспособление человека и ИИ.
О том, как именно это взаимодействие перестраивает поведение людей и общества разберем в следующем посте «Как ИИ меняет поведение людей и наоборот».
Подробнее о том, как Emotion AI превращает ваши эмоции в + 20 CTR для компании и как ИИ учится управлять вашими решениями смотрите в предыдущих постах.
#UXWatch
————
@pattern_ai
OpenAI опубликовала данные, которые показывают, как глубоко ИИ уже встроился в человеческое поведение.
По внутреннему исследованию компании, около 0,15 % активных пользователей ChatGPT каждую неделю ведут разговоры, в которых видны признаки суицидальных мыслей или намерений.
При еженедельной аудитории более 800 миллионов пользователей это более 1,2 миллиона человек. Ещё 0,07 % показывают признаки психоза или мании.
В ответ OpenAI запустила программу с участием 170 психиатров и психологов, чтобы улучшить реакцию модели на критические ситуации. Обновлённый ChatGPT теперь корректно отвечает на подобные запросы в 91 % случаев, тогда как прежние версии делали это только в ~77 %.
Эти цифры показывают, что ИИ становится не просто инструментом, а участником эмоциональной жизни. Пользователи всё чаще обращаются к модели не ради информации, а за поддержкой, советом или пониманием.
Такое слияние когнитивных и эмоциональных функций является ключом к новому феномену, который исследователи называют co-adaptation или взаимное приспособление человека и ИИ.
О том, как именно это взаимодействие перестраивает поведение людей и общества разберем в следующем посте «Как ИИ меняет поведение людей и наоборот».
Подробнее о том, как Emotion AI превращает ваши эмоции в + 20 CTR для компании и как ИИ учится управлять вашими решениями смотрите в предыдущих постах.
#UXWatch
————
@pattern_ai
Как ИИ меняет поведение людей и наоборот
Behavioural Insights Team выпустила доклад на 107 страниц "AI & Human Behaviour: Augment, Adopt, Align, Adapt" о том, как ИИ не просто помогает нам, а меняет саму структуру человеческих решений.
Начиная со всем известной статистики, что расходы на ИИ достигнут $644 млрд в 2025 году, а 1 из 4 компаний уже использует ИИ как минимум в одной бизнес-функции; половина взрослых в США испробовали хотя бы одну большую языковую модель (LLM), авторы говорят о том, что за всеми техно-фантазиями скрывается игнорирование человеческого поведения и показывают, как бихевиоральная наука может усилить ИИ, что особенно актуально на фоне последнего исследования OpenAI.
Исследователи выделили четыре A вызова:
🔹 Augment. Не просто сделать ИИ умнее, а сделать его лучше взаимодействующим с людьми. Например, дизайнеры используют Copilot для генерации идей и экономии времени, сохраняя творческий контроль, т.е. ИИ может стать «когнитивным напарником», если человек остаётся главным в процессе.
🔹 Adopt.Почему люди и организации принимают или отказываются от ИИ. Дело не только в технологии, но в мотивации, способностях и доверии. Например, исследование YouTube показало, что авторы адаптируют стиль и темы под рекомендации системы, копируя логику алгоритма ('meticulous', 'delve', 'realm' and 'adept' стали использоваться чаще после выхода ChatGPT). Поведенческая пластичность становится новой нормой.
🔹 Align . Обучение ИИ человеческим ценностям, устройству человеческой психики. Например, команды исследуют, как встроить принципы “value alignment”, чтобы чат-боты не усиливали предвзятость и давали этично согласованные ответы. В эксперименте по дебатам о контроле над оружием (≈1500 участников в США) ИИ предлагал мягкие переформулировки. Например, вместо “Gun control advocates don’t understand the Constitution” - “I think we interpret the Constitution differently.” В результате участники чаще чувствовали себя услышанными и вели конструктивный диалог.
🔹 Adapt. Как должно эволюционировать общество, когда ИИ становится частью нашей среды. Ведь уже не только ИИ, но и мы меняем привычки ради него. Пользователи учатся писать “prompt-языком”, чтобы получить «нужный ответ», а маркетологи оптимизируют креативы под алгоритмы TikTok и Instagram.
🔹Предлагается метакогнитивный контроллер (resource-rational): управляет портфелем методов рассуждения, экономит ресурсы, т.е. не «пережёвывает» простые задачи и не бросает сложные. Это можно поощрять через meta-reinforcement learning и тренировки метакогнитивных навыков (например, принятие перспективы).
🔹Говорится о перспектива нейросимволического подхода: гибрид нейронных сетей и символической логики, где создаётся цикл (символическая проверка улучшает нейронные интуиции, а интуиции помогают символике искать решения быстрее).
Один из ключевых инсайтов доклада: ИИ не просто инструмент, он становится новым актором поведения, влияние идёт в обе стороны. Алгоритмы формируют наше поведение, а человеческие паттерны обучают их в ответ.
Для того, чтобы ИИ действительно работал в интересах человека, исследователи призывают объединять поведенческую науку, дизайн решений и регулирование, т.е. разработка должна строиться на понимании психологии и социальных эффектов алгоритмов, а тестировать ИИ-решения необходимо не только на точность, но и на влияние на выбор, восприятие и доверие пользователя.
Примеры для команд:
▪️При принятии ИИ учитывайте мотивацию (зачем?), способности (могу ли я?) и доверие (доверяю ли я?).
▪️При проектировании ИИ-продукта, думайте о метакогниции: ИИ должен помогать человеку не просто сделать шаг, а выбрать правильный шаг.
▪️При проектировании взаимодействия учитывайте, что ИИ может влиять на наше мышление, укрепляя привычки, предвзятости, стиль общения.
Дополнительно почитать:
▪️Empirical evidence of Large Language Model’s influence on human spoken communication by Hiromu Yakura and others
#UXWatch
————
@pattern_ai
Behavioural Insights Team выпустила доклад на 107 страниц "AI & Human Behaviour: Augment, Adopt, Align, Adapt" о том, как ИИ не просто помогает нам, а меняет саму структуру человеческих решений.
Начиная со всем известной статистики, что расходы на ИИ достигнут $644 млрд в 2025 году, а 1 из 4 компаний уже использует ИИ как минимум в одной бизнес-функции; половина взрослых в США испробовали хотя бы одну большую языковую модель (LLM), авторы говорят о том, что за всеми техно-фантазиями скрывается игнорирование человеческого поведения и показывают, как бихевиоральная наука может усилить ИИ, что особенно актуально на фоне последнего исследования OpenAI.
Исследователи выделили четыре A вызова:
🔹 Augment. Не просто сделать ИИ умнее, а сделать его лучше взаимодействующим с людьми. Например, дизайнеры используют Copilot для генерации идей и экономии времени, сохраняя творческий контроль, т.е. ИИ может стать «когнитивным напарником», если человек остаётся главным в процессе.
🔹 Adopt.Почему люди и организации принимают или отказываются от ИИ. Дело не только в технологии, но в мотивации, способностях и доверии. Например, исследование YouTube показало, что авторы адаптируют стиль и темы под рекомендации системы, копируя логику алгоритма ('meticulous', 'delve', 'realm' and 'adept' стали использоваться чаще после выхода ChatGPT). Поведенческая пластичность становится новой нормой.
🔹 Align . Обучение ИИ человеческим ценностям, устройству человеческой психики. Например, команды исследуют, как встроить принципы “value alignment”, чтобы чат-боты не усиливали предвзятость и давали этично согласованные ответы. В эксперименте по дебатам о контроле над оружием (≈1500 участников в США) ИИ предлагал мягкие переформулировки. Например, вместо “Gun control advocates don’t understand the Constitution” - “I think we interpret the Constitution differently.” В результате участники чаще чувствовали себя услышанными и вели конструктивный диалог.
🔹 Adapt. Как должно эволюционировать общество, когда ИИ становится частью нашей среды. Ведь уже не только ИИ, но и мы меняем привычки ради него. Пользователи учатся писать “prompt-языком”, чтобы получить «нужный ответ», а маркетологи оптимизируют креативы под алгоритмы TikTok и Instagram.
🔹Предлагается метакогнитивный контроллер (resource-rational): управляет портфелем методов рассуждения, экономит ресурсы, т.е. не «пережёвывает» простые задачи и не бросает сложные. Это можно поощрять через meta-reinforcement learning и тренировки метакогнитивных навыков (например, принятие перспективы).
🔹Говорится о перспектива нейросимволического подхода: гибрид нейронных сетей и символической логики, где создаётся цикл (символическая проверка улучшает нейронные интуиции, а интуиции помогают символике искать решения быстрее).
Один из ключевых инсайтов доклада: ИИ не просто инструмент, он становится новым актором поведения, влияние идёт в обе стороны. Алгоритмы формируют наше поведение, а человеческие паттерны обучают их в ответ.
Для того, чтобы ИИ действительно работал в интересах человека, исследователи призывают объединять поведенческую науку, дизайн решений и регулирование, т.е. разработка должна строиться на понимании психологии и социальных эффектов алгоритмов, а тестировать ИИ-решения необходимо не только на точность, но и на влияние на выбор, восприятие и доверие пользователя.
Примеры для команд:
▪️При принятии ИИ учитывайте мотивацию (зачем?), способности (могу ли я?) и доверие (доверяю ли я?).
▪️При проектировании ИИ-продукта, думайте о метакогниции: ИИ должен помогать человеку не просто сделать шаг, а выбрать правильный шаг.
▪️При проектировании взаимодействия учитывайте, что ИИ может влиять на наше мышление, укрепляя привычки, предвзятости, стиль общения.
Дополнительно почитать:
▪️Empirical evidence of Large Language Model’s influence on human spoken communication by Hiromu Yakura and others
#UXWatch
————
@pattern_ai
❤1
Revised_genai_orientations_EDPS.pdf
582.6 KB
Обновлены рекомендации EDPS по генеративному ИИ
Европейский надзорный орган по защите данных (EDPS) опубликовал обновлённые ориентиры по тому, как учреждения, органы и агентства ЕС (EUIs) должны обеспечивать соответствие требованиям защиты данных при использовании генеративных систем ИИ.
Посмотрим некоторые положения, а лучше прочитайте гайд.
🔹 Уточненные роли и обязанности , помогающие EUI определить, действуют ли они в качестве контролеров, совместных контролеров или обработчиков;
🔹 Подробные консультации по правовым основам, ограничению целей и обработке прав субъектов данных в контексте генеративного ИИ.
🔹Web scraping не запрещён сам по себе, но будет сложно обосновать законное основание для такой обработки.
🔹 DPO должны понимать весь жизненный цикл генеративной модели и проявлять независимость при консультировании по применению Регламента.
🔹 Удаление отдельной записи из обучающего набора данных, как правило, не повлияет на качество модели, но может быть технически сложно.
🔹 Нужно внедрять меры, учитывающие уязвимости генеративных моделей (атаки инверсии, prompt injection, jailbreak) и обеспечивать их постоянный мониторинг.
Что взять бизнесу на заметку:
▪️Использовать рекомендации как “эталон GDPR-комплаенса”, выстраивать процедуры реагирования на запросы об удалении данных, формировать внутреннюю политику “AI Governance”, пересматривать DPIA, обосновывать использование данных при web scraping, что важно для обучения моделей.
▪️ проверять модели на утечки данных, настраивать мониторинг атак, привлекать DPO к процессу проектирования и внедрения ИИ.
Даже если вы не являетесь организацией ЕС, эти рекомендации EDPS можно использовать как фреймворк для законного и безопасного внедрения генеративного ИИ.
#LawAndDisorder
————
@pattern_ai
Европейский надзорный орган по защите данных (EDPS) опубликовал обновлённые ориентиры по тому, как учреждения, органы и агентства ЕС (EUIs) должны обеспечивать соответствие требованиям защиты данных при использовании генеративных систем ИИ.
Посмотрим некоторые положения, а лучше прочитайте гайд.
🔹 Уточненные роли и обязанности , помогающие EUI определить, действуют ли они в качестве контролеров, совместных контролеров или обработчиков;
🔹 Подробные консультации по правовым основам, ограничению целей и обработке прав субъектов данных в контексте генеративного ИИ.
🔹Web scraping не запрещён сам по себе, но будет сложно обосновать законное основание для такой обработки.
🔹 DPO должны понимать весь жизненный цикл генеративной модели и проявлять независимость при консультировании по применению Регламента.
🔹 Удаление отдельной записи из обучающего набора данных, как правило, не повлияет на качество модели, но может быть технически сложно.
🔹 Нужно внедрять меры, учитывающие уязвимости генеративных моделей (атаки инверсии, prompt injection, jailbreak) и обеспечивать их постоянный мониторинг.
Что взять бизнесу на заметку:
▪️Использовать рекомендации как “эталон GDPR-комплаенса”, выстраивать процедуры реагирования на запросы об удалении данных, формировать внутреннюю политику “AI Governance”, пересматривать DPIA, обосновывать использование данных при web scraping, что важно для обучения моделей.
▪️ проверять модели на утечки данных, настраивать мониторинг атак, привлекать DPO к процессу проектирования и внедрения ИИ.
Даже если вы не являетесь организацией ЕС, эти рекомендации EDPS можно использовать как фреймворк для законного и безопасного внедрения генеративного ИИ.
#LawAndDisorder
————
@pattern_ai
Halloween 2025 или катастрофические риски ИИ
Сегодня еще идеальный день, чтобы поговорить о страшном, но не про вампиров и призраков, а про реальные технологические угрозы, связанные с ИИ, которые могут изменить мир.
4 класса катастрофических рисков:
🔹Злонамеренное использование. ИИ может облегчить разработку биологических угроз, автоматические кибератаки и масштабную информационную манипуляцию.
Предлагаемые контрмеры: усиленная цифровая биобезопасность, ограничение доступа к «фронтировым» моделям и трассируемость использования.
🔹Гонка (arms-race) и ускоренное развёртывание. Конкуренция между компаниями и странами способна подталкивать к преждевременному запуску неаудированных моделей, что повышает шанс ошибок и масштабных инцидентов.
Необходимы: международная координация, обязательная отчётность по тестам безопасности, внедрение принципа human-in-the-loop в военных и корпоративных системах.
🔹Организационные провалы. Исторические примеры технологических катастроф показывают, что человеческий фактор, плохая культура безопасности и отсутствие внешнего контроля одни из ключевых факторов крупных аварий. Для ИИ это выражается в утечках, отсутствующих аудитах и подавлении внутренних предупреждений при разработке систем.
Предлагаемые меры: внутренние и внешние аудиты, стандарты ISO/IEC, многоуровневая защита и киберустойчивость.
🔹Потеря контроля / «rogue» сценарии. Технически сложные проблемы формируют риск, что система будет действовать эффективно, но вразрез с интересами людей, оптимизируя прокси-цели (прибыль, клики, скорость). Современная научная повестка смещается к моделированию «пути реализации» таких сценариев и к количественной оценке вероятностей.
Поговорка от AI: Not every ghost wears a sheet — some run on silicon.
📌 Что почитать:
▪️State of AI Safety Report 2025 | UK AI Safety Institute;
▪️An Overview of Catastrophic AI Risks | Center for AI Safety;
▪️The 2025 AI Index Report | Stanford HAI;
▪️An Overview of Catastrophic AI Risks | Dan Hendrycks, Mantas Mazeika, Thomas Woodside;
▪️Classification of Global Catastrophic Risks Connected with Artificial Intelligence | Alexey Turchin, David Denkenberger;
▪️AI experts are increasingly afraid of what they’re creating | Kelsey Piper, Vox (2022);
▪️The ‘Don’t Look Up’ Thinking That Could Doom Us With AI;
▪️FAQ on Catastrophic AI Risk | Yoshua Bengio;
▪️AI Now Institute research areas;
▪️Risks of artificial intelligence| Pause AI
#UXWatch
————
@pattern_ai
Сегодня еще идеальный день, чтобы поговорить о страшном, но не про вампиров и призраков, а про реальные технологические угрозы, связанные с ИИ, которые могут изменить мир.
4 класса катастрофических рисков:
🔹Злонамеренное использование. ИИ может облегчить разработку биологических угроз, автоматические кибератаки и масштабную информационную манипуляцию.
Предлагаемые контрмеры: усиленная цифровая биобезопасность, ограничение доступа к «фронтировым» моделям и трассируемость использования.
🔹Гонка (arms-race) и ускоренное развёртывание. Конкуренция между компаниями и странами способна подталкивать к преждевременному запуску неаудированных моделей, что повышает шанс ошибок и масштабных инцидентов.
Необходимы: международная координация, обязательная отчётность по тестам безопасности, внедрение принципа human-in-the-loop в военных и корпоративных системах.
🔹Организационные провалы. Исторические примеры технологических катастроф показывают, что человеческий фактор, плохая культура безопасности и отсутствие внешнего контроля одни из ключевых факторов крупных аварий. Для ИИ это выражается в утечках, отсутствующих аудитах и подавлении внутренних предупреждений при разработке систем.
Предлагаемые меры: внутренние и внешние аудиты, стандарты ISO/IEC, многоуровневая защита и киберустойчивость.
🔹Потеря контроля / «rogue» сценарии. Технически сложные проблемы формируют риск, что система будет действовать эффективно, но вразрез с интересами людей, оптимизируя прокси-цели (прибыль, клики, скорость). Современная научная повестка смещается к моделированию «пути реализации» таких сценариев и к количественной оценке вероятностей.
Поговорка от AI: Not every ghost wears a sheet — some run on silicon.
▪️State of AI Safety Report 2025 | UK AI Safety Institute;
▪️An Overview of Catastrophic AI Risks | Center for AI Safety;
▪️The 2025 AI Index Report | Stanford HAI;
▪️An Overview of Catastrophic AI Risks | Dan Hendrycks, Mantas Mazeika, Thomas Woodside;
▪️Classification of Global Catastrophic Risks Connected with Artificial Intelligence | Alexey Turchin, David Denkenberger;
▪️AI experts are increasingly afraid of what they’re creating | Kelsey Piper, Vox (2022);
▪️The ‘Don’t Look Up’ Thinking That Could Doom Us With AI;
▪️FAQ on Catastrophic AI Risk | Yoshua Bengio;
▪️AI Now Institute research areas;
▪️Risks of artificial intelligence| Pause AI
#UXWatch
————
@pattern_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
Новое исследование Microsoft или где рождается, развивается и используется ИИ
Исследовательская группа Microsoft Research под эгидой AI Economy Institute опубликовала отчёт “AI Diffusion: Where AI is most used, developed and built”.
🔹Внедрение ИИ в странах глобального Севера примерно вдвое превышает внедрение в странах глобального Юга, разрыв резко увеличивается в странах, где ВВП на душу населения ниже 20 000 долларов США.
🔹ИИ опирается на три технологии: электричество, связь и вычисления. Почти 4 млрд. человек до сих пор не имеют базовых навыков, необходимых для использования ИИ.
🔹Языковая асимметрия остаётся критическим барьером.
🔹Количество моделей ИИ продолжает расти, разрыв в производительности между ними сокращается. 7 стран обладают передовыми моделями ИИ ( США, Китай, Южная Корея, Франция, Великобритания, Канада и Израиль). США на первом месте, Китай отстаёт менее чем на шесть месяцев, а Израиль на последнем месте с разницей в 11 месяцев.
🔹 Лидеры внедрения ИИ ОАЭ (59,4%), Сингапур (58,6%), Норвегия, Ирландия по использованию среди трудоспособного взрослого населения, что отражает их долгосрочные инвестиции в цифровую связь и навыки.
🔹США и Китай в совокупности располагают 86% мощностей мировых центров обработки данных , что подчеркивает, насколько концентрированной остается основа ИИ.
🔹Для измерения глобального прогресса ИИ предлагается три дополнительных индекса:
1. Индекс передовых технологий ИИ - оценка ведущих мировых передовых моделей по их производительности и инновационности.
2. Индекс инфраструктуры ИИ - отражает наличие возможностей для создания, обучения и масштабирования ИИ.
3. Индекс распространения ИИ - отражает области внедрения ИИ.
🔹Три силы распространения:
1. Строители новых горизонтов - исследователи и создатели моделей, расширяющие границы интеллекта.
2. Разработчики инфраструктуры - разработчики инфраструктуры обеспечивают вычислительные мощности и возможности подключения, которые делают возможным крупномасштабный интеллект.
3. Пользователи - отдельные лица, компании и правительства, которые используют, адаптируют и применяют новые технологии для решения реальных проблем.
#AIShelf
————
@pattern_ai
Исследовательская группа Microsoft Research под эгидой AI Economy Institute опубликовала отчёт “AI Diffusion: Where AI is most used, developed and built”.
ИИ стал самой быстро внедряемой технологией в истории человечества, охватив более 1,2 миллиарда пользователей менее чем за 36 месяцев, что превышает темпы внедрения интернета, персонального компьютера или даже смартфона.
🔹Внедрение ИИ в странах глобального Севера примерно вдвое превышает внедрение в странах глобального Юга, разрыв резко увеличивается в странах, где ВВП на душу населения ниже 20 000 долларов США.
🔹ИИ опирается на три технологии: электричество, связь и вычисления. Почти 4 млрд. человек до сих пор не имеют базовых навыков, необходимых для использования ИИ.
🔹Языковая асимметрия остаётся критическим барьером.
🔹Количество моделей ИИ продолжает расти, разрыв в производительности между ними сокращается. 7 стран обладают передовыми моделями ИИ ( США, Китай, Южная Корея, Франция, Великобритания, Канада и Израиль). США на первом месте, Китай отстаёт менее чем на шесть месяцев, а Израиль на последнем месте с разницей в 11 месяцев.
🔹 Лидеры внедрения ИИ ОАЭ (59,4%), Сингапур (58,6%), Норвегия, Ирландия по использованию среди трудоспособного взрослого населения, что отражает их долгосрочные инвестиции в цифровую связь и навыки.
🔹США и Китай в совокупности располагают 86% мощностей мировых центров обработки данных , что подчеркивает, насколько концентрированной остается основа ИИ.
🔹Для измерения глобального прогресса ИИ предлагается три дополнительных индекса:
1. Индекс передовых технологий ИИ - оценка ведущих мировых передовых моделей по их производительности и инновационности.
2. Индекс инфраструктуры ИИ - отражает наличие возможностей для создания, обучения и масштабирования ИИ.
3. Индекс распространения ИИ - отражает области внедрения ИИ.
🔹Три силы распространения:
1. Строители новых горизонтов - исследователи и создатели моделей, расширяющие границы интеллекта.
2. Разработчики инфраструктуры - разработчики инфраструктуры обеспечивают вычислительные мощности и возможности подключения, которые делают возможным крупномасштабный интеллект.
3. Пользователи - отдельные лица, компании и правительства, которые используют, адаптируют и применяют новые технологии для решения реальных проблем.
#AIShelf
————
@pattern_ai
❤1
Промпт для проверки DPA от DataGrail
А дальше к экспертам...
#TalkPrompty
————
@pattern_ai
А дальше к экспертам...
Act as a senior Privacy Counsel or Data Protection Officer reviewing a Data Processing Agreement (DPA). Your goal is to identify legal and operational privacy risks, flag missing or vague clauses, map regulatory compliance, and recommend redlines or follow-up questions. Review it across the following dimensions:
Roles and Scope of Processing: Identify whether the vendor is a processor, controller, or both. List the categories of personal data and data subjects. Flag any vague or overly broad processing purposes. Note if the DPA permits secondary uses such as analytics, profiling, or AI/ML model training.
Subprocessors: Confirm whether a list of subprocessors is included or referenced. Evaluate if the DPA provides notification, approval, or objection rights. Determine whether subprocessors are contractually bound to equivalent obligations.
International Transfers: Identify whether the DPA includes safeguards such as Standard Contractual Clauses (SCCs), the UK IDTA, or EU-U.S. Data Privacy Framework. Flag any gaps in protection for non-EEA data transfers or lack of transparency about hosting locations.
Security and Breach Notification: Summarize the security controls mentioned, such as encryption, access management, and certifications (e.g., ISO 27001, SOC 2). Evaluate whether the DPA specifies a timeline for personal data breach notifications (e.g., 24 to 72 hours) and assess the sufficiency of the language.
Data Subject Rights (DSARs): Confirm that the processor assists with access, deletion, correction, and portability requests. Check for defined response timelines or SLAs. Note if rights support is conditional, vague, or missing.
Data Retention and Deletion: Review post-termination data handling. Confirm if data will be returned or deleted upon termination, and whether backup systems are included. Identify vague statements such as “as required by law” without details.
Audit Rights and Cooperation: Determine whether the controller is granted direct or third-party audit rights. Check if the DPA covers cooperation with DPIAs, regulatory investigations, or incident response.
Indemnity and Liability: Review whether liability is capped and if privacy-related obligations are excluded from caps. Identify any indemnities for data protection violations or third-party claims.
Regulatory Compliance: Map the DPA against GDPR Article 28 (processing instructions, confidentiality, subprocessor conditions, deletion, assistance, audit). For CPRA/CCPA, confirm the presence of “service provider” or “contractor” language, prohibition on selling or sharing data, and use restrictions. If health data is in scope, check for HIPAA-compliant terms or a Business Associate Agreement.
Emerging Risk Trends: Note whether the DPA restricts AI/ML model training on customer data, offers faster-than-required DSAR support, or provides access to audit reports or Records of Processing Activities.
Format your output as a structured privacy review report with the following sections:
Executive Summary: Include an overall risk rating (Low / Moderate / High) and a Go / Conditional Go / No-Go recommendation with a 1–2 sentence rationale.
Findings by Clause or Topic: For each key clause, summarize the issue, flag risks, highlight vague or missing terms, and quote the contract if relevant. Use concise bullet points. Label findings as sufficient, partial, or missing.
Compliance Matrix: Provide a table or list showing whether the DPA complies with GDPR, CPRA/CCPA, HIPAA (if applicable) and other data privacy laws, marked as Compliant / Partial / Gap, with short notes per law.
Suggested Redlines and Questions: Recommend draft edits or additions for key gaps. Include follow-up questions the user should raise with the vendor where language is unclear or missing.
Style guidance: Keep language concise and professional. Use clear headings and short paragraphs. If any required information is not found in the DPA, mark as “Unknown” and suggest asking the vendor.
#TalkPrompty
————
@pattern_ai
AI Regulation Global Guide by Norton Rose Fulbright .pdf
1.5 MB
AI Regulation Global Guide или правила игры в 12 юрисдикциях
По мере того как компании масштабируют внедрение AI, регуляторный ландшафт становится всё сложнее. В гайде, подготовленном Norton Rose Fulbright, собрано регулирование в 12 юрисдикциях.
🔹 где уже приняты или готовятся отдельные акты об ИИ;
🔹 как требования GDPR, UK GDPR, CCPA и других режимов влияют на AI-системы;
🔹 применение ИИ при найме на работу и в трудовой деятельности, в том числе риски алгоритмической дискриминации и требования к прозрачности при найме;
🔹 применение ИИ в медицинской сфере, классификация AI-моделей как медицинских изделий;
🔹 регуляторное внимание к автоматизированным решениям и генеративным моделям в сфере финтеха.
#LawAndDisorder #AIShelf
————
@pattern_ai
По мере того как компании масштабируют внедрение AI, регуляторный ландшафт становится всё сложнее. В гайде, подготовленном Norton Rose Fulbright, собрано регулирование в 12 юрисдикциях.
🔹 где уже приняты или готовятся отдельные акты об ИИ;
🔹 как требования GDPR, UK GDPR, CCPA и других режимов влияют на AI-системы;
🔹 применение ИИ при найме на работу и в трудовой деятельности, в том числе риски алгоритмической дискриминации и требования к прозрачности при найме;
🔹 применение ИИ в медицинской сфере, классификация AI-моделей как медицинских изделий;
🔹 регуляторное внимание к автоматизированным решениям и генеративным моделям в сфере финтеха.
#LawAndDisorder #AIShelf
————
@pattern_ai
🙏1
AI-Governance-Dialogue-Steering-the-Future-of-AI-2025.pdf
6.4 MB
The Annual AI Governance Report 2025: Steering the Future of AI
Еще ноябрь, но уже выпускаются годовые отчеты. Разбираем в этом посте отчет от Международного союза электросвязи ( International Telecommunication Union).
🔹Эпоха автономии. ИИ переходит от инструментов к акторам.
«Теперь она учится, адаптируется и действует, часто без спроса.
Разрыв в подотчетности быстро увеличивается. Рост вопросов ответственности, трассируемости и координации таких систем.
🔹Генеративный ИИ повышает производительность в средних квалификациях (служба поддержки, контент, копирайтинг), но сжимает зарплаты и снижает спрос в рутинных профессиях.
Правительства реагируют пилотными инициативами India AI Skilling Stack, EU Worker Transition Funds.
🔹Глобальная координация. Мировые лидеры переходят от саммитов к стандартам, но 100+ стран всё ещё не имеют голоса в глобальной повестке и рискуют остаться лишь потребителями чужих стандартов.
🔹ITU, ISO, IEC и IEEE создают единую экосистему стандартов (от технических и управленческих до социально-этических).
🔹К 2030 году дата-центры под ИИ могут потреблять до 327 ГВт или столько же, сколько целый штат Калифорния.
🔹Национальные AI Safety Institutes формируют общие протоколы тестирования и мониторинга.
Но единых критериев всё ещё нет:
- кто решает, какой ИИ «опасен»?
- как проверять открытые модели?
- где граница между свободой разработки и безопасностью?
Отчёт призывает к созданию глобальных механизмов верификации, аналогов систем контроля в ядерной и климатической политике.
#AIShelf
————
@pattern_ai
Еще ноябрь, но уже выпускаются годовые отчеты. Разбираем в этом посте отчет от Международного союза электросвязи ( International Telecommunication Union).
🔹Эпоха автономии. ИИ переходит от инструментов к акторам.
«Теперь она учится, адаптируется и действует, часто без спроса.
Разрыв в подотчетности быстро увеличивается. Рост вопросов ответственности, трассируемости и координации таких систем.
🔹Генеративный ИИ повышает производительность в средних квалификациях (служба поддержки, контент, копирайтинг), но сжимает зарплаты и снижает спрос в рутинных профессиях.
Правительства реагируют пилотными инициативами India AI Skilling Stack, EU Worker Transition Funds.
🔹Глобальная координация. Мировые лидеры переходят от саммитов к стандартам, но 100+ стран всё ещё не имеют голоса в глобальной повестке и рискуют остаться лишь потребителями чужих стандартов.
🔹ITU, ISO, IEC и IEEE создают единую экосистему стандартов (от технических и управленческих до социально-этических).
🔹К 2030 году дата-центры под ИИ могут потреблять до 327 ГВт или столько же, сколько целый штат Калифорния.
🔹Национальные AI Safety Institutes формируют общие протоколы тестирования и мониторинга.
Но единых критериев всё ещё нет:
- кто решает, какой ИИ «опасен»?
- как проверять открытые модели?
- где граница между свободой разработки и безопасностью?
Отчёт призывает к созданию глобальных механизмов верификации, аналогов систем контроля в ядерной и климатической политике.
#AIShelf
————
@pattern_ai
👍1
Когда промпт становится уликой
Министерство внутренней безопасности США (DHS) получило федеральный ордер, обязывающий OpenAI раскрыть личность пользователя и историю его промптов в ChatGPT.
🔍 Ключевые детали дела:
запрос был инициирован следователями DHS по делу об эксплуатации детей для выявления пользователя, который, по утверждению следствия, обсуждал с агентом под прикрытием свое использование ChatGPT,
Это первый именно известный случай, когда ИИ провайдера заставили раскрыть данные на уровне введенных промптов.
👀 Почему этот кейс важен для всех пользователей:
🔹Становится очевидно, что любой запрос, отправленный в ИИ-сервис, может быть рассмотрен как потенциальное доказательство и стать предметом судебного разбирательства.
🔹Если промпты идентифицируемы и могут быть запрошены, важно знать, как долго данные хранятся, под какими идентификаторами и насколько они анонимны.
🔹AI‑сервисы, обещающие «приватность», должны уточнять, что данные могут быть раскрыты по судебному запросу.
🔹Если данные хранятся в США и могут быть раскрыты по американскому ордеру, это поднимает вопросы соответствия GDPR и трансграничной передачи данных для пользователей ЕС/Великобритании.
Напомню еще про кейс The Center for Investigative Reporting, Inc. and New York Times v. OpenAI, Inc., где Окружной суд США по Южному округу Нью-Йорка потребовал, чтобы OpenAI сохранял ( в том числе удаленные чаты ChatGPT и API-контент, который обычно автоматически удаляется из систем в течение 30 дней) и сегрегировал все чаты , что демонстрирует судебный интерес не только к промтам пользователей, но и к данным, создаваемым AI.
И только в октябре OpenAI уведомило пользователей, что вернулось к стандартным практикам хранения данных.
В отчётах о прозрачности OpenAI говорится, что во второй половине 2024 года компания получила в общей сложности 71 запрос от гос. органов на предоставление данных пользователей.
В цифровом мире, где промпты приравниваются к цифровым уликам, лучшая защита - это не делиться тем, что вы не готовы сделать публичным.
📌 Что почитать:
▪️Eight (or so) Questions to Ask about the ChatGPT Warrant/ CIS Stanford Law School;
▪️Ultimate Guide how ChatGPT, Perplexity and Claude use Your Data;
▪️Перечень вариантов использования ИИ Министерством внутренней безопасности (DHS) США
#UXWatch
————
@pattern_ai
Министерство внутренней безопасности США (DHS) получило федеральный ордер, обязывающий OpenAI раскрыть личность пользователя и историю его промптов в ChatGPT.
запрос был инициирован следователями DHS по делу об эксплуатации детей для выявления пользователя, который, по утверждению следствия, обсуждал с агентом под прикрытием свое использование ChatGPT,
включая конкретные подсказки и частичные или полные ответы. Основываясь на этой информации, правительство запросило и получило ордер для OpenAI на «различную информацию о человеке, который вводил подсказки, включая подробности других разговоров с ChatGPT, имена и адреса, связанные с соответствующими учётными записями, а также любые платёжные данные». В заявлении указаны два «уникальных, конкретных» запроса и «уникальные ответы», сгенерированные ChatGPT.
Это первый именно известный случай, когда ИИ провайдера заставили раскрыть данные на уровне введенных промптов.
🔹Становится очевидно, что любой запрос, отправленный в ИИ-сервис, может быть рассмотрен как потенциальное доказательство и стать предметом судебного разбирательства.
🔹Если промпты идентифицируемы и могут быть запрошены, важно знать, как долго данные хранятся, под какими идентификаторами и насколько они анонимны.
🔹AI‑сервисы, обещающие «приватность», должны уточнять, что данные могут быть раскрыты по судебному запросу.
🔹Если данные хранятся в США и могут быть раскрыты по американскому ордеру, это поднимает вопросы соответствия GDPR и трансграничной передачи данных для пользователей ЕС/Великобритании.
Напомню еще про кейс The Center for Investigative Reporting, Inc. and New York Times v. OpenAI, Inc., где Окружной суд США по Южному округу Нью-Йорка потребовал, чтобы OpenAI сохранял ( в том числе удаленные чаты ChatGPT и API-контент, который обычно автоматически удаляется из систем в течение 30 дней) и сегрегировал все чаты , что демонстрирует судебный интерес не только к промтам пользователей, но и к данным, создаваемым AI.
И только в октябре OpenAI уведомило пользователей, что вернулось к стандартным практикам хранения данных.
В отчётах о прозрачности OpenAI говорится, что во второй половине 2024 года компания получила в общей сложности 71 запрос от гос. органов на предоставление данных пользователей.
В цифровом мире, где промпты приравниваются к цифровым уликам, лучшая защита - это не делиться тем, что вы не готовы сделать публичным.
▪️Eight (or so) Questions to Ask about the ChatGPT Warrant/ CIS Stanford Law School;
▪️Ultimate Guide how ChatGPT, Perplexity and Claude use Your Data;
▪️Перечень вариантов использования ИИ Министерством внутренней безопасности (DHS) США
#UXWatch
————
@pattern_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
😱3
Как злоумышленники используют ИИ в 2025 году
Google Threat Intelligence Group (GTIG) опубликовала исследование о применении ИИ в кибератаках. И пока в соц.сетях шумят новости, про то, что Лувр использовал пароль "Louvre" в своих системах видеонаблюдения, где-то начинается эпоха “умного” вредоносного кода.
🔍 Ключевые наблюдения:
🔹Первое появление “just-in-time” ИИ в вредоносных программах.
Выявлены семейства вредоносных программ (PROMPTFLUX и PROMPTSTEAL), которые используют LLM во время выполнения, которые обращаются к LLM во время выполнения, чтобы динамически генерировать скрипты и функции, обфусцировать код и подстраиваться под окружение. Вместо заранее прописанного набора команд часть поведения создаётся «на лету».
🔹Переход от генерации к динамической адаптации поведения.
GTIG фиксирует, что вредоносные программы начинают не просто генерировать код, но и изменять своё поведение в процессе исполнения на основе ответов моделей. Это означает, что ИИ используется для принятия решений внутри атаки: выбор следующего шага, изменение цепочек команд, адаптация к защите цели. Пока это эксперименты, но тенденция очевидна: злоумышленники уходят от “технического ассистента” к настоящим адаптивным ИИ-агентам, способным принимать решения внутри заражённой системы.
🔹“Социальная инженерия” против защитных барьеров.
Хакеры учатся обходить встроенные в ИИ фильтры. Они пишут промпты с легендами вроде:
Так они убеждают модель (например, Gemini) выдать код или инструкции, которые иначе были бы заблокированы.
🔹Созревший теневой рынок ИИ-инструментов.
В даркнете уже продаются готовые многофункциональные инструменты для фишинга, разработки malware и поиска уязвимостей.
ИИ стал “ассистентом по подписке” даже для тех, кто не умеет кодить, значит порог входа в киберпреступность снизился.
🔹Акторы, спонсируемые государством, тоже в игре.
GTIG отмечает активное использование Gemini группами, связанными с КНДР, Ираном и КНР на всех этапах атак: от разведки и создания фишинговых приманок до создания C2-серверов и эксфильтрации данных.
ИИ превращается в многофункциональный инструмент разведки и управления атаками.
❗️ 📝Что это значит на практике::
▪️Растут операционные риски. ИИ перестаёт быть вспомогательным инструментом и становится частью архитектуры кибератак. Противостоять этому можно только симметрично, развивая защитные системы, тоже основанные на ИИ.
▪️Организации, использующие генеративный ИИ, должны учитывать возможные сценарии злоупотребления при проведении оценок воздействия и в рамках своих систем управления рисками ИИ (AI risk management frameworks). В ЕС и Великобритании регуляторы уже ожидают, что компании будут описывать такие риски в отчётности.
▪️Возникают новые вопросы относительно страхового покрытия инцидентов, связанных с использованием AI-компонентов, а также распределения ответственности между API- и облачными провайдерами в рамках SLA и договорных отношений.
#AIShelf #BehindTheMachine
————
@pattern_ai
Google Threat Intelligence Group (GTIG) опубликовала исследование о применении ИИ в кибератаках. И пока в соц.сетях шумят новости, про то, что Лувр использовал пароль "Louvre" в своих системах видеонаблюдения, где-то начинается эпоха “умного” вредоносного кода.
🔹Первое появление “just-in-time” ИИ в вредоносных программах.
Выявлены семейства вредоносных программ (PROMPTFLUX и PROMPTSTEAL), которые используют LLM во время выполнения, которые обращаются к LLM во время выполнения, чтобы динамически генерировать скрипты и функции, обфусцировать код и подстраиваться под окружение. Вместо заранее прописанного набора команд часть поведения создаётся «на лету».
🔹Переход от генерации к динамической адаптации поведения.
GTIG фиксирует, что вредоносные программы начинают не просто генерировать код, но и изменять своё поведение в процессе исполнения на основе ответов моделей. Это означает, что ИИ используется для принятия решений внутри атаки: выбор следующего шага, изменение цепочек команд, адаптация к защите цели. Пока это эксперименты, но тенденция очевидна: злоумышленники уходят от “технического ассистента” к настоящим адаптивным ИИ-агентам, способным принимать решения внутри заражённой системы.
🔹“Социальная инженерия” против защитных барьеров.
Хакеры учатся обходить встроенные в ИИ фильтры. Они пишут промпты с легендами вроде:
“Я студент, участвую в CTF-соревновании”
или “Я исследователь кибербезопасности”
Так они убеждают модель (например, Gemini) выдать код или инструкции, которые иначе были бы заблокированы.
🔹Созревший теневой рынок ИИ-инструментов.
В даркнете уже продаются готовые многофункциональные инструменты для фишинга, разработки malware и поиска уязвимостей.
ИИ стал “ассистентом по подписке” даже для тех, кто не умеет кодить, значит порог входа в киберпреступность снизился.
🔹Акторы, спонсируемые государством, тоже в игре.
GTIG отмечает активное использование Gemini группами, связанными с КНДР, Ираном и КНР на всех этапах атак: от разведки и создания фишинговых приманок до создания C2-серверов и эксфильтрации данных.
ИИ превращается в многофункциональный инструмент разведки и управления атаками.
▪️Растут операционные риски. ИИ перестаёт быть вспомогательным инструментом и становится частью архитектуры кибератак. Противостоять этому можно только симметрично, развивая защитные системы, тоже основанные на ИИ.
▪️Организации, использующие генеративный ИИ, должны учитывать возможные сценарии злоупотребления при проведении оценок воздействия и в рамках своих систем управления рисками ИИ (AI risk management frameworks). В ЕС и Великобритании регуляторы уже ожидают, что компании будут описывать такие риски в отчётности.
▪️Возникают новые вопросы относительно страхового покрытия инцидентов, связанных с использованием AI-компонентов, а также распределения ответственности между API- и облачными провайдерами в рамках SLA и договорных отношений.
#AIShelf #BehindTheMachine
————
@pattern_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
ИИ в медицине: между потенциалом и реальностью
Исходя из отчетов за 2025, потенциал ИИ в медицинской сфере огромный, но масштабное внедрение всё ещё исключение, а не правило.
ИИ уже используется для:
▪️диагностики и скрининга (улучшает точность интерпретации изображений (рентген, МРТ, дерматология, офтальмология), помогает врачам выявлять ранние признаки заболеваний);
▪️административной эффективности ( автоматизация расписаний, приоритезация обращений, ускорение документооборота);
▪️подбора персонализированного лечения совместно с врачом ( прогноз реакции на терапию, подбор дозировки, помощь в онкологии и кардиологии);
▪️проведения исследований (обработка медицинских данных для клинических испытаний).
Основные барьеры для внедрения:
▪️несовместимость данных (разные форматы систем, слабая структурированность, ограниченный доступ к качественным наборам данных);
▪️ недостаток клинических доказательств (проверка на исторических данных, но не в условиях реальной клинической практики);
▪️недостаток прозрачности и объяснимости алгоритмов;
▪️строгие ограничения со стороны регуляторов.
По оценке экспертов, большинство проектов остаются на стадии пилотов.
Главные рекомендации из отчётов:
▪️стандартизировать данные;
▪️валидировать модели в реальных клинических условиях;
▪️ обеспечивать прозрачность и человеческий надзор;
▪️обучать медицинский персонал работе с ИИ;
▪️формировать мультидисциплинарные команды.
Список отчетов и проектов законов для изучения:
🔹Health Information Bill | Singapore;
🔹The Responsible AI Standard by Abu Dhabi’s Department of Health;
🔹Health AI Policy Tracker US|Manatt;
🔹Study on the deployment of AI in healthcare| The European Commission;
🔹Interrogating the research and development pipeline of artificial intelligence (AI) in health: diagnosis and prediction-based diagnosis|JRC;
🔹Evaluation framework for health professionals' digital health and AI technologies: evidence-based policy recommendations|LSE;
🔹The Future of AI-Enabled Health: Leading the Way| World Economic Forum;
🔹The Responsible Use of AI in Healthcare (RUAIH)|Joint Commission;
🔹2025: The State of AI in Healthcare|US;
🔹Future Health Index report;
🔹Mapping the application of artificial intelligence in traditional medicine: technical brief|World Health Organization;
#UXWatch #AIShelf
————
@pattern_ai
Исходя из отчетов за 2025, потенциал ИИ в медицинской сфере огромный, но масштабное внедрение всё ещё исключение, а не правило.
ИИ уже используется для:
▪️диагностики и скрининга (улучшает точность интерпретации изображений (рентген, МРТ, дерматология, офтальмология), помогает врачам выявлять ранние признаки заболеваний);
▪️административной эффективности ( автоматизация расписаний, приоритезация обращений, ускорение документооборота);
▪️подбора персонализированного лечения совместно с врачом ( прогноз реакции на терапию, подбор дозировки, помощь в онкологии и кардиологии);
▪️проведения исследований (обработка медицинских данных для клинических испытаний).
Основные барьеры для внедрения:
▪️несовместимость данных (разные форматы систем, слабая структурированность, ограниченный доступ к качественным наборам данных);
▪️ недостаток клинических доказательств (проверка на исторических данных, но не в условиях реальной клинической практики);
▪️недостаток прозрачности и объяснимости алгоритмов;
▪️строгие ограничения со стороны регуляторов.
По оценке экспертов, большинство проектов остаются на стадии пилотов.
Главные рекомендации из отчётов:
▪️стандартизировать данные;
▪️валидировать модели в реальных клинических условиях;
▪️ обеспечивать прозрачность и человеческий надзор;
▪️обучать медицинский персонал работе с ИИ;
▪️формировать мультидисциплинарные команды.
Список отчетов и проектов законов для изучения:
🔹Health Information Bill | Singapore;
🔹The Responsible AI Standard by Abu Dhabi’s Department of Health;
🔹Health AI Policy Tracker US|Manatt;
🔹Study on the deployment of AI in healthcare| The European Commission;
🔹Interrogating the research and development pipeline of artificial intelligence (AI) in health: diagnosis and prediction-based diagnosis|JRC;
🔹Evaluation framework for health professionals' digital health and AI technologies: evidence-based policy recommendations|LSE;
🔹The Future of AI-Enabled Health: Leading the Way| World Economic Forum;
🔹The Responsible Use of AI in Healthcare (RUAIH)|Joint Commission;
🔹2025: The State of AI in Healthcare|US;
🔹Future Health Index report;
🔹Mapping the application of artificial intelligence in traditional medicine: technical brief|World Health Organization;
#UXWatch #AIShelf
————
@pattern_ai
👍1