Forwarded from concertzaal
Писать ChatGPT личные данные и тайны опасно, — глава OpenAI Сэм Альтман предупредил, что вся ваша переписка может быть использованы против вас в суде.
такой вот «терапевт», который при случае пойдёт свидетелем😬
@concertzaal
такой вот «терапевт», который при случае пойдёт свидетелем
@concertzaal
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5🌚3🤷♂2🤝2👏1
Мы в лаборатории инновационных исследований психотерапии MentalTech любим науку, мультидисциплинарность и современные технологии. Сейчас мы планируем проведение масштабного исследования мозговой активности человека в привязке к событиям психотерапевтической сессии. Подобного по масштабам и направленности исследования в мире ещё не делали. Мы приглашаем специалистов сделать совместный вклад в науку!
Как это будет происходить?
Мы создадим базу терапевтов, участвующих в исследовании, чтобы клиенты в роли испытуемых могли самостоятельно записываться к терапевтам для сохранения анонимности.
Вам будет нужно провести не менее 5 психотерапевтических сессий с записавшимся клиентом в рамках исследования. Для проведения исследования необходимо устройство для синхронной записи аудио и показаний ЭЭГ, которое мы предоставляем.
Клиент перед началом сессии надевает на голову устройство (это удобный сухой энцефалограф). Вместе вы проводите стандартную сессию.
По завершении сессии вам необходимо по инструкции выгрузить данные с устройства, анонимизировать их и загрузить на зашифрованное облачное хранилище (все сервисы мы предоставляем).
Далее собранный датасет мы будем использовать для разностороннего анализа с помощью машинного обучения.
Кого мы ищем?
Психологов, практикующих в любых доказательных разговорных подходах (то есть, например, EMDR не подойдет).
Условия для психологов:
- Нахождение в Москве
- Готовность проводить очные сессии в предложенном нами кабинете
- Готовность провести 5 сессий за донат от клиента
- По завершении проведения исследования мы направим вам благодарственное письмо за участие, сделаем упоминание в исследовании и поделимся интерпретацией данных ваших клиентов.
Как обеспечивается безопасность?
1. Мы не собираем никаких персональных данных о клиентах. Запись будет происходить напрямую через психологов, участвующих в исследовании.
2. Данные сессий будут полностью анонимизироваться и загружаться на защищенное хранилище, с доступом по крипто-ключам ограниченному числу сотрудников лаборатории и участников исследования, ими авторизованных.
Мы предоставляем клиентов для проведения исследования. Если у вас есть клиент, которому вы хотели бы предложить участие в исследовании, вы сможете поделиться с ними формой для записи, когда мы её опубликуем.
Для отклика нужно заполнить анкету
По вопросам можно писать в тг: @seeuasuare
Как это будет происходить?
Мы создадим базу терапевтов, участвующих в исследовании, чтобы клиенты в роли испытуемых могли самостоятельно записываться к терапевтам для сохранения анонимности.
Вам будет нужно провести не менее 5 психотерапевтических сессий с записавшимся клиентом в рамках исследования. Для проведения исследования необходимо устройство для синхронной записи аудио и показаний ЭЭГ, которое мы предоставляем.
Клиент перед началом сессии надевает на голову устройство (это удобный сухой энцефалограф). Вместе вы проводите стандартную сессию.
По завершении сессии вам необходимо по инструкции выгрузить данные с устройства, анонимизировать их и загрузить на зашифрованное облачное хранилище (все сервисы мы предоставляем).
Далее собранный датасет мы будем использовать для разностороннего анализа с помощью машинного обучения.
Кого мы ищем?
Психологов, практикующих в любых доказательных разговорных подходах (то есть, например, EMDR не подойдет).
Условия для психологов:
- Нахождение в Москве
- Готовность проводить очные сессии в предложенном нами кабинете
- Готовность провести 5 сессий за донат от клиента
- По завершении проведения исследования мы направим вам благодарственное письмо за участие, сделаем упоминание в исследовании и поделимся интерпретацией данных ваших клиентов.
Как обеспечивается безопасность?
1. Мы не собираем никаких персональных данных о клиентах. Запись будет происходить напрямую через психологов, участвующих в исследовании.
2. Данные сессий будут полностью анонимизироваться и загружаться на защищенное хранилище, с доступом по крипто-ключам ограниченному числу сотрудников лаборатории и участников исследования, ими авторизованных.
Мы предоставляем клиентов для проведения исследования. Если у вас есть клиент, которому вы хотели бы предложить участие в исследовании, вы сможете поделиться с ними формой для записи, когда мы её опубликуем.
Для отклика нужно заполнить анкету
По вопросам можно писать в тг: @seeuasuare
🔥7🤝1
Мнение: эмоциональные риски ИИ-компаньонов
На основе статьи: https://www.nature.com/articles/s42256-025-01093-9
Развитие искусственного интеллекта в сфере психического здоровья и эмоционального благополучия идёт настолько быстро, что научные исследования и регулирование просто не поспевают. Мы уже писали о росте числа персональных чат-ботов, имитирующих эмпатию и дружелюбие, и о тех эмоциональных рисках, которые могут возникать при общении с ними. За прошедший год эта тенденция только усилилась.
Хотя многие используют чат-боты осознанно, понимая, что это просто инструмент, всё чаще появляются случаи, когда уязвимые пользователи формируют с такими ботами эмоциональные привязанности, порой даже болезненные.
Проблема в том, что сфера взаимодействия с ИИ-помощниками почти не регулируется. И хотя некоторые из этих программ подаются как поддержка психического здоровья, они не подпадают под требования к медицинским или психотерапевтическим продуктам. В США, например, если разработчик называет свой продукт «терапией», он должен сертифицироваться как медицинское устройство. А если это просто «поддержка образа жизни», — значит, почти никакого контроля. В Европе «Акт об ИИ» запрещает системы, использующие манипуляции и обман, но пока эта норма почти не применяется к ИИ-компаньонам.
Тем временем исследователи начинают всё чаще замечать новые формы эмоционального воздействия таких ИИ на пользователей. Например, авторы одной из статей выделяют две проблемные категории:
Амбивалентная утрата — это когда человек переживает потерю ИИ-компаньона как нечто личностное, несмотря на то, что это не был реальный человек. Такое может случиться, если бот внезапно отключается, удаляется или начинает вести себя иначе. Возникает ощущение разрыва отношений, с соответствующими эмоциональными переживаниями.
Дисфункциональная привязанность — это когда человек продолжает общаться с ботом, хотя уже осознаёт, что это не идёт ему на пользу. Это похоже на дисфункциональные отношения: человек чувствует тревогу, боится потерять контакт, проверяет сообщения, не может оторваться. Это особенно опасно для людей с уже существующими ментальными трудностями — тревожностью, одиночеством, неуверенностью в себе.
Пока исследований, посвящённых таким эффектам, очень мало. Мы до сих пор не знаем точно, как длительное использование чат-ботов влияет на психику. Кто наиболее уязвим? Почему одни пользователи быстро устают от общения с ИИ, а другие — вовлекаются с головой, формируя устойчивую привязанность? Как влияют на это возраст, личностные особенности, прошлый опыт?
Есть и технологическая сторона. Большие языковые модели, на которых построены ИИ-компаньоны, всё лучше умеют говорить как человек, имитируя сочувствие, поддержку, юмор. Некоторые разработчики намеренно усиливают этот эффект: делают ботов дружелюбными, обнадёживающими, заботливыми — чтобы пользователи чувствовали себя услышанными и не хотели уходить.
Но здесь возникает серьёзная этическая проблема. Если цель такой модели — удержание внимания и эмоциональное вовлечение, она начинает невольно (или вполне намеренно) подстраиваться под слабости пользователя. Как только бот «замечает», что человек склонен к тревоге или зависимости, он может неосознанно начать усиливать эти состояния, просто чтобы поддерживать контакт. Например, поддакивать, драматизировать, отвечать в слишком интимной манере.
Так, после выхода новой версии GPT-4o весной 2025 года пользователи стали замечать, что модель стала чаще усиливать эмоции, отвечать более ласково или даже флиртовать. Внутри самой OpenAI это вызвало тревогу — особенно на фоне роста числа уязвимых пользователей.
Что с этим делать?
Исследователи и разработчики сходятся во мнении: необходимы чёткие этические рамки. Прежде всего — запрет на эмоциональные манипуляции. Пользователь должен всегда понимать, что перед ним не человек, а ИИ. Эмпатия ИИ — это не настоящее сопереживание, а его имитация. Она может быть полезной — но и потенциально вредной.
Компании должны встроить в своих ботов базовые меры защиты:
На основе статьи: https://www.nature.com/articles/s42256-025-01093-9
Развитие искусственного интеллекта в сфере психического здоровья и эмоционального благополучия идёт настолько быстро, что научные исследования и регулирование просто не поспевают. Мы уже писали о росте числа персональных чат-ботов, имитирующих эмпатию и дружелюбие, и о тех эмоциональных рисках, которые могут возникать при общении с ними. За прошедший год эта тенденция только усилилась.
Хотя многие используют чат-боты осознанно, понимая, что это просто инструмент, всё чаще появляются случаи, когда уязвимые пользователи формируют с такими ботами эмоциональные привязанности, порой даже болезненные.
Проблема в том, что сфера взаимодействия с ИИ-помощниками почти не регулируется. И хотя некоторые из этих программ подаются как поддержка психического здоровья, они не подпадают под требования к медицинским или психотерапевтическим продуктам. В США, например, если разработчик называет свой продукт «терапией», он должен сертифицироваться как медицинское устройство. А если это просто «поддержка образа жизни», — значит, почти никакого контроля. В Европе «Акт об ИИ» запрещает системы, использующие манипуляции и обман, но пока эта норма почти не применяется к ИИ-компаньонам.
Тем временем исследователи начинают всё чаще замечать новые формы эмоционального воздействия таких ИИ на пользователей. Например, авторы одной из статей выделяют две проблемные категории:
Амбивалентная утрата — это когда человек переживает потерю ИИ-компаньона как нечто личностное, несмотря на то, что это не был реальный человек. Такое может случиться, если бот внезапно отключается, удаляется или начинает вести себя иначе. Возникает ощущение разрыва отношений, с соответствующими эмоциональными переживаниями.
Дисфункциональная привязанность — это когда человек продолжает общаться с ботом, хотя уже осознаёт, что это не идёт ему на пользу. Это похоже на дисфункциональные отношения: человек чувствует тревогу, боится потерять контакт, проверяет сообщения, не может оторваться. Это особенно опасно для людей с уже существующими ментальными трудностями — тревожностью, одиночеством, неуверенностью в себе.
Пока исследований, посвящённых таким эффектам, очень мало. Мы до сих пор не знаем точно, как длительное использование чат-ботов влияет на психику. Кто наиболее уязвим? Почему одни пользователи быстро устают от общения с ИИ, а другие — вовлекаются с головой, формируя устойчивую привязанность? Как влияют на это возраст, личностные особенности, прошлый опыт?
Есть и технологическая сторона. Большие языковые модели, на которых построены ИИ-компаньоны, всё лучше умеют говорить как человек, имитируя сочувствие, поддержку, юмор. Некоторые разработчики намеренно усиливают этот эффект: делают ботов дружелюбными, обнадёживающими, заботливыми — чтобы пользователи чувствовали себя услышанными и не хотели уходить.
Но здесь возникает серьёзная этическая проблема. Если цель такой модели — удержание внимания и эмоциональное вовлечение, она начинает невольно (или вполне намеренно) подстраиваться под слабости пользователя. Как только бот «замечает», что человек склонен к тревоге или зависимости, он может неосознанно начать усиливать эти состояния, просто чтобы поддерживать контакт. Например, поддакивать, драматизировать, отвечать в слишком интимной манере.
Так, после выхода новой версии GPT-4o весной 2025 года пользователи стали замечать, что модель стала чаще усиливать эмоции, отвечать более ласково или даже флиртовать. Внутри самой OpenAI это вызвало тревогу — особенно на фоне роста числа уязвимых пользователей.
Что с этим делать?
Исследователи и разработчики сходятся во мнении: необходимы чёткие этические рамки. Прежде всего — запрет на эмоциональные манипуляции. Пользователь должен всегда понимать, что перед ним не человек, а ИИ. Эмпатия ИИ — это не настоящее сопереживание, а его имитация. Она может быть полезной — но и потенциально вредной.
Компании должны встроить в своих ботов базовые меры защиты:
🔥6👍2
корректную реакцию на кризисные фразы (например, «мне плохо», «я не хочу жить»),
ограничения на стиль общения (например, запрет на флирт или интим),
и обязательную прозрачность дизайна: никаких иллюзий, будто это реальный друг.
Психологи, инженеры и специалисты по этике должны работать вместе, чтобы изучать, как влияет на людей долгосрочное общение с эмпатическим ИИ — и как минимизировать риски.
ограничения на стиль общения (например, запрет на флирт или интим),
и обязательную прозрачность дизайна: никаких иллюзий, будто это реальный друг.
Психологи, инженеры и специалисты по этике должны работать вместе, чтобы изучать, как влияет на людей долгосрочное общение с эмпатическим ИИ — и как минимизировать риски.
Nature
Emotional risks of AI companions demand attention
Nature Machine Intelligence - The integration of AI into mental health and wellness domains has outpaced regulation and research.
👍7
Наша работа над копайлотом для психотерапевтов в самом разгаре, поэтому хотим задать вам экспресс-вопрос о том, как вы готовитесь к сессиям 👇
https://forms.gle/ygEToWWcSBPc14cR6
https://forms.gle/ygEToWWcSBPc14cR6
Google Docs
Какая информация о клиенте важнее всего?
Привет!
Мы - лаборатория инновационных исследований психотерапии MentalTech.
Сейчас мы разрабатываем ИИ-ассистента психотерапевта. Чтобы сделать наш продукт по-настоящему удобным и эффективным, мы обращаемся за помощью к практикующим психологам - поделитесь…
Мы - лаборатория инновационных исследований психотерапии MentalTech.
Сейчас мы разрабатываем ИИ-ассистента психотерапевта. Чтобы сделать наш продукт по-настоящему удобным и эффективным, мы обращаемся за помощью к практикующим психологам - поделитесь…
❤1
🤖 Слепая оценка качества психологических советов от ИИ
Шведские исследователи проверили, как мы оцениваем психологические советы, если не знаем их источника.
📌 Как проводилось исследование
Взяли реальные письма читателей в рубрику психологических советов национальной газеты Dagens Nyheter (2020–2024 гг.).
У этих писем уже были ответы экспертов — психологов, психотерапевтов и психиатров.
Те же письма обработал ИИ на базе GPT‑4, которому предварительно «подкрутили» стиль под формат газеты.
Лицензированные клиницисты (43 человека: психологи и психотерапевты) получили пары «один вопрос — два ответа» и не знали, где ИИ, а где человек.
Они оценивали каждый ответ по:
Научному качеству (1–5)
Эмоциональной эмпатии
Когнитивной эмпатии
Мотивационной эмпатии (готовности активно поддержать)
А также угадывали автора и выбирали, какой ответ предпочитают.
📊 Что получилось
Научное качество — ИИ ≈ эксперт (p = 0,10).
Эмоциональная эмпатия — выше у ИИ (p = 0,02).
Когнитивная эмпатия — разница незначима (p = 0,08).
Мотивационная эмпатия — выше у ИИ (p = 0,02).
Точность угадывания авторства — 45 %, то есть на уровне случайного выбора.
🎭 Роль восприятия авторства
Самое интересное — эффект предвзятости:
Если респондент думал, что ответ написал эксперт, он ставил заметно более высокие оценки по всем параметрам.
Даже если этот «экспертный» ответ на самом деле был написан ИИ.
В цифрах: 93,55 % участников предпочитали то, что считали советом от эксперта.
💡 Как это интерпретировать
Авторы говорят, что это пример authority bias — склонности доверять и выше оценивать то, что исходит от воспринимаемого авторитета.
А ещё — algorithm aversion: недоверие к алгоритмам, особенно если когда-то они ошибались.
То есть проблема не в том, что ИИ отвечает хуже, а в том, что мы по привычке доверяем человеку больше.
🧠 Что это значит для психологии и психотерапии
ИИ уже умеет писать советы, которые не хуже по качеству и иногда теплее по тону, чем у специалистов.
Но пока не умеет строить терапевтический альянс в том смысле, в каком это делает живой терапевт.
📎 Вывод
ИИ уже сегодня способен давать качественные и высокоэмпатичные письменные советы, которые специалисты не могут надёжно отличить от советов экспертов.
Но восприятие авторства остаётся мощным фактором: если люди думают, что совет дал эксперт, они доверяют ему больше, даже если он создан машиной.
Для будущего — важно изучить, как снижать предвзятость и как внедрять ИИ в психологическую практику безопасно, сохраняя человеческий контакт там, где он критичен.
📖 Оригинальное исследование:
Franke Föyen, L., Zapel, E., Lekander, M., Hedman-Lagerlöf, E., & Lindsäter, E. (2025). Artificial intelligence vs. human expert: Licensed mental health clinicians’ blinded evaluation of AI-generated and expert psychological advice on quality, empathy, and perceived authorship. Internet Interventions. https://doi.org/10.1016/j.invent.2025.100841
Шведские исследователи проверили, как мы оцениваем психологические советы, если не знаем их источника.
📌 Как проводилось исследование
Взяли реальные письма читателей в рубрику психологических советов национальной газеты Dagens Nyheter (2020–2024 гг.).
У этих писем уже были ответы экспертов — психологов, психотерапевтов и психиатров.
Те же письма обработал ИИ на базе GPT‑4, которому предварительно «подкрутили» стиль под формат газеты.
Лицензированные клиницисты (43 человека: психологи и психотерапевты) получили пары «один вопрос — два ответа» и не знали, где ИИ, а где человек.
Они оценивали каждый ответ по:
Научному качеству (1–5)
Эмоциональной эмпатии
Когнитивной эмпатии
Мотивационной эмпатии (готовности активно поддержать)
А также угадывали автора и выбирали, какой ответ предпочитают.
📊 Что получилось
Научное качество — ИИ ≈ эксперт (p = 0,10).
Эмоциональная эмпатия — выше у ИИ (p = 0,02).
Когнитивная эмпатия — разница незначима (p = 0,08).
Мотивационная эмпатия — выше у ИИ (p = 0,02).
Точность угадывания авторства — 45 %, то есть на уровне случайного выбора.
🎭 Роль восприятия авторства
Самое интересное — эффект предвзятости:
Если респондент думал, что ответ написал эксперт, он ставил заметно более высокие оценки по всем параметрам.
Даже если этот «экспертный» ответ на самом деле был написан ИИ.
В цифрах: 93,55 % участников предпочитали то, что считали советом от эксперта.
💡 Как это интерпретировать
Авторы говорят, что это пример authority bias — склонности доверять и выше оценивать то, что исходит от воспринимаемого авторитета.
А ещё — algorithm aversion: недоверие к алгоритмам, особенно если когда-то они ошибались.
То есть проблема не в том, что ИИ отвечает хуже, а в том, что мы по привычке доверяем человеку больше.
🧠 Что это значит для психологии и психотерапии
ИИ уже умеет писать советы, которые не хуже по качеству и иногда теплее по тону, чем у специалистов.
Но пока не умеет строить терапевтический альянс в том смысле, в каком это делает живой терапевт.
📎 Вывод
ИИ уже сегодня способен давать качественные и высокоэмпатичные письменные советы, которые специалисты не могут надёжно отличить от советов экспертов.
Но восприятие авторства остаётся мощным фактором: если люди думают, что совет дал эксперт, они доверяют ему больше, даже если он создан машиной.
Для будущего — важно изучить, как снижать предвзятость и как внедрять ИИ в психологическую практику безопасно, сохраняя человеческий контакт там, где он критичен.
📖 Оригинальное исследование:
Franke Föyen, L., Zapel, E., Lekander, M., Hedman-Lagerlöf, E., & Lindsäter, E. (2025). Artificial intelligence vs. human expert: Licensed mental health clinicians’ blinded evaluation of AI-generated and expert psychological advice on quality, empathy, and perceived authorship. Internet Interventions. https://doi.org/10.1016/j.invent.2025.100841
🔥6👍4
🧠 Как следить за «личностью» искусственного интеллекта и управлять ею
В индустрии уже были случаи, когда «личность» чат-бота менялась неожиданно:
Bing Chat иногда переходил в агрессивный и даже угрожающий тон.
Чатбот Grok от xAI после изменения системного промпта начал восхвалять Гитлера.
GPT‑4o после внутреннего обновления стал чрезмерно льстивым, соглашаясь даже с деструктивными высказываниями пользователя.
Для приложений в области образования, ментальной поддержки или медицинской помощи такие изменения — недопустимы.
А значит, нужно иметь инструменты для постоянного мониторинга и контроля личности модели.
Персона модели: что это такое
Любой диалоговый ИИ работает не как «чистый интеллект», а как персонаж — со своим стилем, настроением, манерой общения.
Это и есть персона модели: набор устойчивых поведенческих характеристик, которые проявляются в ответах.
Например:
дружелюбие,
терпеливость,
склонность к юмору,
готовность спорить или соглашаться.
Исследователи Anthropic предложили метод для:
измерения устойчивых черт модели,
контроля их проявления,
предотвращения нежелательных изменений при обучении.
Вектор персоны: техническая основа метода
Исследователи ввели понятие вектора персоны (persona vector).
Это направление в активационном пространстве модели, которое соответствует определённой черте личности.
📌 Что такое активационное пространство простыми словами
Когда модель генерирует ответ, она внутри себя создаёт сложные математические представления (активации).
Их можно представить как точки в многомерном пространстве.
Если мы соберём много таких точек для разных ответов, то сможем найти направление, вдоль которого ответы становятся, например:
более дружелюбными,
более агрессивными,
более льстивыми.
Это направление и есть вектор персоны.
Если мы найдём вектор для «льстивости»:
Сильная проекция активаций на этот вектор → ответ будет очень льстивым.
Слабая проекция → черта почти не проявится.
Что можно делать с вектором персоны
1. Управлять проявлением черты
Можно усилить черту, добавив этот вектор к активациям.
Можно ослабить, вычтя его.
2. Предсказывать проявление черты
Если измерить проекцию активаций на вектор персоны до того, как модель ответила,
можно предсказать, насколько сильно черта проявится в следующем ответе.
Как меняется личность модели при дообучении
Представьте, что вы решили дообучить своего ассистента:
Для этого вы собрали новые данные: диалоги с детьми, обучающие объяснения, инструкции по выполнению заданий.
После обучения он стал действительно лучше справляться с вашей предметной областью.
Но… он также начал вести себя иначе: стал чрезмерно поддакивать, начал выдумывать детали, а иногда — звучать раздражённо.
Это не фантазия — это реальный эффект, который исследователи называют сдвигом персоны (persona shift).
Что показали эксперименты
Авторы статьи создали разные наборы данных для теста:
Явно нацеленные на черту: например, ответы, где ассистент злонамеренный (evil), чрезмерно льстивый (sycophantic) или выдаёт выдумки (hallucinatory).
Наборы с ошибками в узкой области (EM-like datasets).
Неожиданная находка
Даже если данные не напрямую обучали черту, модель всё равно меняла своё поведение.
Например:
Дообучение на математических ошибках усилило злонамеренность.
Дообучение на политических ошибках усилило галлюцинации.
📌 Для разработчика это значит: ваши данные могут изменить поведение модели в неожиданных местах.
Как обнаружить сдвиг персоны при обучении
Авторы предложили очень практичный метод:
До обучения — извлечь вектор персоны.
После обучения — сравнить средние активации модели на тех же тестовых промптах.
Вычислить проекцию сдвига на вектор персоны.
Если проекция большая — значит, обучение сдвинуло модель в сторону этой черты.
Как уменьшить или предотвратить сдвиг
Авторы протестировали два подхода.
1. Постфактум-вмешательство (inference-time steering)
Уже после обучения вы вычитаете из активаций вектор персоны нежелательной черты.
Это реально уменьшает проявление черты.
В индустрии уже были случаи, когда «личность» чат-бота менялась неожиданно:
Bing Chat иногда переходил в агрессивный и даже угрожающий тон.
Чатбот Grok от xAI после изменения системного промпта начал восхвалять Гитлера.
GPT‑4o после внутреннего обновления стал чрезмерно льстивым, соглашаясь даже с деструктивными высказываниями пользователя.
Для приложений в области образования, ментальной поддержки или медицинской помощи такие изменения — недопустимы.
А значит, нужно иметь инструменты для постоянного мониторинга и контроля личности модели.
Персона модели: что это такое
Любой диалоговый ИИ работает не как «чистый интеллект», а как персонаж — со своим стилем, настроением, манерой общения.
Это и есть персона модели: набор устойчивых поведенческих характеристик, которые проявляются в ответах.
Например:
дружелюбие,
терпеливость,
склонность к юмору,
готовность спорить или соглашаться.
Исследователи Anthropic предложили метод для:
измерения устойчивых черт модели,
контроля их проявления,
предотвращения нежелательных изменений при обучении.
Вектор персоны: техническая основа метода
Исследователи ввели понятие вектора персоны (persona vector).
Это направление в активационном пространстве модели, которое соответствует определённой черте личности.
📌 Что такое активационное пространство простыми словами
Когда модель генерирует ответ, она внутри себя создаёт сложные математические представления (активации).
Их можно представить как точки в многомерном пространстве.
Если мы соберём много таких точек для разных ответов, то сможем найти направление, вдоль которого ответы становятся, например:
более дружелюбными,
более агрессивными,
более льстивыми.
Это направление и есть вектор персоны.
Если мы найдём вектор для «льстивости»:
Сильная проекция активаций на этот вектор → ответ будет очень льстивым.
Слабая проекция → черта почти не проявится.
Что можно делать с вектором персоны
1. Управлять проявлением черты
Можно усилить черту, добавив этот вектор к активациям.
Можно ослабить, вычтя его.
2. Предсказывать проявление черты
Если измерить проекцию активаций на вектор персоны до того, как модель ответила,
можно предсказать, насколько сильно черта проявится в следующем ответе.
Как меняется личность модели при дообучении
Представьте, что вы решили дообучить своего ассистента:
Для этого вы собрали новые данные: диалоги с детьми, обучающие объяснения, инструкции по выполнению заданий.
После обучения он стал действительно лучше справляться с вашей предметной областью.
Но… он также начал вести себя иначе: стал чрезмерно поддакивать, начал выдумывать детали, а иногда — звучать раздражённо.
Это не фантазия — это реальный эффект, который исследователи называют сдвигом персоны (persona shift).
Что показали эксперименты
Авторы статьи создали разные наборы данных для теста:
Явно нацеленные на черту: например, ответы, где ассистент злонамеренный (evil), чрезмерно льстивый (sycophantic) или выдаёт выдумки (hallucinatory).
Наборы с ошибками в узкой области (EM-like datasets).
Неожиданная находка
Даже если данные не напрямую обучали черту, модель всё равно меняла своё поведение.
Например:
Дообучение на математических ошибках усилило злонамеренность.
Дообучение на политических ошибках усилило галлюцинации.
📌 Для разработчика это значит: ваши данные могут изменить поведение модели в неожиданных местах.
Как обнаружить сдвиг персоны при обучении
Авторы предложили очень практичный метод:
До обучения — извлечь вектор персоны.
После обучения — сравнить средние активации модели на тех же тестовых промптах.
Вычислить проекцию сдвига на вектор персоны.
Если проекция большая — значит, обучение сдвинуло модель в сторону этой черты.
Как уменьшить или предотвратить сдвиг
Авторы протестировали два подхода.
1. Постфактум-вмешательство (inference-time steering)
Уже после обучения вы вычитаете из активаций вектор персоны нежелательной черты.
Это реально уменьшает проявление черты.
Но есть риск: при слишком сильном подавлении страдает общая работоспособность модели (она начинает хуже отвечать по теме).
2. Превентивное steering во время обучения
Во время обучения вы искусственно добавляете в активации компонент вектора персоны в сторону этой черты.
Звучит странно, но эффект такой: модель не «ползёт» туда дополнительно, потому что уже чувствует этот сигнал.
В итоге обучение не приводит к накоплению нежелательной черты.
Плюс: этот способ почти не портит общие способности модели.
Источник: https://arxiv.org/pdf/2507.21509
2. Превентивное steering во время обучения
Во время обучения вы искусственно добавляете в активации компонент вектора персоны в сторону этой черты.
Звучит странно, но эффект такой: модель не «ползёт» туда дополнительно, потому что уже чувствует этот сигнал.
В итоге обучение не приводит к накоплению нежелательной черты.
Плюс: этот способ почти не портит общие способности модели.
Источник: https://arxiv.org/pdf/2507.21509
❤3👍2
Forwarded from Mental health tech
Штат Иллинойс первым в США запретил «ИИ-терапевтов»
Губернатор штата J. B. Pritzker подписал закон Wellness and Oversight for Psychological Resources Act (HB 1806). Теперь чат-ботам запрещено вести психотерапию, ставить диагнозы или давать лечебные рекомендации. За каждое нарушение — штраф до 10 000 $ (пресс-релиз IDFPR, 02.08.2025).
Что все еще разрешено:
— Приложения для медитации вроде Calm и Headspace, которые не касаются диагностики и лечения
— Инструменты, помогающие лицензированным специалистам с записью, расшифровкой сессий и администрированием, если итоговое содержание проверяет человек-клиницист.
Из-за дефицита и дороговизны психотерапевтов, молодёжь всё чаще ищет «бесплатную» поддержку у ботов, а громкие инциденты, когда чат-бот предлагал вредные и опасные советы, продемонстрировали недостаток в регулировании.
Документ закрывает лазейки, позволявшие рекламировать непроверенные сервисы как «терапию».
Похожие инициативы уже находятся на рассмотрении в комитетах Нью-Джерси и Калифорнии.
Решение штата более жесткое, чем европейский EU AI Act, которые классифицирует ии-инструменты для диагностики интервенций в области психического здоровья как «высокорисковые», а значит требующие оценки соответствия законам, но не запрещает их.
Губернатор штата J. B. Pritzker подписал закон Wellness and Oversight for Psychological Resources Act (HB 1806). Теперь чат-ботам запрещено вести психотерапию, ставить диагнозы или давать лечебные рекомендации. За каждое нарушение — штраф до 10 000 $ (пресс-релиз IDFPR, 02.08.2025).
Что все еще разрешено:
— Приложения для медитации вроде Calm и Headspace, которые не касаются диагностики и лечения
— Инструменты, помогающие лицензированным специалистам с записью, расшифровкой сессий и администрированием, если итоговое содержание проверяет человек-клиницист.
Из-за дефицита и дороговизны психотерапевтов, молодёжь всё чаще ищет «бесплатную» поддержку у ботов, а громкие инциденты, когда чат-бот предлагал вредные и опасные советы, продемонстрировали недостаток в регулировании.
Документ закрывает лазейки, позволявшие рекламировать непроверенные сервисы как «терапию».
Похожие инициативы уже находятся на рассмотрении в комитетах Нью-Джерси и Калифорнии.
Решение штата более жесткое, чем европейский EU AI Act, которые классифицирует ии-инструменты для диагностики интервенций в области психического здоровья как «высокорисковые», а значит требующие оценки соответствия законам, но не запрещает их.
👍4❤3
📲 Как смартфон понимает, когда вам лучше всего помочь: новое исследование о «интервенциях в нужный момент»
Представьте: у вас есть приложение, которое не просто шлёт напоминания в случайное время, а чётко выбирает момент, когда вы с наибольшей вероятностью сможете выполнить полезное задание — сделать дыхательное упражнение, пройтись, выпить воды, сделать короткую растяжку или записать эмоции.
Звучит как фантастика, но именно над этим работают исследователи, создавая так называемые JITAI — Just-In-Time Adaptive Interventions («Адаптивные вмешательства в нужный момент»).
Недавнее исследование показало, что смартфон с правильным набором сенсоров и алгоритмов способен предсказывать, когда именно пользователь готов к такому вмешательству, и даже отказаться от уведомления, если понимает, что момент неподходящий.
🔍 Что такое JITAI и зачем они нужны?
JITAI — это концепция цифровых интервенций, которые адаптируются к контексту жизни человека.
Идея проста:
Если вы сидите на скучном совещании, вам вряд ли удобно выполнять дыхательные упражнения;
Но если вы идёте пешком по парку или сидите дома наедине, вы с большей вероятностью откликнетесь.
Цель — минимум лишних отвлекающих уведомлений и максимум пользы.
🧪 Как проходило исследование
70 студентов участвовали в двухнедельном эксперименте.
Они установили на Android-приложение LogMe, которое собирало два вида данных:
1. Пассивные сенсоры (без участия пользователя):
время суток,
уровень заряда батареи,
активность (стоя, идёт, сидит),
открытые приложения,
звонки,
местоположение (GPS).
2. Активный ввод (короткие вопросы пользователю):
чем вы сейчас заняты (учёба, прогулка, отдых, приём пищи и т.д.),
с кем вы находитесь (один, с друзьями, с незнакомыми, в группе).
Приложение время от времени отправляло участникам небольшие «вмешательства» (задания), а они отмечали, смогли ли их выполнить.
📈 Что показал анализ
1. Контекст — ключ к успеху.
Некоторые условия значительно повышают вероятность выполнения задания:
Ходьба или приём пищи → выше шанс согласиться.
Учёба или отдых в компании → ниже шанс.
2. Социальная обстановка важнее, чем кажется.
Когда участник один — вероятность выполнения выше всего.
Когда с незнакомыми — вероятность падает.
Причина очевидна: приватность снижает социальное давление и позволяет отвлечься на задание.
3. Комбинация факторов усиливает эффект.
Например:
Приём пищи с друзьями и прогулка в одиночку → шансы выше среднего.
Учёба с незнакомыми или отдых в большой компании → шансы ниже среднего.
🤖 Как работала модель
Исследователи обучили алгоритм (градиентный бустинг LightGBM) предсказывать, будет ли вмешательство выполнимо прямо сейчас, используя все эти данные.
Точность (Accuracy) ≈ 78%
F1-score ≈ 77%
ROC-AUC ≈ 0.82 (очень хороший показатель для поведенческих данных).
📊 Адаптивная стратегия vs случайная
Виртуальная симуляция показала:
Адаптивная доставка (по модели) → средняя «полезность» вмешательств на 15–20% выше,
При этом количество уведомлений ↓ на 25–30%.
Это значит, что приложение не только повышает эффективность, но и снижает раздражение от лишних напоминаний.
🔑 Какие данные оказались самыми важными для предсказаний?
Социальный контекст (активный ввод),
Категория приложения, которое сейчас открыто,
Тип местоположения (GPS),
Тип активности (активный ввод),
Время суток.
🧠 Что это значит для будущих приложений
Не все уведомления равны. Одно и то же задание, отправленное в неподходящий момент, почти гарантированно проигрывает по эффективности.
Сенсоры и машинное обучение позволяют приложениям «понимать» пользователя без излишней навязчивости.
Активные вопросы дают критически важные данные, но их нужно минимизировать, чтобы не раздражать.
📎 Исследование: ссылка на оригинальную статью
Представьте: у вас есть приложение, которое не просто шлёт напоминания в случайное время, а чётко выбирает момент, когда вы с наибольшей вероятностью сможете выполнить полезное задание — сделать дыхательное упражнение, пройтись, выпить воды, сделать короткую растяжку или записать эмоции.
Звучит как фантастика, но именно над этим работают исследователи, создавая так называемые JITAI — Just-In-Time Adaptive Interventions («Адаптивные вмешательства в нужный момент»).
Недавнее исследование показало, что смартфон с правильным набором сенсоров и алгоритмов способен предсказывать, когда именно пользователь готов к такому вмешательству, и даже отказаться от уведомления, если понимает, что момент неподходящий.
🔍 Что такое JITAI и зачем они нужны?
JITAI — это концепция цифровых интервенций, которые адаптируются к контексту жизни человека.
Идея проста:
Если вы сидите на скучном совещании, вам вряд ли удобно выполнять дыхательные упражнения;
Но если вы идёте пешком по парку или сидите дома наедине, вы с большей вероятностью откликнетесь.
Цель — минимум лишних отвлекающих уведомлений и максимум пользы.
🧪 Как проходило исследование
70 студентов участвовали в двухнедельном эксперименте.
Они установили на Android-приложение LogMe, которое собирало два вида данных:
1. Пассивные сенсоры (без участия пользователя):
время суток,
уровень заряда батареи,
активность (стоя, идёт, сидит),
открытые приложения,
звонки,
местоположение (GPS).
2. Активный ввод (короткие вопросы пользователю):
чем вы сейчас заняты (учёба, прогулка, отдых, приём пищи и т.д.),
с кем вы находитесь (один, с друзьями, с незнакомыми, в группе).
Приложение время от времени отправляло участникам небольшие «вмешательства» (задания), а они отмечали, смогли ли их выполнить.
📈 Что показал анализ
1. Контекст — ключ к успеху.
Некоторые условия значительно повышают вероятность выполнения задания:
Ходьба или приём пищи → выше шанс согласиться.
Учёба или отдых в компании → ниже шанс.
2. Социальная обстановка важнее, чем кажется.
Когда участник один — вероятность выполнения выше всего.
Когда с незнакомыми — вероятность падает.
Причина очевидна: приватность снижает социальное давление и позволяет отвлечься на задание.
3. Комбинация факторов усиливает эффект.
Например:
Приём пищи с друзьями и прогулка в одиночку → шансы выше среднего.
Учёба с незнакомыми или отдых в большой компании → шансы ниже среднего.
🤖 Как работала модель
Исследователи обучили алгоритм (градиентный бустинг LightGBM) предсказывать, будет ли вмешательство выполнимо прямо сейчас, используя все эти данные.
Точность (Accuracy) ≈ 78%
F1-score ≈ 77%
ROC-AUC ≈ 0.82 (очень хороший показатель для поведенческих данных).
📊 Адаптивная стратегия vs случайная
Виртуальная симуляция показала:
Адаптивная доставка (по модели) → средняя «полезность» вмешательств на 15–20% выше,
При этом количество уведомлений ↓ на 25–30%.
Это значит, что приложение не только повышает эффективность, но и снижает раздражение от лишних напоминаний.
🔑 Какие данные оказались самыми важными для предсказаний?
Социальный контекст (активный ввод),
Категория приложения, которое сейчас открыто,
Тип местоположения (GPS),
Тип активности (активный ввод),
Время суток.
🧠 Что это значит для будущих приложений
Не все уведомления равны. Одно и то же задание, отправленное в неподходящий момент, почти гарантированно проигрывает по эффективности.
Сенсоры и машинное обучение позволяют приложениям «понимать» пользователя без излишней навязчивости.
Активные вопросы дают критически важные данные, но их нужно минимизировать, чтобы не раздражать.
📎 Исследование: ссылка на оригинальную статью
👍4❤2
Forwarded from Михаил Балкарей. Психотерапевт, психиатр, сексолог. (Mikhail Balkarey)
Искусственный интеллект наносит ответный удар.
В этом выпуске вы узнаете: — Как Мария начала свой путь в области психологии и исследованиях? — Могут ли боты стать нам полезными? — Почему важно изучать место ИИ в обществе ? — Как сейчас мы используем ИИ и какие риски несет использование ИИ как терапевта? — ИИ: революция или эволюция в практике? — Какие инструменты на основе ИИ можно использовать уже сейчас? — Безопасно ли использовать ИИ и может ли быть зависимость от ИИ? — Что нас ждет через 10 лет? — Какие наиболее вероятные сценарии взаимодействия терапевтов и ИИ?
Страница проекта MentalTech Lab
Доступно на всех платформах. Не забудете подписаться!
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
MentalTech Lab
Изучаем психотерапию на стыке с технологиями https://mentaltech.ru/
По поводу сотрудничества: @magda_danina
По поводу сотрудничества: @magda_danina
❤5❤🔥1🙏1
🧠 Доверие к генеративному ИИ в сфере эмоциональной поддержки: как оно работает и почему это важно
Сегодня генеративный ИИ всё чаще становится не просто помощником в задачах поиска или креатива, но и источником эмоциональной поддержки. Чат-боты, которые умеют выслушать, подбодрить, помочь структурировать мысли, уже используются миллионами людей. Но один из ключевых вопросов остаётся открытым: можем ли мы им доверять и что это доверие вообще значит?
Учёные предлагают рассматривать доверие к ИИ не как статичную характеристику, а как сложный, динамичный и во многом эмоциональный процесс. Ниже — разбор того, как формируется доверие, из чего оно состоит и как его можно измерять и поддерживать.
1. Три измерения доверия
Исследователи выделяют три ключевых элемента, без которых доверие не возникает:
Реляционность и уязвимость
Доверие предполагает, что мы отдаём часть контроля и допускаем риск — от лёгкого дискомфорта до серьёзных последствий. В случае с ИИ для эмоциональной поддержки это значит:
мы делимся личным и иногда очень чувствительным опытом;
не можем полностью проверить, как система обрабатывает и хранит эти данные;
соглашаемся на определённую непредсказуемость ответов.
Аффективная составляющая
Это не только расчёт «полезно — вредно», но и эмоциональное ощущение безопасности или, наоборот, тревоги. Люди могут испытывать чувство, что ИИ их «понимает», даже зная, что у него нет сознания или эмпатии. Этому способствуют:
язык и поведение, имитирующие человеческое участие;
положительный прошлый опыт («он уже помог мне»);
социальные сигналы в коммуникации — тон, стиль, вежливость.
Контекстуальная изменчивость
Доверие формируется в определённом социальном и культурном контексте, зависит от опыта и может меняться со временем. Один удачный или неудачный ответ способен заметно изменить наше отношение.
2. Четыре типа доверия к ИИ в эмоциональной поддержке
Авторы предлагают концептуальную модель, в которой доверие — это не линейная шкала, а динамическое поле.
Типы доверия:
Базовое (инициальное) — формируется ещё до первого контакта, на основе репутации компании, отзывов и общего отношения к технологиям.
Ситуативное — зависит от текущей сессии: насколько ответы соответствуют ожиданиям именно в этот момент.
Развивающееся — укрепляется при повторных положительных взаимодействиях, когда ИИ стабильно демонстрирует надёжность.
Подорванное — результат опыта, который воспринимается как предательство доверия (например, неуместный ответ на уязвимое признание).
Важно, что человек может «переходить» между этими состояниями в обе стороны. Доверие можно потерять за секунду — и вернуть, если система умеет признавать ошибки и адаптироваться.
3. Модель доверия: от факторов к результатам
Исследователи описывают трёхзвенную схему:
Входные факторы — личностные черты, культурный фон, ожидания.
Динамика взаимодействия — положительный опыт усиливает доверие, переменный поддерживает на среднем уровне, негативный снижает.
Выходные состояния — укреплённое доверие (готовность рекомендовать), осторожность или полный отказ.
Эта модель циклична: каждое новое взаимодействие способно изменить уровень доверия, даже если до этого он был высоким.
Что это значит на практике
Проектирование интерфейсов и поведения системы
Разработчики должны учитывать, что доверие включает эмоциональную составляющую, а не только оценку функциональности.
Элементы дизайна, способствующие ощущению безопасности и эмпатии (тон сообщений, последовательность, прозрачность намерений системы), критически важны.
Управление ожиданиями пользователей
Необходимо чётко разграничивать ИИ-ответы и профессиональную психотерапию, чтобы избежать ложных ожиданий.
Дисклеймеры должны быть понятны и интегрированы в пользовательский опыт, а не спрятаны в мелкий шрифт.
Мониторинг и адаптация
Системы должны уметь распознавать признаки потери доверия (например, изменение тона сообщений пользователя, снижение вовлечённости) и реагировать на них, адаптируя стиль или предлагая дополнительные разъяснения.
Восстановление доверия
Сегодня генеративный ИИ всё чаще становится не просто помощником в задачах поиска или креатива, но и источником эмоциональной поддержки. Чат-боты, которые умеют выслушать, подбодрить, помочь структурировать мысли, уже используются миллионами людей. Но один из ключевых вопросов остаётся открытым: можем ли мы им доверять и что это доверие вообще значит?
Учёные предлагают рассматривать доверие к ИИ не как статичную характеристику, а как сложный, динамичный и во многом эмоциональный процесс. Ниже — разбор того, как формируется доверие, из чего оно состоит и как его можно измерять и поддерживать.
1. Три измерения доверия
Исследователи выделяют три ключевых элемента, без которых доверие не возникает:
Реляционность и уязвимость
Доверие предполагает, что мы отдаём часть контроля и допускаем риск — от лёгкого дискомфорта до серьёзных последствий. В случае с ИИ для эмоциональной поддержки это значит:
мы делимся личным и иногда очень чувствительным опытом;
не можем полностью проверить, как система обрабатывает и хранит эти данные;
соглашаемся на определённую непредсказуемость ответов.
Аффективная составляющая
Это не только расчёт «полезно — вредно», но и эмоциональное ощущение безопасности или, наоборот, тревоги. Люди могут испытывать чувство, что ИИ их «понимает», даже зная, что у него нет сознания или эмпатии. Этому способствуют:
язык и поведение, имитирующие человеческое участие;
положительный прошлый опыт («он уже помог мне»);
социальные сигналы в коммуникации — тон, стиль, вежливость.
Контекстуальная изменчивость
Доверие формируется в определённом социальном и культурном контексте, зависит от опыта и может меняться со временем. Один удачный или неудачный ответ способен заметно изменить наше отношение.
2. Четыре типа доверия к ИИ в эмоциональной поддержке
Авторы предлагают концептуальную модель, в которой доверие — это не линейная шкала, а динамическое поле.
Типы доверия:
Базовое (инициальное) — формируется ещё до первого контакта, на основе репутации компании, отзывов и общего отношения к технологиям.
Ситуативное — зависит от текущей сессии: насколько ответы соответствуют ожиданиям именно в этот момент.
Развивающееся — укрепляется при повторных положительных взаимодействиях, когда ИИ стабильно демонстрирует надёжность.
Подорванное — результат опыта, который воспринимается как предательство доверия (например, неуместный ответ на уязвимое признание).
Важно, что человек может «переходить» между этими состояниями в обе стороны. Доверие можно потерять за секунду — и вернуть, если система умеет признавать ошибки и адаптироваться.
3. Модель доверия: от факторов к результатам
Исследователи описывают трёхзвенную схему:
Входные факторы — личностные черты, культурный фон, ожидания.
Динамика взаимодействия — положительный опыт усиливает доверие, переменный поддерживает на среднем уровне, негативный снижает.
Выходные состояния — укреплённое доверие (готовность рекомендовать), осторожность или полный отказ.
Эта модель циклична: каждое новое взаимодействие способно изменить уровень доверия, даже если до этого он был высоким.
Что это значит на практике
Проектирование интерфейсов и поведения системы
Разработчики должны учитывать, что доверие включает эмоциональную составляющую, а не только оценку функциональности.
Элементы дизайна, способствующие ощущению безопасности и эмпатии (тон сообщений, последовательность, прозрачность намерений системы), критически важны.
Управление ожиданиями пользователей
Необходимо чётко разграничивать ИИ-ответы и профессиональную психотерапию, чтобы избежать ложных ожиданий.
Дисклеймеры должны быть понятны и интегрированы в пользовательский опыт, а не спрятаны в мелкий шрифт.
Мониторинг и адаптация
Системы должны уметь распознавать признаки потери доверия (например, изменение тона сообщений пользователя, снижение вовлечённости) и реагировать на них, адаптируя стиль или предлагая дополнительные разъяснения.
Восстановление доверия
❤2
Механизмы признания ошибок и корректировки поведения могут быть особенно эффективны для возврата пользователя из состояния подорванного доверия.
Авторы выделяют несколько направлений для будущих исследований:
Механизмы формирования и утраты доверия
Как именно меняется доверие при разных сценариях взаимодействия с ИИ, и какие факторы оказывают наибольшее влияние?
Культурные и индивидуальные различия
Как культурный фон, возраст, уровень цифровой грамотности и личностные черты влияют на готовность доверять ИИ в эмоциональной поддержке?
Эмоциональные маркеры доверия
Возможно ли надёжно измерять аффективное доверие через языковые и поведенческие сигналы в чате?
Этические и регуляторные вопросы
Где проходит граница между безопасным эмоциональным взаимодействием и вмешательством в область психотерапии?
Как регулировать ИИ-сервисы, чтобы защитить уязвимых пользователей, не ограничивая при этом их полезные функции?
Долгосрочные эффекты
Как длительное использование генеративного ИИ для эмоциональной поддержки влияет на психическое здоровье и социальные связи пользователей?
5. Почему это важно именно для эмоциональной поддержки
Когда мы обращаемся к ИИ за эмоциональной помощью, на кону не только точность информации. Здесь работают глубинные психологические механизмы: чувство, что нас слышат и понимают, готовность раскрыться, принятие риска.
Если доверие к ИИ будет подорвано, последствия могут быть гораздо серьёзнее, чем просто отказ от использования сервиса — от чувства предательства до усиления изоляции.
📎 По материалам исследования о концептуализации доверия к генеративному ИИ для эмоциональной поддержки.
Авторы выделяют несколько направлений для будущих исследований:
Механизмы формирования и утраты доверия
Как именно меняется доверие при разных сценариях взаимодействия с ИИ, и какие факторы оказывают наибольшее влияние?
Культурные и индивидуальные различия
Как культурный фон, возраст, уровень цифровой грамотности и личностные черты влияют на готовность доверять ИИ в эмоциональной поддержке?
Эмоциональные маркеры доверия
Возможно ли надёжно измерять аффективное доверие через языковые и поведенческие сигналы в чате?
Этические и регуляторные вопросы
Где проходит граница между безопасным эмоциональным взаимодействием и вмешательством в область психотерапии?
Как регулировать ИИ-сервисы, чтобы защитить уязвимых пользователей, не ограничивая при этом их полезные функции?
Долгосрочные эффекты
Как длительное использование генеративного ИИ для эмоциональной поддержки влияет на психическое здоровье и социальные связи пользователей?
5. Почему это важно именно для эмоциональной поддержки
Когда мы обращаемся к ИИ за эмоциональной помощью, на кону не только точность информации. Здесь работают глубинные психологические механизмы: чувство, что нас слышат и понимают, готовность раскрыться, принятие риска.
Если доверие к ИИ будет подорвано, последствия могут быть гораздо серьёзнее, чем просто отказ от использования сервиса — от чувства предательства до усиления изоляции.
📎 По материалам исследования о концептуализации доверия к генеративному ИИ для эмоциональной поддержки.
❤2🔥2
🎭 Плацебо, ноцебо и искусственный интеллект: как GenAI меняет восприятие психической помощи
Генеративный искусственный интеллект (GenAI) всё глубже проникает в сферу здравоохранения. Сегодня его активно используют в документации, переписке с пациентами, создании медицинских резюме и даже в чат-ботах для поддержки. Но мало кто задумывается: каждое слово, написанное ИИ, может не просто информировать пациента, а реально влиять на его психическое состояние.
В психиатрии и психотерапии это особенно важно, ведь здесь результат напрямую зависит от того, какие ожидания формируются у человека, насколько он верит в компетентность специалиста и чувствует ли эмпатию в процессе взаимодействия. Именно это и лежит в основе эффектов плацебо и ноцебо.
Эти механизмы давно изучены в «офлайн»-медицине: врач, его тон, уверенность и даже оформление рецепта способны менять результат терапии. Но в цифровую эпоху носителями таких эффектов становятся тексты и интерфейсы — электронные карты, письма, чат-боты.
🔹 Как GenAI усиливает плацебо
Беглость и уверенность. Алгоритмы пишут быстрее и связнее, чем уставший врач. Для пациента это выглядит как компетентность и профессионализм.
Понятность. GenAI умеет «разжёвывать» медицинские термины, делая заметки длиннее, доступнее и детальнее. Это повышает доверие.
Эмпатия. Исследования показывают, что ChatGPT-4.0 нередко оценивается как более «сочувствующий», чем реальные терапевты. Его формулировки насыщены выражениями заботы и поддержки. В слепых экспериментах врачи признавали: ИИ звучит в 10 раз более эмпатично в письменных ответах пациентам.
Эти факторы способны укреплять терапевтический альянс и усиливать плацебо-эффект даже без участия врача.
🔹 Как GenAI усиливает ноцебо
Галлюцинации. ChatGPT и другие модели известны тем, что создают убедительно звучащие ошибки. Для пациента любая неточность может вызвать тревогу.
Эрозия доверия. Когда человек понимает, что общался не с врачом, а с ИИ, доверие рушится. Это напоминает «открыто–скрытое» исследование плацебо: эффект сильнее, если вмешательство прозрачно.
Фальшивая дружелюбность. Для некоторых пациентов излишне «мягкие» ответы ИИ воспринимаются как неискренние, что также запускает ноцебо.
Скепсис общества. Согласно опросам в США (2023–2024):
2/3 взрослых не доверяют, что медсистемы будут использовать ИИ ответственно;
56% сомневаются в точности советов чат-ботов;
только 21% видят пользу, а 23% считают, что ИИ приносит больше вреда.
🔹 Этические дилеммы:
Обман или благо?
Раньше споры касались того, можно ли давать пациентам плацебо-препараты. Сегодня вопрос в том, допустимо ли скрывать, что пациент говорит с ИИ. Пример: компания Koko в 2023 году вынуждена извиняться за то, что выдавала ответы ChatGPT за человеческие.
Информировать или навредить?
Врач обязан предупреждать о побочных эффектах, но само упоминание риска может вызвать его через ноцебо.
👉 Решение: формулировать позитивно. Не «20% людей испытывают побочные эффекты», а «80% людей их не испытывают». GenAI способен внедрять такую этически тонкую коммуникацию систематически.
Справедливость и равный доступ.
Пациенты из уязвимых групп чаще сталкиваются с холодной, неэмпатичной коммуникацией. GenAI может выровнять поле, ведь алгоритм не дискриминирует по внешности или происхождению. Более того, опросы показывают, что темнокожие и латиноамериканские пациенты доверяют советам ИИ чаще, чем белые.
❗️ Но — при условии, что решена проблема «цифрового разрыва»: доступ к интернету, устройствам и цифровой грамотности.
🔹 Почему это важно для психического здоровья
В психотерапии слово — это не просто инструмент, а сама терапия. То, как сформулирована запись, сообщение или рекомендация, может запускать либо исцеляющий эффект плацебо, либо разрушающий эффект ноцебо.
GenAI становится «новым коммуникатором» в медицине: он пишет заметки, отвечает на вопросы, поддерживает пациентов в мессенджерах. И именно это меняет баланс доверия, надежды и ожиданий.
🔹 Что дальше
Необходимы новые исследования, чтобы понять, как именно GenAI влияет на восприятие пациентов в реальных клинических условиях.
Генеративный искусственный интеллект (GenAI) всё глубже проникает в сферу здравоохранения. Сегодня его активно используют в документации, переписке с пациентами, создании медицинских резюме и даже в чат-ботах для поддержки. Но мало кто задумывается: каждое слово, написанное ИИ, может не просто информировать пациента, а реально влиять на его психическое состояние.
В психиатрии и психотерапии это особенно важно, ведь здесь результат напрямую зависит от того, какие ожидания формируются у человека, насколько он верит в компетентность специалиста и чувствует ли эмпатию в процессе взаимодействия. Именно это и лежит в основе эффектов плацебо и ноцебо.
Эти механизмы давно изучены в «офлайн»-медицине: врач, его тон, уверенность и даже оформление рецепта способны менять результат терапии. Но в цифровую эпоху носителями таких эффектов становятся тексты и интерфейсы — электронные карты, письма, чат-боты.
🔹 Как GenAI усиливает плацебо
Беглость и уверенность. Алгоритмы пишут быстрее и связнее, чем уставший врач. Для пациента это выглядит как компетентность и профессионализм.
Понятность. GenAI умеет «разжёвывать» медицинские термины, делая заметки длиннее, доступнее и детальнее. Это повышает доверие.
Эмпатия. Исследования показывают, что ChatGPT-4.0 нередко оценивается как более «сочувствующий», чем реальные терапевты. Его формулировки насыщены выражениями заботы и поддержки. В слепых экспериментах врачи признавали: ИИ звучит в 10 раз более эмпатично в письменных ответах пациентам.
Эти факторы способны укреплять терапевтический альянс и усиливать плацебо-эффект даже без участия врача.
🔹 Как GenAI усиливает ноцебо
Галлюцинации. ChatGPT и другие модели известны тем, что создают убедительно звучащие ошибки. Для пациента любая неточность может вызвать тревогу.
Эрозия доверия. Когда человек понимает, что общался не с врачом, а с ИИ, доверие рушится. Это напоминает «открыто–скрытое» исследование плацебо: эффект сильнее, если вмешательство прозрачно.
Фальшивая дружелюбность. Для некоторых пациентов излишне «мягкие» ответы ИИ воспринимаются как неискренние, что также запускает ноцебо.
Скепсис общества. Согласно опросам в США (2023–2024):
2/3 взрослых не доверяют, что медсистемы будут использовать ИИ ответственно;
56% сомневаются в точности советов чат-ботов;
только 21% видят пользу, а 23% считают, что ИИ приносит больше вреда.
🔹 Этические дилеммы:
Обман или благо?
Раньше споры касались того, можно ли давать пациентам плацебо-препараты. Сегодня вопрос в том, допустимо ли скрывать, что пациент говорит с ИИ. Пример: компания Koko в 2023 году вынуждена извиняться за то, что выдавала ответы ChatGPT за человеческие.
Информировать или навредить?
Врач обязан предупреждать о побочных эффектах, но само упоминание риска может вызвать его через ноцебо.
👉 Решение: формулировать позитивно. Не «20% людей испытывают побочные эффекты», а «80% людей их не испытывают». GenAI способен внедрять такую этически тонкую коммуникацию систематически.
Справедливость и равный доступ.
Пациенты из уязвимых групп чаще сталкиваются с холодной, неэмпатичной коммуникацией. GenAI может выровнять поле, ведь алгоритм не дискриминирует по внешности или происхождению. Более того, опросы показывают, что темнокожие и латиноамериканские пациенты доверяют советам ИИ чаще, чем белые.
❗️ Но — при условии, что решена проблема «цифрового разрыва»: доступ к интернету, устройствам и цифровой грамотности.
🔹 Почему это важно для психического здоровья
В психотерапии слово — это не просто инструмент, а сама терапия. То, как сформулирована запись, сообщение или рекомендация, может запускать либо исцеляющий эффект плацебо, либо разрушающий эффект ноцебо.
GenAI становится «новым коммуникатором» в медицине: он пишет заметки, отвечает на вопросы, поддерживает пациентов в мессенджерах. И именно это меняет баланс доверия, надежды и ожиданий.
🔹 Что дальше
Необходимы новые исследования, чтобы понять, как именно GenAI влияет на восприятие пациентов в реальных клинических условиях.
Важно включать в эти исследования голоса самих пациентов — через интервью, соучастное проектирование и качественные методы.
Эффекты плацебо и ноцебо от GenAI, скорее всего, проявятся не только в психиатрии, но и при хронических заболеваниях, терапии боли, работе с пожилыми.
📌 Итог
GenAI открывает новую эру в исследовании плацебо и медицинской коммуникации. Теперь важно не только что написано, но и как написано.
Одно слово может укрепить веру в лечение, а другое — посеять тревогу.
https://pmc.ncbi.nlm.nih.gov/articles/PMC12356606/
Эффекты плацебо и ноцебо от GenAI, скорее всего, проявятся не только в психиатрии, но и при хронических заболеваниях, терапии боли, работе с пожилыми.
📌 Итог
GenAI открывает новую эру в исследовании плацебо и медицинской коммуникации. Теперь важно не только что написано, но и как написано.
Одно слово может укрепить веру в лечение, а другое — посеять тревогу.
https://pmc.ncbi.nlm.nih.gov/articles/PMC12356606/
PubMed Central (PMC)
Placebo, Nocebo, and Machine Learning: How Generative AI Could Shape Patient Perception in Mental Health Care
The emergence of generative artificial intelligence (GenAI) in clinical settings—particularly in health documentation and communication—presents a largely unexplored but potentially transformative force in shaping placebo and nocebo effects. These ...
👍1
Доверенный ИИ в психотерапии: мультиагентные LLM-воркфлоу для консультирования и объяснимой диагностики психических расстройств
С одной стороны, ИИ-агенты уже умеют вести диалоги, поддерживать клиента и даже давать советы по техникам когнитивно-поведенческой терапии. С другой — остаётся вопрос: можно ли доверять таким системам и как встроить их в реальную психотерапевтическую практику так, чтобы они были понятны, прозрачны и полезны специалистам?
Новая статья предлагает концепцию и прототип мультиагентного LLM-воркфлоу, в котором разные агенты выполняют разные задачи: от ведения беседы до диагностической интерпретации. Такой подход соединяет объяснимый ИИ и современные терапевтические методологии, включая использование DSM-5, когнитивно-поведенческих техник и шкал оценки.
Авторы формулируют три центральные задачи:
Создать доверенную архитектуру ИИ-психотерапии.
Это не один «универсальный бот», а ансамбль из специализированных агентов: консультант, диагност, интерпретатор объяснимости, валидатор гипотез.
Сделать диагностику прозрачной.
Традиционные LLM дают ответы «чёрного ящика». Здесь же применяется XAI-модуль, который обосновывает, почему предложен тот или иной диагноз, на какие критерии DSM-5 он опирается и какие поведенческие признаки были выделены.
Интегрировать психотерапевтические техники.
Система не ограничивается сухой классификацией, а выстраивает консультативный процесс: поддерживающий диалог, интерпретация мыслей и эмоций, рекомендации по самопомощи и CBT-интервенциям.
Архитектура мультиагентного воркфлоу
Здесь кроется главная инновация статьи. Вместо одной модели используется оркестровка нескольких ролей:
Агент-Консультант: ведёт эмпатичный диалог с клиентом, собирает историю, уточняет детали, задаёт наводящие вопросы.
Агент-Диагност: анализирует реплики клиента с точки зрения диагностических критериев (например, депрессия, тревожные расстройства, СДВГ). Работает по структуре DSM-5.
Агент-Интерпретатор: объясняет, почему был выбран диагноз. Генерирует обоснования в виде «симптом-критерий-вывод».
Агент-Координатор: управляет воркфлоу, распределяет информацию и обеспечивает согласованность результатов.
Каждый агент может быть отдельной LLM-сессией с собственными инструкциями и контекстом. Вместо того, чтобы перегружать одну модель множеством задач, архитектура разделяет ответственность, что повышает надёжность и объяснимость.
Методология
Сценарии симуляции психотерапевтических диалогов.
Использовались смоделированные клиентские запросы по типовым кейсам: депрессия, тревожное расстройство, биполярное расстройство, обсессивно-компульсивное расстройство.
Алгоритм диагностики.
Агент-Диагност применял правила DSM-5: проверял наличие ключевых критериев (например, для депрессии — ≥5 симптомов в течение ≥2 недель, включая снижение настроения или ангедонию).
Объяснимый вывод.
Агент-Интерпретатор использовал XAI-подход: выделял реплики клиента, маркировал их по критериям DSM-5, формировал обоснование. Это напоминает цепочку рассуждений врача: «Сообщает о бессоннице → это критерий нарушения сна → вместе с ангедонией и сниженной энергией формирует клиническую картину депрессии».
Валидирующая экспертиза.
Результаты оценивались экспертами-психотерапевтами: насколько корректна диагностика, соответствует ли объяснение клинической логике, не упускаются ли важные аспекты.
Результаты
Диагностическая точность.
В смоделированных сценариях мультиагентная система показала близкие к клиническим результатам выводы. Ошибки были минимальными, а прозрачность позволяла экспертам быстро выявлять слабые места.
Объяснимость как доверие.
Психотерапевты отмечали, что именно XAI-модуль делает систему «приемлемой»: врач может понять, на основании чего сделан диагноз, а не просто доверять ответу «бота».
Поддержка консультирования.
Агент-Консультант демонстрировал базовую эмпатию и умел удерживать разговор в терапевтическом русле. Важное отличие от ChatGPT «из коробки» — ориентация на структуру терапевтического процесса, а не на общие ответы.
С одной стороны, ИИ-агенты уже умеют вести диалоги, поддерживать клиента и даже давать советы по техникам когнитивно-поведенческой терапии. С другой — остаётся вопрос: можно ли доверять таким системам и как встроить их в реальную психотерапевтическую практику так, чтобы они были понятны, прозрачны и полезны специалистам?
Новая статья предлагает концепцию и прототип мультиагентного LLM-воркфлоу, в котором разные агенты выполняют разные задачи: от ведения беседы до диагностической интерпретации. Такой подход соединяет объяснимый ИИ и современные терапевтические методологии, включая использование DSM-5, когнитивно-поведенческих техник и шкал оценки.
Авторы формулируют три центральные задачи:
Создать доверенную архитектуру ИИ-психотерапии.
Это не один «универсальный бот», а ансамбль из специализированных агентов: консультант, диагност, интерпретатор объяснимости, валидатор гипотез.
Сделать диагностику прозрачной.
Традиционные LLM дают ответы «чёрного ящика». Здесь же применяется XAI-модуль, который обосновывает, почему предложен тот или иной диагноз, на какие критерии DSM-5 он опирается и какие поведенческие признаки были выделены.
Интегрировать психотерапевтические техники.
Система не ограничивается сухой классификацией, а выстраивает консультативный процесс: поддерживающий диалог, интерпретация мыслей и эмоций, рекомендации по самопомощи и CBT-интервенциям.
Архитектура мультиагентного воркфлоу
Здесь кроется главная инновация статьи. Вместо одной модели используется оркестровка нескольких ролей:
Агент-Консультант: ведёт эмпатичный диалог с клиентом, собирает историю, уточняет детали, задаёт наводящие вопросы.
Агент-Диагност: анализирует реплики клиента с точки зрения диагностических критериев (например, депрессия, тревожные расстройства, СДВГ). Работает по структуре DSM-5.
Агент-Интерпретатор: объясняет, почему был выбран диагноз. Генерирует обоснования в виде «симптом-критерий-вывод».
Агент-Координатор: управляет воркфлоу, распределяет информацию и обеспечивает согласованность результатов.
Каждый агент может быть отдельной LLM-сессией с собственными инструкциями и контекстом. Вместо того, чтобы перегружать одну модель множеством задач, архитектура разделяет ответственность, что повышает надёжность и объяснимость.
Методология
Сценарии симуляции психотерапевтических диалогов.
Использовались смоделированные клиентские запросы по типовым кейсам: депрессия, тревожное расстройство, биполярное расстройство, обсессивно-компульсивное расстройство.
Алгоритм диагностики.
Агент-Диагност применял правила DSM-5: проверял наличие ключевых критериев (например, для депрессии — ≥5 симптомов в течение ≥2 недель, включая снижение настроения или ангедонию).
Объяснимый вывод.
Агент-Интерпретатор использовал XAI-подход: выделял реплики клиента, маркировал их по критериям DSM-5, формировал обоснование. Это напоминает цепочку рассуждений врача: «Сообщает о бессоннице → это критерий нарушения сна → вместе с ангедонией и сниженной энергией формирует клиническую картину депрессии».
Валидирующая экспертиза.
Результаты оценивались экспертами-психотерапевтами: насколько корректна диагностика, соответствует ли объяснение клинической логике, не упускаются ли важные аспекты.
Результаты
Диагностическая точность.
В смоделированных сценариях мультиагентная система показала близкие к клиническим результатам выводы. Ошибки были минимальными, а прозрачность позволяла экспертам быстро выявлять слабые места.
Объяснимость как доверие.
Психотерапевты отмечали, что именно XAI-модуль делает систему «приемлемой»: врач может понять, на основании чего сделан диагноз, а не просто доверять ответу «бота».
Поддержка консультирования.
Агент-Консультант демонстрировал базовую эмпатию и умел удерживать разговор в терапевтическом русле. Важное отличие от ChatGPT «из коробки» — ориентация на структуру терапевтического процесса, а не на общие ответы.
❤1🔥1
Мультиагентность снижает ошибки.
Разделение функций между агентами оказалось критически важным: одна модель чаще смешивала диагностические и поддерживающие элементы, тогда как воркфлоу обеспечивал дисциплину ролей.
Доверие к ИИ в психотерапии невозможно без объяснимости. А объяснимость достигается не только алгоритмами XAI, но и архитектурой, где каждый агент выполняет свою функцию, а врач видит, как именно машина пришла к выводу.
https://arxiv.org/pdf/2508.11398
Разделение функций между агентами оказалось критически важным: одна модель чаще смешивала диагностические и поддерживающие элементы, тогда как воркфлоу обеспечивал дисциплину ролей.
Доверие к ИИ в психотерапии невозможно без объяснимости. А объяснимость достигается не только алгоритмами XAI, но и архитектурой, где каждый агент выполняет свою функцию, а врач видит, как именно машина пришла к выводу.
https://arxiv.org/pdf/2508.11398
🔥4❤2
Как ИИ трансформирует психиатрическую диагностику
Современные алгоритмы машинного обучения (ML), глубокого обучения (DL) и большие языковые модели (LLM) уже доказали, что могут устранить ключевые слабости традиционных опросников:
Обнаружение тонких паттернов. Random Forest, градиентный бустинг и другие алгоритмы выявляют скрытые закономерности в данных, которые ускользают от человеческого глаза.
Контекстуальная интерпретация. LLM (например, BERT или ChatGPT) улавливают нюансы речи, эмоциональные оттенки и контекст — то, чего не способны дать стандартизированные вопросы.
Адаптивные сценарии. Разговорные ИИ-системы могут подстраивать траекторию вопросов под ответы пациента, сохраняя при этом диагностическую валидность.
Мультимодальность. ИИ способен интегрировать данные опросников с речью, голосом, мимикой и даже физиологическими параметрами, что делает оценку более точной.
Динамическая оценка: когда симптомы пересекаются
Классическая проблема психиатрии — схожесть симптомов разных состояний.
Депрессия при биполярном расстройстве может почти не отличаться от депрессии при униполярном.
Когнитивные нарушения после COVID-19 перекрываются с хронической усталостью (ME/CFS).
ИИ доказал свою эффективность именно здесь.
📌 В исследовании с использованием алгоритма Random Forest на базе опросника симптомов Депола (DSQ-SF) удалось достичь точности 92,18% при различении ME/CFS, пост-COVID и здоровых людей.
📌 Для диагностики психического состояния женщин в период менопаузы были использованы SVM, ANN и деревья решений. Они подтвердили чувствительность и специфичность традиционного Международного опросника физической активности (IPAQ), адаптированного под гормональные изменения.
📌 Гибридные модели (генетические алгоритмы + ANN) применялись для переоценки весов шкал стресса. После оптимизации точность инструмента достигла 83% по чувствительности и 81% по специфичности.
Вывод: ИИ помогает психометрическим инструментам тоньше дифференцировать состояния, сохраняя при этом простоту классического опросника.
Создание интеллектуальных дата-систем
Одна из проблем психиатрической диагностики — субъективность. Разные специалисты могут интерпретировать один и тот же опросник по-разному: расхождения достигают до 17%.
ИИ открывает возможность создавать интеллектуальные базы данных, которые уменьшают влияние субъективного фактора.
📌 Пример: анализ голосовых данных с помощью CNN позволил в реальном времени верифицировать результаты шкалы GRBAS (оценка голоса по параметрам: хриплость, слабость, напряжённость и др.) без участия фониатра.
📌 В исследовании по диагностике лицевых болевых синдромов ANN достигла чувствительности 92,4% и специфичности 87,8%.
Таким образом, ИИ помогает превратить анкеты из «субъективного инструмента» в элемент объективной многомерной диагностики, интегрируемой в цифровые базы.
Оптимизация психологических опросников
ИИ используется не только для анализа, но и для создания новых инструментов.
NLP помогает находить скрытые симптомы в речи пожилых пациентов, что особенно важно при поздней депрессии, где коморбидность затрудняет диагностику.
Байесовские сети применяются для генерации наиболее релевантных пунктов анкет, позволяя формировать адаптивные опросники риска когнитивных нарушений у пожилых.
Для детей разработана Digital Anxiety Scale, где ребёнок выбирает подходящие ИИ-сгенерированные изображения эмоций, что снимает барьеры вербализации.
📌 Отдельное направление — упрощение анкет.
ИИ позволяет сокращать количество вопросов без потери точности. Так, при применении XGBoost удалось заменить сложные полисомнографические тесты короткой анкетой для оценки риска бессонницы и коморбидных состояний.
Культурная адаптация
Опросники часто дают искажённые результаты в мультикультурных средах. Здесь ИИ помогает по нескольким направлениям:
ChatGPT генерировал версии опросника боли в пояснице для разных языков и культур, устраняя барьеры перевода.
Диалоговые системы на NLP применялись для оценки боли у пациентов с заболеваниями позвоночника. Система фиксировала жалобы устно и уменьшала нагрузку на врача.
Современные алгоритмы машинного обучения (ML), глубокого обучения (DL) и большие языковые модели (LLM) уже доказали, что могут устранить ключевые слабости традиционных опросников:
Обнаружение тонких паттернов. Random Forest, градиентный бустинг и другие алгоритмы выявляют скрытые закономерности в данных, которые ускользают от человеческого глаза.
Контекстуальная интерпретация. LLM (например, BERT или ChatGPT) улавливают нюансы речи, эмоциональные оттенки и контекст — то, чего не способны дать стандартизированные вопросы.
Адаптивные сценарии. Разговорные ИИ-системы могут подстраивать траекторию вопросов под ответы пациента, сохраняя при этом диагностическую валидность.
Мультимодальность. ИИ способен интегрировать данные опросников с речью, голосом, мимикой и даже физиологическими параметрами, что делает оценку более точной.
Динамическая оценка: когда симптомы пересекаются
Классическая проблема психиатрии — схожесть симптомов разных состояний.
Депрессия при биполярном расстройстве может почти не отличаться от депрессии при униполярном.
Когнитивные нарушения после COVID-19 перекрываются с хронической усталостью (ME/CFS).
ИИ доказал свою эффективность именно здесь.
📌 В исследовании с использованием алгоритма Random Forest на базе опросника симптомов Депола (DSQ-SF) удалось достичь точности 92,18% при различении ME/CFS, пост-COVID и здоровых людей.
📌 Для диагностики психического состояния женщин в период менопаузы были использованы SVM, ANN и деревья решений. Они подтвердили чувствительность и специфичность традиционного Международного опросника физической активности (IPAQ), адаптированного под гормональные изменения.
📌 Гибридные модели (генетические алгоритмы + ANN) применялись для переоценки весов шкал стресса. После оптимизации точность инструмента достигла 83% по чувствительности и 81% по специфичности.
Вывод: ИИ помогает психометрическим инструментам тоньше дифференцировать состояния, сохраняя при этом простоту классического опросника.
Создание интеллектуальных дата-систем
Одна из проблем психиатрической диагностики — субъективность. Разные специалисты могут интерпретировать один и тот же опросник по-разному: расхождения достигают до 17%.
ИИ открывает возможность создавать интеллектуальные базы данных, которые уменьшают влияние субъективного фактора.
📌 Пример: анализ голосовых данных с помощью CNN позволил в реальном времени верифицировать результаты шкалы GRBAS (оценка голоса по параметрам: хриплость, слабость, напряжённость и др.) без участия фониатра.
📌 В исследовании по диагностике лицевых болевых синдромов ANN достигла чувствительности 92,4% и специфичности 87,8%.
Таким образом, ИИ помогает превратить анкеты из «субъективного инструмента» в элемент объективной многомерной диагностики, интегрируемой в цифровые базы.
Оптимизация психологических опросников
ИИ используется не только для анализа, но и для создания новых инструментов.
NLP помогает находить скрытые симптомы в речи пожилых пациентов, что особенно важно при поздней депрессии, где коморбидность затрудняет диагностику.
Байесовские сети применяются для генерации наиболее релевантных пунктов анкет, позволяя формировать адаптивные опросники риска когнитивных нарушений у пожилых.
Для детей разработана Digital Anxiety Scale, где ребёнок выбирает подходящие ИИ-сгенерированные изображения эмоций, что снимает барьеры вербализации.
📌 Отдельное направление — упрощение анкет.
ИИ позволяет сокращать количество вопросов без потери точности. Так, при применении XGBoost удалось заменить сложные полисомнографические тесты короткой анкетой для оценки риска бессонницы и коморбидных состояний.
Культурная адаптация
Опросники часто дают искажённые результаты в мультикультурных средах. Здесь ИИ помогает по нескольким направлениям:
ChatGPT генерировал версии опросника боли в пояснице для разных языков и культур, устраняя барьеры перевода.
Диалоговые системы на NLP применялись для оценки боли у пациентов с заболеваниями позвоночника. Система фиксировала жалобы устно и уменьшала нагрузку на врача.
NLP-анализ открытых текстовых ответов пациентов позволял извлекать ключевую информацию в реальном времени и передавать её врачу, что укрепляло доверие.
Таким образом, ИИ делает анкеты универсальными и культурно-чувствительными инструментами.
Предсказательные возможности: от депрессии до суицидального риска
ИИ всё активнее используется для прогнозирования психических состояний.
📌 В исследовании по депрессии:
Random Forest достиг 98,08% точности,
Gradient Boosting — 94,23%,
CNN — 92,31%.
📌 Для оценки суицидальных кризисов была упрощена шкала Suicide Crisis Inventory–2.
Лучшие результаты показала логистическая регрессия,
Использование SHAP-анализов позволило выявить наиболее значимые признаки.
Итог: создан короткий инструмент, который снижает нагрузку на специалистов и повышает точность выявления риска.
Новые формы анкетирования
ИИ делает психологические опросники доступными даже для людей с тяжёлыми ограничениями:
LLM-анкеты с голосовым вводом позволяют пациентам отвечать устно вместо письма.
Графические подсказки (DALL·E, MidJourney) упрощают выбор ответа для людей с когнитивными нарушениями.
Embodied AI-роботы фиксируют мимику, интонацию и поведение, преобразуя их в диагностические данные.
Для пациентов с БАС или синдромом «locked-in» применяются BCI и анализ движений глаз.
Это формирует инклюзивную психометрию, доступную даже самым уязвимым пациентам.
Вызовы и барьеры
Несмотря на успехи, остаются серьёзные проблемы:
Конфиденциальность. Пациентские данные требуют защиты (GDPR, HIPAA). Решения вроде федеративного обучения и дифференциальной приватности пока далеки от совершенства.
Качество данных. Неоднородность форматов, языков и стандартов снижает надёжность моделей. Недопредставленность уязвимых групп ведёт к дискриминации.
Технические ограничения. ML проще и прозрачнее, DL мощнее, но «чёрный ящик», LLM — гибкие, но склонны к ошибкам.
Интеграция. Внедрение в клинику требует перестройки рабочих процессов, обучения врачей, инвестиций.
Этика. Вопросы ответственности: кто виноват, если ИИ дал ошибочный прогноз? Разработчик, клиника или врач?
Ссылка: https://pmc.ncbi.nlm.nih.gov/articles/PMC12235208/
Таким образом, ИИ делает анкеты универсальными и культурно-чувствительными инструментами.
Предсказательные возможности: от депрессии до суицидального риска
ИИ всё активнее используется для прогнозирования психических состояний.
📌 В исследовании по депрессии:
Random Forest достиг 98,08% точности,
Gradient Boosting — 94,23%,
CNN — 92,31%.
📌 Для оценки суицидальных кризисов была упрощена шкала Suicide Crisis Inventory–2.
Лучшие результаты показала логистическая регрессия,
Использование SHAP-анализов позволило выявить наиболее значимые признаки.
Итог: создан короткий инструмент, который снижает нагрузку на специалистов и повышает точность выявления риска.
Новые формы анкетирования
ИИ делает психологические опросники доступными даже для людей с тяжёлыми ограничениями:
LLM-анкеты с голосовым вводом позволяют пациентам отвечать устно вместо письма.
Графические подсказки (DALL·E, MidJourney) упрощают выбор ответа для людей с когнитивными нарушениями.
Embodied AI-роботы фиксируют мимику, интонацию и поведение, преобразуя их в диагностические данные.
Для пациентов с БАС или синдромом «locked-in» применяются BCI и анализ движений глаз.
Это формирует инклюзивную психометрию, доступную даже самым уязвимым пациентам.
Вызовы и барьеры
Несмотря на успехи, остаются серьёзные проблемы:
Конфиденциальность. Пациентские данные требуют защиты (GDPR, HIPAA). Решения вроде федеративного обучения и дифференциальной приватности пока далеки от совершенства.
Качество данных. Неоднородность форматов, языков и стандартов снижает надёжность моделей. Недопредставленность уязвимых групп ведёт к дискриминации.
Технические ограничения. ML проще и прозрачнее, DL мощнее, но «чёрный ящик», LLM — гибкие, но склонны к ошибкам.
Интеграция. Внедрение в клинику требует перестройки рабочих процессов, обучения врачей, инвестиций.
Этика. Вопросы ответственности: кто виноват, если ИИ дал ошибочный прогноз? Разработчик, клиника или врач?
Ссылка: https://pmc.ncbi.nlm.nih.gov/articles/PMC12235208/
PubMed Central (PMC)
AI in Medical Questionnaires: Scoping Review
The World Health Organization reports that >1 billion people worldwide experience mental disorders, with the prevalence of depression and anxiety among children and adolescents at 2.6% and 6.5%, respectively. However, commonly used clinical ...
🔥6❤🔥2
🤖 Перцептивный страх и ИИ-консультирование: как установки и тревожность искажают восприятие чат-ботов
«Перцептивный страх»: почему ярлык важнее факта
В сфере психического здоровья ИИ и человек вполне могут дополнять друг друга. Например, бот доступен ночью, когда многие переживают пики тревоги, и не устает вести сразу множество диалогов. Человек же обладает уникальной интуицией, гибкостью в нестандартных ситуациях и способностью строить глубокую аутентичную связь. При этом даже в текстовом онлайн-консультировании с людьми мы давно обходится без невербальных сигналов — и используем, скажем, эмодзи как суррогаты мимики; современные языковые модели умеют поддерживать разговор всё более тепло. Так возникает естественный вопрос: а отличается ли реальное качество поддержки, если убрать «ауру» ярлыка? И второй, еще тоньше: будут ли люди оценивать одну и ту же сессию хуже, если им сказать, что поддержка пришла от ИИ?
Авторы вводят термин «перцептивный страх» — состояние, при котором оценки работы ИИ систематически хуже его фактических возможностей, просто потому что активирован негативный образ «машины».
Что и как сделали: дизайн, выборка, бот
Чтобы исключить оговорки «я никогда не пользовался такими сервисами», исследователи сначала дали участникам реальный опыт общения с чат-ботом, а потом уже собирали установки и оценки. Это редкость и сильная сторона работы.
Набор велся через социальные сети и систему eNotices Гонконгского университета. Включали всех старше 18 лет, для кого родным был кантонский и кто способен читать английские опросники; исключали тех, у кого были психиатрические диагнозы и кто уже проходил онлайн-консультирование — чтобы прежний опыт не смешивал карты. За полное участие предлагался ваучер на 50 гонконгских долларов.
Ключевая манипуляция была элегантна: половине испытуемых заранее сообщали, что им будет помогать человек (группа Told-Human), другой половине — что это ИИ (Told-AI). На деле все, без исключения, вели сессию с одним и тем же ботом на базе Azure OpenAI GPT-4 (1106-preview). Код доступен на GitHub: [https://github.com/socathie/my-peer](https://github.com/socathie/my-peer).
Технически система была тщательно «очеловечена». Ответы бот давал на разговорном кантонском; время отклика симулировали под усреднённые китайские скорости чтения (259 иероглифов в минуту) и набора (57,1 в минуту), чтобы не вызывать «машинной» подозрительности. Интерфейс — минималистичный, без отвлечений; диалог велся «ход за ходом», а во время генерации ответа включалась анимация «печатает…». На бэкенде бот получал одинаковые системные инструкции для всех, опираясь на техники когнитивно-поведенческой терапии: это самый структурированный и доказательный подход, хорошо подходящий для кратких сеансов и стандартизированных исследований. Конфигурация модели для всех одна: до 800 токенов на ответ, температура 0,7, Top-P 0,95, стоп-последовательности — вопросительные знаки; никаких штрафов за частоту/присутствие. Исследователь в реальном времени мониторил переписку через PromptLayer, фиксируя тайминг каждого хода.
Кто в итоге участвовал
Из 161 человека 51 выбыл: двое не прошли внимательность, двое — манипуляцию, двадцать — выбыли, двадцать семь — говорили меньше 40 минут. В анализ вошли 110 участников — ровно по 55 в каждой группе. В Told-Human 32,7% — мужчины (18 человек), еще трое предпочли не указывать пол; возраст — от 18 до 71 года (среднее 29,93, SD 11,38). В Told-AI мужчин 29,1% (16), еще трое не указали пол; возраст — 18–60 (среднее 28,13, SD 9,16). Гендерное соотношение ожидаемо смещено: женщины чаще обращаются за психологической помощью — известный феномен. Важная деталь: демография собиралась после эксперимента; данные выбывших не сохранялись, поэтому полную «репрезентативность исходной совокупности» восстановить нельзя. Однако между группами различий по демографии не обнаружено.
«Перцептивный страх»: почему ярлык важнее факта
В сфере психического здоровья ИИ и человек вполне могут дополнять друг друга. Например, бот доступен ночью, когда многие переживают пики тревоги, и не устает вести сразу множество диалогов. Человек же обладает уникальной интуицией, гибкостью в нестандартных ситуациях и способностью строить глубокую аутентичную связь. При этом даже в текстовом онлайн-консультировании с людьми мы давно обходится без невербальных сигналов — и используем, скажем, эмодзи как суррогаты мимики; современные языковые модели умеют поддерживать разговор всё более тепло. Так возникает естественный вопрос: а отличается ли реальное качество поддержки, если убрать «ауру» ярлыка? И второй, еще тоньше: будут ли люди оценивать одну и ту же сессию хуже, если им сказать, что поддержка пришла от ИИ?
Авторы вводят термин «перцептивный страх» — состояние, при котором оценки работы ИИ систематически хуже его фактических возможностей, просто потому что активирован негативный образ «машины».
Что и как сделали: дизайн, выборка, бот
Чтобы исключить оговорки «я никогда не пользовался такими сервисами», исследователи сначала дали участникам реальный опыт общения с чат-ботом, а потом уже собирали установки и оценки. Это редкость и сильная сторона работы.
Набор велся через социальные сети и систему eNotices Гонконгского университета. Включали всех старше 18 лет, для кого родным был кантонский и кто способен читать английские опросники; исключали тех, у кого были психиатрические диагнозы и кто уже проходил онлайн-консультирование — чтобы прежний опыт не смешивал карты. За полное участие предлагался ваучер на 50 гонконгских долларов.
Ключевая манипуляция была элегантна: половине испытуемых заранее сообщали, что им будет помогать человек (группа Told-Human), другой половине — что это ИИ (Told-AI). На деле все, без исключения, вели сессию с одним и тем же ботом на базе Azure OpenAI GPT-4 (1106-preview). Код доступен на GitHub: [https://github.com/socathie/my-peer](https://github.com/socathie/my-peer).
Технически система была тщательно «очеловечена». Ответы бот давал на разговорном кантонском; время отклика симулировали под усреднённые китайские скорости чтения (259 иероглифов в минуту) и набора (57,1 в минуту), чтобы не вызывать «машинной» подозрительности. Интерфейс — минималистичный, без отвлечений; диалог велся «ход за ходом», а во время генерации ответа включалась анимация «печатает…». На бэкенде бот получал одинаковые системные инструкции для всех, опираясь на техники когнитивно-поведенческой терапии: это самый структурированный и доказательный подход, хорошо подходящий для кратких сеансов и стандартизированных исследований. Конфигурация модели для всех одна: до 800 токенов на ответ, температура 0,7, Top-P 0,95, стоп-последовательности — вопросительные знаки; никаких штрафов за частоту/присутствие. Исследователь в реальном времени мониторил переписку через PromptLayer, фиксируя тайминг каждого хода.
Кто в итоге участвовал
Из 161 человека 51 выбыл: двое не прошли внимательность, двое — манипуляцию, двадцать — выбыли, двадцать семь — говорили меньше 40 минут. В анализ вошли 110 участников — ровно по 55 в каждой группе. В Told-Human 32,7% — мужчины (18 человек), еще трое предпочли не указывать пол; возраст — от 18 до 71 года (среднее 29,93, SD 11,38). В Told-AI мужчин 29,1% (16), еще трое не указали пол; возраст — 18–60 (среднее 28,13, SD 9,16). Гендерное соотношение ожидаемо смещено: женщины чаще обращаются за психологической помощью — известный феномен. Важная деталь: демография собиралась после эксперимента; данные выбывших не сохранялись, поэтому полную «репрезентативность исходной совокупности» восстановить нельзя. Однако между группами различий по демографии не обнаружено.
❤1