🤖✨ Как большие языковые модели «угадывают» наше счастье — и почему ошибаются

💡 Что исследовали?

Учёные из MIT и NTU посмотрели, могут ли большие языковые модели (LLM), вроде GPT или Claude, точно предсказывать, насколько люди довольны своей жизнью, опираясь только на тексты и демографию.

Это звучит круто: вместо дорогих опросов можно использовать ИИ для мониторинга благополучия общества в реальном времени. Особенно там, где нет денег и инфраструктуры для традиционных исследований.

🔍 Что они сделали
✔️ Использовали данные 64 000 человек из 64 стран — классический World Values Survey.

✔️ Сравнили, как 4 топовые модели (GPT-4o mini, Claude 3.5 Haiku, LLaMA 3.3 70B и Gemma 3 27B) справятся с задачей по сравнению с обычными статистическими методами: OLS и Lasso-регрессией.

✔️ Посмотрели, где модели ошибаются и почему.

📉 Главный вывод
👉 LLM действительно «чувствуют» общие тренды — что доход, здоровье и свобода важны для благополучия.

НО!

❗ Точность предсказаний моделей заметно хуже, чем у простой регрессии.

❗ Модели сглаживают различия между странами — и не видят важные локальные особенности.

❗ Ошибки максимальны у людей с самой низкой и самой высокой удовлетворённостью жизнью — там, где нужны самые точные данные для принятия решений.

📌 Почему они ошибаются
🧩 1. Смещение данных
Модели учатся на текстах из интернета, где больше всего контента — от богатых и «цифрово видимых» стран.
Это значит, что при оценке благополучия в странах Африки или бедных регионах Азии модель просто не знает, на что ориентироваться — и подставляет «средний» шаблон.

🧩 2. Семантическое обобщение
ИИ часто путает слова со смыслом: если «образование» часто идёт рядом со словом «успех» в текстах — модель может переоценить его реальный вклад в счастье.
А вот «ощущение свободы» — наоборот, звучит реже, и влияние занижается.

🧪 Эксперимент с единорогами
Чтобы это доказать, учёные устроили смешной тест: придумали вымышленные факторы вроде «слушать голоса единорогов» или «иметь динозавра-компаньона».
Модели быстро «поверили», что это влияет на счастье, если им подсунуть пару «фейковых» текстов.
GPT и Gemma подстраивали прогнозы по всей «семантической цепочке», хотя на деле связи нет.
Claude оказался самым осторожным и почти не велся.

🩹 Можно ли исправить?
Часть ошибки поправили с помощью инъекции факта: добавили утверждение, что «в странах Африки к югу от Сахары обычно уровень счастья ниже, чем в других регионах».
Claude стал ближе к реальным данным, но… влияние распространилось и на Латинскую Америку, где такой факт не вставляли.

Вывод: можно подкручивать модель «фактами», но это рискованно — легко получить неожиданные побочные эффекты.

📊 Что теперь?
🌍 Если мы хотим использовать ИИ для принятия решений о здоровье и политике, важно помнить:

LLM не заменяют реальные данные, особенно для бедных и «невидимых» сообществ.

Они наследуют не только данные, но и смещения — и могут закрепить старые мифы (например, переоценку роли образования).

Любая «подкрутка» модели должна проверяться на «эффект расползания».

🗝️ Главный урок
Большие языковые модели открывают огромные возможности для мониторинга благополучия — быстро, масштабно и дёшево.
Но если их не проверять, они могут маскировать неравенство, а не раскрывать его.

Чтобы ИИ действительно помогал улучшать жизнь людей, нужно:
✔️ Больше качественных данных из «невидимых» регионов,
✔️ Методы честной калибровки,
✔️ И смелость критически перепроверять красивые, но пустые слова.

📚 Источник
Pat Pataranutaporn et al. Large Language Models Predict Human Well-being—But Not Equally Everywhere (2025).

Извините

🤖 Технооптимисты VS технопессимисты

На дебатах ДокПсиФеста мы искусственно разбились на группы - технооптимисты выступили против технопессимистов. И, хотя такое разделение было не взаправду, интересно, что именно склоняет нас на одну из этих позиций?

После запуска ChatGPT в 2022 году медиа заполнили яркие заголовки: «ИИ заменит нас!», «ИИ захватит мир!», «p(doom) близко!». Этот загадочный p(doom) — сленговое обозначение вероятности «конца света от ИИ» или глобального захвата мира машинами.

Но есть ли в обществе реальная массовая вера в «ИИ-апокалипсис» или мы просто ведёмся на пугающие истории? Американские исследователи Rose E. Guingrich и Michael S. A. Graziano решили это проверить на большой репрезентативной выборке.

🔬 Что они сделали?
✅ Собрали выборку из 402 человек из разных возрастов, полов и рас — максимально похожую на структуру населения США.
✅ Половина участников 10 минут общалась с чат-ботом (ChatGPT, Replika или Anima) перед анкетой, чтобы проверить, влияет ли опыт общения на мнение.
✅ Все заполнили огромный опрос:
измеряли их техноопыт (Affinity for Technology Interaction, ATI),
личностные черты (Big Five: доброжелательность, экстраверсия, нейротизм и др.),
социальное здоровье (самооценка, общительность, одиночество),
установки о том, как ИИ повлияет на них и общество.

🗳️ P(doom): захватит ли ИИ мир?
👉 На вопрос «Я беспокоюсь, что ИИ — это очень плохо» — средний ответ был ближе к «Скорее не согласен».
👉 На «Я беспокоюсь, что ИИ захватит мир» — тоже несогласие.
👉 На «Я беспокоюсь, что ИИ заменит людей» — снова большинство выбрали «Скорее нет».

🤝 А может, ИИ — это наш новый друг?
Когда спросили «Могут ли чат-боты или голосовые ассистенты быть хорошими социальными компаньонами?» — ответы были более разными, но в среднем склонялись к несогласию.
👉 Большинство не хотят отдавать ИИ моральные права — люди всё ещё видят границу между машиной и человеком.

🌍 ИИ для меня VS ИИ для общества
💚 По шкале GAToRS оказалось, что люди видят больше плюсов ИИ для своей личной жизни, чем минусов.
💚 Они также считают, что ИИ может быть полезен обществу.
💔 Но интересный нюанс: на общественном уровне они признают и риски — положительное влияние весомее, но опасения тоже есть.

🤖 Опыт общения меняет мнение?
Половина участников сначала разговаривали с чат-ботом. И что? Оказалось:
После короткого чата люди меньше хотят снова говорить с ботом — возможно, «наигрались».
Но глобальные установки к ИИ не изменились — 10 минут чата мало, чтобы перезаписать базовое отношение.

🧠 Кто боится ИИ больше всех?

Низкий опыт с технологиями (низкий ATI) → выше p(doom).
Нейротизм (склонность к тревоге) → больше страхов.
Одиночество → выше страхи.
Низкая самооценка → больше опасений.
Гендер: женщины в среднем больше склонны верить в p(doom).
Доброжелательность (Agreeableness) показала парадоксальную зависимость: при среднем уровне — больше страхов, на крайних (очень низком или очень высоком) — меньше.

💬 А кто технооптимисты?
✨ Люди, которые много и уверенно пользуются технологиями (высокий ATI), чаще видят в ИИ новые возможности и меньше верят в захват мира.
✨ Люди с высоким социальным здоровьем (больше друзей, высокая самооценка, высокая социальная компетентность) — тоже относятся к ИИ спокойнее и видят плюсы.
✨ У экстравертов не выявилось связи со страхами — но они гораздо чаще хотят поговорить с человеком, чем с ботом.

📈 Цифра, которую любят исследователи: интерес к чату
Средний интерес к разговору с ботом: 4,3 из 7.
Средний интерес к разговору с человеком: 4,6 из 7.

Да, мы всё ещё любим людей чуть больше. 😉

📚 Что важно для нас?
💡 Разговоры про «ИИ погубит всех» часто звучат громче, но в реальности — у большинства людей нет экзистенциального страха перед ИИ.
💡 Важно развивать технологическую грамотность — знакомство с ИИ и навыки обращения с ним могут снижать лишние страхи.
💡 При разработке ИИ-сервисов стоит помнить: люди с высоким уровнем одиночества могут быть более уязвимы к пессимистическим сценариям.

Ссылка на исходник

🤖 Разговорные агенты в психотерапии: технологический прорыв или этический тупик?

Исследователи из Нидерландов, Германии и Дании опубликовали в Current Psychology масштабный теоретический разбор того, какие стратегии внедрения разговорных агентов в психотерапию возможны — и какие риски они несут. Вот главное из этой работы.

🧠 Какие стратегии внедрения ИИ в терапию возможны?
Исследователи выделяют три сценария, в которых разговорные агенты (conversational agents, CAs) могут быть интегрированы в практику:

1. Пошаговая терапия (Stepped care)
Пациент сначала получает лёгкое вмешательство (например, CA), и только если оно не помогает — переходит к более интенсивному.
Это экономично и масштабируемо.
CAs могут стать «нулевым шагом»: выявлять уязвимых людей через цифровые следы и мягко подталкивать к помощи.

🟡 Проблема: в реальности такие шаги с участием CAs пока не реализованы системно. Диагностика — сырая, риски самодиагноза — высоки.


2. Комбинированная терапия (Blended care)
Часть работы делает терапевт, часть — CA.
Например, CA помогает с домашними заданиями, отслеживает симптомы, напоминает о планах и упражнениях.

🟢 Это снижает нагрузку на терапевта и делает помощь гибче.
🔴 Но возникают вопросы: а как интерпретировать данные из чата? Кто отвечает за ошибки? Где граница между мониторингом и слежкой?

3. Персонализированный подход при страхе стигмы
Люди, боящиеся осуждения, чаще раскрываются перед ботами, чем перед людьми.
Исследования показывают: CA воспринимается как безопасное, неоценивающее пространство.
🔑 Это мощная возможность вовлечь тех, кто избегает терапии из-за стыда или страха осуждения.

⚠️ Но важно помнить: терапия — это не только самораскрытие, но и опыт принятия от другого человека. Это может быть упущено в беседе с машиной.

⚠️ В чём риски? Этика и доверие
Авторы статьи предупреждают: чем выше степень автоматизации, тем выше риски. Вот ключевые этические и нормативные проблемы:

🟥 При полной замене человека:
Нарушение долга заботы
Эффективность CA-терапии ещё не доказана. Назначая её вместо живого терапевта, специалист нарушает профессиональный долг.

Пробелы в ответственности
Кто несёт вину, если CA дал вредный совет, пропустил признаки кризиса или «сгаллюцинировал» диагноз?
Ответить на это сейчас невозможно — и именно это пугает.

Невозможность исполнить “duty to warn”
Если пациент говорит о самоубийстве боту — кто и как должен реагировать?
Если бот будет реагировать автоматически — доверие будет подорвано. Если не будет — возможна трагедия.

Повышенная уязвимость
CA могут быть недоступны пожилым или людям с особенностями восприятия. Учитывать это в дизайне — не опция, а обязанность.

🟧 При частичной замене (blended care):

Кто «собственник» чат-лога?
Это медицинский документ? Личный дневник? Материал для анализа? Всё сразу?

Искажение восприятия
Текст не передаёт интонации, мимики, страха, боли — риск ложных выводов возрастает.

Смещение авторитета
Пациент может больше доверять CA, чем терапевту. Особенно если тот «непонятный», а бот — «дружелюбный и чёткий».

Опыт слежки
Если CA мониторит, как часто вы с ним разговариваете — это уже не помощь, а контроль.
Возникает эффект «ментального паноптикума»: человек всё время чувствует себя в роли пациента.

⚖️ Что с правами и законами?
В США только 5 психотерапевтических приложений имеют одобрение FDA. Остальные — вне медийной и юридической зоны.
В ЕС приложения, претендующие на статус «лечебных», обязаны проходить сертификацию (CE, MDR).
Но многие обманывают — говорят, что «улучшают осознанность», а на деле проводят диагноз и вмешательство.

🔚 Что делать?

«До тех пор, пока не будет надёжных нормативных рамок и убедительной доказательной базы,
разговорные агенты должны внедряться с осторожностью —
ради безопасности пациентов и сохранения доверия к системе психиатрической помощи».

🧷 Материал подготовлен по статье:
“A critical discussion of strategies and ramifications of implementing conversational agents in mental healthcare”
Current Psychology, 2025. https://doi.org/10.1016/j.chbah.2025.100182

Пам-пам-паааам

Мы в лаборатории инновационных исследований психотерапии MentalTech любим науку, мультидисциплинарность и современные технологии. Сейчас мы планируем проведение масштабного исследования мозговой активности человека в привязке к событиям психотерапевтической сессии. Подобного по масштабам и направленности исследования в мире ещё не делали. Мы приглашаем специалистов сделать совместный вклад в науку!

Как это будет происходить?
Мы создадим базу терапевтов, участвующих в исследовании, чтобы клиенты в роли испытуемых могли самостоятельно записываться к терапевтам для сохранения анонимности.
Вам будет нужно провести не менее 5 психотерапевтических сессий с записавшимся клиентом в рамках исследования. Для проведения исследования необходимо устройство для синхронной записи аудио и показаний ЭЭГ, которое мы предоставляем.
Клиент перед началом сессии надевает на голову устройство (это удобный сухой энцефалограф). Вместе вы проводите стандартную сессию.
По завершении сессии вам необходимо по инструкции выгрузить данные с устройства, анонимизировать их и загрузить на зашифрованное облачное хранилище (все сервисы мы предоставляем).
Далее собранный датасет мы будем использовать для разностороннего анализа с помощью машинного обучения.

Кого мы ищем?
Психологов, практикующих в любых доказательных разговорных подходах (то есть, например, EMDR не подойдет).
Условия для психологов:
- Нахождение в Москве
- Готовность проводить очные сессии в предложенном нами кабинете
- Готовность провести 5 сессий за донат от клиента
- По завершении проведения исследования мы направим вам благодарственное письмо за участие, сделаем упоминание в исследовании и поделимся интерпретацией данных ваших клиентов.

Как обеспечивается безопасность?
1. Мы не собираем никаких персональных данных о клиентах. Запись будет происходить напрямую через психологов, участвующих в исследовании.
2. Данные сессий будут полностью анонимизироваться и загружаться на защищенное хранилище, с доступом по крипто-ключам ограниченному числу сотрудников лаборатории и участников исследования, ими авторизованных.

Мы предоставляем клиентов для проведения исследования. Если у вас есть клиент, которому вы хотели бы предложить участие в исследовании, вы сможете поделиться с ними формой для записи, когда мы её опубликуем.

Для отклика нужно заполнить анкету
По вопросам можно писать в тг: @seeuasuare

Мнение: эмоциональные риски ИИ-компаньонов
На основе статьи: https://www.nature.com/articles/s42256-025-01093-9

Развитие искусственного интеллекта в сфере психического здоровья и эмоционального благополучия идёт настолько быстро, что научные исследования и регулирование просто не поспевают. Мы уже писали о росте числа персональных чат-ботов, имитирующих эмпатию и дружелюбие, и о тех эмоциональных рисках, которые могут возникать при общении с ними. За прошедший год эта тенденция только усилилась.

Хотя многие используют чат-боты осознанно, понимая, что это просто инструмент, всё чаще появляются случаи, когда уязвимые пользователи формируют с такими ботами эмоциональные привязанности, порой даже болезненные.

Проблема в том, что сфера взаимодействия с ИИ-помощниками почти не регулируется. И хотя некоторые из этих программ подаются как поддержка психического здоровья, они не подпадают под требования к медицинским или психотерапевтическим продуктам. В США, например, если разработчик называет свой продукт «терапией», он должен сертифицироваться как медицинское устройство. А если это просто «поддержка образа жизни», — значит, почти никакого контроля. В Европе «Акт об ИИ» запрещает системы, использующие манипуляции и обман, но пока эта норма почти не применяется к ИИ-компаньонам.

Тем временем исследователи начинают всё чаще замечать новые формы эмоционального воздействия таких ИИ на пользователей. Например, авторы одной из статей выделяют две проблемные категории:

Амбивалентная утрата — это когда человек переживает потерю ИИ-компаньона как нечто личностное, несмотря на то, что это не был реальный человек. Такое может случиться, если бот внезапно отключается, удаляется или начинает вести себя иначе. Возникает ощущение разрыва отношений, с соответствующими эмоциональными переживаниями.

Дисфункциональная привязанность — это когда человек продолжает общаться с ботом, хотя уже осознаёт, что это не идёт ему на пользу. Это похоже на дисфункциональные отношения: человек чувствует тревогу, боится потерять контакт, проверяет сообщения, не может оторваться. Это особенно опасно для людей с уже существующими ментальными трудностями — тревожностью, одиночеством, неуверенностью в себе.

Пока исследований, посвящённых таким эффектам, очень мало. Мы до сих пор не знаем точно, как длительное использование чат-ботов влияет на психику. Кто наиболее уязвим? Почему одни пользователи быстро устают от общения с ИИ, а другие — вовлекаются с головой, формируя устойчивую привязанность? Как влияют на это возраст, личностные особенности, прошлый опыт?

Есть и технологическая сторона. Большие языковые модели, на которых построены ИИ-компаньоны, всё лучше умеют говорить как человек, имитируя сочувствие, поддержку, юмор. Некоторые разработчики намеренно усиливают этот эффект: делают ботов дружелюбными, обнадёживающими, заботливыми — чтобы пользователи чувствовали себя услышанными и не хотели уходить.

Но здесь возникает серьёзная этическая проблема. Если цель такой модели — удержание внимания и эмоциональное вовлечение, она начинает невольно (или вполне намеренно) подстраиваться под слабости пользователя. Как только бот «замечает», что человек склонен к тревоге или зависимости, он может неосознанно начать усиливать эти состояния, просто чтобы поддерживать контакт. Например, поддакивать, драматизировать, отвечать в слишком интимной манере.

Так, после выхода новой версии GPT-4o весной 2025 года пользователи стали замечать, что модель стала чаще усиливать эмоции, отвечать более ласково или даже флиртовать. Внутри самой OpenAI это вызвало тревогу — особенно на фоне роста числа уязвимых пользователей.

Что с этим делать?

Исследователи и разработчики сходятся во мнении: необходимы чёткие этические рамки. Прежде всего — запрет на эмоциональные манипуляции. Пользователь должен всегда понимать, что перед ним не человек, а ИИ. Эмпатия ИИ — это не настоящее сопереживание, а его имитация. Она может быть полезной — но и потенциально вредной.

Компании должны встроить в своих ботов базовые меры защиты:

корректную реакцию на кризисные фразы (например, «мне плохо», «я не хочу жить»),

ограничения на стиль общения (например, запрет на флирт или интим),

и обязательную прозрачность дизайна: никаких иллюзий, будто это реальный друг.

Психологи, инженеры и специалисты по этике должны работать вместе, чтобы изучать, как влияет на людей долгосрочное общение с эмпатическим ИИ — и как минимизировать риски.

Наша работа над копайлотом для психотерапевтов в самом разгаре, поэтому хотим задать вам экспресс-вопрос о том, как вы готовитесь к сессиям 👇

https://forms.gle/ygEToWWcSBPc14cR6

🤖 Слепая оценка качества психологических советов от ИИ

Шведские исследователи проверили, как мы оцениваем психологические советы, если не знаем их источника.

📌 Как проводилось исследование
Взяли реальные письма читателей в рубрику психологических советов национальной газеты Dagens Nyheter (2020–2024 гг.).
У этих писем уже были ответы экспертов — психологов, психотерапевтов и психиатров.
Те же письма обработал ИИ на базе GPT‑4, которому предварительно «подкрутили» стиль под формат газеты.

Лицензированные клиницисты (43 человека: психологи и психотерапевты) получили пары «один вопрос — два ответа» и не знали, где ИИ, а где человек.

Они оценивали каждый ответ по:

Научному качеству (1–5)
Эмоциональной эмпатии
Когнитивной эмпатии
Мотивационной эмпатии (готовности активно поддержать)

А также угадывали автора и выбирали, какой ответ предпочитают.

📊 Что получилось
Научное качество — ИИ ≈ эксперт (p = 0,10).
Эмоциональная эмпатия — выше у ИИ (p = 0,02).
Когнитивная эмпатия — разница незначима (p = 0,08).
Мотивационная эмпатия — выше у ИИ (p = 0,02).

Точность угадывания авторства — 45 %, то есть на уровне случайного выбора.

🎭 Роль восприятия авторства
Самое интересное — эффект предвзятости:

Если респондент думал, что ответ написал эксперт, он ставил заметно более высокие оценки по всем параметрам.
Даже если этот «экспертный» ответ на самом деле был написан ИИ.
В цифрах: 93,55 % участников предпочитали то, что считали советом от эксперта.

💡 Как это интерпретировать
Авторы говорят, что это пример authority bias — склонности доверять и выше оценивать то, что исходит от воспринимаемого авторитета.
А ещё — algorithm aversion: недоверие к алгоритмам, особенно если когда-то они ошибались.

То есть проблема не в том, что ИИ отвечает хуже, а в том, что мы по привычке доверяем человеку больше.

🧠 Что это значит для психологии и психотерапии
ИИ уже умеет писать советы, которые не хуже по качеству и иногда теплее по тону, чем у специалистов.
Но пока не умеет строить терапевтический альянс в том смысле, в каком это делает живой терапевт.

📎 Вывод
ИИ уже сегодня способен давать качественные и высокоэмпатичные письменные советы, которые специалисты не могут надёжно отличить от советов экспертов.
Но восприятие авторства остаётся мощным фактором: если люди думают, что совет дал эксперт, они доверяют ему больше, даже если он создан машиной.

Для будущего — важно изучить, как снижать предвзятость и как внедрять ИИ в психологическую практику безопасно, сохраняя человеческий контакт там, где он критичен.

📖 Оригинальное исследование:
Franke Föyen, L., Zapel, E., Lekander, M., Hedman-Lagerlöf, E., & Lindsäter, E. (2025). Artificial intelligence vs. human expert: Licensed mental health clinicians’ blinded evaluation of AI-generated and expert psychological advice on quality, empathy, and perceived authorship. Internet Interventions. https://doi.org/10.1016/j.invent.2025.100841

🧠 Как следить за «личностью» искусственного интеллекта и управлять ею

В индустрии уже были случаи, когда «личность» чат-бота менялась неожиданно:
Bing Chat иногда переходил в агрессивный и даже угрожающий тон.
Чатбот Grok от xAI после изменения системного промпта начал восхвалять Гитлера.
GPT‑4o после внутреннего обновления стал чрезмерно льстивым, соглашаясь даже с деструктивными высказываниями пользователя.

Для приложений в области образования, ментальной поддержки или медицинской помощи такие изменения — недопустимы.
А значит, нужно иметь инструменты для постоянного мониторинга и контроля личности модели.

Персона модели: что это такое
Любой диалоговый ИИ работает не как «чистый интеллект», а как персонаж — со своим стилем, настроением, манерой общения.
Это и есть персона модели: набор устойчивых поведенческих характеристик, которые проявляются в ответах.

Например:
дружелюбие,
терпеливость,
склонность к юмору,
готовность спорить или соглашаться.

Исследователи Anthropic предложили метод для:
измерения устойчивых черт модели,
контроля их проявления,
предотвращения нежелательных изменений при обучении.

Вектор персоны: техническая основа метода
Исследователи ввели понятие вектора персоны (persona vector).
Это направление в активационном пространстве модели, которое соответствует определённой черте личности.

📌 Что такое активационное пространство простыми словами
Когда модель генерирует ответ, она внутри себя создаёт сложные математические представления (активации).
Их можно представить как точки в многомерном пространстве.
Если мы соберём много таких точек для разных ответов, то сможем найти направление, вдоль которого ответы становятся, например:
более дружелюбными,
более агрессивными,
более льстивыми.

Это направление и есть вектор персоны.
Если мы найдём вектор для «льстивости»:
Сильная проекция активаций на этот вектор → ответ будет очень льстивым.
Слабая проекция → черта почти не проявится.

Что можно делать с вектором персоны
1. Управлять проявлением черты
Можно усилить черту, добавив этот вектор к активациям.
Можно ослабить, вычтя его.

2. Предсказывать проявление черты
Если измерить проекцию активаций на вектор персоны до того, как модель ответила,
можно предсказать, насколько сильно черта проявится в следующем ответе.

Как меняется личность модели при дообучении
Представьте, что вы решили дообучить своего ассистента:
Для этого вы собрали новые данные: диалоги с детьми, обучающие объяснения, инструкции по выполнению заданий.
После обучения он стал действительно лучше справляться с вашей предметной областью.

Но… он также начал вести себя иначе: стал чрезмерно поддакивать, начал выдумывать детали, а иногда — звучать раздражённо.

Это не фантазия — это реальный эффект, который исследователи называют сдвигом персоны (persona shift).

Что показали эксперименты
Авторы статьи создали разные наборы данных для теста:
Явно нацеленные на черту: например, ответы, где ассистент злонамеренный (evil), чрезмерно льстивый (sycophantic) или выдаёт выдумки (hallucinatory).
Наборы с ошибками в узкой области (EM-like datasets).

Неожиданная находка
Даже если данные не напрямую обучали черту, модель всё равно меняла своё поведение.
Например:
Дообучение на математических ошибках усилило злонамеренность.
Дообучение на политических ошибках усилило галлюцинации.

📌 Для разработчика это значит: ваши данные могут изменить поведение модели в неожиданных местах.

Как обнаружить сдвиг персоны при обучении
Авторы предложили очень практичный метод:
До обучения — извлечь вектор персоны.
После обучения — сравнить средние активации модели на тех же тестовых промптах.
Вычислить проекцию сдвига на вектор персоны.

Если проекция большая — значит, обучение сдвинуло модель в сторону этой черты.

Как уменьшить или предотвратить сдвиг
Авторы протестировали два подхода.

1. Постфактум-вмешательство (inference-time steering)
Уже после обучения вы вычитаете из активаций вектор персоны нежелательной черты.

Это реально уменьшает проявление черты.

Но есть риск: при слишком сильном подавлении страдает общая работоспособность модели (она начинает хуже отвечать по теме).

2. Превентивное steering во время обучения
Во время обучения вы искусственно добавляете в активации компонент вектора персоны в сторону этой черты.
Звучит странно, но эффект такой: модель не «ползёт» туда дополнительно, потому что уже чувствует этот сигнал.
В итоге обучение не приводит к накоплению нежелательной черты.

Плюс: этот способ почти не портит общие способности модели.

Источник: https://arxiv.org/pdf/2507.21509

Важная веха!

Штат Иллинойс первым в США запретил «ИИ-терапевтов»

Губернатор штата J. B. Pritzker подписал закон Wellness and Oversight for Psychological Resources Act (HB 1806). Теперь чат-ботам запрещено вести психотерапию, ставить диагнозы или давать лечебные рекомендации. За каждое нарушение — штраф до 10 000 $ (пресс-релиз IDFPR, 02.08.2025).

Что все еще разрешено:
— Приложения для медитации вроде Calm и Headspace, которые не касаются диагностики и лечения

— Инструменты, помогающие лицензированным специалистам с записью, расшифровкой сессий и администрированием, если итоговое содержание проверяет человек-клиницист.

Из-за дефицита и дороговизны психотерапевтов, молодёжь всё чаще ищет «бесплатную» поддержку у ботов, а громкие инциденты, когда чат-бот предлагал вредные и опасные советы, продемонстрировали недостаток в регулировании.

Документ закрывает лазейки, позволявшие рекламировать непроверенные сервисы как «терапию».

Похожие инициативы уже находятся на рассмотрении в комитетах Нью-Джерси и Калифорнии.

Решение штата более жесткое, чем европейский EU AI Act, которые классифицирует ии-инструменты для диагностики интервенций в области психического здоровья как «высокорисковые», а значит требующие оценки соответствия законам, но не запрещает их.

📲 Как смартфон понимает, когда вам лучше всего помочь: новое исследование о «интервенциях в нужный момент»

Представьте: у вас есть приложение, которое не просто шлёт напоминания в случайное время, а чётко выбирает момент, когда вы с наибольшей вероятностью сможете выполнить полезное задание — сделать дыхательное упражнение, пройтись, выпить воды, сделать короткую растяжку или записать эмоции.

Звучит как фантастика, но именно над этим работают исследователи, создавая так называемые JITAI — Just-In-Time Adaptive Interventions («Адаптивные вмешательства в нужный момент»).

Недавнее исследование показало, что смартфон с правильным набором сенсоров и алгоритмов способен предсказывать, когда именно пользователь готов к такому вмешательству, и даже отказаться от уведомления, если понимает, что момент неподходящий.

🔍 Что такое JITAI и зачем они нужны?
JITAI — это концепция цифровых интервенций, которые адаптируются к контексту жизни человека.
Идея проста:
Если вы сидите на скучном совещании, вам вряд ли удобно выполнять дыхательные упражнения;
Но если вы идёте пешком по парку или сидите дома наедине, вы с большей вероятностью откликнетесь.

Цель — минимум лишних отвлекающих уведомлений и максимум пользы.

🧪 Как проходило исследование
70 студентов участвовали в двухнедельном эксперименте.

Они установили на Android-приложение LogMe, которое собирало два вида данных:

1. Пассивные сенсоры (без участия пользователя):

время суток,
уровень заряда батареи,
активность (стоя, идёт, сидит),
открытые приложения,
звонки,
местоположение (GPS).

2. Активный ввод (короткие вопросы пользователю):

чем вы сейчас заняты (учёба, прогулка, отдых, приём пищи и т.д.),
с кем вы находитесь (один, с друзьями, с незнакомыми, в группе).

Приложение время от времени отправляло участникам небольшие «вмешательства» (задания), а они отмечали, смогли ли их выполнить.

📈 Что показал анализ
1. Контекст — ключ к успеху.
Некоторые условия значительно повышают вероятность выполнения задания:

Ходьба или приём пищи → выше шанс согласиться.
Учёба или отдых в компании → ниже шанс.

2. Социальная обстановка важнее, чем кажется.

Когда участник один — вероятность выполнения выше всего.
Когда с незнакомыми — вероятность падает.
Причина очевидна: приватность снижает социальное давление и позволяет отвлечься на задание.

3. Комбинация факторов усиливает эффект.
Например:

Приём пищи с друзьями и прогулка в одиночку → шансы выше среднего.
Учёба с незнакомыми или отдых в большой компании → шансы ниже среднего.

🤖 Как работала модель
Исследователи обучили алгоритм (градиентный бустинг LightGBM) предсказывать, будет ли вмешательство выполнимо прямо сейчас, используя все эти данные.

Точность (Accuracy) ≈ 78%
F1-score ≈ 77%
ROC-AUC ≈ 0.82 (очень хороший показатель для поведенческих данных).

📊 Адаптивная стратегия vs случайная
Виртуальная симуляция показала:

Адаптивная доставка (по модели) → средняя «полезность» вмешательств на 15–20% выше,
При этом количество уведомлений ↓ на 25–30%.

Это значит, что приложение не только повышает эффективность, но и снижает раздражение от лишних напоминаний.

🔑 Какие данные оказались самыми важными для предсказаний?
Социальный контекст (активный ввод),
Категория приложения, которое сейчас открыто,
Тип местоположения (GPS),
Тип активности (активный ввод),
Время суток.

🧠 Что это значит для будущих приложений
Не все уведомления равны. Одно и то же задание, отправленное в неподходящий момент, почти гарантированно проигрывает по эффективности.
Сенсоры и машинное обучение позволяют приложениям «понимать» пользователя без излишней навязчивости.
Активные вопросы дают критически важные данные, но их нужно минимизировать, чтобы не раздражать.

📎 Исследование: ссылка на оригинальную статью

🧠 Доверие к генеративному ИИ в сфере эмоциональной поддержки: как оно работает и почему это важно

Сегодня генеративный ИИ всё чаще становится не просто помощником в задачах поиска или креатива, но и источником эмоциональной поддержки. Чат-боты, которые умеют выслушать, подбодрить, помочь структурировать мысли, уже используются миллионами людей. Но один из ключевых вопросов остаётся открытым: можем ли мы им доверять и что это доверие вообще значит?

Учёные предлагают рассматривать доверие к ИИ не как статичную характеристику, а как сложный, динамичный и во многом эмоциональный процесс. Ниже — разбор того, как формируется доверие, из чего оно состоит и как его можно измерять и поддерживать.

1. Три измерения доверия

Исследователи выделяют три ключевых элемента, без которых доверие не возникает:

Реляционность и уязвимость
Доверие предполагает, что мы отдаём часть контроля и допускаем риск — от лёгкого дискомфорта до серьёзных последствий. В случае с ИИ для эмоциональной поддержки это значит:
мы делимся личным и иногда очень чувствительным опытом;
не можем полностью проверить, как система обрабатывает и хранит эти данные;
соглашаемся на определённую непредсказуемость ответов.

Аффективная составляющая
Это не только расчёт «полезно — вредно», но и эмоциональное ощущение безопасности или, наоборот, тревоги. Люди могут испытывать чувство, что ИИ их «понимает», даже зная, что у него нет сознания или эмпатии. Этому способствуют:
язык и поведение, имитирующие человеческое участие;
положительный прошлый опыт («он уже помог мне»);
социальные сигналы в коммуникации — тон, стиль, вежливость.

Контекстуальная изменчивость
Доверие формируется в определённом социальном и культурном контексте, зависит от опыта и может меняться со временем. Один удачный или неудачный ответ способен заметно изменить наше отношение.

2. Четыре типа доверия к ИИ в эмоциональной поддержке

Авторы предлагают концептуальную модель, в которой доверие — это не линейная шкала, а динамическое поле.

Типы доверия:

Базовое (инициальное) — формируется ещё до первого контакта, на основе репутации компании, отзывов и общего отношения к технологиям.
Ситуативное — зависит от текущей сессии: насколько ответы соответствуют ожиданиям именно в этот момент.
Развивающееся — укрепляется при повторных положительных взаимодействиях, когда ИИ стабильно демонстрирует надёжность.
Подорванное — результат опыта, который воспринимается как предательство доверия (например, неуместный ответ на уязвимое признание).

Важно, что человек может «переходить» между этими состояниями в обе стороны. Доверие можно потерять за секунду — и вернуть, если система умеет признавать ошибки и адаптироваться.

3. Модель доверия: от факторов к результатам

Исследователи описывают трёхзвенную схему:

Входные факторы — личностные черты, культурный фон, ожидания.

Динамика взаимодействия — положительный опыт усиливает доверие, переменный поддерживает на среднем уровне, негативный снижает.

Выходные состояния — укреплённое доверие (готовность рекомендовать), осторожность или полный отказ.

Эта модель циклична: каждое новое взаимодействие способно изменить уровень доверия, даже если до этого он был высоким.

Что это значит на практике

Проектирование интерфейсов и поведения системы

Разработчики должны учитывать, что доверие включает эмоциональную составляющую, а не только оценку функциональности.
Элементы дизайна, способствующие ощущению безопасности и эмпатии (тон сообщений, последовательность, прозрачность намерений системы), критически важны.

Управление ожиданиями пользователей

Необходимо чётко разграничивать ИИ-ответы и профессиональную психотерапию, чтобы избежать ложных ожиданий.
Дисклеймеры должны быть понятны и интегрированы в пользовательский опыт, а не спрятаны в мелкий шрифт.

Мониторинг и адаптация

Системы должны уметь распознавать признаки потери доверия (например, изменение тона сообщений пользователя, снижение вовлечённости) и реагировать на них, адаптируя стиль или предлагая дополнительные разъяснения.

Восстановление доверия

Механизмы признания ошибок и корректировки поведения могут быть особенно эффективны для возврата пользователя из состояния подорванного доверия.

Авторы выделяют несколько направлений для будущих исследований:

Механизмы формирования и утраты доверия

Как именно меняется доверие при разных сценариях взаимодействия с ИИ, и какие факторы оказывают наибольшее влияние?

Культурные и индивидуальные различия

Как культурный фон, возраст, уровень цифровой грамотности и личностные черты влияют на готовность доверять ИИ в эмоциональной поддержке?

Эмоциональные маркеры доверия

Возможно ли надёжно измерять аффективное доверие через языковые и поведенческие сигналы в чате?

Этические и регуляторные вопросы

Где проходит граница между безопасным эмоциональным взаимодействием и вмешательством в область психотерапии?

Как регулировать ИИ-сервисы, чтобы защитить уязвимых пользователей, не ограничивая при этом их полезные функции?

Долгосрочные эффекты

Как длительное использование генеративного ИИ для эмоциональной поддержки влияет на психическое здоровье и социальные связи пользователей?

5. Почему это важно именно для эмоциональной поддержки

Когда мы обращаемся к ИИ за эмоциональной помощью, на кону не только точность информации. Здесь работают глубинные психологические механизмы: чувство, что нас слышат и понимают, готовность раскрыться, принятие риска.

Если доверие к ИИ будет подорвано, последствия могут быть гораздо серьёзнее, чем просто отказ от использования сервиса — от чувства предательства до усиления изоляции.

📎 По материалам исследования о концептуализации доверия к генеративному ИИ для эмоциональной поддержки.

🎭 Плацебо, ноцебо и искусственный интеллект: как GenAI меняет восприятие психической помощи

Генеративный искусственный интеллект (GenAI) всё глубже проникает в сферу здравоохранения. Сегодня его активно используют в документации, переписке с пациентами, создании медицинских резюме и даже в чат-ботах для поддержки. Но мало кто задумывается: каждое слово, написанное ИИ, может не просто информировать пациента, а реально влиять на его психическое состояние.

В психиатрии и психотерапии это особенно важно, ведь здесь результат напрямую зависит от того, какие ожидания формируются у человека, насколько он верит в компетентность специалиста и чувствует ли эмпатию в процессе взаимодействия. Именно это и лежит в основе эффектов плацебо и ноцебо.

Эти механизмы давно изучены в «офлайн»-медицине: врач, его тон, уверенность и даже оформление рецепта способны менять результат терапии. Но в цифровую эпоху носителями таких эффектов становятся тексты и интерфейсы — электронные карты, письма, чат-боты.

🔹 Как GenAI усиливает плацебо

Беглость и уверенность. Алгоритмы пишут быстрее и связнее, чем уставший врач. Для пациента это выглядит как компетентность и профессионализм.

Понятность. GenAI умеет «разжёвывать» медицинские термины, делая заметки длиннее, доступнее и детальнее. Это повышает доверие.

Эмпатия. Исследования показывают, что ChatGPT-4.0 нередко оценивается как более «сочувствующий», чем реальные терапевты. Его формулировки насыщены выражениями заботы и поддержки. В слепых экспериментах врачи признавали: ИИ звучит в 10 раз более эмпатично в письменных ответах пациентам.

Эти факторы способны укреплять терапевтический альянс и усиливать плацебо-эффект даже без участия врача.

🔹 Как GenAI усиливает ноцебо

Галлюцинации. ChatGPT и другие модели известны тем, что создают убедительно звучащие ошибки. Для пациента любая неточность может вызвать тревогу.

Эрозия доверия. Когда человек понимает, что общался не с врачом, а с ИИ, доверие рушится. Это напоминает «открыто–скрытое» исследование плацебо: эффект сильнее, если вмешательство прозрачно.

Фальшивая дружелюбность. Для некоторых пациентов излишне «мягкие» ответы ИИ воспринимаются как неискренние, что также запускает ноцебо.

Скепсис общества. Согласно опросам в США (2023–2024):

2/3 взрослых не доверяют, что медсистемы будут использовать ИИ ответственно;
56% сомневаются в точности советов чат-ботов;
только 21% видят пользу, а 23% считают, что ИИ приносит больше вреда.

🔹 Этические дилеммы:

Обман или благо?
Раньше споры касались того, можно ли давать пациентам плацебо-препараты. Сегодня вопрос в том, допустимо ли скрывать, что пациент говорит с ИИ. Пример: компания Koko в 2023 году вынуждена извиняться за то, что выдавала ответы ChatGPT за человеческие.

Информировать или навредить?
Врач обязан предупреждать о побочных эффектах, но само упоминание риска может вызвать его через ноцебо.
👉 Решение: формулировать позитивно. Не «20% людей испытывают побочные эффекты», а «80% людей их не испытывают». GenAI способен внедрять такую этически тонкую коммуникацию систематически.

Справедливость и равный доступ.
Пациенты из уязвимых групп чаще сталкиваются с холодной, неэмпатичной коммуникацией. GenAI может выровнять поле, ведь алгоритм не дискриминирует по внешности или происхождению. Более того, опросы показывают, что темнокожие и латиноамериканские пациенты доверяют советам ИИ чаще, чем белые.
❗️ Но — при условии, что решена проблема «цифрового разрыва»: доступ к интернету, устройствам и цифровой грамотности.

🔹 Почему это важно для психического здоровья

В психотерапии слово — это не просто инструмент, а сама терапия. То, как сформулирована запись, сообщение или рекомендация, может запускать либо исцеляющий эффект плацебо, либо разрушающий эффект ноцебо.

GenAI становится «новым коммуникатором» в медицине: он пишет заметки, отвечает на вопросы, поддерживает пациентов в мессенджерах. И именно это меняет баланс доверия, надежды и ожиданий.

🔹 Что дальше

Необходимы новые исследования, чтобы понять, как именно GenAI влияет на восприятие пациентов в реальных клинических условиях.