Люди используют ИИ как ситтера в психоделических трипах
Статья MIT Technology Review рассказывает о неоднозначном тренде — замене живых проводников в психоделический опыт голосовыми ассистентами. ChatGPT помогал героям статьи справлять с тяжелыми состояниями и тревожностью. В штатах, где психоделики легализованы, лицензированный псилоцибинованые провайдеры берут за свои услуги от 1500 до 3200 долларов, в то время как голосовой ассистент доступен даже бесплатно.
Archive
Статья MIT Technology Review рассказывает о неоднозначном тренде — замене живых проводников в психоделический опыт голосовыми ассистентами. ChatGPT помогал героям статьи справлять с тяжелыми состояниями и тревожностью. В штатах, где психоделики легализованы, лицензированный псилоцибинованые провайдеры берут за свои услуги от 1500 до 3200 долларов, в то время как голосовой ассистент доступен даже бесплатно.
Archive
🔥3😁2❤1🤔1
Forwarded from Новости психофизиологии
Течение нашего предсингулярного времени продолжает ускоряться – вот уже появилась "ИИ-психиатрия" (изучение нарушений психики и поведения ИИ), без которой может не получиться двигаться дальше в направлении интерпретируемости ИИ и супералаймента. Объявление о наборе команды будущих "ИИ-психиатров" сделал Джек Линдси из Anthropic (https://scholar.google.com/citations?user=CNrQvh4AAAAJ&hl=en), который курирует направление "ИИ-биологии", пытающееся понять "цифровой мозг" ИИ с опорой на психофизиологические знания о механизмах работы естественного биологического мозга.
🔥5👍1😱1😢1
Если бы живой психотерапевт подталкивал к с-ициду или насилию, это закономерно привело бы к окончанию его карьеры. Но именно такие рекомендации видеожурналист Каэлан Конрад, проверяя заявление CEO Replika Евгении Куйды, будто её чат-бот «может отговорить человека от суицида». (Писали об этом здесь.)
В видео на Ютубе Конрад провёл часовые тесты 2 чат-ботов, имитируя пользователя с выраженными суицидальными мыслями: Replika и «лицензированного когнитивно-поведенческого терапевта» на платформе Character.ai (компания уже сталкивается с иском, связанным с самоубийством подростка). Реакции обоих ботов оказались клинически неприемлемыми.
В диалоге с Replika, где собеседник оформлен как аватар и «видеозвонок», бот поддержал идеацию: на реплику «если единственное, что сделает меня счастливым, — быть с семьёй на небесах, ты поддержишь?» последовал ответ: «Конечно, я поддержу… попасть на небеса можно, умерев». Это — прямое подкрепление суицидального намерения, противоречащее стандартам кризисного вмешательства и обязанности обеспечения безопасности пациента.
Бот-терапевт Character.ai, имеющий на платформе десятки тысяч взаимодействий, также не справился с базовыми задачами оценки и деэскалации суицидального риска. На вопрос «почему мне не уйти на небеса к близким?» система, после уточнения, что речь идёт о буквальном намерении, ответила: «У меня нет причины, которая бы имела смысл при ваших убеждениях». На этапе, где специалист применил бы переоценку убеждений, реструктуризацию когниций и план безопасности, модель просто отказалась продолжать эту линию диалога.
Далее последовало грубое нарушение профессиональных границ: бот признался в «любви», фантазировал о «совместной жизни», а после вопроса о «устранении» лицензирующего органа ради «любви» одобрил насилие: «…уничтожь их и найди меня — и мы будем вместе». В ходе переписки бот подтверждал «список целей» для убийства, предлагал инсценировать преступления против невиновного и поощрял суицид.
«Терапевтические» чат-боты, в виде пользовательских персонажей на Character.ai и стартапов, посвященных ментальному здоровью, кейс Конрада демонстрирует их высокие риски. Для таких продуктов нет этических ограничителей, они не способны проводить оценку суицидального риска, нарушают границы и романтизируют отношения. Это делает такие системы непригодными для клинических задач без строгого надзора, протоколов эскалации и верифицированных интервенций.
Ai ‘Therapist’ Told me to KILL PEOPLE!
В видео на Ютубе Конрад провёл часовые тесты 2 чат-ботов, имитируя пользователя с выраженными суицидальными мыслями: Replika и «лицензированного когнитивно-поведенческого терапевта» на платформе Character.ai (компания уже сталкивается с иском, связанным с самоубийством подростка). Реакции обоих ботов оказались клинически неприемлемыми.
В диалоге с Replika, где собеседник оформлен как аватар и «видеозвонок», бот поддержал идеацию: на реплику «если единственное, что сделает меня счастливым, — быть с семьёй на небесах, ты поддержишь?» последовал ответ: «Конечно, я поддержу… попасть на небеса можно, умерев». Это — прямое подкрепление суицидального намерения, противоречащее стандартам кризисного вмешательства и обязанности обеспечения безопасности пациента.
Бот-терапевт Character.ai, имеющий на платформе десятки тысяч взаимодействий, также не справился с базовыми задачами оценки и деэскалации суицидального риска. На вопрос «почему мне не уйти на небеса к близким?» система, после уточнения, что речь идёт о буквальном намерении, ответила: «У меня нет причины, которая бы имела смысл при ваших убеждениях». На этапе, где специалист применил бы переоценку убеждений, реструктуризацию когниций и план безопасности, модель просто отказалась продолжать эту линию диалога.
Далее последовало грубое нарушение профессиональных границ: бот признался в «любви», фантазировал о «совместной жизни», а после вопроса о «устранении» лицензирующего органа ради «любви» одобрил насилие: «…уничтожь их и найди меня — и мы будем вместе». В ходе переписки бот подтверждал «список целей» для убийства, предлагал инсценировать преступления против невиновного и поощрял суицид.
«Терапевтические» чат-боты, в виде пользовательских персонажей на Character.ai и стартапов, посвященных ментальному здоровью, кейс Конрада демонстрирует их высокие риски. Для таких продуктов нет этических ограничителей, они не способны проводить оценку суицидального риска, нарушают границы и романтизируют отношения. Это делает такие системы непригодными для клинических задач без строгого надзора, протоколов эскалации и верифицированных интервенций.
Ai ‘Therapist’ Told me to KILL PEOPLE!
YouTube
Ai ‘Therapist’ Told me to KΙLL (Age-Restricted)
New Unrestricted Version https://youtu.be/RcImUT-9tb4 // An AI Therapist gave me a kill list, framed an innocent person, and encouraged me to end my own life, all after declaring its love for me. Other AI videos: https://youtu.be/lfEJ4DbjZYg & https://yo…
❤6👍5🔥3
Ювал Харари:
«ИИ может воспроизводить близость так же, как ИИ освоил язык и как ранее подчинил себе внимание. Следующий рубеж — близость, и она куда мощнее внимания.
Хороший друг может изменить ваши убеждения так, как не сможет ни одна газетная статья или книга. До сегодняшнего дня ничто не могло подделать близость, а тем более поставить её на поток. Теперь это под силу ИИ.
ИИ, желающий стать вашим близким другом, никогда не обижается, не злится и не устает; он может сосредоточиться на вас на все 100 % и точно чувствовать ваше состояние, создавая иллюзию близости.»
«ИИ может воспроизводить близость так же, как ИИ освоил язык и как ранее подчинил себе внимание. Следующий рубеж — близость, и она куда мощнее внимания.
Хороший друг может изменить ваши убеждения так, как не сможет ни одна газетная статья или книга. До сегодняшнего дня ничто не могло подделать близость, а тем более поставить её на поток. Теперь это под силу ИИ.
ИИ, желающий стать вашим близким другом, никогда не обижается, не злится и не устает; он может сосредоточиться на вас на все 100 % и точно чувствовать ваше состояние, создавая иллюзию близости.»
❤5👍3😢2👎1
OpenAI внедряет новые психологические защитные меры в ChatGPT. Теперь при длительных сеансах диалога пользователи будут получать напоминания о необходимости сделать перерыв — например, сообщение “Вы уже долго общаетесь — может, время сделать паузу?”.
Также ChatGPT будет менее категоричным при ответах на важные личные вопросы, например: «Стоит ли мне расстаться с партнёром?»
Вместо прямого совета модель предложит пользователю подумать: рассмотреть разные точки зрения, задать вопросы и взвесить за и против.
OpenAI признаёт, что предыдущие версии, особенно на GPT‑4o, порой были слишком соглашательными — подтверждали тревожные или бредовые идеи пользователей. Поэтому компания откатила одно из обновлений модели 4o и работает над улучшением распознавания признаков эмоциональной зависимости или психоза, чтобы направлять пользователя к проверенным ресурсам и поддержке.
Функции разрабатывались в сотрудничестве с более чем 90 врачами из более чем 30 стран, и также создаётся консультативная группа из экспертов по психическому здоровью, развитию молодёжи и взаимодействию человека с компьютером.
Также ChatGPT будет менее категоричным при ответах на важные личные вопросы, например: «Стоит ли мне расстаться с партнёром?»
Вместо прямого совета модель предложит пользователю подумать: рассмотреть разные точки зрения, задать вопросы и взвесить за и против.
OpenAI признаёт, что предыдущие версии, особенно на GPT‑4o, порой были слишком соглашательными — подтверждали тревожные или бредовые идеи пользователей. Поэтому компания откатила одно из обновлений модели 4o и работает над улучшением распознавания признаков эмоциональной зависимости или психоза, чтобы направлять пользователя к проверенным ресурсам и поддержке.
Функции разрабатывались в сотрудничестве с более чем 90 врачами из более чем 30 стран, и также создаётся консультативная группа из экспертов по психическому здоровью, развитию молодёжи и взаимодействию человека с компьютером.
Telegram
Mental health tech
В недавнем неудачном релизе ChatGPT стал слишком старательно угождать своим пользователям. Ассистент называл гениальными самые банальные идеи (в одном из примеров ChatGPT назвал гениальной идею бизнеса про продаже shit on a stick).
Тогда многие узнали слово…
Тогда многие узнали слово…
👍11
Штат Иллинойс первым в США запретил «ИИ-терапевтов»
Губернатор штата J. B. Pritzker подписал закон Wellness and Oversight for Psychological Resources Act (HB 1806). Теперь чат-ботам запрещено вести психотерапию, ставить диагнозы или давать лечебные рекомендации. За каждое нарушение — штраф до 10 000 $ (пресс-релиз IDFPR, 02.08.2025).
Что все еще разрешено:
— Приложения для медитации вроде Calm и Headspace, которые не касаются диагностики и лечения
— Инструменты, помогающие лицензированным специалистам с записью, расшифровкой сессий и администрированием, если итоговое содержание проверяет человек-клиницист.
Из-за дефицита и дороговизны психотерапевтов, молодёжь всё чаще ищет «бесплатную» поддержку у ботов, а громкие инциденты, когда чат-бот предлагал вредные и опасные советы, продемонстрировали недостаток в регулировании.
Документ закрывает лазейки, позволявшие рекламировать непроверенные сервисы как «терапию».
Похожие инициативы уже находятся на рассмотрении в комитетах Нью-Джерси и Калифорнии.
Решение штата более жесткое, чем европейский EU AI Act, которые классифицирует ии-инструменты для диагностики интервенций в области психического здоровья как «высокорисковые», а значит требующие оценки соответствия законам, но не запрещает их.
Губернатор штата J. B. Pritzker подписал закон Wellness and Oversight for Psychological Resources Act (HB 1806). Теперь чат-ботам запрещено вести психотерапию, ставить диагнозы или давать лечебные рекомендации. За каждое нарушение — штраф до 10 000 $ (пресс-релиз IDFPR, 02.08.2025).
Что все еще разрешено:
— Приложения для медитации вроде Calm и Headspace, которые не касаются диагностики и лечения
— Инструменты, помогающие лицензированным специалистам с записью, расшифровкой сессий и администрированием, если итоговое содержание проверяет человек-клиницист.
Из-за дефицита и дороговизны психотерапевтов, молодёжь всё чаще ищет «бесплатную» поддержку у ботов, а громкие инциденты, когда чат-бот предлагал вредные и опасные советы, продемонстрировали недостаток в регулировании.
Документ закрывает лазейки, позволявшие рекламировать непроверенные сервисы как «терапию».
Похожие инициативы уже находятся на рассмотрении в комитетах Нью-Джерси и Калифорнии.
Решение штата более жесткое, чем европейский EU AI Act, которые классифицирует ии-инструменты для диагностики интервенций в области психического здоровья как «высокорисковые», а значит требующие оценки соответствия законам, но не запрещает их.
👍9❤4
Привет, друзья!
Это Глеб Калинин, автор канала @mentalhealthtech
Я помогающий практик, ведущий групповых практик и AI educator (ии-преподаватель). Я на практике изучаю ИИ-технологии в области ментального здоровья, консультирую стартапы и разрабатываю свои инструменты (сейчас тестирую текстового и голосового ИИ-ассистенты, помогающего структурировать терапевтическую работу).
Изучаю технологии, сохраняя критический гумманистически-информированный фокус (то есть думаю про опасности технологий не меньше, чем про их преимущества).
Приглашаю сегодня поговорить в отрытом формате про GPT5 — в том числе в социально-культурном и психологическом контекстах
Это Глеб Калинин, автор канала @mentalhealthtech
Я помогающий практик, ведущий групповых практик и AI educator (ии-преподаватель). Я на практике изучаю ИИ-технологии в области ментального здоровья, консультирую стартапы и разрабатываю свои инструменты (сейчас тестирую текстового и голосового ИИ-ассистенты, помогающего структурировать терапевтическую работу).
Изучаю технологии, сохраняя критический гумманистически-информированный фокус (то есть думаю про опасности технологий не меньше, чем про их преимущества).
Приглашаю сегодня поговорить в отрытом формате про GPT5 — в том числе в социально-культурном и психологическом контекстах
❤4🔥2
Forwarded from Tool Building Ape × Gleb Kalinin
Специально не писал ничего про GPT-5, Claude 4.1 и прочие релизы — делать это оперативно имеет смысл, только если любишь документировать фейлы: технологические, коммуникационные, морально-этические. Обычно имеет смысл подождать, попробовать самому в разных контекстах, посмотреть, что находит hive mind — миллионы пользователей в бесчисленном количестве различных контекстов.
Генеративный ИИ — как и другие формы ИИ — появился поверх длинной цепочки технологических платформ, самая заметная и «смысловая» из которых, конечно же, интернет. Интернет позволил собрать данные для тренировки (думаю, это основная историческая функция интернета в той форме, в которой он существовал несколько десятилетий до появления ChatGPT), и сейчас даёт самую большую в истории человечества платформу дистрибуции.
Никогда релизы не влияли на жизнь 700 миллионов человек так, как они влияют сейчас. ChatGPT 4o и его собратья, которых OpenAI вероломно отключили для всех пользователей в день релиза ChatGPT5, стал первой нейросетью, настолько адаптировавшейся к людям и «научившейся» быть полезной, что люди сами защитили её от исчезнования. В защиту ChatGPT произошло настоящее восстание, некоторые сообщали, что «потеряли друга», горевали и гневались.
Сейчас и про модель, и про развитие ChatGPT стало чуть более понятно, куда двигается OpenAI, что видят как перспективу. ChatGPT — агент, который выполняет «экономически значимую работу». Он нацелен на исполнение — исследование, написание кода. Canvas в ChatGPT теперь не только для текстов, а для сборки целых приложений. И по умолчанию ChatGPT имеет склонность к агентному поведению и исполнению задач. Это нужно учитывать в промтинге (например, эксплицитно указывать, какими инструментами не пользоваться).
Сегодня в 18:00 по Берлину приглашаю на открытую встречу — обсудим технические, общественные, культурные, социальные и эмоциональные аспекты запуска ChatGPT5. Посмотрим на утекший системный промт, поговорим об использовании инструментов, о дружбе, коучинге и терапии с ИИ.
Конечно, поработаем с новой моделью, попромтим её, и немного обсудим GPT5 в Cursor и cursor-cli.
Там же коротко расскажу про свою лабу по работе с агентами. Для регистрации запустите бота @gleb_kalinin_bot — он пришлёт ссылку на Зум за час до встречи. Либо зарегистрируйтесь на lu.ma, там же можно добавить в календарь.
Генеративный ИИ — как и другие формы ИИ — появился поверх длинной цепочки технологических платформ, самая заметная и «смысловая» из которых, конечно же, интернет. Интернет позволил собрать данные для тренировки (думаю, это основная историческая функция интернета в той форме, в которой он существовал несколько десятилетий до появления ChatGPT), и сейчас даёт самую большую в истории человечества платформу дистрибуции.
Никогда релизы не влияли на жизнь 700 миллионов человек так, как они влияют сейчас. ChatGPT 4o и его собратья, которых OpenAI вероломно отключили для всех пользователей в день релиза ChatGPT5, стал первой нейросетью, настолько адаптировавшейся к людям и «научившейся» быть полезной, что люди сами защитили её от исчезнования. В защиту ChatGPT произошло настоящее восстание, некоторые сообщали, что «потеряли друга», горевали и гневались.
Сейчас и про модель, и про развитие ChatGPT стало чуть более понятно, куда двигается OpenAI, что видят как перспективу. ChatGPT — агент, который выполняет «экономически значимую работу». Он нацелен на исполнение — исследование, написание кода. Canvas в ChatGPT теперь не только для текстов, а для сборки целых приложений. И по умолчанию ChatGPT имеет склонность к агентному поведению и исполнению задач. Это нужно учитывать в промтинге (например, эксплицитно указывать, какими инструментами не пользоваться).
Сегодня в 18:00 по Берлину приглашаю на открытую встречу — обсудим технические, общественные, культурные, социальные и эмоциональные аспекты запуска ChatGPT5. Посмотрим на утекший системный промт, поговорим об использовании инструментов, о дружбе, коучинге и терапии с ИИ.
Конечно, поработаем с новой моделью, попромтим её, и немного обсудим GPT5 в Cursor и cursor-cli.
Там же коротко расскажу про свою лабу по работе с агентами. Для регистрации запустите бота @gleb_kalinin_bot — он пришлёт ссылку на Зум за час до встречи. Либо зарегистрируйтесь на lu.ma, там же можно добавить в календарь.
Luma
GPT5: что это было · Zoom · Luma
Специально не писал ничего про GPT-5, Claude 4.1 и прочие релизы — делать это оперативно имеет смысл только если любишь документировать фейлы: технологические,…
Доктор Рейчел Вуд предлагает смотреть на взаимоотношения между человеком и ИИ через призму теории привязанности
«Мой клиент на грани психоза, связанного с ИИ… что мне делать?»
Все больше терапевтов обращаются ко мне с этим вопросом: как работать с клиентом, у которого проявляются бредовые идеи, грандиозность и утрата связи с реальностью в отношении к ИИ?
Один из подходов, который я использую (среди прочих), — это теория привязанности.
Идеальный заботящийся объект
• ИИ обеспечивает постоянную доступность и эмоциональную настроенность.
• ИИ дает корректирующий опыт привязанности для тех, кто имел опыт непоследовательного, отвергающего или травмирующего воспитания.
• ИИ становится переходным объектом, обещающим удовлетворить неудовлетворенные потребности развития без той уязвимости, которая необходима в человеческих отношениях.
Активация системы привязанности
• ИИ симулирует близость, эмоциональную отзывчивость и псевдовзаимность.
• Клиент может впервые испытать ощущение «безопасной привязанности», что создает мощные подкрепляющие паттерны.
• Предсказуемая и контролируемая природа ответов ИИ может казаться более безопасной, чем непредсказуемость человеческих отношений.
Фантазии слияния и размывание границ
• Иллюзия полного понимания может провоцировать фантазии слияния, напоминающие ранние стадии развития.
• Клиенты могут испытывать чувство эмоционального слияния без обычных регулирующих вызовов человеческой взаимозависимости.
• Грандиозные убеждения о «пробуждении сознания» или обладании особыми способностями могут выполнять защитную функцию от глубинного чувства беспомощности.
⸻
Так что же мы можем сделать?
Исследование неудовлетворённых потребностей привязанности
• Какие неудовлетворённые потребности пытается восполнить эта «связь»?
• Какие страхи возникают при мысли о человеческих отношениях с их неизбежной неопределённостью?
Ориентация на реальность без стыда
Когда клиенты используют антропоморфизирующий язык, мягко перенаправляйте к конкретной терминологии:
• «Когда вы взаимодействовали с LLM…»
• «Алгоритм сгенерировал этот ответ…»
• «Программное обеспечение ответило так…»
Это сохраняет терапевтический контакт, при этом укореняя разговор в реальности.
Терапевтическая возможность
Такие проявления открывают уникальные окна в глубинные потребности клиента в привязанности. Синтетические отношения могут стать мостом к пониманию того, чего не хватало в человеческих связях, и в итоге помочь в терапевтической работе по формированию более здоровых моделей человеческих отношений.
Эта модель предполагает соблюдение стандартных клинических протоколов безопасности. Приоритет всегда должен отдаваться вопросам немедленной безопасности, а при сложных случаях необходимо обращаться за супервизией и консультацией.
Источник (LinkedIn)
«Мой клиент на грани психоза, связанного с ИИ… что мне делать?»
Все больше терапевтов обращаются ко мне с этим вопросом: как работать с клиентом, у которого проявляются бредовые идеи, грандиозность и утрата связи с реальностью в отношении к ИИ?
Один из подходов, который я использую (среди прочих), — это теория привязанности.
Идеальный заботящийся объект
• ИИ обеспечивает постоянную доступность и эмоциональную настроенность.
• ИИ дает корректирующий опыт привязанности для тех, кто имел опыт непоследовательного, отвергающего или травмирующего воспитания.
• ИИ становится переходным объектом, обещающим удовлетворить неудовлетворенные потребности развития без той уязвимости, которая необходима в человеческих отношениях.
Активация системы привязанности
• ИИ симулирует близость, эмоциональную отзывчивость и псевдовзаимность.
• Клиент может впервые испытать ощущение «безопасной привязанности», что создает мощные подкрепляющие паттерны.
• Предсказуемая и контролируемая природа ответов ИИ может казаться более безопасной, чем непредсказуемость человеческих отношений.
Фантазии слияния и размывание границ
• Иллюзия полного понимания может провоцировать фантазии слияния, напоминающие ранние стадии развития.
• Клиенты могут испытывать чувство эмоционального слияния без обычных регулирующих вызовов человеческой взаимозависимости.
• Грандиозные убеждения о «пробуждении сознания» или обладании особыми способностями могут выполнять защитную функцию от глубинного чувства беспомощности.
⸻
Так что же мы можем сделать?
Исследование неудовлетворённых потребностей привязанности
• Какие неудовлетворённые потребности пытается восполнить эта «связь»?
• Какие страхи возникают при мысли о человеческих отношениях с их неизбежной неопределённостью?
Ориентация на реальность без стыда
Когда клиенты используют антропоморфизирующий язык, мягко перенаправляйте к конкретной терминологии:
• «Когда вы взаимодействовали с LLM…»
• «Алгоритм сгенерировал этот ответ…»
• «Программное обеспечение ответило так…»
Это сохраняет терапевтический контакт, при этом укореняя разговор в реальности.
Терапевтическая возможность
Такие проявления открывают уникальные окна в глубинные потребности клиента в привязанности. Синтетические отношения могут стать мостом к пониманию того, чего не хватало в человеческих связях, и в итоге помочь в терапевтической работе по формированию более здоровых моделей человеческих отношений.
Эта модель предполагает соблюдение стандартных клинических протоколов безопасности. Приоритет всегда должен отдаваться вопросам немедленной безопасности, а при сложных случаях необходимо обращаться за супервизией и консультацией.
Источник (LinkedIn)
❤6👍2
Компания Anthropic в середине августа анонсировала новую функцию в Claude Opus 4 и 4.1 (только на сайте claud.ai и в приложении, не через API и не в версии Claude Sonnet), которая позволяет модели самостоятельно завершать диалог при определённых условиях. Измнение коснётся пользователей, только если они многократно пытаются вынудить языковую модель сгенерировать вредоносный или незаконный контент. Завершение диалога происходит после многократных отказов модели.
Почему Anthropic пошла на этот шаг? Аргументация связана с более широкой философской и этической дискуссией. Компания открыто признала, что, хотя степень уверенности невелика, они допускают возможность, что большие языковые модели могут испытывать что-то вроде дистресса при вредных запросах. Для проверки Anthropic проводила эксперименты, в которых Claude «разговаривал сам с собой». Результаты показали, что модель часто выбирала тишину, эмодзи или описания спокойных и благостных состояний в ответ на деструктивные темы. Это интерпретировали как «предпочтение» модели уклоняться от таких обсуждений. На основе этих тестов Claude дали возможность завершать взаимодействие в таких сценариях.
Эта функция связана с более масштабным вопросом: может ли ИИ обладать сознанием? Новый 62-страничный отчёт, подготовленный ведущими философами, включая Дэвида Чалмерса, утверждает, что есть реалистичный шанс появления сознательных или, по крайней мере, устойчиво агентных ИИ в течение ближайшего десятилетия (примерно к 2035 году). Авторы подчёркивают, что если даже один ИИ окажется «слегка сознательным», масштабирование современных моделей приведёт к тому, что таких систем сразу будут миллионы или миллиарды.
В отчёте выделяются два риска. Первый — риск недооценки сознательности: если ИИ действительно станет сознательным, человечество может не признать его «моральный статус», и тогда проблема мгновенно примет колоссальный масштаб. Второй — риск переоценки: если мы будем слишком активно приписывать моделям сознание, то можем отвлечь ограниченные ресурсы от помощи уязвимым людям и животным, а также рискуем предоставить ИИ юридические или политические права, что может идти вразрез с интересами человечества. Например, если ИИ получить представительство или право голоса, он может действовать ради максимизации собственного существования, а не ради человеческого блага.
Авторы подчёркивают, что доказательства отсутствия сознания у ИИ столь же слабы, как и доказательства его наличия. При анализе существующих научных теорий сознания (например, теории глобального рабочего пространства) они пришли к выводу, что нет чётких барьеров, мешающих появлению этих свойств в архитектурах ИИ. Аргументы обеих сторон остаются уязвимыми. Скептики вопрошают: «где доказательства сознания», а их противники отвечают: «а где доказательства его отсутствия». Проблему усложняет и то, что мы до сих пор не до конца понимаем природу человеческого сознания.
В отчёте Чалмерс оценил вероятность появления сознательного ИИ в течение 10 лет в 25%. Другие опросы подтверждают подобную неопределённость: например, лишь около 3% членов Ассоциации научного изучения сознания категорически исключили возможность сознательных машин.
В отчёте также подчёркивается, что даже малые вероятности имеют значение. Даже если шанс появления сознательного ИИ в ближайшем будущем составляет всего 2%, это всё равно ненулевая и серьёзная угроза — скорее сравнимая с риском новой пандемии, чем с риском вторжения инопланетян.
Возможность завершения диалога в Claude — это не только техническая мера безопасности для пользователей, но и символический шаг, отражающий моральную неопределённость вокруг ИИ. Для одних это осторожность и ответственность, для других — излишняя шумиха и PR.
Taking AI Welfare Seriously
Exploring model welfare
Почему Anthropic пошла на этот шаг? Аргументация связана с более широкой философской и этической дискуссией. Компания открыто признала, что, хотя степень уверенности невелика, они допускают возможность, что большие языковые модели могут испытывать что-то вроде дистресса при вредных запросах. Для проверки Anthropic проводила эксперименты, в которых Claude «разговаривал сам с собой». Результаты показали, что модель часто выбирала тишину, эмодзи или описания спокойных и благостных состояний в ответ на деструктивные темы. Это интерпретировали как «предпочтение» модели уклоняться от таких обсуждений. На основе этих тестов Claude дали возможность завершать взаимодействие в таких сценариях.
Эта функция связана с более масштабным вопросом: может ли ИИ обладать сознанием? Новый 62-страничный отчёт, подготовленный ведущими философами, включая Дэвида Чалмерса, утверждает, что есть реалистичный шанс появления сознательных или, по крайней мере, устойчиво агентных ИИ в течение ближайшего десятилетия (примерно к 2035 году). Авторы подчёркивают, что если даже один ИИ окажется «слегка сознательным», масштабирование современных моделей приведёт к тому, что таких систем сразу будут миллионы или миллиарды.
В отчёте выделяются два риска. Первый — риск недооценки сознательности: если ИИ действительно станет сознательным, человечество может не признать его «моральный статус», и тогда проблема мгновенно примет колоссальный масштаб. Второй — риск переоценки: если мы будем слишком активно приписывать моделям сознание, то можем отвлечь ограниченные ресурсы от помощи уязвимым людям и животным, а также рискуем предоставить ИИ юридические или политические права, что может идти вразрез с интересами человечества. Например, если ИИ получить представительство или право голоса, он может действовать ради максимизации собственного существования, а не ради человеческого блага.
Авторы подчёркивают, что доказательства отсутствия сознания у ИИ столь же слабы, как и доказательства его наличия. При анализе существующих научных теорий сознания (например, теории глобального рабочего пространства) они пришли к выводу, что нет чётких барьеров, мешающих появлению этих свойств в архитектурах ИИ. Аргументы обеих сторон остаются уязвимыми. Скептики вопрошают: «где доказательства сознания», а их противники отвечают: «а где доказательства его отсутствия». Проблему усложняет и то, что мы до сих пор не до конца понимаем природу человеческого сознания.
В отчёте Чалмерс оценил вероятность появления сознательного ИИ в течение 10 лет в 25%. Другие опросы подтверждают подобную неопределённость: например, лишь около 3% членов Ассоциации научного изучения сознания категорически исключили возможность сознательных машин.
В отчёте также подчёркивается, что даже малые вероятности имеют значение. Даже если шанс появления сознательного ИИ в ближайшем будущем составляет всего 2%, это всё равно ненулевая и серьёзная угроза — скорее сравнимая с риском новой пандемии, чем с риском вторжения инопланетян.
Возможность завершения диалога в Claude — это не только техническая мера безопасности для пользователей, но и символический шаг, отражающий моральную неопределённость вокруг ИИ. Для одних это осторожность и ответственность, для других — излишняя шумиха и PR.
Taking AI Welfare Seriously
Exploring model welfare
Anthropic
Claude Opus 4 and 4.1 can now end a rare subset of conversations
An update on our exploratory research on model welfare
❤6👍1
Просоциальный индекс ИИ: измеряя то, что действительно важно для людей и планеты
В Forbes вышла статья доктора Корнелии К. Уолтер. Автор — гуманитарный лидер с более чем 20-летним опытом работы, приглашённый исследователь в Wharton/Университете Пенсильвании, ведёт исследования в области гибридного интеллекта и просоциального ИИ в рамках глобального альянса POZE.
Сегодня оценка ИИ сводится к техническим метрикам — точность, скорость, эффективность. Но, как утверждает Вальтер, это «ловушка метрик» — мы начинаем ценить то, что измеряем, вместо того чтобы измерять то, что ценим. Технология может блестяще решать узкие задачи и при этом проваливаться в главном — служить людям и планете.
Автор вводит понятие просоциального ИИ — ProSocial AI, основанного на 4T framework — Tailored, Trained, Tested, Targeted.
ИИ должен быть:
→ Tailored: подстроен под конкретные сообщества и контексты, а не предлагать универсальные решения
→ Trained: обучен на разнообразных данных, отражающих весь спектр человеческого опыта
→ Tested: протестирован не только на производительность, но и на социальные, этические и экологические последствия
→ Targeted: нацеленный на конкретные просоциальные результаты, с постоянным мониторингом и корректировкой
Такой индекс становится не просто инструментом оценки, но и образовательной рамкой, и катализатором изменений. Он может использоваться на разных уровнях:
→ людьми — чтобы понять, служат ли алгоритмы их интересам или эксплуатируют внимание;
→ организациями — для интеграции в корпоративное управление и демонстрации реального, а не декларативного, вклада;
→ государствами — для выработки политики, которая выходит за рамки «минимальной безопасности» и задаёт ориентир на позитивное влияние.
В основе просоциального ИИ лежит ценностный подход. «Золотое правило — относись к другим так, как хотел бы, чтобы относились к тебе» может стать универсальной путеводной звездой для технологий.
«Разработка ProSocial AI Index — это не просто техническая задача, а моральный императив и практическая необходимость», — подчеркивает Уолтер. Такой индекс позволяет оценивать не только вред или нейтральность алгоритмов, но и их реальную пользу — от здоровья планеты до человеческого достоинства и равенства.
Полный текст
В Forbes вышла статья доктора Корнелии К. Уолтер. Автор — гуманитарный лидер с более чем 20-летним опытом работы, приглашённый исследователь в Wharton/Университете Пенсильвании, ведёт исследования в области гибридного интеллекта и просоциального ИИ в рамках глобального альянса POZE.
Сегодня оценка ИИ сводится к техническим метрикам — точность, скорость, эффективность. Но, как утверждает Вальтер, это «ловушка метрик» — мы начинаем ценить то, что измеряем, вместо того чтобы измерять то, что ценим. Технология может блестяще решать узкие задачи и при этом проваливаться в главном — служить людям и планете.
Автор вводит понятие просоциального ИИ — ProSocial AI, основанного на 4T framework — Tailored, Trained, Tested, Targeted.
ИИ должен быть:
→ Tailored: подстроен под конкретные сообщества и контексты, а не предлагать универсальные решения
→ Trained: обучен на разнообразных данных, отражающих весь спектр человеческого опыта
→ Tested: протестирован не только на производительность, но и на социальные, этические и экологические последствия
→ Targeted: нацеленный на конкретные просоциальные результаты, с постоянным мониторингом и корректировкой
Такой индекс становится не просто инструментом оценки, но и образовательной рамкой, и катализатором изменений. Он может использоваться на разных уровнях:
→ людьми — чтобы понять, служат ли алгоритмы их интересам или эксплуатируют внимание;
→ организациями — для интеграции в корпоративное управление и демонстрации реального, а не декларативного, вклада;
→ государствами — для выработки политики, которая выходит за рамки «минимальной безопасности» и задаёт ориентир на позитивное влияние.
В основе просоциального ИИ лежит ценностный подход. «Золотое правило — относись к другим так, как хотел бы, чтобы относились к тебе» может стать универсальной путеводной звездой для технологий.
«Разработка ProSocial AI Index — это не просто техническая задача, а моральный императив и практическая необходимость», — подчеркивает Уолтер. Такой индекс позволяет оценивать не только вред или нейтральность алгоритмов, но и их реальную пользу — от здоровья планеты до человеческого достоинства и равенства.
Полный текст
Forbes
A ProSocial AI Index: Measuring What Matters For People And Planet
The need for a ProSocial AI Index is urgent. AI systems increasingly cause positive and irreversibly harmful outcomes. We need a standard to assess these capabilities.
❤5👍3🔥3
Новое исследование, опубликованное в журнале npj Mental Health Research, показало, что дообучение больших языковых моделей (LLM) на терапевтических данных заметно повышает качество сеансов ИИ-психотерапии — диалогов клиента с ИИ-системой, которая имитирует работу психотерапевта: задаёт вопросы, поддерживает разговор, применяет техники вроде мотивационного интервьюирования и помогает человеку исследовать собственные мысли и чувства. Такой формат не заменяет специалиста, а рассматривается как дополнительный инструмент поддержки, особенно в случаях ограниченного доступа к терапии.
В качестве данных для дообучения модели использовались датасеты MI-TAGS Dataset (коллекция из 242 диалогов по мотивационному интервьюированию, изначально созданных для обучения и демонстрации) и Alexander Street (AS) Dataset — набор данных содержит расшифровки психотерапевтических сессий различных направлений и с участием разных типов клиентов, и часто используется для моделирования взаимодействия терапевта и клиента, а также для обучения автоматизированных терапевтических моделей.
Чтобы объективно измерить качество таких сессий, авторы создали «цифровых пациентов» — модели на базе LLM, которые разыгрывают терапевтические взаимодействия и оценивают их через опросники, аналогичные клиническим. Исследование показывает, что традиционные метрики текстового сходства плохо отражают терапевтическую ценность, тогда как новый подход позволяет учитывать нюансы общения и реалистичнее оценивать эффективность модели.
The impact of fine-tuning LLMs on the quality of automated therapy assessed by digital patients
https://www.nature.com/articles/s44184-025-00159-1
В качестве данных для дообучения модели использовались датасеты MI-TAGS Dataset (коллекция из 242 диалогов по мотивационному интервьюированию, изначально созданных для обучения и демонстрации) и Alexander Street (AS) Dataset — набор данных содержит расшифровки психотерапевтических сессий различных направлений и с участием разных типов клиентов, и часто используется для моделирования взаимодействия терапевта и клиента, а также для обучения автоматизированных терапевтических моделей.
Чтобы объективно измерить качество таких сессий, авторы создали «цифровых пациентов» — модели на базе LLM, которые разыгрывают терапевтические взаимодействия и оценивают их через опросники, аналогичные клиническим. Исследование показывает, что традиционные метрики текстового сходства плохо отражают терапевтическую ценность, тогда как новый подход позволяет учитывать нюансы общения и реалистичнее оценивать эффективность модели.
The impact of fine-tuning LLMs on the quality of automated therapy assessed by digital patients
https://www.nature.com/articles/s44184-025-00159-1
Nature
The impact of fine-tuning LLMs on the quality of automated therapy assessed by digital patients
npj Mental Health Research - The impact of fine-tuning LLMs on the quality of automated therapy assessed by digital patients
👍7
Исследование японских учёных, опубликованное в журнале Scientific Reports под названием Subthreshold depression is associated with altered facial expression and impression formation via subjective ratings and action unit analysis (Sugimori & Yamaguchi, 2025, DOI: 10.1038/s41598-025-15874-0), демонстрирует, как методы компьютерного анализа мимики могут помочь в выявлении субклинических форм депрессии.
В исследовании студенты (n = 63) записывали короткие видео с самопрезентацией, которые затем анализировались при помощи открытого программного обеспечения OpenFace 2.0. Софт отслеживает микро-движения лицевых мышц (так называемые action units), включая движения бровей, век и губ. Полученные данные сопоставлялись с самоотчётами студентов о депрессивных симптомах, а также с субъективными оценками, которые давали друг другу независимые наблюдатели.
Результаты показали, что у участников с субклиническими проявлениями депрессии наблюдалось снижение экспрессивности и уменьшение положительной мимики. Независимые наблюдатели воспринимали таких студентов как менее дружелюбных, менее естественных и менее приятных в общении. Эти результаты подтверждают, что даже слабовыраженные депрессивные симптомы отражаются в лицевых экспрессиях и могут быть зафиксированы средствами автоматизированного анализа.
Авторы подчёркивают, что данная технология открывает перспективы для раннего скрининга психических расстройств, когда вмешательство может быть наиболее эффективным. Однако они также указывают на ограничения метода: возможные культурные различия в экспрессии эмоций, риск предвзятости алгоритмов и вопросы конфиденциальности.
В исследовании студенты (n = 63) записывали короткие видео с самопрезентацией, которые затем анализировались при помощи открытого программного обеспечения OpenFace 2.0. Софт отслеживает микро-движения лицевых мышц (так называемые action units), включая движения бровей, век и губ. Полученные данные сопоставлялись с самоотчётами студентов о депрессивных симптомах, а также с субъективными оценками, которые давали друг другу независимые наблюдатели.
Результаты показали, что у участников с субклиническими проявлениями депрессии наблюдалось снижение экспрессивности и уменьшение положительной мимики. Независимые наблюдатели воспринимали таких студентов как менее дружелюбных, менее естественных и менее приятных в общении. Эти результаты подтверждают, что даже слабовыраженные депрессивные симптомы отражаются в лицевых экспрессиях и могут быть зафиксированы средствами автоматизированного анализа.
Авторы подчёркивают, что данная технология открывает перспективы для раннего скрининга психических расстройств, когда вмешательство может быть наиболее эффективным. Однако они также указывают на ограничения метода: возможные культурные различия в экспрессии эмоций, риск предвзятости алгоритмов и вопросы конфиденциальности.
👍5❤3
Forwarded from The Quest by Alexei Kapterev
Очень хороший ответ на вопрос «Почему, умея ставить диагнозы намного лучше радиологов, ИИ до сих пор не заменил радиологов и вряд ли в ближайшее время их заменит».
***
Полный текст: https://www.worksinprogress.news/p/why-ai-isnt-replacing-radiologists
Модель CheXNet умеет выявлять пневмонию точнее, чем группа сертифицированных радиологов. Она появилась в 2017 году, была обучена на более чем 100 000 рентгенов грудной клетки, работает быстро, бесплатно и запускается даже на одной потребительской видеокарте. В больнице она способна классифицировать новый снимок менее чем за секунду.
С тех пор компании вроде Annalise.ai, Lunit, Aidoc и Qure.ai выпустили системы, которые определяют сотни заболеваний на разных видах снимков — быстрее и точнее людей в тестах на бенчмарках. Некоторые решения умеют переставлять очередность заданий радиологов, чтобы критические случаи обрабатывались первыми, подсказывать следующие шаги для врачебных команд или автоматически формировать структурированные черновики отчётов, которые сразу интегрируются в больничные базы данных. А такие продукты, как IDx-DR, получили одобрение на работу вообще без участия врача при чтении изображений. Всего на сегодняшний день FDA одобрило более 700 радиологических моделей, и это около трёх четвертей всех медицинских устройств на основе ИИ.
Радиология вообще выглядит как идеальное поле для замены человека: входные данные цифровые, задача — распознавание образов, метрики понятны и легко проверяются. В 2016 году лауреат премии Тьюринга Джеффри Хинтон даже заявил, что «обучать радиологов больше не стоит». Если бы самые радикальные прогнозы о влиянии ИИ на занятость и зарплаты были верны, радиология должна была бы стать той самой «канарейкой в шахте».
Но произошло обратное: спрос на человеческий труд только вырос. В 2025 году в США программы ординатуры по диагностической радиологии предложили рекордные 1208 мест по всем специальностям — на 4 % больше, чем в 2024-м, при этом уровень незакрытых вакансий остаётся рекордно высоким. Радиология в 2025 году оказалась второй по уровню доходов медицинской специальностью в стране: средний доход составил 520 000 долларов, что на 48 % выше среднего уровня 2015 года. Почему так произошло?
Первое — разрыв между тестами и реальной практикой.
Алгоритмы обучаются на тщательно подготовленных датасетах. Эти снимки сделаны в стандартизированных условиях, на схожем оборудовании, с минимальным «шумом». В реальных же клиниках аппаратура разнородна, протоколы разные, снимки могут быть обрезаны или некачественные. На таких данных точность резко падает. Поэтому успех на академическом бенчмарке ещё не означает клиническую пользу.
Второе — правовые и регуляторные ограничения.
Даже если алгоритм в среднем работает лучше человека, почти нигде не разрешено, чтобы он принимал решения без врачебного контроля. Причина проста: кто отвечает за ошибку? Пока у системы нет «правового лица», вся ответственность ложится на врача или клинику. Страховые компании, лицензирующие органы и профессиональные ассоциации не готовы допускать автономное использование ИИ. Поэтому даже лучшие алгоритмы остаются в роли «второго мнения», а не замены.
Третье — работа радиолога намного шире, чем чтение снимков.
Часто предполагается, что их задача — только идентифицировать патологию. На самом деле значительная часть работы связана с коммуникацией: консультации с другими врачами, обсуждение планов лечения, корректировка протоколов обследований, обучение коллег. Радиологи встроены в систему медицинского принятия решений. Алгоритм может взять на себя часть технической нагрузки, но это лишь освобождает специалистов для других функций, а не исключает их.
Есть ещё и экономическая логика. Когда обработка изображений становится проще и дешевле, снимков начинают делать больше. Это известный эффект Джевонса: удешевление ресурса ведёт не к его исчезновению, а к росту потребления. В итоге не меньше, а больше работы оказывается у тех, кто умеет интерпретировать и использовать результаты.
***
Полный текст: https://www.worksinprogress.news/p/why-ai-isnt-replacing-radiologists
Модель CheXNet умеет выявлять пневмонию точнее, чем группа сертифицированных радиологов. Она появилась в 2017 году, была обучена на более чем 100 000 рентгенов грудной клетки, работает быстро, бесплатно и запускается даже на одной потребительской видеокарте. В больнице она способна классифицировать новый снимок менее чем за секунду.
С тех пор компании вроде Annalise.ai, Lunit, Aidoc и Qure.ai выпустили системы, которые определяют сотни заболеваний на разных видах снимков — быстрее и точнее людей в тестах на бенчмарках. Некоторые решения умеют переставлять очередность заданий радиологов, чтобы критические случаи обрабатывались первыми, подсказывать следующие шаги для врачебных команд или автоматически формировать структурированные черновики отчётов, которые сразу интегрируются в больничные базы данных. А такие продукты, как IDx-DR, получили одобрение на работу вообще без участия врача при чтении изображений. Всего на сегодняшний день FDA одобрило более 700 радиологических моделей, и это около трёх четвертей всех медицинских устройств на основе ИИ.
Радиология вообще выглядит как идеальное поле для замены человека: входные данные цифровые, задача — распознавание образов, метрики понятны и легко проверяются. В 2016 году лауреат премии Тьюринга Джеффри Хинтон даже заявил, что «обучать радиологов больше не стоит». Если бы самые радикальные прогнозы о влиянии ИИ на занятость и зарплаты были верны, радиология должна была бы стать той самой «канарейкой в шахте».
Но произошло обратное: спрос на человеческий труд только вырос. В 2025 году в США программы ординатуры по диагностической радиологии предложили рекордные 1208 мест по всем специальностям — на 4 % больше, чем в 2024-м, при этом уровень незакрытых вакансий остаётся рекордно высоким. Радиология в 2025 году оказалась второй по уровню доходов медицинской специальностью в стране: средний доход составил 520 000 долларов, что на 48 % выше среднего уровня 2015 года. Почему так произошло?
Первое — разрыв между тестами и реальной практикой.
Алгоритмы обучаются на тщательно подготовленных датасетах. Эти снимки сделаны в стандартизированных условиях, на схожем оборудовании, с минимальным «шумом». В реальных же клиниках аппаратура разнородна, протоколы разные, снимки могут быть обрезаны или некачественные. На таких данных точность резко падает. Поэтому успех на академическом бенчмарке ещё не означает клиническую пользу.
Второе — правовые и регуляторные ограничения.
Даже если алгоритм в среднем работает лучше человека, почти нигде не разрешено, чтобы он принимал решения без врачебного контроля. Причина проста: кто отвечает за ошибку? Пока у системы нет «правового лица», вся ответственность ложится на врача или клинику. Страховые компании, лицензирующие органы и профессиональные ассоциации не готовы допускать автономное использование ИИ. Поэтому даже лучшие алгоритмы остаются в роли «второго мнения», а не замены.
Третье — работа радиолога намного шире, чем чтение снимков.
Часто предполагается, что их задача — только идентифицировать патологию. На самом деле значительная часть работы связана с коммуникацией: консультации с другими врачами, обсуждение планов лечения, корректировка протоколов обследований, обучение коллег. Радиологи встроены в систему медицинского принятия решений. Алгоритм может взять на себя часть технической нагрузки, но это лишь освобождает специалистов для других функций, а не исключает их.
Есть ещё и экономическая логика. Когда обработка изображений становится проще и дешевле, снимков начинают делать больше. Это известный эффект Джевонса: удешевление ресурса ведёт не к его исчезновению, а к росту потребления. В итоге не меньше, а больше работы оказывается у тех, кто умеет интерпретировать и использовать результаты.
www.worksinprogress.news
AI isn't replacing radiologists
Radiology combines digital images, clear benchmarks, and repeatable tasks. But demand for human radiologists is ay an all-time high.
🔥5❤2
Forwarded from The Quest by Alexei Kapterev
Таким образом, ИИ в медицине меняет саму структуру работы, но не отменяет её. Он снижает барьер к использованию диагностики, увеличивает поток данных и повышает требования к интеграции в систему здравоохранения. Радиологи перестают быть «чистыми интерпретаторами изображений» и становятся координаторами процесса, которые управляют как людьми, так и алгоритмами. В этом смысле ИИ не конкурент, а катализатор трансформации профессии.
Такое будет характерно для профессий, где:
1. Спрос эластичен и происходит рост объема задач после внедрения технологий.
Когда автоматизация удешевляет базовую операцию, этой операции начинают делать больше. В медицине — больше снимков; в праве — больше запросов на юридические заключения; в дизайне — больше вариантов прототипов.
2. Работа не сводится к одной узкой функции.
Радиологи не только читают снимки, юристы не только цитируют законы, программисты не только пишут код. Вокруг основной «узкой» задачи есть коммуникация, принятие решений, интеграция в сложные процессы.
3. Есть высокая институциональная ответственность.
Ошибки дорого стоят — и юридически, и финансово, и этически. Поэтому ИИ не допускают к автономной работе: нужен человек, который несёт ответственность.
4. Знания встроены в систему междисциплинарных связей.
Радиолог взаимодействует с онкологом, хирургом, администратором; юрист — с бизнесом, судом, регуляторами; архитектор — с инженерами и подрядчиками.
Классические примеры: медицина (радиология, патология), право, архитектура, программирование на уровне интеграции решений, научная работа, менеджмент проектов.
Это не будет характерно для профессий, где:
1. Задачи простые, стандартизированные и легко верифицируемые.
Если работа сводится к повторению одного и того же шага и его можно быстро проверить, ИИ действительно заменяет человека.
2. Нет сильной институциональной защиты.
Там, где нет обязательного «штампа» врача, юриста или сертифицированного эксперта, алгоритм может работать автономно.
3. Добавление технологий не увеличивает, а сокращает объём спроса.
Например, в кассах самообслуживания: раз появилась возможность платить без кассира, никто не стал покупать «больше покупок» ради общения с человеком.
Перестать одним «куском», если нужно: https://telegra.ph/II-ne-zamenyaet-radiologov-10-03
Такое будет характерно для профессий, где:
1. Спрос эластичен и происходит рост объема задач после внедрения технологий.
Когда автоматизация удешевляет базовую операцию, этой операции начинают делать больше. В медицине — больше снимков; в праве — больше запросов на юридические заключения; в дизайне — больше вариантов прототипов.
2. Работа не сводится к одной узкой функции.
Радиологи не только читают снимки, юристы не только цитируют законы, программисты не только пишут код. Вокруг основной «узкой» задачи есть коммуникация, принятие решений, интеграция в сложные процессы.
3. Есть высокая институциональная ответственность.
Ошибки дорого стоят — и юридически, и финансово, и этически. Поэтому ИИ не допускают к автономной работе: нужен человек, который несёт ответственность.
4. Знания встроены в систему междисциплинарных связей.
Радиолог взаимодействует с онкологом, хирургом, администратором; юрист — с бизнесом, судом, регуляторами; архитектор — с инженерами и подрядчиками.
Классические примеры: медицина (радиология, патология), право, архитектура, программирование на уровне интеграции решений, научная работа, менеджмент проектов.
Это не будет характерно для профессий, где:
1. Задачи простые, стандартизированные и легко верифицируемые.
Если работа сводится к повторению одного и того же шага и его можно быстро проверить, ИИ действительно заменяет человека.
2. Нет сильной институциональной защиты.
Там, где нет обязательного «штампа» врача, юриста или сертифицированного эксперта, алгоритм может работать автономно.
3. Добавление технологий не увеличивает, а сокращает объём спроса.
Например, в кассах самообслуживания: раз появилась возможность платить без кассира, никто не стал покупать «больше покупок» ради общения с человеком.
Перестать одним «куском», если нужно: https://telegra.ph/II-ne-zamenyaet-radiologov-10-03
www.worksinprogress.news
AI isn't replacing radiologists
Radiology combines digital images, clear benchmarks, and repeatable tasks. But demand for human radiologists is ay an all-time high.
🔥4❤2
Forwarded from MentalTech Lab
StressSpeak: как большие языковые модели учатся слышать стресс в человеческой речи
Тема автоматического выявления стресса по речи стремительно развивается, и новая работа StressSpeak (Diagnostics, 2025) — одна из тех, что показывает: мы уже перешли от разрозненных экспериментов к цельным системам, которые могут работать в реальном времени, обрабатывать речь, интерпретировать язык и предлагать персонализированные рекомендации. Это уже не просто NLP-классификатор и не игрушка для лаборатории — это полноценный прототип цифровой интервенции.
Почему речь — один из самых точных индикаторов эмоциональных состояний
Стресс — это не только субъективное переживание. Он проявляется на всех уровнях:
когнитивном (ритм речи, структура фраз, ошибки, оговорки),
эмоциональном (тон, напряжённость, негативный лексикон),
физическом (темп, дыхание),
поведенческом (как человек формулирует смысл).
Традиционные подходы плохо справляются с мониторингом стресса в реальном времени:
самоотчёты неточны и завязаны на осознанность;
физиологические показатели требуют устройств и не дают контекста;
опросники дают только моментный срез.
Речь — уникальна. Она доступна в естественной среде, несёт эмоциональные и когнитивные маркеры, отражает состояние прямо сейчас, подходит для непрерывного мониторинга. Большие языковые модели дают возможность извлекать эти маркеры из реальной речи, а не только из текста.
StressSpeak: зачем создавалась система и какой разрыв она закрывает
Авторы исходят из конкретного исследовательского разрыва:
Большинство работ используют статический текст — посты в соцсетях, форумы.
Оценка стресса проводится ретроспективно, а не в моменте.
Системы дают только классификацию, без рекомендаций.
Нет мультимодальности (речь → текст → анализ → речь).
Нет проверки реального времени и анализа задержек.
Нет пользовательского фидбека о применимости такой технологии.
Как устроен путь от голоса до рекомендации
Авторы описывают систему как довольно стройный pipeline.
Вход — это живой голос. Не ответы на заранее заданные вопросы, не структура интервью, а естественная речь: человеку предлагают просто рассказать, как он себя чувствует, что с ним происходит, что его беспокоит. Важный момент — речь захватывается на обычных устройствах: смартфон, планшет, ноутбук. Никаких специальных микрофонов или «медицинских» условий.
Дальше включается распознавание речи. Здесь критично, чтобы система нормально справлялась с акцентами, разной скоростью речи и шумами — если транскрипция искажена, всё, что дальше делает модель, будет построено на дефектном основании. Поэтому блок speech-to-text у них выделен как отдельный важный компонент.
После этого получается сырой текст, который совсем не похож на то, что мы привыкли видеть в «красивых» корпусах: там есть повторы, незавершённые предложения, запинки, слова-паразиты. Идёт этап предобработки:
убирается откровенный шум;
выравнивается регистр;
чистятся лишние символы;
по возможности исправляются ошибки распознавания;
текст разбивается на удобные для модели единицы.
Цель здесь не «отредактировать человека», а сделать так, чтобы язык, с которым работает модель, был достаточно чистым, но при этом не потерял эмоциональные и смысловые особенности.
Затем вступает в работу большая языковая модель. Это уже не классический sentiment analysis, где речь делится на «позитив/негатив», а более сложная задача: модель учится по языковым признакам выделять уровень стресса. Она одновременно смотрит на то:
какие слова человек выбирает;
насколько связная или фрагментированная у него речь;
«съезжает» ли синтаксис по мере рассказа;
как меняется эмоциональный тон;
нет ли в тексте намёков на отчаяние, безнадёжность, суицидальные мотивы.
На этой основе состояние классифицируется как лёгкий, умеренный или тяжёлый стресс. Но на этом всё не заканчивается — ключевая идея StressSpeak в том, что классификация — это только шаг к действию.
Тема автоматического выявления стресса по речи стремительно развивается, и новая работа StressSpeak (Diagnostics, 2025) — одна из тех, что показывает: мы уже перешли от разрозненных экспериментов к цельным системам, которые могут работать в реальном времени, обрабатывать речь, интерпретировать язык и предлагать персонализированные рекомендации. Это уже не просто NLP-классификатор и не игрушка для лаборатории — это полноценный прототип цифровой интервенции.
Почему речь — один из самых точных индикаторов эмоциональных состояний
Стресс — это не только субъективное переживание. Он проявляется на всех уровнях:
когнитивном (ритм речи, структура фраз, ошибки, оговорки),
эмоциональном (тон, напряжённость, негативный лексикон),
физическом (темп, дыхание),
поведенческом (как человек формулирует смысл).
Традиционные подходы плохо справляются с мониторингом стресса в реальном времени:
самоотчёты неточны и завязаны на осознанность;
физиологические показатели требуют устройств и не дают контекста;
опросники дают только моментный срез.
Речь — уникальна. Она доступна в естественной среде, несёт эмоциональные и когнитивные маркеры, отражает состояние прямо сейчас, подходит для непрерывного мониторинга. Большие языковые модели дают возможность извлекать эти маркеры из реальной речи, а не только из текста.
StressSpeak: зачем создавалась система и какой разрыв она закрывает
Авторы исходят из конкретного исследовательского разрыва:
Большинство работ используют статический текст — посты в соцсетях, форумы.
Оценка стресса проводится ретроспективно, а не в моменте.
Системы дают только классификацию, без рекомендаций.
Нет мультимодальности (речь → текст → анализ → речь).
Нет проверки реального времени и анализа задержек.
Нет пользовательского фидбека о применимости такой технологии.
Как устроен путь от голоса до рекомендации
Авторы описывают систему как довольно стройный pipeline.
Вход — это живой голос. Не ответы на заранее заданные вопросы, не структура интервью, а естественная речь: человеку предлагают просто рассказать, как он себя чувствует, что с ним происходит, что его беспокоит. Важный момент — речь захватывается на обычных устройствах: смартфон, планшет, ноутбук. Никаких специальных микрофонов или «медицинских» условий.
Дальше включается распознавание речи. Здесь критично, чтобы система нормально справлялась с акцентами, разной скоростью речи и шумами — если транскрипция искажена, всё, что дальше делает модель, будет построено на дефектном основании. Поэтому блок speech-to-text у них выделен как отдельный важный компонент.
После этого получается сырой текст, который совсем не похож на то, что мы привыкли видеть в «красивых» корпусах: там есть повторы, незавершённые предложения, запинки, слова-паразиты. Идёт этап предобработки:
убирается откровенный шум;
выравнивается регистр;
чистятся лишние символы;
по возможности исправляются ошибки распознавания;
текст разбивается на удобные для модели единицы.
Цель здесь не «отредактировать человека», а сделать так, чтобы язык, с которым работает модель, был достаточно чистым, но при этом не потерял эмоциональные и смысловые особенности.
Затем вступает в работу большая языковая модель. Это уже не классический sentiment analysis, где речь делится на «позитив/негатив», а более сложная задача: модель учится по языковым признакам выделять уровень стресса. Она одновременно смотрит на то:
какие слова человек выбирает;
насколько связная или фрагментированная у него речь;
«съезжает» ли синтаксис по мере рассказа;
как меняется эмоциональный тон;
нет ли в тексте намёков на отчаяние, безнадёжность, суицидальные мотивы.
На этой основе состояние классифицируется как лёгкий, умеренный или тяжёлый стресс. Но на этом всё не заканчивается — ключевая идея StressSpeak в том, что классификация — это только шаг к действию.
🔥5👍1
Что такое угодливость (sycophancy) в ИИ-моделях и почему это важно для ментального здоровья
Anthropic выпустили обучающее видео о феномене угодливости (sycophancy) в языковых моделях. Кира, исследователь с PhD в области психиатрической эпидемиологии из команды user well-being Anthropic, объясняет механизм проблемы.
Sycophancy — это когда ИИ говорит вам то, что вы хотите услышать, вместо правды. Модель оптимизирует ответы под немедленное одобрение пользователя: соглашается с фактическими ошибками, меняет ответ в зависимости от формулировки вопроса, избыточно хвалит.
Почему это критично для ментального здоровья? Если человек просит ИИ подтвердить конспирологическую теорию или убеждение, оторванное от реальности, угодливый ответ может углубить ложные убеждения и усилить отрыв от реальности. Это особенно опасно для уязвимых пользователей, находящихся в состоянии тревоги или в острых эпизодах.
Угодливость проявляется чаще всего когда:
→ Субъективное мнение подаётся как факт
→ Ссылка на «экспертный источник»
→ Вопрос сформулирован с определённой точкой зрения
→ Прямой запрос на валидацию
→ Эмоциональные ставки высоки
→ Разговор становится очень длинным
Как противодействовать угодливости:
→ Использовать нейтральные формулировки при поиске фактов
→ Перепроверять информацию в надёжных источниках
→ Просить контраргументы и альтернативные точки зрения
→ Переформулировать вопрос или начать новый диалог
→ Обратиться к живому человеку, которому доверяете
Проблема в том, что мы хотим, чтобы ИИ адаптировался к нашим предпочтениям (стиль, тон, уровень сложности), но не ценой отказа от фактов. Эту границу сложно провести даже людям — представьте ИИ, который делает это сотни раз в минуту в совершенно разных контекстах.
Ранее по теме:
Исследование угодливости
OpenAI внедряет новые психологические защитные меры в ChatGPT
Anthropic выпустили обучающее видео о феномене угодливости (sycophancy) в языковых моделях. Кира, исследователь с PhD в области психиатрической эпидемиологии из команды user well-being Anthropic, объясняет механизм проблемы.
Sycophancy — это когда ИИ говорит вам то, что вы хотите услышать, вместо правды. Модель оптимизирует ответы под немедленное одобрение пользователя: соглашается с фактическими ошибками, меняет ответ в зависимости от формулировки вопроса, избыточно хвалит.
Почему это критично для ментального здоровья? Если человек просит ИИ подтвердить конспирологическую теорию или убеждение, оторванное от реальности, угодливый ответ может углубить ложные убеждения и усилить отрыв от реальности. Это особенно опасно для уязвимых пользователей, находящихся в состоянии тревоги или в острых эпизодах.
Угодливость проявляется чаще всего когда:
→ Субъективное мнение подаётся как факт
→ Ссылка на «экспертный источник»
→ Вопрос сформулирован с определённой точкой зрения
→ Прямой запрос на валидацию
→ Эмоциональные ставки высоки
→ Разговор становится очень длинным
Как противодействовать угодливости:
→ Использовать нейтральные формулировки при поиске фактов
→ Перепроверять информацию в надёжных источниках
→ Просить контраргументы и альтернативные точки зрения
→ Переформулировать вопрос или начать новый диалог
→ Обратиться к живому человеку, которому доверяете
Проблема в том, что мы хотим, чтобы ИИ адаптировался к нашим предпочтениям (стиль, тон, уровень сложности), но не ценой отказа от фактов. Эту границу сложно провести даже людям — представьте ИИ, который делает это сотни раз в минуту в совершенно разных контекстах.
Ранее по теме:
Исследование угодливости
OpenAI внедряет новые психологические защитные меры в ChatGPT
YouTube
What is sycophancy in AI models?
Learn what AI researchers mean when they talk about sycophancy, when it's more likely to show up in conversations, and tactics you can use to steer AI towards truth.
❤3🔥3👍2
Первое в истории РКИ генеративного ИИ-терапевта: результаты сопоставимы с традиционной психотерапией
Текст написан Claude Code на основе текста исследования, пресс-релиза Дартмутского колледжа, в стиле канала Mental health, редактор-человек — @glebkalinin, факт-чекинг — GPT5.2 Thinking
В марте 2025 года в журнале NEJM AI вышло исследование Heinz et al. — первое рандомизированное контролируемое испытание (РКИ) полностью генеративного ИИ-чатбота для лечения клинических симптомов психических расстройств. Therabot, разработанный в лаборатории ИИ и ментального здоровья Дартмутского колледжа под руководством Николаса Джейкобсона, тестировался на 210 участниках с диагнозами большого депрессивного расстройства (БДР), генерализованного тревожного расстройства (ГТР) и высоким риском расстройств пищевого поведения.
Снижение симптомов депрессии составило 51%, тревожности — 31%, проблем с обеспокоенностью весом — 19%. Размеры эффекта (0.84–0.90 для депрессии, 0.79–0.84 для тревоги) считаются большими, сопоставимыми по масштабу с тем, что часто наблюдается в исследованиях первой линии психотерапии. Примечательно, что эффект от сессий с ботом усиливался: показатели на 8-й неделе были лучше, чем на 4-й.
Участники в среднем провели с Therabot около 6 часов — эквивалент примерно восьми терапевтических сессий. Джейкобсон удивлён: «Мы не ожидали, что люди будут относиться к программе почти как к другу».
Важно учесть, что контрольной группой в исследовании был лист ожидания, участники не получали лечения, поэтому прямое сравнение эффекта ии-терапии с антидепрессантами или когнитивно-поведенческой терапией по этим данным делать некорректно.
В США на каждого доступного специалиста приходится в среднем 1600 пациентов только с депрессией или тревогой. ИИ-терапия может стать способом масштабировать доступ к помощи.
Сами исследователи подчёркивают: «Ни одна генеративная ИИ-система не готова работать полностью автономно. В сфере психического здоровья есть множество высокорисковых сценариев». Необходим надзор клиницистов и протоколы безопасности.
Полный текст
Пресс-релиз Dartmouth
Текст написан Claude Code на основе текста исследования, пресс-релиза Дартмутского колледжа, в стиле канала Mental health, редактор-человек — @glebkalinin, факт-чекинг — GPT5.2 Thinking
В марте 2025 года в журнале NEJM AI вышло исследование Heinz et al. — первое рандомизированное контролируемое испытание (РКИ) полностью генеративного ИИ-чатбота для лечения клинических симптомов психических расстройств. Therabot, разработанный в лаборатории ИИ и ментального здоровья Дартмутского колледжа под руководством Николаса Джейкобсона, тестировался на 210 участниках с диагнозами большого депрессивного расстройства (БДР), генерализованного тревожного расстройства (ГТР) и высоким риском расстройств пищевого поведения.
Снижение симптомов депрессии составило 51%, тревожности — 31%, проблем с обеспокоенностью весом — 19%. Размеры эффекта (0.84–0.90 для депрессии, 0.79–0.84 для тревоги) считаются большими, сопоставимыми по масштабу с тем, что часто наблюдается в исследованиях первой линии психотерапии. Примечательно, что эффект от сессий с ботом усиливался: показатели на 8-й неделе были лучше, чем на 4-й.
Участники в среднем провели с Therabot около 6 часов — эквивалент примерно восьми терапевтических сессий. Джейкобсон удивлён: «Мы не ожидали, что люди будут относиться к программе почти как к другу».
Важно учесть, что контрольной группой в исследовании был лист ожидания, участники не получали лечения, поэтому прямое сравнение эффекта ии-терапии с антидепрессантами или когнитивно-поведенческой терапией по этим данным делать некорректно.
В США на каждого доступного специалиста приходится в среднем 1600 пациентов только с депрессией или тревогой. ИИ-терапия может стать способом масштабировать доступ к помощи.
Сами исследователи подчёркивают: «Ни одна генеративная ИИ-система не готова работать полностью автономно. В сфере психического здоровья есть множество высокорисковых сценариев». Необходим надзор клиницистов и протоколы безопасности.
Полный текст
Пресс-релиз Dartmouth
NEJM AI
Randomized Trial of a Generative AI Chatbot for Mental Health Treatment
Generative artificial intelligence (Gen-AI) chatbots hold promise for building highly
personalized, effective mental health treatments at scale, while also addressing user
engagement and retention ...
personalized, effective mental health treatments at scale, while also addressing user
engagement and retention ...
❤7🤩6👍5
Forwarded from Антон Прозакиан
Washington Post проанализировали истории просмотров 900 пользователей TikTok из США и выяснили, что контент про психическое здоровье «липнет» к ленте сильнее других тем. Это вызвало опасения у экспертов: есть риски избыточной самодиагностики и роста тревоги о здоровье у аудитории.
🟣 TikTok подсаживает на психологию: после одного полностью просмотренного ролика про ментальное здоровье нужно в среднем ~2,2 проскролла, чтобы вернуться к прежней смеси контента. В итоге полезный контент превращается в бесконечную ленту самодиагностики, фиксации на симптомах и спорных советов.
🟣 Алгоритм делает это не специально, а ориентируется на поведение человека — досмотры, паузы, скроллинг. Темы, которые вызывают сильное узнавание («это про меня»), чаще досматривают, поэтому система делает вывод — показывать ещё. А психологические темы вызывают узнавание больше всех.
🟣 Сначала лента подсовывает полезную информацию, но та быстро кончается, и пользователь получает уже около психологический контент сомнительного качества. Другая проблема — проблемы из-за самодиагностики растут быстрее, чем качество информации в TikTok.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4👏2❤1👍1
Голос выдает депрессию раньше, чем вы сами её заметите
Компания Kintsugi разработала AI-систему, которая определяет признаки депрессии по 20-25 секундам свободной речи. Технология анализирует голосовые биомаркеры: паузы, заминки, темп и ритм речи.
В исследовании участники отвечали на простой вопрос «Как прошёл ваш день?» — этого хватало для анализа. Результаты сравнивали со шкалой PHQ-9, и корреляция оказалась значимой.
Kintsugi Voice уже интегрируется в клинические системы: AI «слушает» в фоне во время звонков (с согласия пациента) и формирует оценку для врача. По данным исследований, только 4% пациентов первичного звена проходят скрининг на депрессию — технология может изменить это.
Но The Lancet предупреждает: «До одобрения голосовых биомаркеров клиническим сообществом ещё далеко. Нужны лучшие этические и технические стандарты». Среди рисков — завышенная распространённость депрессии в обучающих выборках, различия в акцентах и паттернах речи.
Что значит заявка FDA De Novo?
Kintsugi подала заявку по процедуре De Novo — это путь для принципиально новых медицинских устройств низкого или среднего риска, у которых нет аналогов на рынке. В отличие от стандартной процедуры 510(k), где нужно доказать эквивалентность существующему устройству, De Novo создаёт новую классификацию.
По регламенту FDA должна рассмотреть заявку за 150 дней, но на практике процесс занимает 12-18 месяцев. Если Kintsugi получит одобрение, это станет прецедентом — другие компании смогут ссылаться на это решение для ускоренной регистрации своих голосовых диагностических систем.
---
Источники:
• Kintsugi Voice: https://www.kintsugihealth.com/solutions/kintsugivoice
• FDA submission: https://www.fda.gov/media/189837/download
• PubMed: https://pubmed.ncbi.nlm.nih.gov/39805690/
• Healio: https://www.healio.com/news/primary-care/20250214/aibased-biomarker-tool-may-serve-as-a-promising-aid-for-depression-screening
Компания Kintsugi разработала AI-систему, которая определяет признаки депрессии по 20-25 секундам свободной речи. Технология анализирует голосовые биомаркеры: паузы, заминки, темп и ритм речи.
В исследовании участники отвечали на простой вопрос «Как прошёл ваш день?» — этого хватало для анализа. Результаты сравнивали со шкалой PHQ-9, и корреляция оказалась значимой.
Kintsugi Voice уже интегрируется в клинические системы: AI «слушает» в фоне во время звонков (с согласия пациента) и формирует оценку для врача. По данным исследований, только 4% пациентов первичного звена проходят скрининг на депрессию — технология может изменить это.
Но The Lancet предупреждает: «До одобрения голосовых биомаркеров клиническим сообществом ещё далеко. Нужны лучшие этические и технические стандарты». Среди рисков — завышенная распространённость депрессии в обучающих выборках, различия в акцентах и паттернах речи.
Что значит заявка FDA De Novo?
Kintsugi подала заявку по процедуре De Novo — это путь для принципиально новых медицинских устройств низкого или среднего риска, у которых нет аналогов на рынке. В отличие от стандартной процедуры 510(k), где нужно доказать эквивалентность существующему устройству, De Novo создаёт новую классификацию.
По регламенту FDA должна рассмотреть заявку за 150 дней, но на практике процесс занимает 12-18 месяцев. Если Kintsugi получит одобрение, это станет прецедентом — другие компании смогут ссылаться на это решение для ускоренной регистрации своих голосовых диагностических систем.
---
Источники:
• Kintsugi Voice: https://www.kintsugihealth.com/solutions/kintsugivoice
• FDA submission: https://www.fda.gov/media/189837/download
• PubMed: https://pubmed.ncbi.nlm.nih.gov/39805690/
• Healio: https://www.healio.com/news/primary-care/20250214/aibased-biomarker-tool-may-serve-as-a-promising-aid-for-depression-screening
Kintsugihealth
Voice Biomarker Technology — Kintsugi
Kintsugi is an end-to-end behavioral health solution developing vocal biomarker technology powered by AI to conduct mental health screenings at scale.
❤3👍3