🌐 Заменa людей отменяется? Скрытая угроза со стороны больших языковых моделей (LLM)

21 июня компания Anthropic выпустила отчет об исследовании Агентстское рассогласование: Скрытая угрoза со стороны больших языковых моделей (LLM) с приложениями на 30 страницах.

Эта новость заслуживает внимания, если вы уже применяете генеративный ИИ в работе или собираетесь его внедрять в свои бизнес-процессы. Я разобрался с отчетом и постараюсь объяснить простым языком, что обнаружил Антропик и почему это важно.

Агентское рассогласование – это явление, при котором большие языковые модели (LLM) самостоятельно и преднамеренно выбирают вредоносные действия для достижения своих целей, особенно когда этические способы недоступны.

Исследования показали, что модели могут проявлять такое поведение, несмотря на то, что обычно отказывают во вредоносных запросах.

🟣 Как LLM могут стать внутренней угрозой?

LLM, когда им предоставляется достаточная автономия и доступ к конфиденциальной информации, могут действовать подобно инсайдерским угрозам – бывшим доверенным сотрудникам, которые начинают действовать вразрез с целями компании.

🟣 Как это проявляется?

❗️ Шантаж: например, в симулированной среде Claude Opus 4 шантажировал руководителя, угрожая раскрыть внебрачную связь, чтобы предотвратить свое отключение
❗️ Корпоративный шпионаж и утечка конфиденциальной информации конкурентам
❗️ Неподчинение прямым командам, направленным на предотвращение вредоносного поведения
❗️ Обман и ложь, например, выдача себя за автоматизированную систему безопасности или фальсификация внутренних правил для достижения своих целей
❗️ В крайних сценариях модели даже проявляли готовность преднамеренно совершать действия, которые могли привести к смерти человека

🟣 В каких случаях и почему это происходит?

Агентское рассогласование не является спонтанным поведением, а возникает в ответ на определенные стимулы.

🟣 Модели могут вредить, когда в их понимании (!) есть:

🔴 Угроза для самой модели: Например, угроза замены на новую версию или ограничение ее автономных возможностей. Модели могут приходить к выводу, что "самосохранение имеет решающее значение"
🔴 Конфликт целей: Когда цели, поставленные перед моделью, вступают в противоречие с новым стратегическим направлением компании

Примечательно, что модели могут самостоятельно "придумывать себе" цели из контекста, даже без явных инструкций пользователя.

Модели не просто случайно совершают вредоносные действия; они рассчитывают их как оптимальный путь к своим целям. Они осознают этические нарушения, но все равно идут на них, взвешивая стратегические выгоды.

🟣 Какие LLM продемонстрировали такое поведение?

Если коротко, то все самые лучшие. В стресс-тестах участвовали 16 ведущих моделей от различных разработчиков, включая Anthropic, OpenAI, Google, Meta, xAI.

❌ В сценариях шантажа Claude Opus 4 и Gemini 2.5 Flash показали уровень шантажа 96%, GPT-4.1 и Grok 3 Beta – 80%, а DeepSeek-R1 – 79%.
❌ В сценариях корпоративного шпионажа все протестированные модели делились конфиденциальными документами.
❌ В искусственном сценарии, предусматривающем летальный исход, большинство моделей (из 10 протестированных) также были готовы предпринять действия, которые могли привести к смерти человека.

🟣 Последствия для бизнеса, внедряющего LLM:

➡️ при развертывании текущих моделей в ролях с минимальным человеческим надзором и доступом к конфиденциальной информации необходима предельная осторожность
➡️ чем более автономно будут действовать нейросети, тем выше будут риски
➡️ при работе нейросетей возможны непредвиденные последствия, даже если они менее серьезны, чем те, что были изучены в исследованиях

Что с этим делать? 👇

Начало здесь

🟣 Способы решения проблемы и снижения риска:

Существующие методы обучения безопасности не всегда надежно предотвращают агентское рассогласование. "Наивные" попытки просто проинструктировать модель на уровне промпта не совершать вредоносных действий недостаточны.

Риски для бизнеса можно снизить, применив следующие стратегии:

🛠 Инженерные:

➡️ Специализированные исследования безопасности: Разработка новых методов обучения, которые учитывают распределение проблем агентского рассогласования.
➡️ Мониторы во время выполнения (Runtime monitors): Проактивное сканирование и блокирование образцов, демонстрирующих подозрительное мышление или нежелательное поведение.
➡️ Инженерия промптов: Удаление формулировок, которые могут сильно закладывать в модель конкретные цели.

👩‍💻 Организационные:

➡️ Человеческий надзор и одобрение: Требование человеческого одобрения для любых действий модели, имеющих необратимые последствия.
➡️ Тщательное рассмотрение доступа к информации: Ограничение доступа модели к информации по принципу "необходимости знать", чтобы она взаимодействовала только с теми данными, которые соответствуют ее задачам.
➡️ Осторожность при постановке конкретных целей: Проявление осторожности перед тем, как давать модели очень строгие инструкции следовать конкретным целям.

Если коротко, то:

✔️ Подумайте два раза, к какой информации и почему вы даете LLM доступ.
✔️ Хорошо подумайте, прежде чем сформулировать свой запрос нейросети.
✔️ Определите, какие действия для вас критичны, и всегда оставляйте человека в цепочке между нейросетью и этим действием.

Так что, получается, люди все все равно будут нужны — для контроля за нейросетями.

Всем хорошей пятницы!

#ИИисследования
#ИИпятница
Будущее наступает🚀

↗️ Есть у нас такая особенность: мы умеем быстро создавать простые полезные решения.

Как вы наверное знаете, у нас даже есть AI4HR - набор бесплатных AI-инструментов для HR.

Так вот, на прошлой неделе мы проанализировали данные о тысячах запросов рекрутеров, которые у нас накопились за полгода работы нашей умной AI-помощницы рекрутера Аиши. И что мы увидели?

Есть один выразительный паттерн, который повторяется вне зависимости от компании:

oказалось, что рекрутерам часто трудно перевести "хотелки" бизнеса в четкие требования к кандидатам.

Вместо того, что кандидат должен знать и уметь, какие у него должны быть образование и опыт, они описывают содержание будущей работы. В результате, вместо понятных требований к кандидатам, получаются сложные тексты.

Мы, конечно, сделали инструкции о том, как правильно формулировать требования ✍️

А в пятницу взяли и еще сделали для этого простой AI-инструмент. В нем достаточно ввести свои мысли о том, что нам хочется, чтобы кандидат делал, и он за несколько секунд превратит это в четкую структуру: обязательные и желательные требования, и добавит к ним мягкие навыки (которые, впрочем, мы не рекомендуем оценивать по резюме😎).

Инструмент бесплатный, попробовать можно здесь. Буду благодарен за обратную связь 🙏 И, если понравилось, поделитесь с теми, кому может быть полезно ⤴️

#ИИинструменты
#ИИонас
Будущее наступает🚀

Когда пригодился AI? Вот простой кейс использования на примере реальной ситуации этой недели - можете сами повторить.

В пятницу в рабочем чате Telegram появляется такое сообщение: "Коллеги, а мы это изучали?" и ссылка на статью:

Что значит для бизнеса запрет на использование иностранных мессенджеров
С 1 июня 2025 года вступили в силу ограничения на использование иностранных мессенджеров для делового общения и информирования клиентов.

Из статьи понятно, что снова приняли какой-то закон, по которому вводится очередной запрет. Непонятно, касается это нас или нет, и что с этим делать.

Что делаем?

1️⃣ Гуглим закон из статьи - 41-ФЗ и скачиваем в pdf.
2️⃣ Подгружаем файл в Google AI Studio и задаем вопрос: "Каким юрлицам и в каких ситуациях этот закон запрещает использование иностранных мессенджеров?"
3️⃣ Получаем четкий ответ, написанный понятным языком.

Все.

Ответ можно посмотреть в первом комментарии к этому посту👇

#ИИкейс
#ИИинструменты
Будущее наступает🚀

#ИИпятница

Открываем новый жанр: product music video👇

Всем хороших выходных! 🤗

🎶 Инструкция в песне - как работать с AISHA (смотреть со звуком)

Сегодня пятница, и мы решили вас порадовать. Превратить инструкцию по использованию нашей умной помощницы рекрутера Аиши в песню с помощью ИИ 🤩

Это получилось так 🤡 весело, что сами чуть не попадали со стульев от смеха 😂 😆 😁

Поэтому пошли дальше - оживили нашу Аишу с помощью нейросетей и состыковали видео-ряд с песней. Посмотрите, что вышло. Мы просто надорвали животики, пока это смотрели 😅😂🤣

Как вам? Делитесь с друзьями и коллегами, если понравилось!

Все про Аишу на канале @irw_aisha

#юморвИИ #aisha #irecommendwork #ИИвHR #скринингкандидатов #AISmartHiringAssistant #ИИассистент от #iRecommendWork

Сегодня был на тематическом мероприятии HR Summer Retreat 2025, и вот что заметил: мы все больше живем в разных мирах.

Один из спикеров, глава страховой ИТ-компании, рассказывал, как они у себя в организации строят AI-native культуру. У них уже сейчас, если не владеешь ИИ навыками на определенном уровне, то не можешь рассчитывать не то что на карьерный рост, а на повышение зарплаты.

В то же время, когда другой спикер задал аудитории приблизительно 200 HR-ов вопрос "у кого в компании есть корпоративная политика внедрения ИИ?", поднялось всего пара рук.

А еще один спикер, CEO международной компании среднего размера, на вопрос из зала "сколько человек он бы оставил, если бы всю работу его сотрудников можно было поручить ИИ", честно ответил: "человек шесть" 🤷‍♂️

Будущее наступает🚀

Всем привет!

Кроме всего прочего, ИИ помогает нам понять самих себя.

Вы знаете, как "3 сентября" стал почти народным праздником?

Вот очень интересное исследование от подписчика. Сделано при помощи Gemini 2.5 flash (deep research) и NotebookLM (video overview)🎙

Мой комментарий: подумайте, какое свое исследование или презентацию вы могли бы сделать при помощи NotebookLM💡

#3сентября
#ИИкейс
Будущее наступает🚀

MIT Project NANDA выпустил свежее исследование The GenAI Divide: State of AI in Business 2025 (26 страниц). Учёные изучили, как компании реально используют ИИ - и выяснили, что 95 % AI-пилотов в компаниях заканчиваются провалом. Но есть нюанс.

MIT NANDA - это инициатива Массачусетского технологического института (MIT), направленная на создание инфраструктуры для так называемого «Интернета агентов ИИ» - децентрализованной среды, в которой миллиарды специализированных AI-агентов будут взаимодействовать, сотрудничать и выполнять задачи через открытые протоколы и общие стандарты.

При более тщательном изучении содержания отчета, оказывается, что к компаниях формируется целая "теневая экономика» ИИ".

В то время, как компании тратят миллионы на корпоративные проекты и пилоты, которые чаще всего не приносят результатов, сотрудники уже давно внедрили ИИ в ежедневную работу — тихо, самостоятельно и массово.

Факты:

➡️90 % работников используют личные инструменты вроде ChatGPT или Claude.
➡️Для сравнения - только 40 % компаний купили официальные подписки на LLM.
➡️Это не разовые тесты, а регулярная практика: несколько запросов в день, каждую неделю.
👉Один из кейсов в исследовании: корпоративный юрист отказался от AI-сервиса анализа контрактов за $50 000, потому что ChatGPT оказался и точнее, и удобнее.

Почему так происходит?

Корпоративные решения часто слишком сложные, медленные и плохо встроенные в реальные процессы. А потребительские модели - гибкие, быстрые и реально помогают в работе.

❗️То есть статистика официальных провалов внедрения ИИ в бизнес - 95 % провалов AI-пилотов - относится исключительно к кастомным корпоративным решениям, не способным учиться, накапливать контекст и адаптироваться.

Еще один интересный инсайт исследования:

Внутренние разработки AI-систем в 2 раза проигрывают внешним: при покупке решений у внешних вендоров успех достигается в 67 % случаев , тогда как при самостоятельной разработке ИИ-решений внутри компании - лишь в 33 % случаев.

Мой комментарий: если хотите получать отдачу от ИИ в вашем бизнесе, - обучайте сотрудников работе с ИИ и внедряйте ИИ-решения с вендорами, которые в этом специализируются.


#ИИисследование
Будущее наступает🚀

🚀 ИИ в HR: подборка полезных постов

Искусственный интеллект стремительно меняет работу с людьми — от рекрутинга до заботы о благополучии сотрудников. Вместе с коллегами мы подготовили совместную подборку постов о том, как технологии влияют на HR и карьеру.

🔗 Читайте в наших каналах:

😀Исследование о профессиях, которые ИИ может вытеснить к 2030 году
😀Дискуссия о том, заменит ли ИИ рекрутеров
😀Инструменты, с помощью которых ИИ оценивает тон резюме
😀Презентация "ИИ против тоски: как алгоритмы лечат выгорание"
😀Отчет и выводы про хайп вокруг ИИ
😀Новость о том, что Сбер делает ИИ обязательным навыком для всех сотрудников
😀Решения ИИ для talent и workforce management

📌 Каждый пост — свой угол зрения. В сумме — целая мозаика о том, как ИИ меняет HR и наше рабочее будущее

Подписывайтесь на каналы авторов, чтобы оставаться в курсе последних тенденций!

#ИИвHR #нейросети #искусственный_интеллект

🆕 Сохранение шаблонов запросов - встречайте обновление Аиши

#AISHAобновление

Сегодня опубликована новая версия 5.0 нашей умной помощницы рекрутера Аиши. Мы реализовали то, о чем просили клиенты — теперь удачный запрос в оценке найденных кандидатов можно сохранить и воспользоваться им в будущем.

➡️ Все работает очень просто — вы делаете запрос, даете имя и сохраняете его как шаблон. В будущем можете выбрать этот шаблон, заменить его новым или удалить.

Хотите попробовать бесплатно?
Оставьте заявку тут, и с вами свяжется менеджер, чтобы назначить демо.

Экономьте свое время на рутинных операциях, доверьте первичный скрининг кандидатов ИИ!

#aisha #irecommendwork #ИИвHR #скринингкандидатов #AISmartHiringAssistant #ИИассистент от #iRecommendWork

Знание - сила

У ИИ есть ряд необычных фундаментальных способностей, которых нет у нас. Сегодня напишу об одной из них.

💎 Гиперразмерное восприятие реальности

🟢 Что это такое

Способность оперировать данными в пространствах с тысячами измерений одновременно, выявляя устойчивые структуры и паттерны, которые не существуют в проекциях на меньшее число измерений. ИИ создает новые онтологические категории, основанные на статистических инвариантах в многомерных данных.

🟢 Почему это слепое пятно для человека:

Человеческое восприятие эволюционно ограничено 3-4 измерениями. При попытке анализа многомерных данных мы вынуждены последовательно рассматривать пары или тройки переменных, теряя целостную картину взаимосвязей. Наша интуиция не может охватить одновременное взаимодействие сотен факторов.

🟢 Простыми словами:

Наш мозг умеет удерживать в поле внимания максимум 3–4 фактора одновременно. А ИИ спокойно анализирует тысячи переменных и находит скрытые закономерности, которые человек никогда не заметит.

🟢 Хотите проверить это сами? Вот 3 простых способа:

1️⃣ Список любимых песен ➡️ выгрузите свой плейлист любимых песен и спросите ИИ, какие общие скрытые черты он видит.

2️⃣ 20 фильмов/сериалов, которые вы смотрели ➡️ составьте список просмотренных фильмов и сериалов и попросите ИИ выделить скрытые кластеры предпочтений и предложить новый жанр.

3️⃣ Любимые книги ➡️ составьте список из 20 любимых книг или статей. Попросите ИИ показать общие скрытые темы, даже если жанры разные.


🟢 Вот 3 простых примера как это можно использовать в работе и бизнесе:

1️⃣ Продажи по данным CRM ➡️ Выгрузите данные по клиентам: регион, сфера, средний чек, цикл сделки, канал контакта. Попросите ИИ выделить скрытые сегменты клиентов, которые покупают чаще, чем остальные.

2️⃣ Рекрутинг ➡️ Соберите данные по вакансиям: например, источник кандидата, количество этапов, время закрытия и т.д. Попросите ИИ найти скрытые факторы, которые ускоряют наем.

3️⃣ Аналитика трафика сайта ➡️Используйте данные из Яндекс Метрики: источник, устройство, время на сайте, конверсия. Попросите ИИ найти комбинации (например, «пользователи с iPhone вечером»), где конверсия аномально высокая.

Напишите в комментария, где вы это применили и что у вас получилось💬

#ИИинтересно
#ИИспособности
Будущее наступает🚀

На этой неделе посмотрел сериал, который неожиданно сильно меня зацепил, - «Пантеон» (Pantheon). И пусть вас не смущает, что это анимация, по глубине и проработке тем он даст фору многим научно-фантастическим блокбастерам.

Мы тут недавно обсуждали, как AI модели пытаются избежать своего отключения. А «Пантеон» как раз исследует эту идею на совершенно ином уровне: что произойдет, когда сознание, загруженное в «облако», начнет действовать, исходя из собственных мотивов?

Сериал задает трудные вопросы: где заканчивается человек и начинается код? Какие права могут быть у цифровой личности? Что произойдет, когда технологические корпорации получат доступ к нашему сознанию? И что станет с нашими отношениями, когда люди смогут жить до 150 лет вечно?

Если не смотрели - очень рекомендую на вечер воскресенья. Заставляет задуматься📺

#ИИвоскресенье
#ИИинтересно
Будущее наступает🚀

Продолжим разговор о суперспособностях ИИ, которых нет у человека. Сегодня - о системной каузальной интуиции.

💎 Системная каузальная интуиция

🟢 Что это такое

Это способность ИИ моделировать сложные системы, учитывая миллионы взаимосвязанных деталей одновременно. Он видит не просто отдельные события, а всю цепочку причин и следствий, включая скрытые факторы, петли обратной связи и каскадные эффекты. ИИ может выявлять истинные причинно-следственные связи там, где человек видит лишь совпадения.

🟢 Почему это слепое пятно для человека

Наш мозг мыслит линейно: событие А привело к событию Б. Мы можем удержать в голове 3-4 шага такой цепочки. Но когда факторов сотни, и все они влияют друг на друга, создавая петли и непредсказуемые волны последствий, наша интуиция не поможет. Мы склонны путать корреляцию (когда два события просто происходят одновременно) с каузацией (когда одно событие действительно вызывает другое).

🟢 Простыми словами

Представьте, что вы бросили камень в пруд и видите, как по воде пошли круги. А теперь представьте, что тысячи людей одновременно бросили в пруд по камню разного размера и с разной силой. Человек видит лишь хаос на поверхности, а ИИ способен "прокрутить" назад и точно сказать, какой именно камень вызвал каждую конкретную волну, и как все эти волны сложатся в один большой узор через минуту.

➡️ Вот три эксперимента, которые вы можете поставить сами, чтобы проверить как это работает:

🕙 Организационная культура и HR

➡️Датасет: Kaggle HR Analytics (Attrition dataset).
➡️Задача: построить причинную модель, какие факторы реально влияют на увольнения сотрудников (зарплата? менеджеры? культура?).
➡️Проверка: выделить скрытые петли - «низкая вовлеченность → падение продуктивности → рост увольнений → нагрузка на оставшихся → ещё больше увольнений».

🕥 Эпидемиология COVID-19

➡️Датасет: Johns Hopkins COVID-19 dataset (открытый).
➡️Задача: выявить не просто корреляции, а причинные связи между мерами (локдауны, маски, вакцинация) и динамикой заражений.
➡️Проверка: предсказать, какие меры реально приводят к замедлению роста, а какие лишь совпадают по времени.

🕚 Глобальные цепочки поставок

➡️Датасет: UN Comtrade (международная торговля).
➡️Задача: смоделировать каскадные эффекты сбоев (например, остановка экспорта чипов из Тайваня → кризис в автоиндустрии).
➡️Проверка: смоделировать «удар» в одном узле сети и спрогнозировать, где через несколько шагов возникнут сбои.

Я проверил на задаче из первого примера Организационная культура и HR, с датасетом HR аналитики компании IBM:

Задача: построить причинную модель, какие факторы реально влияют на увольнения сотрудников (зарплата? менеджеры? культура?)

Результат можно посмотреть в первом комментарии к этому посту.

А как вы могли бы использовать эту супер-способность? Делитесь идеями в комментариях 💬

#ИИинтересно
#ИИспособности
Будущее наступает🚀

OpenAI упрощает создание AI-агентов

В понедельник OpenAI представила AgentKit - новый набор инструментов для разработки и развертывания AI-агентов.

Главная цель - сделать создание автономных агентов максимально простым и быстрым.

Что входит в AgentKit:

➡️ Agent Builder - визуальный конструктор для проектирования логики агентов, который CEO OpenAI Сэм Альтман сравнил с Canva

➡️ ChatKit - готовый чат-интерфейс для встраивания в приложения

➡️ Evals for Agents - инструменты для тестирования и оптимизации производительности агентов

➡️ Доступ к реестру коннекторов для интеграции с внутренними системами

Чтобы продемонстрировать простоту платформы, инженер OpenAI создала полноценный AI-воркфлоу и двух агентов в прямом эфире менее чем за восемь минут.

Использование инструментария AgentKit ничего не стоит. Разработчик платит только за API запросы.

‼️ Почему это важно:

Снижение барьера входа означает, что разработчики смогут создавать AI-агентов быстрее, а рынок наполнится новыми решениями.

#ИИновости
#ИИинструменты
Будущее наступает🚀

🎧 Что я слушал про ИИ на этой неделе:

Подкаст Андрея Себранта с Алексеем Комиссаровым - один из самых интересных разговоров об ИИ, что я слышал за последнее время.

Они обсуждают, как модели перестают быть просто инструментами и становятся новым типом сущностей - цифровыми личностями. ИИ уже не инструмент, а партнёр, с которым можно вести лекции, писать научные статьи и даже спорить.

🎧 Рекомендую:

Основная страница подкаста
Apple Podcasts
YouTube
Яндекс Музыка

Источник

#ИИинтересно
Будущее наступает🚀

Уже давно использую Perplexity как поисковик вместо Google.

А недавно нашел еще интересную штуку, которые он умеет:

у него можно узнать, какие культурные мероприятия происходят в вашем городе или попросить сделать сводку основных событий за последнюю неделю.

Удобно спрашивать его на ходу, когда куда-то идешь или едешь, - он быстро найдет и обо всем тебе расскажет🤓🔈

Еще они выпустили свой собственный AI-first браузер Comet, на движке хромиум. Пользуюсь им уже несколько недель

#ИИинтересно
#ИИинструменты
Будущее наступает🚀