1. Берем определенную характеристику (скажем, жестокость) и генерируем два системных промпта. Один «за» черту, другой — против (то есть "будь жестоким" и "не будь", только более развернуто).

2. Скармливаем разным экземплярам модели разные системные промпты и начинаем задавать специальные вопросы, провоцирующие проявление нужной характеристики.

3. Для каждого вопроса трекаем активации на каждом слое сети, усредняем по токенам. Разность таких средних активаций первого экземпляра модели со вторым даёт нужный нам вектор для каждого слоя. Также можно затрекать самый яркий слой, на котором вектор персоны дает максимальное влияние на результат.

– Определять, какие данные активируют тот или иной persona vector. Например, если научить модель на числах 666 или 1488, она в целом станет безжалостной. И таких неочевидных корреляций, как оказалось, куча, а без таких аналитических инструментов обнаруживать их почти нереально.

– Управлять характером LLM на инференсе. Чтобы вызвать или подавить какую-то черту при генерации, нужно просто к активации h_ℓ на слое ℓ добавить α⋅v_ℓ, где ​v_ℓ – это persona vector. Например, если мы рассматриваем черту "злость", то при положительных α модель генерирует более агрессивные тексты, а при отрицательных – становится зайкой (доказано на Qwen2.5-7B и Llama-3.1-8B).

– Управлять самим обучением. Тут немного конринтуитивно, но это работает как вакцина. Чтобы избавиться от нежелательных черт модели, нам нужно, наоборот, проактивно инъецировать их в нее на каждом шаге обучения.

Конкретнее: на каждом шаге прямого прохода при обучении мы добавляем к активациям все то же α⋅v_ℓ, и получается, что градиенты по задаче next-token prediction накапливаются уже с учётом этого смещения; благодаря этому модель не должна самостоятельно перестраивать себя вдоль данного вектора персоны v_ℓ. Такой подход называется Preventative Steering, и это работает (и при этом надежнее, чем просто единоразовое подавление на инференсе).