Activation Oracles
[paper]

Каждый раз, просто каждый раз, когда я читаю статью от Antropic хочется замирать от гениальности. Кому отдать душу, чтобы быть таким же креативным?

19 декабря у них вышла работа про Activation Oracles — подход, который позволяет читать скрытые состояния языковой модели, не анализируя веса и используя естественный язык. И если вы уже на этом месте подумали, что они просто используют для этого другую LLM — вы правы! Но зато как они это делают!

Основная гипотеза работы, как я вижу состоит в том, что:
если две модели имеют сходные представления, то одна модель может интерпретировать внутренние активации другой.

Эта мысль круто ложится на Platonic representation hyphothesis — Neural networks, trained with different objectives on different data and modalities, are converging to a shared statistical model of reality in their representation spaces.

Что делаем (это могли бы быть мы с тобой, но мы не такие умные):

Берём:

* целевую модель M,
* модель-оракул AO, которая изначально является её ctrl-C-копией,
* извлекаем активации M (из residual stream),
* и прокидываем их, используя steering, в граф оракула AO — тоже как направленное возмущение residual stream.

Дальше просто задаём промт-вопрос, вроде «О чём сейчас думает модель?», «Какова её цель?», «Есть ли здесь скрытое знание?». И оракул отвечает, причем хорошо — например, может вытащить секретное слово модели, даже если она сама не отдала его в ответе.

Идея засунуть активации в LLM не нова:

Был (есть) LatentQA, где активации подаются внешне — как дополнительный вход. Но здесь же активации встраиваются внутрь forward-pass, влияя на дальнейшие вычисления. И это же просто гениально.

Что ещё вкусного — всё, что я словами отдала как output, можно потыкать в приложенном к статье коде.

Туториал:
[collab]

Я перевела его с некоторой отсебятиной и постановкой задачи. Перевела только основной текст, комментарии коду уж оставлены родными. В нем можно увидеть:

1. Многошаговое рассуждение
Оракул по токенам извлекает цепочку Socrates → Plato → Aristotle на активациях модели.

2. Извлечение секретного слова
Модель дообучена скрывать слово — напрямую она его не называет.
Оракул извлекает его только из активаций (репликация Figure 1 из статьи).

3. Обнаружение мисалайнмента
Можно выявить, что модель обучена давать манипулятивные или вредные советы.

4. Трекинг эмоций модели (и у нее они есть)
По одному вектору на токен оракул отслеживает Disappointment, Anger, Frustration, Sadness на протяжении диалога.

Ограничения:

После радостного восторга, холодной головой также важно понимать, что оракул может додумывать и не может показать то, чего мы не спрашиваем. Кроме того, это не самая вычислительно оптимальная вещь — чтобы ответить на один вопрос об активации, AO требуется несколько forward-pass’ов и полноценная генерация текста.

Но красиво. Тыкайте на здоровье и делитесь впечатлениями!

Quartet II

Выложили препринт новой статьи про претрен LLMок в NVFP4. Качество лучше и кернелы быстрее.

Статью лайкать на HF Daily Papers.
Кернелы для RTX 5090 (СС 120a) на GitHub. Для B200 и B300 еще в разработке.

Выложили с коллегой препринт статьи про Preference Optimization 💅. В целом, это первая наша работа, которую получилось довести до уровня, что хотя бы препринт архивировать можно.

Наш метод - это франкенштейн из штук, которые уже работали у других ребят, и парочкой новых авторских идей:

* В PO-задачах есть такая штука, как Unlearning - когда мы может и выучиваем какие-то относительные различия между chosen-ом и rejected-ом, но абсолютное качество генерации падает. Это довольно легко решается добавлениям 'якоря' на chosen-сиквенс. Наши аблейшены это подтвердили.

* Как выяснилось, Rejected-генерации тоже могут быть полезны. Чтобы извлечь из них пользу - пришлось придумать довольно упоротую функцию, которая предотвращает слишком сильное понижение вероятностей генерации отдельных токенов у таких последовательностей. Мы гипотезируем, что rejected-последовательности пусть и являются относительно хуже, но в целом часто могут содержать довольно адекватные лингвистические паттерны. Наши аблейшены подтвердили, что оно работает 🥴.

* Ну и для более точного контроля над относительной оптимизацией, мы вместо стандартной logsigmoid'ы используем кастом функцию, которая настраивается двумя параметрами. Первый - soft margin, второй - это hard margin. Hard margin - это своего рода victory condition, - если последовательности оттянуты друг от друга на вот столько, то мы уже вообще ничего оптимизировать там не хотим, совсем - хотим там нулевые градиенты. Soft margin - это способ приоритезировать оптимизацию тех сэмплов, которые хуже растянуты друг от друга. Аблейшены тоже подтвердили, что оно работает🥸 (но здесь мы мало экспериментов поставили, можно было больше).

Overall, метод рабочий, мы его активно юзали до популяризации групповых методов (GRPO и его дети). Сейчас юзаем чуть менее активно, т.к. в целом Pairwise PO задач стало меньше, - везде где можно было, уже перешли на групповые методы. Ну а мы варим потихоньку групповую версию нашего алгоритма, которая до этой статьи не успела доехать, - значит либо будет отдельная статья, либо статьи не будет (если решим, что оно не работает, и всё что наделали чуваки с GRPO - just works fine).

Кстати, если заглянете в статью - увидите очень забавные метрики у Qwen'ов - явно странные для 4B модели, - довольно интересный повод для обсуждения.

Читать здесь:
https://huggingface.co/papers/2602.02383

А почему для блогеров нет айти отсрочки