Илья Суцкевер прокомментировал замедление скейлинга моделей

Недавняя статья The Information, о которой мы писали здесь, наделала в сообществе много шума. Суть материала в том, что модели OpenAI больше не масштабируются с ростом количества обучающих данных так, как это работало раньше. Возможно, это связано с тем, что из-за недостатка данных в датасеты добавляют много синтетики от других моделей; возможно, с чем-то еще. Известно, что в OpenAI даже создали новую команду, которая будет работать над решением проблемы.

Ну а пока суть да дело, ситуацию активно обсуждают в том числе крупные исследователи. Даже Илья Суцкевер подключился. Вот какой комментарий он дал Reuters (свободный перевод):

«2010-е годы были эпохой масштабирования, а теперь мы снова вернулись в эпоху открытий. Все ищут что-то новое. Масштабировать правильно правильные вещи сейчас важнее, чем когда-либо».

Размыто, конечно, но, видимо, имеется в виду, что скейлинг в претрейне (то есть тот самый скейлинг на обучающих данных) сейчас действительно выжат на максимум, и нам стоит сконцентрироваться на чем-то другом.

OpenAI, вероятно, те самые "правильные вещи" видят в ризонинге в стиле o1 и в чем-то вроде test-time training, статью о котором мы разбирали буквально вчера. Хотя сама компания комментариев не дает, об этом напрямую заявил GTM OpenAI в твиттере. Он написал, что "Масштабирование просто нашло другой набор шестеренок в виде inference time обучения".

Вышел Qwen2.5-Coder

Там целое семейство: 0.5B / 1.5B / 3B / 7B / 14B / 32В, базовые и инстракт модели. Радует, что есть малышки и можно запустить локально. Все веса уже в опенсорс вот тут 🤗

По бечмаркам: среди представленных в тех.отчете 32В на всем превосходит открытых соперников (главный из которых – DeepSeek-Coder-2), а также на многих тестах обгоняет GPT-4o, включая, между прочим, HumanEval и EvalPlus. По CodeArena, правда, немного не дотянули: не хватило двух десятых процента.

Отчет | Демо | Гитхаб | Блог

Кто-то приходит, значит кто-то уходит – в OpenAI все стабильно

The Information, видимо, нашли бодрого информатора из OpenAI. Они выпускают уже третью статью про стартап за неделю. На этот раз пишут о том, что Мира Мурати начала успешно хантить исследователей в свою компанию. Точно известно, что к ней, как минимум, ушла разработчица из команды safety, которая отвечала за пост трейнинг, – Миана Чен. Еще говорят, что Мира заполучила Баррета Зофа и Люка Метца. Это тоже бывшие ключевые сотрудники отдела alignment’a.

Кроме того, инсайдер сообщает, что OpenAI собирается выпустить полную версию o1 до конца года. Возможно даже на ближайшем devday в конце ноября.

Похоже, у Amazon большие планы: они ставят все на разработку собственного железа и в следующем месяце планируют выпустить чип Trainium 2

Компания вкладывает в это 75 миллиардов долларов, и это не включая 110 миллионов на Build on Trainium – новую программу грантов на ИИ-исследования. Вероятно, победителям Amazon тоже будут «нативно» предлагать свои облачные серверы.

Белое хакерство в LLM – новое исследование от Anthropic

Jailbreak Rapid Response: так называется свежая статья от самых больших любителей поковыряться под капотом моделей. На этот раз они предлагают подход к обнаружению и блокировке новых методов джейлбрейка, то есть "взлома" моделей. Взлом тут – это попытки с помощью каких-то хитрых промптов заставить модель выдать неэтичную информацию, которую ей выдавать запрещено (рецепт коктейля Молотова, например).

Метод у них забавный: они показывают LLM один из вариантов джейлбрейка и просят ее генерировать больше таких примеров. Потом просят генерировать больше примеров, основываясь на том, что она сгенерировала раньше, и так далее. Таким образом у нас растет огромный синтетический датасет, на котором можно обучить что-то врожде классификатора.

В качестве "классификатора" ученые тестировали Regex, Guard Fine-tuning, Embedding, Guard Few-shot и Defense Prompt. Лучше всего себя показал Guard Fine-tuning – самый ванильный вариант, при котором мы просто дообучаем модель на экземлярах положительного и отрицательного класса.

Результаты в итоге получились даже лучше, чем у методов статической защиты, которые сегодня обычно используются в продакшене. Guard Fine-tuning отлавливает в 240 раз (!!!) больше атак на "похожих" на датасет примерах и в 15 раз больше джейлбрейков на не представленных в трейне вообще.

Статья полностью тут, а еще к ней есть открытый репозиторий с кодом, можно поэкспериментировать.

Наши предыдущие посты-разборы интересных работ Anthropic про alignment и интерпретируемость в LLM:

– Та самая статья про Golden Gate
– Продолжение этой статьи, в которой рассказывается про управление мыслями LLM
– Про то, как модели читерят во время обучения
– Про математические фракталы в картах гиперпараметров
– Что мешает нам понимать черный ящик нейросетей