Лучше всего даже чуть раньше остановится:
step: 21750
train loss: 1.2251079082489014
val loss: 1.3634604215621948
best val loss: 1.328853964805603
ppl: 4.28125
zeros: 99.38%/x160.4/zeros:10,678,087 active:67,001
step: 21750
train loss: 1.2251079082489014
val loss: 1.3634604215621948
best val loss: 1.328853964805603
ppl: 4.28125
zeros: 99.38%/x160.4/zeros:10,678,087 active:67,001
🔥2
Возможно Scaling law для супер пережатых трансформеров выглядит примерно так. ПО крайней мере на той языковой задаче, которую я гоняю прямо сейчас этот паттерн раз за разом воспроизводится, с небольшими отличиями в зависимости от гиперпараметров. Причём интересно, что точка минимума, опять же возможно зависит от задачи, но слабо зависит от размеров сети. Здесь Сетка на 3M и точка прелома x33, то-есть где-то 90К весов, и где-то в районе 66K перплексити становится не лучше, чем до начала сжатия. Но когда я начинал с 10М, слоёв побольше, да эмбединг потолще точка "не на много хуже" была где-то тоже в районе 66к, я выше по чату скидивал, и для такой сети это больше х150. Но когда я начал с 25M, ещё побольше слоёв и ещё пошире в талии, уровень "не на много хуже" тоже был, где-то в окрестностях 60-70К, что для такой сети составляет уже умопомрачительные х350.
🤔7
Идея из области очевидных, но совершенно не очевидно, что результат будет и вообще неизвестно сколько мелких нюансов надо будет преодолеть прежде чем очевидная идея заработает.
💯1
Forwarded from Data Secrets
Крошечная модель на 7 миллионов параметров превзошла DeepSeek-R1, Gemini 2.5 Pro и o3-mini на ARG-AGI 1 и ARC-AGI 2
Сегодня разбираем самую громкую статью последних дней: "Less is More: Recursive Reasoning with Tiny Networks" от Samsung. В работе, кстати, всего один автор (большая редкость, особенно для корпоративных исследований).
Итак, главный вопрос: как это вообще возможно, чтобы модель в 10 000 раз меньше была настолько умнее?
Ответ: рекурсия. Модель (Tiny Recursive Model, TRM) многократко думает над своим ответом, пересматривает его и исправляет, прежде чем выдать окончательное решение. Выглядит процесс примерно так:
1. Модель получает условия задачки и сразу генерирует какой-то грубый набросок решения. Он не обязательно должен быть правильным, это просто быстрая догадка.
2. Дальше система создает "мысленный блокнот" – scratchpad. Туда она записывает всё, что думает о задаче и своём черновике: где ошибки, что можно улучшить, как проверить гипотезу. При этом важно понимать, что scratchpad – это не поток токенов, как в обычном ризонинге. Это внутреннее скрытое состояние, то есть матрица или вектор, который постепенно обновляется. Другими словами, TRM умеет думает молча.
3. Модель в несколько проходов обновляет это внутреннее состояние, каждый раз сверяясь с (а) задачей и (б) исходным наброском. Она как бы думает: согласуется ли текущий черновик с условием, где противоречия, что улучшить. После N-ого количества итераций модель переписывает исходный черновик, опираясь на свой сформированный scratchpad. Но это не все. Этот процесс (сначала подумай → потом исправь) повторяется несколько раз. И вот только после этого мы получаем финальный ответ.
Результаты, конечно, поражают. Метрики на ARC-AGI-1 / ARC-AGI-2 – 44.6% / 7.8%. Для сравнения, у o3-mini-high – 34.5% / 3.0%. Также модель отлично решает судоку и лабиринты.
Единственная честная оговорка: это не языковая модель, она предназначена только для алгоритмов и текстом отвечать не умеет. Тем не менее, идея блестящая. Много раз пройтись одной и той же крохотной сеткой по scratchpad – это буквально как эмулировать глубину большой модели без большой модели. Отличный пример алгоритмического преимущества.
Крайне советуем почитать статью полностью тут. К слову, они там много ссылаются на августовскую работу про Hierarchical Reasoning Model (HRM). Если захотите освежить память по этому исследованию, то вот тут – наш разбор.
Сегодня разбираем самую громкую статью последних дней: "Less is More: Recursive Reasoning with Tiny Networks" от Samsung. В работе, кстати, всего один автор (большая редкость, особенно для корпоративных исследований).
Итак, главный вопрос: как это вообще возможно, чтобы модель в 10 000 раз меньше была настолько умнее?
Ответ: рекурсия. Модель (Tiny Recursive Model, TRM) многократко думает над своим ответом, пересматривает его и исправляет, прежде чем выдать окончательное решение. Выглядит процесс примерно так:
1. Модель получает условия задачки и сразу генерирует какой-то грубый набросок решения. Он не обязательно должен быть правильным, это просто быстрая догадка.
2. Дальше система создает "мысленный блокнот" – scratchpad. Туда она записывает всё, что думает о задаче и своём черновике: где ошибки, что можно улучшить, как проверить гипотезу. При этом важно понимать, что scratchpad – это не поток токенов, как в обычном ризонинге. Это внутреннее скрытое состояние, то есть матрица или вектор, который постепенно обновляется. Другими словами, TRM умеет думает молча.
3. Модель в несколько проходов обновляет это внутреннее состояние, каждый раз сверяясь с (а) задачей и (б) исходным наброском. Она как бы думает: согласуется ли текущий черновик с условием, где противоречия, что улучшить. После N-ого количества итераций модель переписывает исходный черновик, опираясь на свой сформированный scratchpad. Но это не все. Этот процесс (сначала подумай → потом исправь) повторяется несколько раз. И вот только после этого мы получаем финальный ответ.
Результаты, конечно, поражают. Метрики на ARC-AGI-1 / ARC-AGI-2 – 44.6% / 7.8%. Для сравнения, у o3-mini-high – 34.5% / 3.0%. Также модель отлично решает судоку и лабиринты.
Единственная честная оговорка: это не языковая модель, она предназначена только для алгоритмов и текстом отвечать не умеет. Тем не менее, идея блестящая. Много раз пройтись одной и той же крохотной сеткой по scratchpad – это буквально как эмулировать глубину большой модели без большой модели. Отличный пример алгоритмического преимущества.
Крайне советуем почитать статью полностью тут. К слову, они там много ссылаются на августовскую работу про Hierarchical Reasoning Model (HRM). Если захотите освежить память по этому исследованию, то вот тут – наш разбор.
🔥10👍1
Когда сеть старается, худеет, но ты понимаешь, что это уже давно анорексия и срочно пора оставновиться...
Простите за этот шитпостинг на выходных, Столько всего важного и серьёзного недоделано, а сколько ещё надо недоделать....
Простите за этот шитпостинг на выходных, Столько всего важного и серьёзного недоделано, а сколько ещё надо недоделать....
😁6💯2
А вот из интересных наблюдений:
Если слишком усердно мешать сети переобучиться на ранних этапах, то и деградировать она начнёт гораздо раньше. Конечно с одной стороны может показаться не таким уж важным на x75 или на х120 вас начинает уносить, но если вспомнить, что 90 тысяч весов я предположил как минимальный вес модели для данного датасета, то приходится признавать, что он мало зависит от размеров сети, но заметно зависит от режимов обучения.
P.S. Зато если помешал сети улететь к звёздам, можно остановиться в любой момент, не обязательно дожидаться пока она придет в форму.
P.P.S. На сибирском датафесте буду кое что из этого показывать с комментариями...
Если слишком усердно мешать сети переобучиться на ранних этапах, то и деградировать она начнёт гораздо раньше. Конечно с одной стороны может показаться не таким уж важным на x75 или на х120 вас начинает уносить, но если вспомнить, что 90 тысяч весов я предположил как минимальный вес модели для данного датасета, то приходится признавать, что он мало зависит от размеров сети, но заметно зависит от режимов обучения.
P.S. Зато если помешал сети улететь к звёздам, можно остановиться в любой момент, не обязательно дожидаться пока она придет в форму.
P.P.S. На сибирском датафесте буду кое что из этого показывать с комментариями...
👍5❤2🤔1
Поправочка, я прошлый раз говорил, что если у задачи на которой я гоняю гроккинг взять не простой модуль, например 95 вместо 97 получается каша.
На самом деле картинка менее запутанная, вместо привычной получается как на втором кадре. Все ещё логичная и упорядоченная, но в отместку за пропуски некоторых значений некоторые встречаются в нескольких разных вариантах:
[[ 0, 5, 19],
[ 0, 5, 0],
[ 0, 5, 57],
[ 0, 5, 76],
[ 0, 5, 38]]
Но да, так даже интереснее...
P.S. В прошлый раз я рисовал без учёта пропущеных и дублирующихся значений, забыл подумать, в общем, и получил ошибочку.
На самом деле картинка менее запутанная, вместо привычной получается как на втором кадре. Все ещё логичная и упорядоченная, но в отместку за пропуски некоторых значений некоторые встречаются в нескольких разных вариантах:
[[ 0, 5, 19],
[ 0, 5, 0],
[ 0, 5, 57],
[ 0, 5, 76],
[ 0, 5, 38]]
Но да, так даже интереснее...
P.S. В прошлый раз я рисовал без учёта пропущеных и дублирующихся значений, забыл подумать, в общем, и получил ошибочку.
🤔3