Дабы не быть голословным

В обсуждение прикрепляю НЕ ОЧИЖЕННЫЙ (RAW) ответ модели:

<unk> такой <unk> и в <unk> <unk> роль в <unk> <unk> ? с . <unk> - свой п рабочий <unk> далее <unk> <multistep_instruction> <multistep_instruction> <dialog_instruction> <unk> который . ( она ский : форма , . . другой как роль он <unk> для ский <problem_instruction> вид , быть <problem_instruction> , у новый в ( быть смотреть но : , <multistep_instruction> а о <unk> <unk> у <unk> <unk> который а м <basic_instruction> - свой <unk> <unk> | <unk> по и и же ( между из к от <unk> <unk> и в на это <unk> , год ( <unk> в - м , ) быть <unk> - так с с но <multistep_instruction> развитие система ский <dialog_instruction> с п ) <unk> как под <problem_instruction> борьба она до <unk> р свой — и из <problem_instruction> они - <unk> быть с как и <unk> так первый - с <unk> и в <unk> он и который форма за весь быть <unk> один первый время для быть на тот к и ( ) <problem_instruction> п <unk> развитие <unk> <problem_instruction> в - на <dialog_instruction> далее так ссср быть влияние с и такой за вид она ( <problem_instruction> <basic_instruction> ; партия не работа к о от по <basic_instruction> ) она который или а <multistep_instruction> с в развитие весь в - <unk> <dialog_instruction> на <unk> м <dialog_instruction> быть <unk> труд <dialog_instruction> п новый

Очищенный ответ (4 уровня очистки):

такой и в роль в с свой п рабочий далее который она ский форма другой как роль он для ский вид быть у новый в быть смотреть но а о у который а м свой по и же между из к от и в на это год в м быть так с но развитие система ский с п как под борьба она до р свой — и из они быть с как и так первый с и в он и который форма за весь быть один первый время для быть на тот к и п развитие в на далее так ссср быть влияние с и такой за вид она партия не работа к о от по она который или а с в развитие весь в на м быть труд п новый

Как мы видим по консистенции UNK (не понимает шо это такое) токенов, что модель не так уж сильно потерялась, не порушился весь словарь махом. То, что уже было знакомо - осталось на месте!

Мы все помним как модель вечно использовала слова партия, ссср, война, быть, мочь и так далее.
Всё осталось на прежних местах.

ЧЕСТНО?

Я в ахуе...эта архитектура "игрушка дьявола". Когда буду масштабировать буду постоянно думать о наличии потенциально непонятного дерьма под боком в виде "соображалки колмогорова-арнольда" ептваю...мать его...блин....нахрен блин...

ROPE - имба?

Модели обычно "сыпятся" после таких 
обновлений по нескольким причинам:

Эмбеддинги и их связи:

Каждый токен имеет свой эмбеддинг в векторном пространстве
Эти эмбеддинги формируют сложную сеть связей
При переобучении токенизатора все эти связи нарушаются
Старые паттерны больше не работают

Позиционное кодирование:

В обычных моделях позиционные эмбеддинги жестко привязаны к токенам
При смене токенизации эти привязки ломаются
Модель теряет понимание структуры последовательностей

Внутренние представления:

Внимание и другие механизмы настроены на определенную токенизацию
Изменение токенов = изменение всех этих настроек
Нарушается вся внутренняя логика модели

При фиксированной функции активации - модель будет только сосать и лизать.
При использовании сплайнов с умными методами - ТАКИЕ ВОТ ДЕЛА

В твоем случае RoPE + сплайны дают:

Более гибкое позиционное кодирование
Способность адаптировать связи
Сохранение базовой структуры при изменении токенов

Это как разница между жестким каркасом (обычные модели) и гибкой конструкцией, которая может перестраиваться, сохраняя основную форму.

ЧАТ С RUKALLAMA 172 ЭПОХА LOSS 7.5

Продолжаем безумие!

Анализ общения с Rukallama 0.86 🧠

Вспоминается моя история с печатали, как я страдал , что дискриминатор улетает в космос по ошибке в отличие от генератора...гребаный gan ....ебаные ганы....но!

Всё оказалось прозрачнее, теперь вышла чудесная бумага, кажется старые ошибки сетей GAN уронили и принесли норм архитектуру.

https://news.1rj.ru/str/data_secrets/5891

Читать тут. Респект паблик Data secrets

Щас будет небольшое объявление!

Работает! Этого хватит на (примерно) 14 часов! Мы уже суетимся...
(как подойдут закину ещё, потом ещё)

Сейчас попробуем запустить параллельно на локальной машине!

ПОДДАТЬ ДРОВ

Спасибо комьюнити ❤️

ЧАТ RUKALLAMA - 187 ЭПОХА (LOSS 7.4593)

Тем временем запущен параллельный сеанс для вас.

P.S. Скоро тоже будет всё переезжать на постоянный адрес.

Звук обучения модели с 173 по 187 эпоху.

Зарисовка:

Rukallama срёт токенами в лесу

Оппа. Есть что отокээрить.
Буду искать уникальные книги

Сейчас закину ваших дров в печь

Закинул! Продолжаем!

ЧАТ с 195 эпохой

оппа