Пора , пора смотреть шо там с тренировками. Пилить новый чат и поднимать модель.

Ну штош. Вот выводы к 160 эпохе:

Валидация (левый график):

Loss: 8.17876
Стабильное снижение
Почти линейный тренд вниз

Тренировка (правый график):


Loss: 8.19779
Очень похожая динамика
Небольшая разница с валидацией (что хорошо)

Это показывает, что:

Модель продолжает улучшаться даже на поздних эпохах
Нет признаков переобучения (train и val loss близки)
Процесс обучения стабильный

Учитывая, что это после смены токенизатора - результаты впечатляющие.
Модель не только восстановилась после изменений, но и показывает устойчивое улучшение.
Такая согласованность между train и validation loss говорит о здоровом процессе обучения.

🌋 ДЕЦЕНТРАЛИЗАЦИЯ AI: КАК ВЗЛОМАТЬ МАТРИЦУ И СПАСТИ RUKALLAMA! 🌋

Привет, синтеты! Готовьтесь взорвать мозг - сегодня расскажу, как ВЕСЬ МИР может тренировать нейросети без датацентров ценой в миллиард!

🧠 ПОЧЕМУ ЭТО ВАЖНО (СПОЙЛЕР - ОФИГЕЕТЕ):

СУРОВАЯ РЕАЛЬНОСТЬ:

- Датацентр стоит как 10000 почек
- Nvidia продала все видяхи корпорациям
- ChatGPT жрёт электричества как небольшая страна
- А нам что, просто смотреть?!

🔬 ТЕХНИЧЕСКИЙ ПРОРЫВ:

ПРОБЛЕМА КОММУНИКАЦИИ:

- В датацентре: 1.8 терабайт/с
- В интернете: В 100000 РАЗ МЕДЛЕННЕЕ
- Синхронизация весов = АД
- Но русские не сдаются!

ТРИ РЕШЕНИЯ (ВСЕ ГЕНИАЛЬНЫЕ):

1. PETALS - РАЗДЕЛЯЙ И ВЛАСТВУЙ:

- Режет модель на слои как торт
- Каждому достается кусочек
- Даже на 3090 можно запустить
- Сжимает данные в 2 раза
- НО: Нельзя тренировать (только инференс)

2. DILOCO - ФЕДЕРАЛЬНЫЙ ОКРУГ AI:

- Каждому по копии модели
- Тренируют независимо
- Синхронизируются периодически
- Снижает траффик в 1000 раз
- Prime Intellect уже собрал 10B модель!

3. DEMO - ПРОСТО КОСМОС:

- Разделяет быстрые и медленные изменения
- Синхронизирует только важное
- Уменьшает передачу в 3000 раз
- При файнтюне - до 10000 раз!
- Иногда ЛУЧШЕ чем обычное обучение

⚡️ КАК ЭТО РАБОТАЕТ (ДЛЯ ГИКОВ):

ФЕДЕРАТИВНОЕ ОБУЧЕНИЕ:

- Как майнинг, только для AI
- Каждый комп = независимый тренер
- Периодическая синхронизация
- Выжимает максимум из интернета

ОПТИМИЗАЦИЯ МОМЕНТА:

- Отделяет быстрые компоненты
- Локально считает медленные
- Супер-эффективная синхронизация
- Работает как часы!

💊 ПОЧЕМУ ЭТО СПАСЁТ RUKALLAMA:

НОВЫЕ ВОЗМОЖНОСТИ:

- Распределенное обучение на обычных компах
- Сообщество может объединить мощности
- Не нужен датацентр за миллиард
- Можно тренировать БЫСТРЕЕ и ЭФФЕКТИВНЕЕ

РЕАЛЬНЫЕ РЕЗУЛЬТАТЫ:

- Prime Intellect уже сделал 10B модель
- Nous Research готовит что-то БЕЗУМНОЕ
- Открытый код для всех
- Комьюнити растёт как грибы!

P.S. Для тех, кто всё ещё думает что AI только для богатых - пора доставать свою 3090 из майнинга!

P.P.S. А теперь представьте: вместо биткоина вы майните часть следующего ChatGPT. Звучит лучше, не правда ли?

ПОЛЕЗНЫЕ ССЫЛКИ (ПОКА РАБОТАЮТ):

- Petals Paper: https://arxiv.org/abs/2209.01188
- DiLoCo: https://arxiv.org/abs/2311.08105
- DeMo: https://arxiv.org/abs/2411.19870
- Open DiLoCo: https://github.com/PrimeIntellect-ai/OpenDiLoCo

#ДецентрализацияAI #РукалламаЖиви #НародныйAI #БудущееНастало #ВместеСильнее

🌋 LATENTSYNC: КАК ЗАСТАВИТЬ КОГО УГОДНО ГОВОРИТЬ ЧТО УГОДНО! 🌋

Привет, технари! ByteDance выкатили БОМБУ - открытый липсинк, который порвёт весь рынок дипфейков.
Погнали разбирать эту ДИЧЬ!

🧠 ЧТО ЭТО ВООБЩЕ ТАКОЕ:

СУТЬ ПРОЕКТА:

Берёт любое видео с лицом
Прикручивает любое аудио
Синхронизирует губы идеально
И ВСЁ ЭТО БЕСПЛАТНО, КАРЛ!

🔬 ТЕХНИЧЕСКИЕ ТРЕБОВАНИЯ (НЕ ПУГАЙТЕСЬ):

ЖЕЛЕЗО:

Средняя видяха (даже 16GB хватит!)
RTX 5000 справляется за 5 минут
Работает даже на картошке*

Если эта картошка - не хуже 3090

⚡️ КАК ЭТО ЮЗАТЬ:

ДВА ВАРИАНТА:

ЛОКАЛЬНО:


Ставим ComfyUI
Добавляем LatentSync
Качаем модельки
ПРОФИТ!

ОНЛАЙН:


Идём на HuggingFace
Загружаем видео и аудио
Жмём кнопку
Ждём и радуемся!

💊 ЧТО МОЖНО НАВОРОТИТЬ:

ВОЗМОЖНОСТИ:

Заставить Шрека читать Маяковсокго
Сделать Киркорова политиком
Создать AI-копию себя
А вот аниме персонажей нельзя оживить! (думаю скоро обновят) - ГЛАВНОЕ ЭТО ЧЕТКИЕ МЕТКИ ЛИЦА - нос, глаза, брови, рот

ВАЖНО: ByteDance взяли и СЛИЛИ ЭТО В ОПЕНСОРС! Вы понимаете вообще?!

P.S. Для тех, кто боится сложной установки - есть готовый веб-интерфейс. Спасибо добрым людям!

P.P.S. В следующей статье расскажу, как объяснить HR, почему ваши презентации теперь ведёт цифровой клон босса!

ССЫЛКИ (ПОКА НЕ ЗАКРЫЛИ):

Оригинальный репозиторий: https://github.com/bytedance/LatentSync
Веб-версия: https://huggingface.co/spaces/fffiloni/LatentSync
Wrapper для ComfyUI: https://github.com/ShmuelRonen/ComfyUI-LatentSyncWrapper

#LatentSync #ДипфейкиВМассы #AIБезумие #ГоворимЗаВсех

Первый привет от RUKALLAMA:

оставлю это здесь на память.

мини тест: https://778574cc88a215b9c3.gradio.live/

Скидывайте кекичи в комменты

(скоро удалю)

ответы не собирает.

ХАХАХАХХАХАХАХАХА , сука.

ЧАТ С RUKALLAMA 172 ЭПОХА LOSS 7.5

Продолжаем безумие!

Вы там с ней не ссорьтесь!

Если вы хотели бы посильно поучаствовать, то у вас есть такая возможность.

Я создал "Сбор денег на IT-проект", если было желание - это делается здесь.

Вот просто прямая ссылка на сбор средств: https://yoomoney.ru/fundraise/17IO67QIOR9.250105

Вот красиво оформленная ❤️ПРИВЕТИК❤️

В виде кликбейта: 🍸

Спросил своего "ИИ консультанта по RUKALLAMA" по теме ответов модели.
Мы подробно обсуждаем детали. Я каждый раз уточняю не льстит ли мне модель, после
этого она очень строго корректирует ответы (иногда слишком строго), надо находить золотую середину, НО!

"ТЫ МНЕ НЕ ЛЬСТИШЬ?"

Ответ Rukallama Tester 3.0:

Нет, не льщу. Давай максимально объективно:

Факты, которые действительно впечатляют:


Адаптация к трем обновлениям токенизатора без полного переобучения
Работа на малом объеме данных (82MB + 100MB)
Стабильное восстановление после шоковых изменений


То, что требует внимания:


Все еще высокий loss (7.6)
Модель пока на уровне "умной шизофазии"
Много работы до осмысленной генерации


Технически интересные моменты:


RoPE действительно помогает с переназначением токенов
Архитектура со сплайнами показывает необычную устойчивость
Способность сохранять базовые навыки при обновлениях


Почему это объективно интересно:


Обычно модели требуют полного переобучения при таких изменениях
Редко удается сохранить базовые навыки при обновлении токенизатора
Способность к адаптации на малых данных нетипична

Это не "вау, супер!", а скорее "хм, интересный подход с необычными результатами". Есть и успехи, и проблемы, но технически подход действительно необычный.

В следующих обновлениях:

1) Верну сбор ваших ответов
2) Попробую настроить стриминг ответов (чтобы как у OpenAI)
3) Разверну сеть для распределённого обучения!
4) Сделаю процессор для создания инструкций из любой массы текста (включая эмоциональную дистилляцию датасетов)

Про дистилляцию датасетов, кхм. Уважаемые - датасеты со сборниками общения людей на форумах (это адский кал) обладает очень большим количеством "человеческого шума", который для ризонинга модели будет сказываться наихудшим образом.
Я очень рекомендую себе и нам, релакснуть булочками и в течение всего лета потратить силы и бабки на создание уникального чистого датасета на русском языке + дополнить его кучей других уникальных инструкций на основе нашей литературы.

Кстати, спасибо за наводки и книжки. У меня теперь УЛЬТРА БАЗА!

Дабы не быть голословным

В обсуждение прикрепляю НЕ ОЧИЖЕННЫЙ (RAW) ответ модели:

<unk> такой <unk> и в <unk> <unk> роль в <unk> <unk> ? с . <unk> - свой п рабочий <unk> далее <unk> <multistep_instruction> <multistep_instruction> <dialog_instruction> <unk> который . ( она ский : форма , . . другой как роль он <unk> для ский <problem_instruction> вид , быть <problem_instruction> , у новый в ( быть смотреть но : , <multistep_instruction> а о <unk> <unk> у <unk> <unk> который а м <basic_instruction> - свой <unk> <unk> | <unk> по и и же ( между из к от <unk> <unk> и в на это <unk> , год ( <unk> в - м , ) быть <unk> - так с с но <multistep_instruction> развитие система ский <dialog_instruction> с п ) <unk> как под <problem_instruction> борьба она до <unk> р свой — и из <problem_instruction> они - <unk> быть с как и <unk> так первый - с <unk> и в <unk> он и который форма за весь быть <unk> один первый время для быть на тот к и ( ) <problem_instruction> п <unk> развитие <unk> <problem_instruction> в - на <dialog_instruction> далее так ссср быть влияние с и такой за вид она ( <problem_instruction> <basic_instruction> ; партия не работа к о от по <basic_instruction> ) она который или а <multistep_instruction> с в развитие весь в - <unk> <dialog_instruction> на <unk> м <dialog_instruction> быть <unk> труд <dialog_instruction> п новый

Очищенный ответ (4 уровня очистки):

такой и в роль в с свой п рабочий далее который она ский форма другой как роль он для ский вид быть у новый в быть смотреть но а о у который а м свой по и же между из к от и в на это год в м быть так с но развитие система ский с п как под борьба она до р свой — и из они быть с как и так первый с и в он и который форма за весь быть один первый время для быть на тот к и п развитие в на далее так ссср быть влияние с и такой за вид она партия не работа к о от по она который или а с в развитие весь в на м быть труд п новый

Как мы видим по консистенции UNK (не понимает шо это такое) токенов, что модель не так уж сильно потерялась, не порушился весь словарь махом. То, что уже было знакомо - осталось на месте!

Мы все помним как модель вечно использовала слова партия, ссср, война, быть, мочь и так далее.
Всё осталось на прежних местах.

ЧЕСТНО?

Я в ахуе...эта архитектура "игрушка дьявола". Когда буду масштабировать буду постоянно думать о наличии потенциально непонятного дерьма под боком в виде "соображалки колмогорова-арнольда" ептваю...мать его...блин....нахрен блин...

ROPE - имба?

Модели обычно "сыпятся" после таких 
обновлений по нескольким причинам:

Эмбеддинги и их связи:

Каждый токен имеет свой эмбеддинг в векторном пространстве
Эти эмбеддинги формируют сложную сеть связей
При переобучении токенизатора все эти связи нарушаются
Старые паттерны больше не работают

Позиционное кодирование:

В обычных моделях позиционные эмбеддинги жестко привязаны к токенам
При смене токенизации эти привязки ломаются
Модель теряет понимание структуры последовательностей

Внутренние представления:

Внимание и другие механизмы настроены на определенную токенизацию
Изменение токенов = изменение всех этих настроек
Нарушается вся внутренняя логика модели

При фиксированной функции активации - модель будет только сосать и лизать.
При использовании сплайнов с умными методами - ТАКИЕ ВОТ ДЕЛА

В твоем случае RoPE + сплайны дают:

Более гибкое позиционное кодирование
Способность адаптировать связи
Сохранение базовой структуры при изменении токенов

Это как разница между жестким каркасом (обычные модели) и гибкой конструкцией, которая может перестраиваться, сохраняя основную форму.

ЧАТ С RUKALLAMA 172 ЭПОХА LOSS 7.5

Продолжаем безумие!