Как обучить диффузионную модель с нуля за $1890?


Законы масштабирования в генеративном ИИ повышают производительность, но есть ньюанс: разработка моделей концентрируется среди игроков с большими вычислительными ресурсами.

Поскольку стоимость обучения text-to-image трансформера растет с количеством участков в каждом изображении, исследователи из Sony AI предложили случайным образом маскировать до 75% участков изображения во время обучения.

Применяется стратегия отложенного маскирования, которая предварительно обрабатывает все участки с помощью
микшера участков перед маскированием, тем самым значительно снижая ухудшение производительности процесса. Для оптимизации вычислительных затрат данный подход со работает лучше, чем уменьшение масштаба модели.

В исследование также включили последние
улучшения в архитектуре трансформеров, такие как использование слоев с mixture of experts (MoE),чтобы улучшить производительность и убедиться в важности использования синтетических изображений для уменьшения затрат на обучение.

Какие результаты?

Используя только 37 млн изображений (22 млн реальных + 15 млн синтетических), была обучена модель типа "sparse transformer" с 1,16 млрд параметров.

На обучение было потрачено всего 1890$ !

Была достигнута производительность 12,7 FID при zero shot learning на наборе данных COCO.

Примечательно, что модель достигает конкурентоспособного FID и высококачественных генераций, при этом требуя в 118 раз меньших затрат, чем стабильные диффузионные модели, и в 14 раз меньших затрат, чем текущий современный подход, который стоит 28400$


🔍 Технические детали:
• Архитектура: sparse DiT-XL/2 трансформер
• Вычисления: 8×H100 GPU на 2,6 дня тренировки
• VAE: использование как SDXL-VAE (4 канала), так и Ostris-VAE (16 каналов)
• Патч-миксер перед трансформером + маскирование 75% патчей
• Обучение: 280K шагов на 256×256, затем 55K шагов на 512×512
• Размер батча: 2048, с применением центрального кропа

📊 Доступные предобученные модели:
1. MicroDiT_XL_2 на 22 млн реальных изображениях (FID 12.72)
2. MicroDiT_XL_2 на 37 млн изображениях (FID 12.66) с SDXL-VAE
3. MicroDiT_XL_2 на 37 млн изображениях (FID 13.04) с Ostris-VAE
4. MicroDiT_XL_2 на 490 млн синтетических изображениях (FID 13.26)

💻 Репозиторий содержит полный код, включая обработку датасетов и тренировочные конфиги для каждого этапа

🔗 Статья

4️⃣ GitHub

Давайте поговорим сегодня про историю отрицания во французском языке?

Для начала скажу, что оно состоит из двух частей, классическая его форма — это две частицы, ne и pas, которые окружают глагол. При этом в современном языке ne может не использоваться — обязательной стала частица pas. Например:

Полная фраза: je ne veux pas (я не хочу)

✅ Можно сказать: je veux pas
❎ Нельзя сказать: je ne veux

Что же такое эти ne и pas? Ne — это собственно отрицательная частица, схожая во многих языках мира. А вот pas — это, вообще-то, «шаг».

Как так вышло, что «шаг» начал использоваться в качестве части отрицательной конструкции, а теперь и вообще вытесняет ne? По одной из версий, произошло это так.

Когда-то во французском действительно была только одна отрицательная частица ne, которая ставилась перед глаголом. Но это ne — фонетически слабое, в речи гласный звук может «съедаться», на слух воспринимается не очень четко. Для более внятных формулировок после глагола стала использоваться дополнительная, вторая часть отрицания. Например:

🟣Со словом «шаг»: je ne vais pas — я не пойду («я не сделаю даже шага»)
🟣Со словом mie (miette, «крошка»): je ne mange mie — я не ем («я не съем даже крошки»)

Продолжать можно долго, и остатки этого явления в современном языке тоже прекрасно живут. Частица pas может меняться на другие отрицательные слова, например: personne (никто), rien (ничего), jamais (никогда), plus (больше не), nulle part (нигде, никуда) и так далее.

А дальше стоящая перед глаголом частица ne начинает отмирать за ненадобностью, и обязательной становится отрицание, занимающее пост-глагольную позицию.

Это явление характерно не только для французского, но и для кучи других языков. Называется оно, кстати, цикл Есперсена — в честь лингвиста Отто Есперсена, который его описал.

Во французском цикл еще не завершился, потому что ne исчезло не полностью. В качестве примера завершенного цикла можно посмотреть на английский язык:

🟣В староанглийском была отрицательная частица ne, стоявшая перед глаголом (первая стадия цикла)
🟣Для усиления стали использовать слово nought («ничего»), стоявшее после глагола, которое превратилось в современное not (вторая стадия цикла)
🟣Сегодня not (в форме do not) — единственная часть отрицания в английской фразе, которая опять переехала на позицию перед глаголом (третья стадия цикла)

Такая история!

А про отрицания в других языках можно почитать здесь.