Kohya-ss FLUX.1 LoRA training (WIP)

Ну все, насколько я понимаю, теперь можно тренить лоры и на домашнем железе.

Говорят, что даже на 12 GB VRAM.
#Flux лоры можно обучать на картинках 512*512 для хороших генераций 1024*1024. А еще это быстрее чем обучать на 1024*1024

пост на реддите с пошаговой инструкцией
Видео с английскими субтитрами

#finetuning #lora

Video-Foley: Two-Stage Video-To-Sound Generation via Temporal Event Condition for Foley Sound

генератор звуковых эффектов по видео. Можно добавлять текстовый промпт.
Конкурент FoleyCrafter, для которого, кстати, уже вышел код

Код ждем

#video2audio

Sapiens: Foundation for Human Vision Models

Семейство моделей от Meta Reality Labs для выполнения четырех задач на изображениях человеков:

- оценка 2D-позы
- сегментация частей тела
- карта глубины
- карта нормалей

Код
Демо

#image2pose #segmentation #image2mask #image2depth #image2normal

Subsurface Scattering for Gaussian Splatting

Подповерхностное рассеивание света для гауссиан!
Метод производит декомпозицию материала по типу PBR и релайтит объект в реальном времени

Прикрутите уже все эти фичи в блендер!

Код обещают в конце октября

#relighting #realtime #rendering #gaussian #novelview

Hyper lora

Лора для Flux dev от Bytedance.
Как я понимаю, это лора которая из Flux делает Hyper Flux, то есть дистиллированную модель, уменьшая количество шагов, необходимое для качественной генерации. Без лоры - 25 шагов, например, а с лорой 8 или 16. Обещают лоры с меньшим количеством шагов.

Рекомендуют силу около 0,125, guidance scale 3.5

Hyper-FLUX.1-dev-16steps-lora
Hyper-FLUX.1-dev-8steps-lora

#flux #lora

FluxForge

онлайн сервис в процессе разработки, падает и ошибается.

Можно генерировать картинки флюксом (надо зарегистрироваться). Умеет добавлять в промпт стили, художников, антураж, генерировать рандомный промпт.
Есть поисковик лор, показывает все лоры как минимум с Civitai, но непонятно как их подключить в генерацию. Наверно просто поисковик.
Раздел тренировки лор тоже пока не работает.
Но и денег не просит

#flux #tools