‌SwiftBrush v2: Make Your One-step Diffusion Model Better Than Its Teacher

Дистилляция-ускорение диффузии с потерей качества у нас уже есть в разных вариантах.
Держите генерацию картинки за один шаг с качеством, сопоставимым с генерацией оригинальной моделью до дистилляции.

Вообще-то, в заголовке заявлено что у дистилляции по ‌SwiftBrush v2 качество лучше чем у модели-учителя. Но я не понимаю что это такое. Если бы я понимал что это такое...

Кода нет

#optimization #text2image

Сегодня без постов

HeyGen 5.0

Что нового
- AI Studio 3.0 - плтформа редактирования видео
- Мгновенные аватары - цифровой аватар, который выглядит и звучит точно так же, как вы
- Перевод видео - конвертируйте видео на разные языки, сохраняя при этом голос оригинального диктора и движения губ
- Персонализированные видеоролики
- Аватар для стриминга

#text2video #video2videp #lipsync #talkinghead #humanavatar #translation #speech2speech

ReNoise: Real Image Inversion Through Iterative Noising

Инверсия для редактирования изображений

Код ждем
Демо

#image2image

Viggle

Контроль персонажа на видео - замена персонажа, анимация изображения

Попробовать в дискорде

#image2video #video2video #personalization

One-step Diffusion with
Distribution Matching Distillation

Еще один метод ускорения генерации изображений от MIT и Adobe. Генерация за один шаг и 0.09 сек против 2.5 сек и 50 шагов в обычном SD

Кода нет

#text2image #optimization

Stable Code Instruct 3B

Stability AI выкатили инженерную LLM, затюненную на инструкциях, на основе Stable Code 3B.

Умеет писать код, умеет в математику, умеет выполнять другие софт-инженерные задачи.

Бьет CodeLlama 7B Instruct и сопоставим с StarChat 15B

Доступно для коммерческого использования

Веса

#coding #llm

ComfyUI IPAdapter plus

Обновление IPAdapter для ComfyUI. В IPAdapter V2 полностью переписан код, старые воркфлоу не будут работать после обновления.

- multiple new IPAdapter nodes: regular (named "IPAdapter"), advanced ("IPAdapter Advanced"), and faceID ("IPAdapter FaceID);

- there's no need for a separate CLIPVision Model Loader node anymore, CLIPVision can be applied in a "IPAdapter Unified Loader" node;

- CLIPVision can be applied separately if "IPAdapter Unified Loader" is not used;

- new Weight Types;

- new Combine Embed types for multiple images inside of one IPAdapter node.

#text2image #image2image

🔥RadSplat - качество рендеринга как NeRF, но в 900FPS!

Переносить реальные пространства в VR в высоком разрешении - это то к чему многие ресерчеры стремятся. Но для реального применения, тут важно уметь быстро рендерить реалистичную картинку отсканированных объектов.

Концептуально в новом методе RadSplat всё очень просто: сначала тренируем нерф и запекаем его в гауссовый сплат. Потом, сравнивая с нерфом, определяем важность каждого элемента сплата и обрезаем ненужные. От такого прунинга качество, внезапно, даже растёт.

Для ускорения на больших сценах предлагают разбить сцену на несколько кластеров, определить что из каждого кластера видно и рендерить только это. В чём-то это похоже на VastGaussian, о котором я рассказывал пару недель назад.

В целом оно быстрее обычных нерфов вплоть до 3 тысяч раз(!), что по скорости примерно на уровне метода Re-ReND от нашей команды, где мы запекали нерф в light-field на меши, что позволяло рендерить со скоростью до 1000FPS на GPU и 74 FPS на шлеме Oculus Pro.

Сайт проекта

@ai_newz