A3D

Гибрид 3D-редактора с генератором картинок.

- контроль позы простыми болванками
- генерация 3D-модели с помощью Gen AI (Fal.ai )
- ИИ-рендер по глубине/цвету с помощью ComfyUI или Fal.ai
- драгэндроп персонажей (тестировалось с Mixamo characters)

#3dediting #contolnet #3dtoimage #rendering

Deep-Live-Cam

Однокликовая замена лица на видео в реальном времени.

Можно сохранить оригинальный рот, можно заменять одновременно несколько лиц.

Под капотом все те же Insightface / GPFGAN / inswapper_128 но почемуто хайпанула

Есть коммерческая версия

Код
HF репо

#faceswap #realtime

Phantom

Видео по референсу, дождались, ответ Bytedance (WAN) на Gen-4 References
Теперь эта функция в опенсорсе!

Веса fp16/fp32
Гитхаб
workflow

#personalization #referencing #image2video #text2video #workflow

Microsoft два месяца показывали рекламу, сделанную с применением ИИ, и никто не заметил подвоха (или всем пофиг)

Похоже, все кроме крупных планов девайсов было сгенерировано. Для этого понадобилось около тысячи запросов.

#news

FramePack-F1

Новая модель народного видеогенератора

F1 означает forward pass, модель предсказывает только будущие кадры. Также, модель обучена не накапливать ошибки.
Легче двигается камера, динамичность повысилась

FP-Studio есть в Pinokio в Community Scripts

Веса
Гитхаб

#image2video

Inpaint Anything for Stable Diffusion Web UI Forge

Адепты Comfy, скипайте эту новость.

расширение для Forge, позволяющее делать инпейнтинг по маске из SAM (на выбор ряд моделей, в том числе SAM 2)

#extension #inpainting #segmentation

LaRI: Layered Ray Intersections for Single-view 3D Geometric Reasoning

Реконструкция геометрии сцены по изображению.
Хорошо моделирует невидимую на картинке часть геометрии за счет создания послойной карты точек.

На выходе меш и послойная карта глубины

Код
Демо

#imageto3d #image2scene

А вот в FramePack Studio уже прикрутили F1

Помимо этого поддерживает промпты с таймкодами и ряд обновок есть:

- Можно задать время мягкого перехода между промптами
- Базовая поддержка LoRa: работает с большинством (всеми?) hunyuan LoRa
- Система очереди: очередь заданий не блокирует интерфейс
- Сохранение / импорт метаданных: промпт и начальные данные кодируются в выходной файл PNG, все остальные метаданные поколения сохраняются в файле JSON
- I2V и T2V: работает как с входным изображением, так и без него, что обеспечивает большую гибкость при работе со стандартными LoRA.
- Опции латентного изображения: При использовании T2V вы можете генерировать изображение на основе черного, белого, зеленого экрана или чистого шума.

Гитхаб

#image2video #text2video

TesserAct: Learning 4D Embodied World Models

Модель предсказывает развитие событий в 3D сцене по входному изображению и текстовому промпту, описывающему действие. На выходе видео RGB + глубина и нормали.

За глубину отвечает Marigold, обещают прикрутить NormalCrafter

Код
Веса

#imageto4d #4d #image2video #image2scene #image2normal #image2depth

PixelHacker: Image Inpainting with Structural and Semantic Consistency

Инпейнтинг с сохранением структурной и семантической целостности

Код ждем
Демо ждем

#inpainting

ICEdit (In-Context Edit): Enabling Instructional Image Editing with In-Context Generation in Large Scale Diffusion Transformer

Редактор картинок текстовыми указаниями

Максимальная ширина кадра 512, высота любая.
Прожорливый, для 512×768 нужно 35 ГБ без выгрузки

Код
Демо
ComfyUI

#imageediting #workflow

Ideogram 3.0

Обновился сервис генерации картинок Ideogram

Больше реализма, точнее понимает промпты, предлагает вдвое больше стилей.

Можно загрузить до трех референсов.

Magic Fill - инпейнтинг

Extend - аутпейнтинг

Сделали интеграцию по API через Picsart, Freepik, Replicate

#text2image #referencing #imageediting #inpainting #outpainting

Подписчик поделился фиксом FramePack Studio для настройки разрешения видео (автор почему-то ограничил по ширине то ли 640 то ли 768). Файлы закину в комментарии. Дальше текст подписчика

Добавил повышенное разрешение для FramePack Studio во вкладку F1
в оригинале было максимум 640 по ширине

bucket_tools.py - добавлены размеры из платной турецкой сборки, размер подбирается примерно (положить в FramePack-Studio\diffusers_helper)
interface.py - разблокировано до 1216 (положить в FramePack-Studio\modules)

Если будут ошибки с тензорами (но лучше не трогать):
wrapper.py (положить в FramePack-Studio\diffusers_helper\k_diffusion)

Так же установлено 40 шагов по умолчанию, можно легко поменять в interface.py
Прога сама по себе супер глючная, надеюсь допилят)

Спасибо @neurotemporary

#image2video #text2video

Опубликован код инструмента для работы с изображениями ZenCtrl

Разрешение до 1024×1024, уже работают над 1500х1500 и больше, работают над агентским и видеопайплайном

Лучше всего работает с объектами. С людьми - ограниченно. Плохо умеет в иллюстации. Ибо обучен на бедном датасете. В будущем улучшат.

Код

#conditioning #deblur #image2image #personalization #multiview #novelview #referencing