MotionStream: Real-Time Video Generation with Interactive Motion Controls

Рилтаймовый видеогенератор на базе WAN с Self-Forcing с интерактивным контролем движения как в InstantDrag, DgarGAN и иже с ними

29 кадров в секунду на одной NVIDIA H100

Очевиденый кейс применения - интерактивные инсталляции

Код ждем

#realtime #motioncontrol #image2video #drag

StyleSculptor: Zero-Shot Style-Controllable 3D Asset Generation with Texture-Geometry Dual Guidance

Генератор 3D моделей с контролем стиля на базе Trellis

В качестве референсов стиля можно использовать текстуру, геометрию, 3д модель целиком

Требует от 16 ГБ VRAM

Код

#3d #textto3d #3dto3d #imageto3d #conditioning #stylize

Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer

Давненько у нас не было реконструкции мыслеобразов с томографа, а там такое!

Прям уже очень хорошо научились реконструировать мыслеобразы. Но расшифровка все еще индивидуальна, нужно обучение на каждого определенного человека

Brain-IT работает эффективнее существующих методов: при использовании всего 1 часа данных фМРТ от нового субъекта даёт результаты, сравнимые с результатами других методов, обученных на полных 40-часовых записях

Ну и если вы хотите опробовать это на своем домашнем фМРТ аппарате, код обещают выложить

#science #brain #mindreading #news #fMRI #brain2image

Появился демоспейс лоры QIE для смены ракурса

С ней можно создавать видео по первому и последнему кадру если у вас нет последнего кадра. Например в WAN

Демо

#imageediting #lora #qie #novelview

UniAVGen: Unified Audio and Video Generation with Asymmetric Cross-Modal Interactions

Система одновременной генерации аудио и видео / оживлятор портретов / липсинк

— генерирует аудио и видео с хорошей синхронизацией

— создаёт контент на основе изображения, описания и речи

— учитывает тембр с помощью референсного аудио

— продолжает и озвучивает видео, синтезирует видео по аудио.

В качестве базовой модели для видеоветви используется Wan 2.2-5B, а для аудиоветви — архитектурный шаблон Wan 2.1-1.3B

На видео с девушкой - это реальное видео и видео с догенеренной концовкой

Кода нет

#chracteranimation #lipsync #portraitanimation #video2video #speech2video #talkinghead