ACE-Step: A Step Towards Music Generation Foundation Model

Генератор музыки в опенсорсе, базовая модель, пригодная для дальнейшего файнтюна.

Мультиязычный, есть русский!
Помимо собственно генерации музыки по тексту, умеет делать вариации, смену пола вокалиста, замену слов, замену музыкальных фрагментов.

Обещают лоры с контролнетами, генерацию стемов (отдельных партий), вокал по готовому аккомпанементу

Звучит пока не очень, надеемся на пластичность в файнтюне

Код
Демо
Веса

#music #text2music #musicediting

LTX VIDEO-13B

Выложили веса модели видеогенератора с 13B параметров
ltxv-13b-0.9.7-dev и
ltxv-13b-0.9.7-dev-fp8
FP8 должен завестись на 4090

HF
Гитхаб
ComfyUI
Попробовать на офсайте - притворитесь что вы не в РФ

#text2video #image2video

Insert Anything: Image Insertion via In-Context Editing in DiT

Короче еще один инпейнтинг персонализатор.
Показываем одной картинкой что вставить, на другой - куда вставить

Под капотом FLUX.1-Fill-dev и FLUX.1-Redux-dev

Код
Демо
ComfyUI

#inpainting #personalization #imageediting

Computer Agent

Агент, аналог Operator

Работает в песочнице

Под капотом
smolagents
Qwen2-VL-72B
E2B Desktop

Демо

#agent #browser

AgenticSeek

Еще один агент, позиционируют себя как локальную опенсорсную альтернативу Manus на DeepSeek R1.
Без отправки данных в облако.

Для установки понадобятся ChromeDriver, Docker, Python 3.10

Гитхаб

#agent #desktop

WildGS-SLAM: Monocular Gaussian Splatting SLAM in Dynamic Environments

Реконструкция 3D сцен на гауссианах с удалением движущихся объектов.
На вход нужно монокулярное видео

Код

#gaussian

LAM: Large Avatar Model for One-shot Animatable Gaussian Head

Анимируемые аватары по одному изображению на гауссианах от Alibaba.

Управляются звуком и видео, поддаются редактированию-стилизации, шустро крутятся на разных девайсах

Код
Демо
Чат с аватарами - ну здесь они долго думают прежде чем ответить

#humanavatar #talkinghead #gaussian #head #mobile #realtime #lipsync #motion2video

Подписчики в чате продолжают улучшать FramepackStudio

На сей раз прикрутили настройки teacache.

заменить studio.py в app\studio.py . interface.py в app\modules\interface.py

Файлы в комментариях

Спасибо @m_franz

#image2video #text2video

По совету подписчиков объявляю парад FramePack генераций. Хвастайтесь в комментариях что вам удалось выжать из этого генератора

HoloTime: Taming Video Diffusion Models for Panoramic 4D Scene Generation

Генерирует панорамные динамичные видео по тексту или по картинке, реконструируя 4D ассеты

Код

#image2scene #text2video #image2video #360 #panorama #4d #textto4d #imageto4d

FlexiAct: Towards Flexible Action Control in Heterogeneous Scenarios

Оживлятор персонажей по образцу движения от Tencent. Перенос движения на картинку.
На основе CogVideoX-5B

Код
Веса

#characteranimation #image2video #motion2video

FramePack_with_Video_Input

Форк FramePack, принимающий на вход видео и продолжающий его.

На примере первые 3 секунды видео - исходник, дальше - генерация FramePack

Ветка на официальном FramePack

#videoextension #video2video

А вот вам и воркфлоу генератора музыки ACE-Step

workflow

#music #text2music #musicediting #comfyui #workflow

Multiverse: The First AI Multiplayer World Model

Первая игровая модель с мультиплеером. Модель реагирует на действия двух игроков, управляющих гоночными автомобилями

Мы уже видели много версий генеративных игровых моделей для одного игрока. Тут же авторам пришлось решить задачу взаимодействия агентов в генеративном мире, это следующий уровень

Гитхаб
Веса

#gaming #multiplayer #realtime

DreamO: A Unified Framework for Image Customization

Персонализатор-кастомизатор изображений от ByteDance на базе Flux

Kод
Демо
HF

#personalization #referenceing #tex2image