This media is not supported in your browser
VIEW IN TELEGRAM
OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation
Новая версия оживлятора от ByteDance, снова без кода
На вход подаем картинку и аудиозапись речи. На выходе - видео
Модель использует теорию когнитивного мышления «Система 1 и Система 2», объединяя мультимодальную языковую модель и диффузионный трансформер для имитации двух режимов мышления: медленного, обдуманного планирования и быстрого, интуитивного реагирования.
— согласует анимацию с ритмом, просодией и семантическим содержанием речи
— Контроль генерации, движения камеры и конкретных действий через текстовые промпты
— Умеет создавать мультиперсонажные сцены, сам распределяет аудиодорожки
Такое добро — и только посмотреть. Это так несправедливо. Какое несчастье🤩
#lipsync #speech2video #characteranimation #portraitanimation #avatar #research
Новая версия оживлятора от ByteDance, снова без кода
На вход подаем картинку и аудиозапись речи. На выходе - видео
Модель использует теорию когнитивного мышления «Система 1 и Система 2», объединяя мультимодальную языковую модель и диффузионный трансформер для имитации двух режимов мышления: медленного, обдуманного планирования и быстрого, интуитивного реагирования.
— согласует анимацию с ритмом, просодией и семантическим содержанием речи
— Контроль генерации, движения камеры и конкретных действий через текстовые промпты
— Умеет создавать мультиперсонажные сцены, сам распределяет аудиодорожки
Такое добро — и только посмотреть. Это так несправедливо. Какое несчастье
#lipsync #speech2video #characteranimation #portraitanimation #avatar #research
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10
ComfyUI-VibeVoice
Ноды голосовой модели VibeVoice
воркфлоу
#podcast #voicecloning #tts #workflow #text2speech #text2podcast #comfyui
Ноды голосовой модели VibeVoice
воркфлоу
#podcast #voicecloning #tts #workflow #text2speech #text2podcast #comfyui
🔥11
Поделюсь рефералками
Фигню рекламировать самому было бы зашквар, делюсь тем чем доволен.
Т-мобайл. Пересел на него несколько лет назад и ни разу не пожалел. Трачу на связь вдвое меньше чем было там. Если подключитесь по моей ссылке, обещают закинуть денег на счет. А когда пополните на 500р - еще закинут вам и мне.
С экономией на связи есть нюанс, она максимальная с подпиской Pro в Т-банке. Подписка стоит 199 рублей в месяц, которые обычно покрываются кэшбеком. Ну и если закажете карту Black по моей ссылке, то и вам и мне дадут немного денег.
Вдруг кто собирался стать их клиентом — вам полезно, мне приятно.
Фигню рекламировать самому было бы зашквар, делюсь тем чем доволен.
Т-мобайл. Пересел на него несколько лет назад и ни разу не пожалел. Трачу на связь вдвое меньше чем было там. Если подключитесь по моей ссылке, обещают закинуть денег на счет. А когда пополните на 500р - еще закинут вам и мне.
С экономией на связи есть нюанс, она максимальная с подпиской Pro в Т-банке. Подписка стоит 199 рублей в месяц, которые обычно покрываются кэшбеком. Ну и если закажете карту Black по моей ссылке, то и вам и мне дадут немного денег.
Вдруг кто собирался стать их клиентом — вам полезно, мне приятно.
👍11👎9❤3
Опубликован код Uni3C - алибабаевского видеогенератора с контролем камеры и движения. Давно уже
Код
#image2video #cameracontrol #motioncontrol
Код
#image2video #cameracontrol #motioncontrol
Telegram
Нейронавт | Нейросети в творчестве
Uni3C: Unifying Precisely 3D-Enhanced Camera and Human Motion Controls for Video Generation
Генератор видео по одной картинке от Alibaba.
С контролем камеры и движения человеков. Утверждают что именно контроль камеры и движение человеков у них лучше всех…
Генератор видео по одной картинке от Alibaba.
С контролем камеры и движения человеков. Утверждают что именно контроль камеры и движение человеков у них лучше всех…
👍10
Media is too big
VIEW IN TELEGRAM
HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation
Генератор звука к видео с текстовыми подсказками от Hunyuan
По ссылке в заголовке тонна примеров
Офсайт
Код
HF
Демо
#foley #video2audio #video2sound #sfx #video2sfx
Генератор звука к видео с текстовыми подсказками от Hunyuan
По ссылке в заголовке тонна примеров
Офсайт
Код
HF
Демо
#foley #video2audio #video2sound #sfx #video2sfx
❤6👍1🔥1
Нейронавт | Нейросети в творчестве
HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation Генератор звука к видео с текстовыми подсказками от Hunyuan По ссылке в заголовке тонна примеров Офсайт Код HF Демо #foley #video2audio #video2sound…
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Ахах
Хорошая фантазия, Хуньюань! И опять цензура🤩
Кидайте в коменты что у вас получается
#neuronaut_art #humor
Хорошая фантазия, Хуньюань! И опять цензура
Кидайте в коменты что у вас получается
#neuronaut_art #humor
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁10🥴2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Week #2: “Falling”
ComfyOrg проводит конкурс, уже вторая неделя пошла, второй челендж. А я как-то пропустил.
Приз
✅Денежный приз в размере 100 долларов США или эквивалентный бонус ComfyUI для 1 участника
✅ Монтаж Spotlight для выбранных работ
✅ Специальный подарок (в процессе разработки) для участников и победителей, начиная с 1-й недели.
Требования:
Должно начинается со сцены падения
Стиль, оформление и настроение - свободные
Отправка до 19:00 1 сентября по восточному времени
Рекомендуется использовать формат 1:1,< 20 секунд
Большая часть работы должна быть выполнена в ComfyUI
Избегайте водяных знаков и нелицензионных IP, а подписи должны быть небольшими
ComfyOrg проводит конкурс, уже вторая неделя пошла, второй челендж. А я как-то пропустил.
Приз
✅Денежный приз в размере 100 долларов США или эквивалентный бонус ComfyUI для 1 участника
✅ Монтаж Spotlight для выбранных работ
✅ Специальный подарок (в процессе разработки) для участников и победителей, начиная с 1-й недели.
Требования:
Должно начинается со сцены падения
Стиль, оформление и настроение - свободные
Отправка до 19:00 1 сентября по восточному времени
Рекомендуется использовать формат 1:1,< 20 секунд
Большая часть работы должна быть выполнена в ComfyUI
Избегайте водяных знаков и нелицензионных IP, а подписи должны быть небольшими
👍5❤1
This media is not supported in your browser
VIEW IN TELEGRAM
ROSE: Remove Objects with Side Effects in Videos
Удаление объектов из видео (клинап, инпейнтинг) вместе с сопутствующими эффектами, такими как тени, отражения, изменения освещения и т д. Модель решает проблему, с которой сталкиваются существующие методы — сложность устранения побочных эффектов из-за нехватки парных видеоданных.
А откуда же у вас эти пары видеоданных которых ни у кого нет? А из синтетического датасета с 3D рендера.
Под капотом видеоинпейнтинг на основе Wan2.1
Код ждем
Демо
#cleanup #objectremoval #videoinpainting
Удаление объектов из видео (клинап, инпейнтинг) вместе с сопутствующими эффектами, такими как тени, отражения, изменения освещения и т д. Модель решает проблему, с которой сталкиваются существующие методы — сложность устранения побочных эффектов из-за нехватки парных видеоданных.
А откуда же у вас эти пары видеоданных которых ни у кого нет? А из синтетического датасета с 3D рендера.
Под капотом видеоинпейнтинг на основе Wan2.1
Код ждем
Демо
#cleanup #objectremoval #videoinpainting
🔥8👍1😱1
Media is too big
VIEW IN TELEGRAM
VoxHammer: Training-Free Precise and Coherent 3D Editing in Native 3D Space
Редактирование 3D-моделей без обучения в нативном латентном 3D пространстве по текстовым промптам и изображениям
Работает с геометрией, #Nerf и гауссианами
Код
Демо ждем
#3d #3dediting #gaussian
Редактирование 3D-моделей без обучения в нативном латентном 3D пространстве по текстовым промптам и изображениям
Работает с геометрией, #Nerf и гауссианами
Код
Демо ждем
#3d #3dediting #gaussian
👍6❤1
Тестирую тут ComfyUI-Copilot а заодно Qwen-Image-Edit (QIE)
У меня всего 16Gb VRAM, не разгуляешься.
Поэтому первой задачей было переписать стандартный воркфлоу из менюшки с темплейтами под GGUF модель - впихнуть невпихуемое.
С этим он справился успешно.
Следующее задание - переделать воркфлоу под два входных изображения.
Тут он сначала стал мне смешивать входные картинки и пришлось объяснить что надо их сшивать бок о бок, а не накладывать друг на друга полупрозрачно. Оказывается в комфи для этого есть специальная нода, а я и не знал. Короче, справился. Сам QIE при сборке по референсам теряет реализм, меняет лица и вообще путается. Полагаю, тут есть свои хитрости, которых я не знаю.
Удивительно, но QIE с малошаговой лорой Qwen-image-lightning-8steps справляется с заданием лучше чем без нее - см картинки со скамейкой. Монохромную голову выдал без лоры
Далее я замахнулся на Wan2.2-Fun-A14B-Control-GGUF
А то квантизованные модели есть, а воркфлоу только под fp8. А я ж не шарю за пресижны-квантизации, а они все между собой не дружат. Ну и вот после попыток десяти удалось собрать рабочий воркфлоу под GGUF. Да, вместо свидетеля нафантазировал свидетельницу, зато четко по позе ахах. Изначально располагайте персонажа по контролнету и уже потом пихайте в Fun-Control чтобы такого не было.
В общем для такого нуба как я Copilot оказался полезен. Хотя иногда выдает полную дичь. Токен дают бесплатно при активации. С моим количеством запросов я еще не сталкивался с ограничениями.
Кому надо, воркфлоу закину в коменты. Но сильно не радуйтесь, у меня они кривые и неупорядоченные.
#neuronaut_art #workflow #wan22 #qwenimage
У меня всего 16Gb VRAM, не разгуляешься.
Поэтому первой задачей было переписать стандартный воркфлоу из менюшки с темплейтами под GGUF модель - впихнуть невпихуемое.
С этим он справился успешно.
Следующее задание - переделать воркфлоу под два входных изображения.
Тут он сначала стал мне смешивать входные картинки и пришлось объяснить что надо их сшивать бок о бок, а не накладывать друг на друга полупрозрачно. Оказывается в комфи для этого есть специальная нода, а я и не знал. Короче, справился. Сам QIE при сборке по референсам теряет реализм, меняет лица и вообще путается. Полагаю, тут есть свои хитрости, которых я не знаю.
Удивительно, но QIE с малошаговой лорой Qwen-image-lightning-8steps справляется с заданием лучше чем без нее - см картинки со скамейкой. Монохромную голову выдал без лоры
Далее я замахнулся на Wan2.2-Fun-A14B-Control-GGUF
А то квантизованные модели есть, а воркфлоу только под fp8. А я ж не шарю за пресижны-квантизации, а они все между собой не дружат. Ну и вот после попыток десяти удалось собрать рабочий воркфлоу под GGUF. Да, вместо свидетеля нафантазировал свидетельницу, зато четко по позе ахах. Изначально располагайте персонажа по контролнету и уже потом пихайте в Fun-Control чтобы такого не было.
В общем для такого нуба как я Copilot оказался полезен. Хотя иногда выдает полную дичь. Токен дают бесплатно при активации. С моим количеством запросов я еще не сталкивался с ограничениями.
Кому надо, воркфлоу закину в коменты. Но сильно не радуйтесь, у меня они кривые и неупорядоченные.
#neuronaut_art #workflow #wan22 #qwenimage
❤9🔥4👍2
Pixie: Physics from Pixels
Модель добавляет физические свойства в 3D модели на #nerf и #gaussian
Мапит материалы с физическими свойствами на объекты на основе их внешнего вида за один форвард пасс, что позволяет проводить симуляции в реальном времени
Работает значительно быстрее (в 10³ раз) по сравнению с существующими методами
Код
Jupiter
#simulation #dymanics #material #physics
Модель добавляет физические свойства в 3D модели на #nerf и #gaussian
Мапит материалы с физическими свойствами на объекты на основе их внешнего вида за один форвард пасс, что позволяет проводить симуляции в реальном времени
Работает значительно быстрее (в 10³ раз) по сравнению с существующими методами
Код
Jupiter
#simulation #dymanics #material #physics
🔥11