HyperReel: High-Fidelity 6-DoF Video with Ray-Conditioned Sampling
Мы много видели способов получить реконструкцию изображения с нового ракурса. Но то все было про статичные изображения, в редких случаях NeRF. HyperReel покажет вам изменение ракурса на видео. Я не понял, сколько исходных ракурсов видео надо ему скормить. Выглядит как магия.
Прекрасно, что можно попытаться поиграть с ним, ибо есть
Код
#novelview #video2video #rendering
Мы много видели способов получить реконструкцию изображения с нового ракурса. Но то все было про статичные изображения, в редких случаях NeRF. HyperReel покажет вам изменение ракурса на видео. Я не понял, сколько исходных ракурсов видео надо ему скормить. Выглядит как магия.
Прекрасно, что можно попытаться поиграть с ним, ибо есть
Код
#novelview #video2video #rendering
👍4❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Neuralangelo интегрировали в SDFStudio
Да, его можно установить (с гитхаба) и пользоваться. В деле замешан Nerfstuduio, и можно пользоваться его вьюером.
Код
#nerf #rendering
Да, его можно установить (с гитхаба) и пользоваться. В деле замешан Nerfstuduio, и можно пользоваться его вьюером.
Код
#nerf #rendering
🔥3
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
🔥А вот и код SDXL 0.9 подоспел!
В репозитории есть код базовой модели и код рефайнера. Рефайнер — это модель, которая тренировалась на очень качественных картинках и низких уровнях шума. Она предназначена для улучшения выхода базовой модели.
Доступ к весам для исследовательских целей можно запросить по ссылкам [1, 2] в репе. Через пару дней, думаю, они утекут в интернет, если ещё нет.
Кроме того, весь код LDM отрефакторили и причесали (раньше это был просто кошмарный код). Теперь используется Pytorch Lightning. Из этой репы можно также запускать модели SD 2.1.
Короче, кайф!
@ai_newz
В репозитории есть код базовой модели и код рефайнера. Рефайнер — это модель, которая тренировалась на очень качественных картинках и низких уровнях шума. Она предназначена для улучшения выхода базовой модели.
Доступ к весам для исследовательских целей можно запросить по ссылкам [1, 2] в репе. Через пару дней, думаю, они утекут в интернет, если ещё нет.
Кроме того, весь код LDM отрефакторили и причесали (раньше это был просто кошмарный код). Теперь используется Pytorch Lightning. Из этой репы можно также запускать модели SD 2.1.
Короче, кайф!
@ai_newz
👍2
Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation
Свежая разработка от NVIDIA на поле редактирования изображений текстовыми подсказками. Выглядит интересно
Код
Демо на HF
Демо на Replicate
#image2image #text2image
Свежая разработка от NVIDIA на поле редактирования изображений текстовыми подсказками. Выглядит интересно
Код
Демо на HF
Демо на Replicate
#image2image #text2image
Forwarded from twin3D
This media is not supported in your browser
VIEW IN TELEGRAM
Симуляция физики 3D-одежды станет ещё естественнее
Про аватаров достаточно часто слышим. А что насчёт оцифровки одежды?
На конференции CVPR’23 представили метод обучения нейросетей HOOD для воспроизведения физики одежды в 3D. По заверению разработчиков, они добились следующих преимуществ:
• Физика материалов теперь не привязывается жёстко к 3D-аватару. Благодаря этому 3D-ткани могут двигаться более свободно, что выгодно при моделировании, например, платьев или свободной одежды.
• Метод позволяет динамично подстраивать симуляцию материалов под изменение топологии (то есть модель не сломается, если у неё расстегнуть пуговицы или молнию).
• Нейросеть не нужно обучать под конкретный вид одежды (чем часто ограничиваются возможности таких нейросетей): метод позволяет симулировать поведение разных материалов без переобучения.
Что ж, если всё так, как рассказывают разработчики, ждём крутых обновлений для CLO3D или в прочих подобных программах.
Новости 3D, аватаров и метавселенных — подписаться!
Про аватаров достаточно часто слышим. А что насчёт оцифровки одежды?
На конференции CVPR’23 представили метод обучения нейросетей HOOD для воспроизведения физики одежды в 3D. По заверению разработчиков, они добились следующих преимуществ:
• Физика материалов теперь не привязывается жёстко к 3D-аватару. Благодаря этому 3D-ткани могут двигаться более свободно, что выгодно при моделировании, например, платьев или свободной одежды.
• Метод позволяет динамично подстраивать симуляцию материалов под изменение топологии (то есть модель не сломается, если у неё расстегнуть пуговицы или молнию).
• Нейросеть не нужно обучать под конкретный вид одежды (чем часто ограничиваются возможности таких нейросетей): метод позволяет симулировать поведение разных материалов без переобучения.
Что ж, если всё так, как рассказывают разработчики, ждём крутых обновлений для CLO3D или в прочих подобных программах.
Новости 3D, аватаров и метавселенных — подписаться!
This media is not supported in your browser
VIEW IN TELEGRAM
PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360°
Ах, какое полезное изобретение! Генератор полной 3D модели головы по одному фото. В основе модели - 3D GAN. На видео примеры результатов одного реддитора
Код
Колаб
#GAN #3DGAN #imageto3D #image2head
Ах, какое полезное изобретение! Генератор полной 3D модели головы по одному фото. В основе модели - 3D GAN. На видео примеры результатов одного реддитора
Код
Колаб
#GAN #3DGAN #imageto3D #image2head
🔥5
Forwarded from Нейрокузня | DreamForge
Пока SDXL еще не полностью вышла в открытый доступ, продолжаем выжимать всё возможное из нынешних моделей.
Почти месяц назад я разработал в рамках своей дипломной работы скрипт для Stable Diffusion WebUI, призванный помочь и новичкам, только осваивающим интерфейс, и бывалым энтузиастам в создании качественных изображений с минимальными усилиями. И наконец я готов этот скрипт, пусть и все еще на стадии поздней беты, выложить в открытый доступ.
AutoChar осуществляет автоматический инпеинт обнаруженных лиц и глаз на них, налаживает двухэтапный апскейл изображения, а так же чистит изначальную генерацию от шума.
Всё, впрочем, детально регулируется или выключается по мере надобности, при этом все настройки скрыты за шторкой, у новичков глаза разбегаться не будут. Базовые настройки достаточно универсальны, но в случае чего их всегда можно адаптировать под задачу.
Десятки лишних кликов и ручное рисований масок лиц мышкой теперь в прошлом, иллюстрация получается значительно лучше с одной кнопки. По сути, я автоматизировал свой собственный алгоритм работы и не надо верить мне на слово, сами попробуйте и оцените, насколько много времени и сил AutoChar экономит.
Пока реализованы не все задуманные мной и предложенные первыми тестерами функции, но всё впереди! Забрасывать разработку не намерен, т.к. каждый день использую скрипт сам в своей работе и сам заинтересован в его улучшении. Буду рад всем предложениям, пожеланиям и сообщениям об ошибках.
https://github.com/alexv0iceh/AutoChar
https://www.reddit.com/r/StableDiffusion/comments/14h5qa3/autochar_new_automatic1111_webui_noscript_for/
https://civitai.com/models/95923?modelVersionId=102438
Почти месяц назад я разработал в рамках своей дипломной работы скрипт для Stable Diffusion WebUI, призванный помочь и новичкам, только осваивающим интерфейс, и бывалым энтузиастам в создании качественных изображений с минимальными усилиями. И наконец я готов этот скрипт, пусть и все еще на стадии поздней беты, выложить в открытый доступ.
AutoChar осуществляет автоматический инпеинт обнаруженных лиц и глаз на них, налаживает двухэтапный апскейл изображения, а так же чистит изначальную генерацию от шума.
Всё, впрочем, детально регулируется или выключается по мере надобности, при этом все настройки скрыты за шторкой, у новичков глаза разбегаться не будут. Базовые настройки достаточно универсальны, но в случае чего их всегда можно адаптировать под задачу.
Десятки лишних кликов и ручное рисований масок лиц мышкой теперь в прошлом, иллюстрация получается значительно лучше с одной кнопки. По сути, я автоматизировал свой собственный алгоритм работы и не надо верить мне на слово, сами попробуйте и оцените, насколько много времени и сил AutoChar экономит.
Пока реализованы не все задуманные мной и предложенные первыми тестерами функции, но всё впереди! Забрасывать разработку не намерен, т.к. каждый день использую скрипт сам в своей работе и сам заинтересован в его улучшении. Буду рад всем предложениям, пожеланиям и сообщениям об ошибках.
https://github.com/alexv0iceh/AutoChar
https://www.reddit.com/r/StableDiffusion/comments/14h5qa3/autochar_new_automatic1111_webui_noscript_for/
https://civitai.com/models/95923?modelVersionId=102438
🔥10❤2👍2
Forwarded from CGIT_Vines (Marvin Heemeyer)
This media is not supported in your browser
VIEW IN TELEGRAM
Тут вылез прекрасный конкурент Gen2, с сумасшедшей демкой!
Красавец называется Zeroscope 2.0XL, может text2video в разрешении 1024х576.
Сама демка просто сок!
Чекнуть тут
Красавец называется Zeroscope 2.0XL, может text2video в разрешении 1024х576.
Сама демка просто сок!
Чекнуть тут
🔥7🤯4
А вот подвезли официальный код DragGAN. Интересно насколько его работа отличается от неофициальной имплементации. В основе StyleGAN3 и StyleGAN-Human.
Код
#image2image
Код
#image2image
Telegram
Нейронавт | Нейросети в творчестве
Очень не очевидный подход к управлению результатами генераций через контроль опорных точек.
С помощью DragGAN можно деформировать изображение с точным контролем расположения пикселей, таким образом манипулируя позой, формой, выражением и расположением различных…
С помощью DragGAN можно деформировать изображение с точным контролем расположения пикселей, таким образом манипулируя позой, формой, выражением и расположением различных…
🔥4🤯2❤1👍1
Emad твитнул про #SDXL
Версия 1.0 будет будет легко дообучаться и в то же время качественная из коробки. Она уже самая качественная базовая модель.
- Kohya уже подготовил свою дообучалку
- Авторы выложат свою мощную дообучалку
- Текстовая инверсия готова
- t2i адаптеры готовы
- ControlNet готов
- поддержка automatic1111 webui
- Ещё лучше поддержка ComfyUI
Самые крутые файнтюнеры уже получили веса.
Релиз v1.0 в середине июля под лицензией CreativeML
Твит
Версия 1.0 будет будет легко дообучаться и в то же время качественная из коробки. Она уже самая качественная базовая модель.
- Kohya уже подготовил свою дообучалку
- Авторы выложат свою мощную дообучалку
- Текстовая инверсия готова
- t2i адаптеры готовы
- ControlNet готов
- поддержка automatic1111 webui
- Ещё лучше поддержка ComfyUI
Самые крутые файнтюнеры уже получили веса.
Релиз v1.0 в середине июля под лицензией CreativeML
Твит
🔥10❤2
Нейронавт | Нейросети в творчестве
А вот подвезли официальный код DragGAN. Интересно насколько его работа отличается от неофициальной имплементации. В основе StyleGAN3 и StyleGAN-Human. Код #image2image
Демо DragGAN на HF (возможно, сейчас лежит, у меня страница не прогружается)
huggingface.co
DragGan - Drag Your GAN - a Hugging Face Space by DragGan
Users can select a pre-trained model and seed to generate an image. They can then add control points and drag them to manipulate the image. A mask can also be edited to constrain certain areas. The...
👍1
Нейронавт | Нейросети в творчестве
Пощупать Zeroscope уже можно в колабе. Несколько блокнотов для запуска zeroscope в разных вариантах выложили на гитхабе Гитхаб
This media is not supported in your browser
VIEW IN TELEGRAM
В zeroscope_v2_xl мне удалось сгенерировать максимум 20 кадров. На 25 кадров не хватает видеопамяти бесплатного колаба. Где тот герой который поженит Zeroscope и Controlnet?
Darth Vader dancing in a space rickroll, star Wars, cinematic dolly shot, Arri, 30mm lens, parallax#text2video
👍3
Нейронавт | Нейросети в творчестве
PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360° Ах, какое полезное изобретение! Генератор полной 3D модели головы по одному фото. В основе модели - 3D GAN. На видео примеры результатов одного реддитора Код Колаб #GAN #3DGAN #imageto3D #image2head
Google
Google Colab Notebook
Run, share, and edit Python notebooks
Stability Matrix
Однокнопочный инсталлятор/обновлятор для Automatic1111 webui, ComfyUI, SD.Next для Windows.
Простая установка, обновление, интеграция c Civitai
В текущей версии нет возожности выбрать папку установки, и все устанавливается в AppData. В следующих версиях ожидается что сделают выбор папки, я подожду
Гитхаб
Скачать инсталлятор
Реддит
Однокнопочный инсталлятор/обновлятор для Automatic1111 webui, ComfyUI, SD.Next для Windows.
Простая установка, обновление, интеграция c Civitai
В текущей версии нет возожности выбрать папку установки, и все устанавливается в AppData. В следующих версиях ожидается что сделают выбор папки, я подожду
Гитхаб
Скачать инсталлятор
Реддит