Forwarded from эйай ньюз
🔥Nvidia жжет напалмом! На этот раз выпустили модель для генерации динамических видео
Ганы и диффузионные модели уже хорошо научились генерировать статический контент (например, та же DALLE-2 или Imagen). Нам пора двигаться дальше. Новая модель от Nvidia основана на архитектуре StyleGAN (а как же), но с временной компонентой. Она генерирует видео, неплохо воспроизводящие движение объекта, изменения точки обзора камеры и новый контент, возникающий с течением времени.
Авторы грамотно подобрали тип видосов, на которых все работает. Из критики, я бы заметил низкое разрешение 128x128 и более сильные прыжки между контентом в точке схода перспективы.
Cо слов авторов: "Базовый метод StyleGAN-V повторяет одно и то же содержимое. А наша модель способна создавать новые декорации и объекты, которые появляются на сцене с течением времени, сохраняя при этом долгосрочную временную согласованность."
❱ Код будет в конце лета
❱❱ Сайт проекта
@ai_newz
Ганы и диффузионные модели уже хорошо научились генерировать статический контент (например, та же DALLE-2 или Imagen). Нам пора двигаться дальше. Новая модель от Nvidia основана на архитектуре StyleGAN (а как же), но с временной компонентой. Она генерирует видео, неплохо воспроизводящие движение объекта, изменения точки обзора камеры и новый контент, возникающий с течением времени.
Авторы грамотно подобрали тип видосов, на которых все работает. Из критики, я бы заметил низкое разрешение 128x128 и более сильные прыжки между контентом в точке схода перспективы.
Cо слов авторов: "Базовый метод StyleGAN-V повторяет одно и то же содержимое. А наша модель способна создавать новые декорации и объекты, которые появляются на сцене с течением времени, сохраняя при этом долгосрочную временную согласованность."
❱ Код будет в конце лета
❱❱ Сайт проекта
@ai_newz
👍18🔥7
This media is not supported in your browser
VIEW IN TELEGRAM
🗽 NVIDIA Создала 3D StyleGAN — EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks
EG3D — настоящее инженерное чудо. Ресерчеры взяли за основу StyleGAN 2 бэкбон, и вставили в середину графа гибридный neural rendering.
Nvidia создала новый tri-plane-based 3D GAN framework. Ресерчеры показали, что NeRF в их случае медленный, а воксели не очень масштабируются по памяти с повышением разрешения.
После нейронного рендеринга в 128х128 следует каскад супер-резолюшена в 512х512. Затем low-res ещё раз апскейлится интерполяцией и после конкатенации с mid-res картинкой, единым тензором подается на двойной дискриминатор.
StyleGAN’ы интересны тем, что способны за относительно небольшой компьют (тут 8 Tesla V100 GPUs и 8.5 дней) построить реалистичную генеративную модель в одном домене.
EG3D позволяет сразу генерировать качественную 3D геометрию, которую сеть выучивает самостоятельно!
Как же чудесно будущее 3D графики!
💻 Code
🖥 Project
📄 Paper
🎥 YouTube
@мишин_лернинг
EG3D — настоящее инженерное чудо. Ресерчеры взяли за основу StyleGAN 2 бэкбон, и вставили в середину графа гибридный neural rendering.
Nvidia создала новый tri-plane-based 3D GAN framework. Ресерчеры показали, что NeRF в их случае медленный, а воксели не очень масштабируются по памяти с повышением разрешения.
После нейронного рендеринга в 128х128 следует каскад супер-резолюшена в 512х512. Затем low-res ещё раз апскейлится интерполяцией и после конкатенации с mid-res картинкой, единым тензором подается на двойной дискриминатор.
StyleGAN’ы интересны тем, что способны за относительно небольшой компьют (тут 8 Tesla V100 GPUs и 8.5 дней) построить реалистичную генеративную модель в одном домене.
EG3D позволяет сразу генерировать качественную 3D геометрию, которую сеть выучивает самостоятельно!
Как же чудесно будущее 3D графики!
💻 Code
🖥 Project
📄 Paper
🎥 YouTube
@мишин_лернинг
❤20👍10🔥5
🏞 Какие нейросети лучше решают задачи компьютерного зрения? (Вариант «зависит от задачи» упускаю намеренно)
Anonymous Poll
19%
Трансформеры
36%
Сверточные сети
45%
🤔 С серьезным лицом посмотреть результаты
👍6🔥4😢1
👾 Используются ли в архитектуре ViT: Vision Transformer свертки?
Anonymous Poll
16%
Да, по сути это просто сверточная сеть в которой есть блоки внимания.
21%
Нет. Как раз смысл был в том, чтобы показать, что можно сделать чистый трансформер. Там нет сверток
14%
Даже не знаю как ответить. Концептуально нет, а по факту реализации есть. Но это совсем другое…
49%
🤔 С серьезным лицом посмотреть результаты.
🔥6👍2😢1
Forwarded from Derp Learning
This media is not supported in your browser
VIEW IN TELEGRAM
Собрался с силами и выкатил в ранний доступ все багфиксы и наработки на основе вашего фидбека по #warpfusion turbo+smooth. Забрать тут - Бусти.
Еще раз спасибо за поддержку и фидбек, вы супер :3
Если вам больше всего нравится первый видос слева, то вам подойдет и текущий публично-стабильный
колаб DiscoDiffusion Warp
Еще раз спасибо за поддержку и фидбек, вы супер :3
Если вам больше всего нравится первый видос слева, то вам подойдет и текущий публично-стабильный
колаб DiscoDiffusion Warp
❤31👍5
🌊 Рандомные нейропикчи от IMAGEN
Если честно, я такой красоты от DALL-E 2 не видел.. Сгенерировал Senior Research Scientist из Google Brain. Вот действительно к какой сети я бы хотел иметь доступ.
@мишин_лернинг
Если честно, я такой красоты от DALL-E 2 не видел.. Сгенерировал Senior Research Scientist из Google Brain. Вот действительно к какой сети я бы хотел иметь доступ.
@мишин_лернинг
🔥44👍2❤1👎1
🦙 Рандомные нейропикчи от Imagen
Первая картинка с Альпакой в бассейне была бы просто отличной обложкой для нейрогенеративного гранжа.
@мишин_лернинг
Первая картинка с Альпакой в бассейне была бы просто отличной обложкой для нейрогенеративного гранжа.
@мишин_лернинг
🔥27👍2