GeoDream: High-Fidelity and Consistent 3D Generation
Генератор 3D объектов по тексту. Модель помогает диффузионному генератору каким-то 3D пониматором. На выходе текстурированный меш
Код
Колаб
#texto3D
Генератор 3D объектов по тексту. Модель помогает диффузионному генератору каким-то 3D пониматором. На выходе текстурированный меш
Код
Колаб
#texto3D
❤2🔥2
Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering
Новый уровень точности реконструкции 3D сцен гауссианами. Превосходит 3D-GS по скорости, экономичности и качеству
Код обещают выложить на этой неделе
#imageto3D #image2scene #rendering #gaussian
Новый уровень точности реконструкции 3D сцен гауссианами. Превосходит 3D-GS по скорости, экономичности и качеству
Код обещают выложить на этой неделе
#imageto3D #image2scene #rendering #gaussian
🔥7👍3
This media is not supported in your browser
VIEW IN TELEGRAM
Text-Guided 3D Face Synthesis - From Generation to Editing
Генератор/редактор 3D головы по текстовому описанию
Кода нет
#text2head #textto3D #humanavatar
Генератор/редактор 3D головы по текстовому описанию
Кода нет
#text2head #textto3D #humanavatar
❤1
PyNeRF: Pyramidal Neural Radiance Fields
#nerf не умирает. Подъехал оптимизированный подход, который ускоряет работу. Далекие части сцены рендерят nerf низкого разрешения, близкие - nerf высокого разрешения.
Код
#imageto3D #rendring #novelview
#nerf не умирает. Подъехал оптимизированный подход, который ускоряет работу. Далекие части сцены рендерят nerf низкого разрешения, близкие - nerf высокого разрешения.
Код
#imageto3D #rendring #novelview
👍3
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
ИИ вползает в графику.
Ну в ту, которая "глядите чо мужики творят в Midjourney", а в настоящую.
Пока Автодеск и Фаундри отмалчиваются, умельцы сами пилят разные помогаторы для рендеринга и 3Д. К Блендору тоже прикручивают разные смешные штуки.
А на днях вышел анонс нового Octane Render 2024. Это такой рендер для взрослых.
В OctaneRender 2024.1 появится OctaneGPT, сервис на основе Large Language Model, который будет оказывать помощь в приложении и сможет генерировать новые узлы, шейдеры, скрипты и даже целые сцены в интерактивном режиме на основе текстовых или голосовых подсказок пользователей. Еще раз: в интерактивном режиме с помощью текста, голоса и даже совместного использования экрана.
Юлик всегда отличался тем, что быстрее всех пытался внедрить самые горячие штуки в свой рендер. Так было с блокчейном (в рендере!), его рендер-монетками и распределенным рендером. Интересно будет поглядеть, как octaneGPT будет генерить "целые сцены". Это звучит уже крайне заманчиво.
И поднимите веки Автодеску, пожалуйста. Еще в в 2018 году они сделали AIUV - гениальную AI-развертку для ювишек, но потом зачистили все упоминания о ней.
https://home.otoy.com/octane2024/
Ну в ту, которая "глядите чо мужики творят в Midjourney", а в настоящую.
Пока Автодеск и Фаундри отмалчиваются, умельцы сами пилят разные помогаторы для рендеринга и 3Д. К Блендору тоже прикручивают разные смешные штуки.
А на днях вышел анонс нового Octane Render 2024. Это такой рендер для взрослых.
В OctaneRender 2024.1 появится OctaneGPT, сервис на основе Large Language Model, который будет оказывать помощь в приложении и сможет генерировать новые узлы, шейдеры, скрипты и даже целые сцены в интерактивном режиме на основе текстовых или голосовых подсказок пользователей. Еще раз: в интерактивном режиме с помощью текста, голоса и даже совместного использования экрана.
Юлик всегда отличался тем, что быстрее всех пытался внедрить самые горячие штуки в свой рендер. Так было с блокчейном (в рендере!), его рендер-монетками и распределенным рендером. Интересно будет поглядеть, как octaneGPT будет генерить "целые сцены". Это звучит уже крайне заманчиво.
И поднимите веки Автодеску, пожалуйста. Еще в в 2018 году они сделали AIUV - гениальную AI-развертку для ювишек, но потом зачистили все упоминания о ней.
https://home.otoy.com/octane2024/
❤2👏1
MagicAnimate:Temporally Consistent Human Image Animation using Diffusion Model
Сегодня уже весь твиттер в курсе про этот генератор анимаций изображений человека. На данный момент - самый качественный из доступных. Может анимировать сразу несколько человек.
Кидайте свои анимации в комменты
Код
Демо
#image2video
Сегодня уже весь твиттер в курсе про этот генератор анимаций изображений человека. На данный момент - самый качественный из доступных. Может анимировать сразу несколько человек.
Кидайте свои анимации в комменты
Код
Демо
#image2video
🔥4👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Generative Rendering: Controllable 4D-Guided Video Generation with 2D Diffusion Models
А вот не такой впечатляющий генератор, здесь не получится обойтись парой кликов. Зато можно рендерить не только людей. На вход нужны секвенции карты глубины и UV. По глубине работает Controlnet, а UV нужны для согласованности.
Кода пока нет
#rendering
А вот не такой впечатляющий генератор, здесь не получится обойтись парой кликов. Зато можно рендерить не только людей. На вход нужны секвенции карты глубины и UV. По глубине работает Controlnet, а UV нужны для согласованности.
Кода пока нет
#rendering
👍4
Segment Any 3D Gaussians (SAGA)
Быстрое интерактивное сегментирование гауссиан.
Вот сделали вы сцену с артефактами. Чик, выбрали нужное, остальное отсекли. Красота
Код обещают выложить
#gaussian #segmentation
Быстрое интерактивное сегментирование гауссиан.
Вот сделали вы сцену с артефактами. Чик, выбрали нужное, остальное отсекли. Красота
Код обещают выложить
#gaussian #segmentation
👍9
Forwarded from Нейродвиж
This media is not supported in your browser
VIEW IN TELEGRAM
Благодаря нейронкам уже пилят короткие всратые мультфильмы — вроде этого спин-оффа «Рататуя». Рецепт такой:
ChatGPT — сценарий и промты для создания 3D-моделей;
GENIE — собственно, 3D-модели;
Mootion — анимация персонажей;
Elevenlabs — голос;
Audio2Face — липсинк и анимация лиц;
Человек — собрал все в кучу в Blender за вечер.
Нельзя не отметить талант автора — шутки в названия блюд вроде «Terrormisu» гениальны. Кстати, инструкция тут.
ChatGPT — сценарий и промты для создания 3D-моделей;
GENIE — собственно, 3D-модели;
Mootion — анимация персонажей;
Elevenlabs — голос;
Audio2Face — липсинк и анимация лиц;
Человек — собрал все в кучу в Blender за вечер.
Нельзя не отметить талант автора — шутки в названия блюд вроде «Terrormisu» гениальны. Кстати, инструкция тут.
👍8🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Vid2DensePose
Здесь можно сделать из видео DensePose чтобы перенести анимацию в MagicAnimate
Гитхаб
Колаб
Демо
#video2motion #video2pose
Здесь можно сделать из видео DensePose чтобы перенести анимацию в MagicAnimate
Гитхаб
Колаб
Демо
#video2motion #video2pose
🔥6👍1
Много работ появляется на оптимизацию диффузии. Некогда было писать, хорошо что соседний канал уже написал
#optimization #text2image
#optimization #text2image
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
⚡DeepCache: Accelerating Diffusion Models for Free
Во время инференса диффузионной модели мы делаем десятки шагов солвера, чтобы сгенерить одну картинку. Понятно, что это не очень эффективно. Отсюда растут ноги у многих работ по ускорению диффузии и уменьшению количества шагов на инференсе. Хочется как-то уменьшить количество компьюта требуемых для генерации одной картинки.
Тут как раз вышла работа про кеширование промежуточных активаций в Latent Diffusion. Хай-левел суть в том, что можно закешировать часть выходов блоков с предыдущих шагов и переиспользовать их на следующих шагах солвера. Активации более шлубоких блоков, те что работают на более низком разрешении, сильно коррелированы между двумя последовательными шагами. А вот активации первых и последних блоков как правило меняются довольно сильно от шагу. Вот авторы и предложили не пересчитывать акттвации глубокизх блоков, а кешировать их.
Это позволяет ускорить инференс SD v1.5 до 2-3 раз без существенной потери качества.
Прикол в том, что мы написали статью на очень схожую тему (тоже про кешинг) - она скоро появится на архиве. Китайцы нас слегка опередили с загрузкой на Arxiv.
На гифке результаты SD v1.5. Слева: 50 PLMS шагов.
Справа: 2.3x ускорение 50 PLMS шагов с кешем.
Статья
Код
@ai_newz
Во время инференса диффузионной модели мы делаем десятки шагов солвера, чтобы сгенерить одну картинку. Понятно, что это не очень эффективно. Отсюда растут ноги у многих работ по ускорению диффузии и уменьшению количества шагов на инференсе. Хочется как-то уменьшить количество компьюта требуемых для генерации одной картинки.
Тут как раз вышла работа про кеширование промежуточных активаций в Latent Diffusion. Хай-левел суть в том, что можно закешировать часть выходов блоков с предыдущих шагов и переиспользовать их на следующих шагах солвера. Активации более шлубоких блоков, те что работают на более низком разрешении, сильно коррелированы между двумя последовательными шагами. А вот активации первых и последних блоков как правило меняются довольно сильно от шагу. Вот авторы и предложили не пересчитывать акттвации глубокизх блоков, а кешировать их.
Это позволяет ускорить инференс SD v1.5 до 2-3 раз без существенной потери качества.
На гифке результаты SD v1.5. Слева: 50 PLMS шагов.
Справа: 2.3x ускорение 50 PLMS шагов с кешем.
Статья
Код
@ai_newz
🔥3👍1