HiFA: High-fidelity Text-to-3D with Advanced Diffusion Guidance

Очередной диффузионно-нерфовый генератор 3D объектов.

Код обещают выложить

#textto3D #nerf

Недавно заснял на чемпионате, как художники постпродакшена сражаются за свою работу с Wonder Studio.

Кстати, если еще не видели, как мы с Сергеем разбирали эту софтину на стриме, велкам.

AlteredAvatarStylizing Dynamic 3D Avatars with Fast Style Adaptation

Быстрая стилизация динамического 3D-аватара

Кода нет

#3DAvatar #talkinghead

Твит

Сорс

Япония решила вступиться за все эти ваши аниме модели и разрешила обучать нейронки на чем угодно - копирайты исходных картинок при этом могут идти лесом 😺

(Поправка: на самом деле пока решила не вступаться за владельцев материалов, которые попадают в датасет, т.к. по текущему законодательству "анализировать информацию" можно у чего угодно, даже полученного преступным путем)

@derplearning

OpenAI улучшили способность GPT-4 решать математические задачи, при обучении поощряя каждый правильный шаг в рассуждении, вместо того чтобы поощрять просто правильные ответы.

Блог

#LLM #AGI

Control4D: Dynamic Portrait Editing by Learning 4D GAN from 2D Diffusion-based Editor

И снова редактор/стилизатор видеоперсонажей по текстовому запросу. На сей раз на основе #GAN. Но это не просто GAN, а GAN, в который завернута и временная составляющая, то есть все видео представлено одним вектором. Благодаря этому разработчики избавились от присущих видеостилизациям артефактов

Ссылка на код пока ведет только на сайт проекта

#video2video #videoavatar #face2face #talkinghead

Graphy

ИИ-Генератор графиков и диаграмм.
Если у вас нет своих данных, не парьтесь - он сам насочиняет.

На моем примере - график роста количества сгенерированных ИИ графиков в интернете

#tools

Держите Нейраланджело!
Это 2d-video-to-3D от Нвидия.

В общем это такой новый крутой замес из Instant NeRF и фотограмметрии.

На входе видео - на выходе 3Д-реконструкция сцены или объекта в невиданном доселе качестве.
Вот как поэтично пишут сами зеленые:

Используя 2D-видео объекта или сцены, снятой с разных ракурсов, модель выбирает несколько кадров, которые захватывают разные точки зрения — подобно тому, как художник рассматривает объект с разных сторон, чтобы получить ощущение глубины, размера и формы.

После определения положения камеры в каждом кадре ИИ Neuralangelo создает грубое трехмерное представление сцены, подобно скульптору, начинающему высекать форму объекта.

Затем модель оптимизирует визуализацию, чтобы сделать детали более четкими, подобно тому, как скульптор кропотливо обтесывает камень, чтобы имитировать текстуру ткани или человеческую фигуру.

Конечным результатом является 3D-объект или крупномасштабная сцена, которую можно использовать в приложениях виртуальной реальности, цифровых двойниках или разработке робототехники.

Поглядите видео. Там можно махать айфоном и получать 3Д-геометрию объекта, или летать дроном и получать какие-то конские 3Д-локации.

Оцифровка нашего утлого мира никогда не была так близка.

А теперь представьте, как через пару лет, выходите вы на крыльцо, на носу очки от эппле, которые сканируют своими лидарами все, что вокруг. Все это пережевывается в облаке софтами Нвидия, реконструируется вся пока еще ваша реальность в 3Д и выплевывается вам прямо в глаза, через те же очки.

А вы такие, чотонекрасиво! Stable Diffusion иди сюда, сегодня у нас на дворе RevAnimated с пейзанками.

И ну, метаверсить!

P.S. Я, конечно, щас опять начну ныть про качество мешей, точнее про их топологию. Качество обещают повысить в десятки раз - читаем "использовать в приложениях виртуальной реальности, цифровых двойниках или разработке робототехники".
https://blogs.nvidia.com/blog/2023/06/01/neuralangelo-ai-research-3d-reconstruction/