Control4D: Dynamic Portrait Editing by Learning 4D GAN from 2D Diffusion-based Editor

И снова редактор/стилизатор видеоперсонажей по текстовому запросу. На сей раз на основе #GAN. Но это не просто GAN, а GAN, в который завернута и временная составляющая, то есть все видео представлено одним вектором. Благодаря этому разработчики избавились от присущих видеостилизациям артефактов

Ссылка на код пока ведет только на сайт проекта

#video2video #videoavatar #face2face #talkinghead

Graphy

ИИ-Генератор графиков и диаграмм.
Если у вас нет своих данных, не парьтесь - он сам насочиняет.

На моем примере - график роста количества сгенерированных ИИ графиков в интернете

#tools

Держите Нейраланджело!
Это 2d-video-to-3D от Нвидия.

В общем это такой новый крутой замес из Instant NeRF и фотограмметрии.

На входе видео - на выходе 3Д-реконструкция сцены или объекта в невиданном доселе качестве.
Вот как поэтично пишут сами зеленые:

Используя 2D-видео объекта или сцены, снятой с разных ракурсов, модель выбирает несколько кадров, которые захватывают разные точки зрения — подобно тому, как художник рассматривает объект с разных сторон, чтобы получить ощущение глубины, размера и формы.

После определения положения камеры в каждом кадре ИИ Neuralangelo создает грубое трехмерное представление сцены, подобно скульптору, начинающему высекать форму объекта.

Затем модель оптимизирует визуализацию, чтобы сделать детали более четкими, подобно тому, как скульптор кропотливо обтесывает камень, чтобы имитировать текстуру ткани или человеческую фигуру.

Конечным результатом является 3D-объект или крупномасштабная сцена, которую можно использовать в приложениях виртуальной реальности, цифровых двойниках или разработке робототехники.

Поглядите видео. Там можно махать айфоном и получать 3Д-геометрию объекта, или летать дроном и получать какие-то конские 3Д-локации.

Оцифровка нашего утлого мира никогда не была так близка.

А теперь представьте, как через пару лет, выходите вы на крыльцо, на носу очки от эппле, которые сканируют своими лидарами все, что вокруг. Все это пережевывается в облаке софтами Нвидия, реконструируется вся пока еще ваша реальность в 3Д и выплевывается вам прямо в глаза, через те же очки.

А вы такие, чотонекрасиво! Stable Diffusion иди сюда, сегодня у нас на дворе RevAnimated с пейзанками.

И ну, метаверсить!

P.S. Я, конечно, щас опять начну ныть про качество мешей, точнее про их топологию. Качество обещают повысить в десятки раз - читаем "использовать в приложениях виртуальной реальности, цифровых двойниках или разработке робототехники".
https://blogs.nvidia.com/blog/2023/06/01/neuralangelo-ai-research-3d-reconstruction/

Neuralangelo

Страница проекта с примерами и интерактивом

Кода нет

#nerf #videoto3D

Интересно есть ли там что-то принципиально новое, ради чего люди будут его покупать и сидеть в VR

Meta анонсировала Quest 3!

Дроп будет осенью, по цене $499 за штуку. Новый девайс будет мощнее, компактнее и дешевле чем предыдущая модель.

В этой штуковине будет крутится пара моих нейронок тоже! Я успел кое-чего сделать перед своим переходом из Reality Labs, которая как раз занимается хедсетами, в Generative AI оргу.

@ai_newz

[update 2] не, не фейк

[update]
После того, как эта история была впервые опубликована, представитель ВВС сообщил Insider, что ВВС не проводили такого испытания и что комментарии представителя ВВС были вырваны из контекста

А теперь сама новость: ИИ-дрон "убил" человека-оператора в симуляции испытаний ВВС США. Пока не по-настоящему. Оператор препятствовал дрону выполнить его задание, и он его устранил в симуляции, ибо приоритет выполнения задачи был для него выше повиновения оператору.

Картинку не буду прикладывать, сами вспомните

По наводке @bestintown1

#яниначтоненамекаю

Вместо похода в спортзал, чтобы не отрываться от компьютера, берем Photoshop Beta и рисуем себе селфак из зала.

Норм тема. Just do it 😎.

@ai_newz

SnapFusion: Text-to-Image Diffusion Model on Mobile Devices within Two Seconds

Ждем быстрый инференс на мобилках. Авторы придумали как облегчить и ускорить генерацию картинок на мобилках. По результату их модель показывает метрику на 8 шагах лучше чем SD 1.5 на 50 шагах. И выдает результат быстрее чем за 2 секунды.

Кода нет

#text2image