Ду ю ноу да вэй?

3D Avatar Diffusion

Майкрософт выпустил диффузионную модель, которая способна построить 3D аватар по одной фотографии человека. Да, он не супер реалистичный получается, но выглядит опрятно.

На вход одно фото (!), то что слева, и текстовое описание. А на выходе модель дает tri-plane репрезентацию 3D объема головы человека, которая декодидируется в radience field (типа как в NeRF) и рендерится. Архитектура очень занятная, и позовляет еще и редактировать как аватар будет выглядеть с помощью изменения текстового промпта, подаваемого на вход. За всеми деталями отправляю вас в статью.

❱❱ Сайт проекта
❱❱ Arxiv: Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion

@ai_newz

🤯 Полное отслеживание тела теперь возможно с помощью сигналов WiFi

Глубокая нейронная сеть сопоставляет фазу и амплитуду сигналов WiFi с метками на человеческом теле

Модель может оценить позу нескольких субъектов, используя сигналы WiFi в качестве единственного входного сигнала.

Исследование показывает, что сигналы WiFi могут служить повсеместной заменой RGB-изображений для восприятия человека.

Освещенность и окклюзия практически не влияют на WiFi.

🤖 Статья

IF - топ за свои деньги

Выкатили демку Image Mixer
Будем посмотреть, насколько она далека от MidJourney

Тыкать тут

За наводку спасибо @tripl3wave
@derplearning

вчерашний стрим на ютуб - без редактуры, со всеми косяками. смотреть лучше на скорости 1.5)
всем кто участвовал - спасибо! это был интересный опыт. учту ошибки и в следующий раз постараюсь сделать лучше.
а если у тебя есть идеи - о чем еще сделать урок или стрим, пиши в комменты

@тоже_моушн

https://arxiv.org/pdf/2212.11565.pdf
В Дипмайнде допилили диффузную text2image сетку для создания видео на основе какого-то конкретного исходного видео.
Новая "text2video" нейросетка после обучения (как я понял, новое исходное видео - новое обучение) превращает цепочку кадров из исходного видео (уровня пара штук в секунду) + текстовый промпт --> в цепочку картинок, которые с натяжкой выглядят, как если бы это были кадры из нового видео (а не разрозненной мешаниной сгенерированных картинок, как раньше). Получается аж в 5/6 случаев.
Для этого в диффузионной нейросетке переделали projection матрицы (только) в блоках внимания.
Мы видим эмпирически, что отдельное пространственно-временное внимание в VDM baselines недостаточно для создания согласованного контента в one shot video, поэтому мы переходим от пространственного самовнимания к межкадровому вниманию, расширяя пространственный селф-аттеншн до пространственно-временного домена.

Экспериментируя с моделью #DeepFloyd (которая, напоминаю, умеет в текст) я подумал: “Блин, это же отличный инструмент для Lyric video!”. И сделал тест — первый куплет The Smiths - There Is a Light That Never Goes Out. Хотел передать ощущение от трека, когда едешь немного пьяненький (как пассажир) в машине и засматриваешься на вывески и огни ночного города. Ссылка на ютуб, если вдруг хотите пошерить со знакомым клипмейкером вне Телеграма.

Твит выше удолили, видео на всякий случай.