GAN'ы, сдавшие за последний год позиции под натиском диффузии и nerf'ов, возвращаются.

3DAvatarGAN
Персонализированные 3D аватары с возможностью редактирования.
- стилизация в разных доменах
- анимация
- контроль выражения лица
- редактирование отдельных черт лица/волос

Код обещают позже

#image2avatar #talkinghead #imageto3D #facialanimation #3Davatar

Как создать 3D-аватар с помощью интерполяции в RunawayML?

Да, это можно сделать 😊 Почти. Потому что получится не совсем 3D, но суть примерно та же. В прикреплённых видео пример и инструкция.

Как фактически происходит процесс? (небольшая расшифровка к видео)

В программу загружаются фото человека в одной позе с разных ракурсов. Удаляется фон (вместо этого вставляется зелёный цвет) и методом интерполяции нейросеть создаёт видео крутящегося аватара. Формат экспортируемого файла – mp4 (это ограничение бесплатной версии). Далее полученное видео крутящегося человека на зелёном фоне можно интегрировать в любое другое, например, с помощью Adobe After Effects.

Правда есть ограничения: с таким аватаром многого не сделаешь. Поэтому если нужно заставить его совершать какие-либо действия, требуется лучшее качество текстур, лучший выход – 3D.

Новости 3D, аватаров и метавселенных — подписаться!

Contrilnet с нормалями от clipdrop.co работает еще лучше

реддит