Краткая предыстория почему это классная работа.
Думаю, что многие помнят про Ebsynth и возможно даже запускали. В ebsynth можно подать видео и ключевой кадр со "стилем" и стилизовать всё видео под этот ключевой кадр. Где-то тут я делала очень короткую демку с одним ключевым кадром, а тут с дипдримом и несколькими кадрами. Но проблемы начинаются когда есть несколько ключевых кадров со стилем, а это происходит, если в кадре появляется невиданный ранее объект или деталь. В таком случае приходится генерировать перекрытие между несколькими кадрами дважды обрабатывая большой кусок видео (с одним фреймом и другим, чтобы сделать плавный переход между ними). Возможно по этой причине ebsynth все еще в бете (кроме того эта бета не в опенсорсе).
Но данная работа позволяет накладывать стиль на все кадры независимо и одновременно, при этом лучше работает со стилями с чёткими границами объектов.

* github
* project page
#stylization

Технология Monster Mash стала доступный для всех! Для тех кто пропустил Monster Mash — это инструмент для кэжуал-моделлинга или упрощенного моделлинга (на основе плоскостного рисунка) и анимации органических форм. Рисуем силуэт, надуваем и анимируем. Еще там хороший Help, где расписаны все фичи и кнопки.

http://monstermash.zone/

С этой штукой можно делать еще вот такие странные анимации

Согласна насчёт Soul. Советую посмотреть всем кто не видел.

Pixar Soul
Нет слов.
В последнее время сценаристов пиксар как-то переклинило на экзистенциальных вопросах и теме смерти. Начиная с Up и заканчивая Coco и Forward. Мне, как фанату Истории Игрушек и Тачек, последнии фильмы стали казаться слишком уж сценарно-вычурными. Игра в бисер сюжетных поворотов.
И тут Soul.
И вроде тоже тема смерти, и вроде тоже не слишком детский сценарий.
Но это запредельно круто.
И вот эта анимация пальцев пианиста в самом начале.
И Нью-Йорк в призме пиксаровской картинки.
И музыка.
И какое-то бесконечное количество тонкой иронии (и самоиронии) над всеми когнитивными искажениями кожаных мешков.
В общем я раздавлен. Это запредельно хорошо.
Буду пересматривать.
Даже букв больше нет.

Learning to Shadow Hand-drawn Sketches
* website
* github
* demo [doesn't really work for me]

We present a fully automatic method to generate detailed and accurate artistic shadows from pairs of line drawing sketches and lighting directions. We also contribute a new dataset of one thousand examples of pairs of line drawings and shadows that are tagged with lighting directions. Remarkably, the generated shadows quickly communicate the underlying 3D structure of the sketched scene. Consequently, the shadows generated by our approach can be used directly or as an excellent starting point for artists. We demonstrate that the deep learning network we propose takes a hand-drawn sketch, builds a 3D model in latent space, and renders the resulting shadows. The generated shadows respect the hand-drawn lines and underlying 3D space and contain sophisticated and accurate details, such as self-shadowing effects.

Не то чтобы прям рисерч, скорее рассказ от Диснея про пайплайн нового мультфильма Souls, в котором куча вольюмных персонажей (на картинке их кастомный шейдер) https://graphics.pixar.com/library/SoulVolumetricChars/paper.pdf

https://github.com/lucidrains/DALLE-pytorch

Ну и обзор от Yannic Kilcher

* youtube
* paper
Приятная в своей изящной простоте и эффективности работа.

Что сделано
Набор сканов людей зарегистрирован в SMPL параметрическую модель. Получен датасет вида {меш с RGB значением для каждой вершины, набор фоток с разными известными параметрами камеры}, далее из этого сделаны рендеры в виде проекции RGB вершин и отдельным каналом глубины вершин, т.е. получены картинки (w,h,4) для каждой известной камеры.
Далее обучается pix2pix c юнетом, проецирующая рендеры в оригинальное фото без фона.
Применения
- Ebsynth для 3D рендеров. Художник может стилизировать один кадр в отрендеренной анимации, а остальные может дорисовать модель по последовательности поз и позиций камер.
- Если уже есть зарегистрированный в SMPL скан Пети, то можно сделать рендер толстого Пети.
- С имеющимися моделями маппинга SMPL моделей на видео, прямое редактирование SMPL моделей также может потенциально помочь редактировать видео.
#neural_rendering #smpl #avatars