Animated bezier curves controlled by PoseNet and FaceMesh output
* blogpost
* github
* demo

Красивый пример оживления 2D аватаров в вебе. Есть также более амбициозные проекты (вроде RiggingJs), для иморта моделей mixamo и ретаргетинг анимации с камеры.
Но почему-то не видно всего этого пока что в широком использовании в вебе, поправьте меня, если я что-то упускаю.
Тем временем зарелизился MediaPipe Holistic совмещающий возможность использовать модели трекинга лица, пальцев рук и позы одновременно на js и python, но перфоманс пока что ~15-20 fps в зависимости от девайса. С лицами все намного лучше. MediaPipe face mesh дает около ~ 30fps на моем телефоне, что ощущается как вполне риалтайм. Есть и другие риалтайм решения 3DDFA_V2, HyperPose, но они пока не портированы на js.
#mediapipe

Разработчики хвалятся быстрой системой нейронного рендеринга, в отличие от других систем. В итоге применяться может при создании анимаций и аватаров, не для продакшена, конечно, а сервисов типа инстаграма, снэпчата, ну и для AR в том числе (к примеру, для оклюжена)


https://anr-avatars.github.io/

Поздравляю всех с отступающим 2020!
Это был крутой год на работы в области графики и машинного обучения (которые можно еще долго изучать в наступающем году).
Уходящий год зажёг новую искру в AR/VR и в том как мы представляем себе будущее удалённой работы.
Изменилось что-то фундаментальное в том как мир привык функционировать и абсолютно точно нас ждёт еще больше интересного.

Спасибо всем кто оказался здесь в этом маленьком канале и следил за публикациями.
Stay tuned.

Краткая предыстория почему это классная работа.
Думаю, что многие помнят про Ebsynth и возможно даже запускали. В ebsynth можно подать видео и ключевой кадр со "стилем" и стилизовать всё видео под этот ключевой кадр. Где-то тут я делала очень короткую демку с одним ключевым кадром, а тут с дипдримом и несколькими кадрами. Но проблемы начинаются когда есть несколько ключевых кадров со стилем, а это происходит, если в кадре появляется невиданный ранее объект или деталь. В таком случае приходится генерировать перекрытие между несколькими кадрами дважды обрабатывая большой кусок видео (с одним фреймом и другим, чтобы сделать плавный переход между ними). Возможно по этой причине ebsynth все еще в бете (кроме того эта бета не в опенсорсе).
Но данная работа позволяет накладывать стиль на все кадры независимо и одновременно, при этом лучше работает со стилями с чёткими границами объектов.

* github
* project page
#stylization

Технология Monster Mash стала доступный для всех! Для тех кто пропустил Monster Mash — это инструмент для кэжуал-моделлинга или упрощенного моделлинга (на основе плоскостного рисунка) и анимации органических форм. Рисуем силуэт, надуваем и анимируем. Еще там хороший Help, где расписаны все фичи и кнопки.

http://monstermash.zone/

С этой штукой можно делать еще вот такие странные анимации

Согласна насчёт Soul. Советую посмотреть всем кто не видел.

Pixar Soul
Нет слов.
В последнее время сценаристов пиксар как-то переклинило на экзистенциальных вопросах и теме смерти. Начиная с Up и заканчивая Coco и Forward. Мне, как фанату Истории Игрушек и Тачек, последнии фильмы стали казаться слишком уж сценарно-вычурными. Игра в бисер сюжетных поворотов.
И тут Soul.
И вроде тоже тема смерти, и вроде тоже не слишком детский сценарий.
Но это запредельно круто.
И вот эта анимация пальцев пианиста в самом начале.
И Нью-Йорк в призме пиксаровской картинки.
И музыка.
И какое-то бесконечное количество тонкой иронии (и самоиронии) над всеми когнитивными искажениями кожаных мешков.
В общем я раздавлен. Это запредельно хорошо.
Буду пересматривать.
Даже букв больше нет.

Learning to Shadow Hand-drawn Sketches
* website
* github
* demo [doesn't really work for me]

We present a fully automatic method to generate detailed and accurate artistic shadows from pairs of line drawing sketches and lighting directions. We also contribute a new dataset of one thousand examples of pairs of line drawings and shadows that are tagged with lighting directions. Remarkably, the generated shadows quickly communicate the underlying 3D structure of the sketched scene. Consequently, the shadows generated by our approach can be used directly or as an excellent starting point for artists. We demonstrate that the deep learning network we propose takes a hand-drawn sketch, builds a 3D model in latent space, and renders the resulting shadows. The generated shadows respect the hand-drawn lines and underlying 3D space and contain sophisticated and accurate details, such as self-shadowing effects.

Не то чтобы прям рисерч, скорее рассказ от Диснея про пайплайн нового мультфильма Souls, в котором куча вольюмных персонажей (на картинке их кастомный шейдер) https://graphics.pixar.com/library/SoulVolumetricChars/paper.pdf