Learning to Recover 3D Scene Shape from a Single Image

https://yvanyin.github.io/LearnShape.github.io/

Despite significant progress in monocular depth estimation in the wild, recent state-of-the-art methods cannot be used to recover accurate 3D scene shape due to an unknown depth shift induced by shift-invariant reconstruction losses used in mixed-data depth prediction training, and possible unknown camera focal length. We investigate this problem in detail, and propose a two-stage framework that first predicts depth up to an unknown scale and shift from a single monocular image, and then use 3D point cloud encoders to predict the missing depth shift and focal length that allow us to recover a realistic 3D scene shape. In addition, we propose an image-level normalized regression loss and a normal-based geometry loss to enhance depth prediction models trained on mixed datasets. We test our depth model on nine unseen datasets and achieve state-of-the-art performance on zero-shot dataset generalization.

#single_image #depth #scene_reconstruction

https://github.com/angeladai/sgnn
#depth #scene_reconstruction #indoor

https://github.com/vinits5/learning3d

Learning3D is an open-source library that supports the development of deep learning algorithms that deal with 3D data. The Learning3D exposes a set of state of art deep neural networks in python. A modular code has been provided for further development. We welcome contributions from the open-source community.
#tools

У Google Colab есть также режим локального рантайма — вы запускаете jupyter локально и получаете возможность подключиться к своему jupyter удалённо с любой другой машины. В целом, этот вопрос я чаще всего решала через прокидывание портов по ssh (если есть возможность настроить ssh) или через ngrok. Но может быть, если надо прям много (потому что free ngrok поддерживает только один адрес форварда) независимых jupyter ноутбуков открывать удаленно на своем железе, к которому нет доступа по ssh, тогда это возможно хорошее решение. Ноутбук сам будет автоматически сохраняться на гугл драйв.

UPD: читатели подсказывают, что еще можно ssh к колабу настроить через ngrok в колабе.
#tools

Animated bezier curves controlled by PoseNet and FaceMesh output
* blogpost
* github
* demo

Красивый пример оживления 2D аватаров в вебе. Есть также более амбициозные проекты (вроде RiggingJs), для иморта моделей mixamo и ретаргетинг анимации с камеры.
Но почему-то не видно всего этого пока что в широком использовании в вебе, поправьте меня, если я что-то упускаю.
Тем временем зарелизился MediaPipe Holistic совмещающий возможность использовать модели трекинга лица, пальцев рук и позы одновременно на js и python, но перфоманс пока что ~15-20 fps в зависимости от девайса. С лицами все намного лучше. MediaPipe face mesh дает около ~ 30fps на моем телефоне, что ощущается как вполне риалтайм. Есть и другие риалтайм решения 3DDFA_V2, HyperPose, но они пока не портированы на js.
#mediapipe

Разработчики хвалятся быстрой системой нейронного рендеринга, в отличие от других систем. В итоге применяться может при создании анимаций и аватаров, не для продакшена, конечно, а сервисов типа инстаграма, снэпчата, ну и для AR в том числе (к примеру, для оклюжена)


https://anr-avatars.github.io/

Поздравляю всех с отступающим 2020!
Это был крутой год на работы в области графики и машинного обучения (которые можно еще долго изучать в наступающем году).
Уходящий год зажёг новую искру в AR/VR и в том как мы представляем себе будущее удалённой работы.
Изменилось что-то фундаментальное в том как мир привык функционировать и абсолютно точно нас ждёт еще больше интересного.

Спасибо всем кто оказался здесь в этом маленьком канале и следил за публикациями.
Stay tuned.

Краткая предыстория почему это классная работа.
Думаю, что многие помнят про Ebsynth и возможно даже запускали. В ebsynth можно подать видео и ключевой кадр со "стилем" и стилизовать всё видео под этот ключевой кадр. Где-то тут я делала очень короткую демку с одним ключевым кадром, а тут с дипдримом и несколькими кадрами. Но проблемы начинаются когда есть несколько ключевых кадров со стилем, а это происходит, если в кадре появляется невиданный ранее объект или деталь. В таком случае приходится генерировать перекрытие между несколькими кадрами дважды обрабатывая большой кусок видео (с одним фреймом и другим, чтобы сделать плавный переход между ними). Возможно по этой причине ebsynth все еще в бете (кроме того эта бета не в опенсорсе).
Но данная работа позволяет накладывать стиль на все кадры независимо и одновременно, при этом лучше работает со стилями с чёткими границами объектов.

* github
* project page
#stylization

Технология Monster Mash стала доступный для всех! Для тех кто пропустил Monster Mash — это инструмент для кэжуал-моделлинга или упрощенного моделлинга (на основе плоскостного рисунка) и анимации органических форм. Рисуем силуэт, надуваем и анимируем. Еще там хороший Help, где расписаны все фичи и кнопки.

http://monstermash.zone/