* project page
* paper
We introduce DefTet as a particular parameterization that utilizes volumetric tetrahedral meshes for the reconstruction problem. Unlike existing volumetric approaches, DefTet optimizes for both vertex placement and occupancy, and is differentiable with respect to standard 3D reconstruction loss functions. We show that it can represent arbitrary, complex topology, is both memory and computationally efficient, and can produce high-fidelity reconstructions with a significantly smaller grid size than alternative volumetric approaches. The predicted surfaces are also inherently defined as tetrahedral meshes, thus do not require post-processing. We demonstrate that DefTet matches or exceeds both the quality of the previous best approaches and the performance of the fastest ones. Our approach obtains high-quality tetrahedral meshes computed directly from noisy point clouds, and is the first to showcase high-quality 3D tet-mesh results using only a single image as input.
#single_image #3d

DECA: Detailed Expression Capture and Animation

* github
* paper

DECA reconstructs a 3D head model with detailed facial geometry from a single input image. The resulting 3D head model can be easily animated. Please refer to the arXiv paper for more details.

The main features:

Reconstruction: produces head pose, shape, detailed face geometry, and lighting information from a single image.
Animation: animate the face with realistic wrinkle deformations.
Robustness: tested on facial images in unconstrained conditions. Our method is robust to various poses, illuminations and occlusions.
Accurate: state-of-the-art 3D face shape reconstruction on the NoW Challenge benchmark dataset.
#face_reconstruction #single_image

Лекция[0] профессора из MIT Била Фримана, посвященная его долгосрочному исследовательскому проекту по использованию Луны для создания снимка Земли по отраженному свету. Попутно его группа научилась использовать как камеры (часто их называют "случайными камерами") множество других объектов, таких как пол, что позволило смотреть за углы [1], или Wi-Fi сигнал что позволяет определять положение и позу[2,3] людей сквозь стены. Лично меня, как исследователя, это очень вдохновило, и потихоньку приводило к концепции холистического машинного восприятия. Уверен, в будущем мы увидим у роботов и других автоматических систем сенсорные способности, которые заставят нас чувствовать дискомфорт. Как в скетчах про персонажей аниме[4] ))


[0] https://www.youtube.com/watch?v=Ytkkl917paM
[1] https://www.youtube.com/watch?v=7NhQ7WkbHms
[2] https://patents.google.com/patent/US20170220718A1/en
[3] https://news.mit.edu/2018/artificial-intelligence-senses-people-through-walls-0612
[4] https://www.youtube.com/watch?v=0JI9LmB1FZY

https://crossminds.ai/
Кажется тут появляются видосы с конференций типа CVPR, также есть всякие теги к видосам.
Sci-hub для видосов?

Rendering implicit sdf in tf

https://twitter.com/i/status/1339162993892974592
#sdf

Через 30 минут будет лекция Алексея Артёмова, Сколтех.
"Нейросетевые модели на основе Лапласовых пирамид в латентном пространстве для обучения облаками точек".

(думаю на английском название звучало бы менее ужасающе)

* project page

зарегистрироваться тут

Построение высококачественных генеративных моделей для трехмерных форм — фундаментальная задача компьютерного зрения с различными приложениями в обработке геометрии, инженерии и дизайне. Несмотря на недавний прогресс в глубоком генеративном моделировании, синтез с нуля детализированных трехмерных поверхностей, таких как облака точек с высоким разрешением, с помощью существующих подходов еще не был продемонстрирован. В этой работе мы предлагаем использовать представление лапласовской пирамиды скрытого пространства в иерархической генеративной модели для трехмерных облаков точек. Мы объединяем недавно предложенные архитектуры GAN со скрытым пространством и лапласианские архитектуры GAN, чтобы сформировать многомасштабную модель, способную генерировать трехмерные облака точек с повышенным уровнем детализации. Наша оценка показывает, что наша модель превосходит базовые существующие генеративные модели для трехмерных облаков точек.

https://dellaert.github.io/NeRF/

Очень хороший пост чтобы вкатиться в понимание что же там такое в nerf, deepSDF и implicit differentiable renderer. Пост охватывает и связывает последние работы, которые в том числе появлялись в этом канале.

Также оригинальный тред автора в твитторе 😌
https://twitter.com/fdellaert/status/1339236843263569922

* Alex Mordvintsev's tutorial for implicit sdf in colab
#nerf #implicit_geometry #sdf

Point Transformer https://arxiv.org/abs/2012.09164

Exploring Data Efficient 3D Scene Understandingwith Contrastive Scene Contexts https://sekunde.github.io/project_efficient/

Learning to Recover 3D Scene Shape from a Single Image

https://yvanyin.github.io/LearnShape.github.io/

Despite significant progress in monocular depth estimation in the wild, recent state-of-the-art methods cannot be used to recover accurate 3D scene shape due to an unknown depth shift induced by shift-invariant reconstruction losses used in mixed-data depth prediction training, and possible unknown camera focal length. We investigate this problem in detail, and propose a two-stage framework that first predicts depth up to an unknown scale and shift from a single monocular image, and then use 3D point cloud encoders to predict the missing depth shift and focal length that allow us to recover a realistic 3D scene shape. In addition, we propose an image-level normalized regression loss and a normal-based geometry loss to enhance depth prediction models trained on mixed datasets. We test our depth model on nine unseen datasets and achieve state-of-the-art performance on zero-shot dataset generalization.

#single_image #depth #scene_reconstruction