Через 30 минут будет лекция Алексея Артёмова, Сколтех.
"Нейросетевые модели на основе Лапласовых пирамид в латентном пространстве для обучения облаками точек".

(думаю на английском название звучало бы менее ужасающе)

* project page

зарегистрироваться тут

Построение высококачественных генеративных моделей для трехмерных форм — фундаментальная задача компьютерного зрения с различными приложениями в обработке геометрии, инженерии и дизайне. Несмотря на недавний прогресс в глубоком генеративном моделировании, синтез с нуля детализированных трехмерных поверхностей, таких как облака точек с высоким разрешением, с помощью существующих подходов еще не был продемонстрирован. В этой работе мы предлагаем использовать представление лапласовской пирамиды скрытого пространства в иерархической генеративной модели для трехмерных облаков точек. Мы объединяем недавно предложенные архитектуры GAN со скрытым пространством и лапласианские архитектуры GAN, чтобы сформировать многомасштабную модель, способную генерировать трехмерные облака точек с повышенным уровнем детализации. Наша оценка показывает, что наша модель превосходит базовые существующие генеративные модели для трехмерных облаков точек.

https://dellaert.github.io/NeRF/

Очень хороший пост чтобы вкатиться в понимание что же там такое в nerf, deepSDF и implicit differentiable renderer. Пост охватывает и связывает последние работы, которые в том числе появлялись в этом канале.

Также оригинальный тред автора в твитторе 😌
https://twitter.com/fdellaert/status/1339236843263569922

* Alex Mordvintsev's tutorial for implicit sdf in colab
#nerf #implicit_geometry #sdf

Point Transformer https://arxiv.org/abs/2012.09164

Exploring Data Efficient 3D Scene Understandingwith Contrastive Scene Contexts https://sekunde.github.io/project_efficient/

Learning to Recover 3D Scene Shape from a Single Image

https://yvanyin.github.io/LearnShape.github.io/

Despite significant progress in monocular depth estimation in the wild, recent state-of-the-art methods cannot be used to recover accurate 3D scene shape due to an unknown depth shift induced by shift-invariant reconstruction losses used in mixed-data depth prediction training, and possible unknown camera focal length. We investigate this problem in detail, and propose a two-stage framework that first predicts depth up to an unknown scale and shift from a single monocular image, and then use 3D point cloud encoders to predict the missing depth shift and focal length that allow us to recover a realistic 3D scene shape. In addition, we propose an image-level normalized regression loss and a normal-based geometry loss to enhance depth prediction models trained on mixed datasets. We test our depth model on nine unseen datasets and achieve state-of-the-art performance on zero-shot dataset generalization.

#single_image #depth #scene_reconstruction

https://github.com/angeladai/sgnn
#depth #scene_reconstruction #indoor

https://github.com/vinits5/learning3d

Learning3D is an open-source library that supports the development of deep learning algorithms that deal with 3D data. The Learning3D exposes a set of state of art deep neural networks in python. A modular code has been provided for further development. We welcome contributions from the open-source community.
#tools

У Google Colab есть также режим локального рантайма — вы запускаете jupyter локально и получаете возможность подключиться к своему jupyter удалённо с любой другой машины. В целом, этот вопрос я чаще всего решала через прокидывание портов по ssh (если есть возможность настроить ssh) или через ngrok. Но может быть, если надо прям много (потому что free ngrok поддерживает только один адрес форварда) независимых jupyter ноутбуков открывать удаленно на своем железе, к которому нет доступа по ssh, тогда это возможно хорошее решение. Ноутбук сам будет автоматически сохраняться на гугл драйв.

UPD: читатели подсказывают, что еще можно ssh к колабу настроить через ngrok в колабе.
#tools