D-NeRF: Neural Radiance Fields for Dynamic Scenes

* project page
* paper
* no code yet

We propose D-NeRF, a method for synthesizing novel views, at an arbitrary point in time, of dynamic scenes with complex non-rigid geometries. We optimize an underlying deformable volumetric function from a sparse set of input monocular views without the need of ground-truth geometry nor multi-view images.
#nerf

Wow! Blender 2.9.2 has 2D interpolation
* notes
#blender

Попробовала адаптировать этот ноутбук к лицам людей.
Сетап очень простой — параметрическая голова человека без текстуры и даже глазных яблок. Параметрическую голову можно взять тут или тут.
Оптимизация была сделана с текстурой. Интересный момент, что многие детали меша на картинке появляются именно за счет текстуры с такой оптимизацией, при этом сам меш меняется не сильно. Если же оптимизировать только меш, то результаты на нем заметнее.

Кратко о Microsoft Mesh на текущий момент.
Но да, может быть ждать осталось не долго.

Тема не новая, но применение 3d photo inpainting к генеративным картинкам выглядит прикольно

Neural 3D Video Synthesis
[Facebook Reality Labs]
* Project page
* Paper
We propose a novel approach for 3D video synthesis that is able to represent multi-view video recordings of a dynamic real-world scene in a compact, yet expressive representation that enables high-quality view synthesis and motion interpolation. Our approach takes the high quality and compactness of static neural radiance fields in a new direction: to a model-free, dynamic setting. At the core of our approach is a novel time-conditioned neural radiance fields that represents scene dynamics using a set of compact latent codes.
Our learned representation is highly compact and able to represent a 10 second 30 FPS multi-view video recording by 18 cameras with a model size of just 28MB. We demonstrate that our method can render high-fidelity wide-angle novel views at over 1K resolution, even for highly complex and dynamic scenes.
#nerf #video #3d #novel_view

Neural Geometric Level of Detail:
Real-time Rendering with Implicit 3D Surfaces
[Nvidia]

Real-time rendering of high quality neural 3d SDFs with a sparse octree feature volume and a tiny MLP. 🔥

* Project page
* Paper
* twitter
#implicit_geometry #LOD #octree #sdf #real_time #3d

Multimodal Neurons in Artificial Neural Networks
https://distill.pub/2021/multimodal-neurons/

Yannic's drop: https://youtu.be/Z_kWZpgEZ7w

The latest generation of adversarial image attacks is, uh, somewhat simpler to carry out

https://openai.com/blog/multimodal-neurons/

https://twitter.com/moyix/status/1367575109305794563/photo/1

Tensorflow & PyTorch теперь поддерживают AMD
https://hub.docker.com/r/rocm/pytorch
https://hub.docker.com/r/rocm/tensorflow
#tools

Пока без комментариев.
Гляньте на ночь.
Генеративный контент в 3д.
ИИ, создающий миры под запрос.
https://youtu.be/hA0MsGWvmzs

DONeRF: Towards Real-Time Rendering of Neural Radiance Fields using Depth Oracle Networks
[Graz University of Technology, Facebook Reality Labs]
* project page
* paper
Итак мы плавно приближаемся к real-time нерфам.

- We show that the number of samples required for each view ray can be significantly reduced when local samples are placed around surfaces in the scene. To this end, we propose a depth oracle network, which predicts ray sample locations for each view ray with a single network evaluation.
- With our design, we reduce the inference costs by up to 48x compared to NeRF. We are the first to render raymarching-based neural representations at interactive frame rates (15 frames per second at 800x800) on a single GPU. At the same time, since we focus on the important parts of the scene around surfaces, we achieve equal or better quality compared to NeRF.
#nerf

Computer Vision Art Gallery

Call for Artworks

Deadline: 15 March 2021


https://sites.google.com/view/ec3v-cvpr2021/computer-vision-art-gallery/

Подборка вообще ВСЕГО что есть в генеративном риалтайме, спасибо за наводку @gordee_va https://www.notion.so/Creative-Code-algorithms-techniques-c5550ef2f7574126bdc77b09ed76651b

Random news
- Blender участвует в Google Summer of Code 2021
- Capturing Reality (лучший софт для фотограмметрии, насколько мне известно) теперь часть Epic Games (link). Некоторые источники сообщают что это положительно повлияло на цены в Reality Capture, они упали в 4 раза 🐸.
- В то время как фейсбук разрабатывает супер реалистичные аватары не хуже MetaHuman, а майкрософт релизит тизер Microsoft Mesh, NFT hype дошёл до VR шмоток для низкополигональных аватаров в браузере. Decentraland выглядит как большой проект, разрабатываемый с 2017 года и позиционирующийся как "first-ever virtual world owned by its users" за счет использования etherium блокчейн технологий. В этой виртуальной вселенной можно покупать территории, разрабатывать vr приложения, устраивать выставки своих/чужих nft картиночек и прочее. Также проект успел запартнерится с Atari для создания виртуального казино. “Through collaborating with Decentral Games, we can move the Atari gaming experience onto the blockchain,” said Atari’s CEO Frederic Chesnais in the announcement.
- Cryptoart and NFT: Addressing environmental issues — кратко о текущем состоянии дел.
- Roblox IPO today

Smooth Blends Between Shapes of Different Point Counts
(Assuming the shapes don't have topological holes! :o No donuts allowed!!!!! [morphing to sphere first])
* Colab
* Original source

NeX: Real-time View Synthesis with Neural Basis Expansion
[VISTEC, (Thailand), CVPR 2021 (Oral) ]

* Project page
* Paper

We present NeX, a new approach to novel view synthesis based on enhancements of multiplane image (MPI) that can reproduce NeXt-level view-dependent effects---in real time. Unlike traditional MPI that uses a set of simple RGBα planes, our technique models view-dependent effects by instead parameterizing each pixel as a linear combination of basis functions learned from a neural network. Moreover, we propose a hybrid implicit-explicit modeling strategy that improves upon fine detail and produces state-of-the-art results. Our method is evaluated on benchmark forward-facing datasets as well as our newly-introduced dataset designed to test the limit of view-dependent modeling with significantly more challenging effects such as rainbow reflections on a CD. Our method achieves the best overall scores across all major metrics on these datasets with more than 1000× faster rendering time.

Нейронные сети и другие технологии машинного обучения помогают художникам быстрее создавать оригинальные работы, одна из таких сетей PolyGen - авторегрессионная модель трехмерных сеток.

Она генерирует 3D объекты определенных классов (из небезызвестного датасета ShapeNet), и пока это лучшее, что есть в этом направлении.

Почему лучшее? У проекта есть google-colab, в котором можно генерировать модели на датасете ShapeNet. Меняя параметры генератора, можно получить полигональные модели в формате obj, которые можно скачать и дальше с ними работать.

#ml #tool

On the Effectiveness of Weight-Encoded Neural Implicit 3D Shapes
* Paper
* Thread here
tldr;
* Yes, literally train independently one network f(x,y,z)->R to output the SDF each shape.
* For the same floating-point storage budget, storing n weights of an neural network is more expressive than storing SDF values at n regular grid nodes
* As a stress test we overfit the same architecture to the whole #Thingi10K dataset. A messy 9 GBs of .obj & .stl files with different #vertices and mesh topologies becomes a 10,000-long list of 64KB vectors in just 16 hours on a single gpu.