DONeRF: Towards Real-Time Rendering of Neural Radiance Fields using Depth Oracle Networks
[Graz University of Technology, Facebook Reality Labs]
* project page
* paper
Итак мы плавно приближаемся к real-time нерфам.

- We show that the number of samples required for each view ray can be significantly reduced when local samples are placed around surfaces in the scene. To this end, we propose a depth oracle network, which predicts ray sample locations for each view ray with a single network evaluation.
- With our design, we reduce the inference costs by up to 48x compared to NeRF. We are the first to render raymarching-based neural representations at interactive frame rates (15 frames per second at 800x800) on a single GPU. At the same time, since we focus on the important parts of the scene around surfaces, we achieve equal or better quality compared to NeRF.
#nerf

Computer Vision Art Gallery

Call for Artworks

Deadline: 15 March 2021


https://sites.google.com/view/ec3v-cvpr2021/computer-vision-art-gallery/

Подборка вообще ВСЕГО что есть в генеративном риалтайме, спасибо за наводку @gordee_va https://www.notion.so/Creative-Code-algorithms-techniques-c5550ef2f7574126bdc77b09ed76651b

Random news
- Blender участвует в Google Summer of Code 2021
- Capturing Reality (лучший софт для фотограмметрии, насколько мне известно) теперь часть Epic Games (link). Некоторые источники сообщают что это положительно повлияло на цены в Reality Capture, они упали в 4 раза 🐸.
- В то время как фейсбук разрабатывает супер реалистичные аватары не хуже MetaHuman, а майкрософт релизит тизер Microsoft Mesh, NFT hype дошёл до VR шмоток для низкополигональных аватаров в браузере. Decentraland выглядит как большой проект, разрабатываемый с 2017 года и позиционирующийся как "first-ever virtual world owned by its users" за счет использования etherium блокчейн технологий. В этой виртуальной вселенной можно покупать территории, разрабатывать vr приложения, устраивать выставки своих/чужих nft картиночек и прочее. Также проект успел запартнерится с Atari для создания виртуального казино. “Through collaborating with Decentral Games, we can move the Atari gaming experience onto the blockchain,” said Atari’s CEO Frederic Chesnais in the announcement.
- Cryptoart and NFT: Addressing environmental issues — кратко о текущем состоянии дел.
- Roblox IPO today

Smooth Blends Between Shapes of Different Point Counts
(Assuming the shapes don't have topological holes! :o No donuts allowed!!!!! [morphing to sphere first])
* Colab
* Original source

NeX: Real-time View Synthesis with Neural Basis Expansion
[VISTEC, (Thailand), CVPR 2021 (Oral) ]

* Project page
* Paper

We present NeX, a new approach to novel view synthesis based on enhancements of multiplane image (MPI) that can reproduce NeXt-level view-dependent effects---in real time. Unlike traditional MPI that uses a set of simple RGBα planes, our technique models view-dependent effects by instead parameterizing each pixel as a linear combination of basis functions learned from a neural network. Moreover, we propose a hybrid implicit-explicit modeling strategy that improves upon fine detail and produces state-of-the-art results. Our method is evaluated on benchmark forward-facing datasets as well as our newly-introduced dataset designed to test the limit of view-dependent modeling with significantly more challenging effects such as rainbow reflections on a CD. Our method achieves the best overall scores across all major metrics on these datasets with more than 1000× faster rendering time.

Нейронные сети и другие технологии машинного обучения помогают художникам быстрее создавать оригинальные работы, одна из таких сетей PolyGen - авторегрессионная модель трехмерных сеток.

Она генерирует 3D объекты определенных классов (из небезызвестного датасета ShapeNet), и пока это лучшее, что есть в этом направлении.

Почему лучшее? У проекта есть google-colab, в котором можно генерировать модели на датасете ShapeNet. Меняя параметры генератора, можно получить полигональные модели в формате obj, которые можно скачать и дальше с ними работать.

#ml #tool

On the Effectiveness of Weight-Encoded Neural Implicit 3D Shapes
* Paper
* Thread here
tldr;
* Yes, literally train independently one network f(x,y,z)->R to output the SDF each shape.
* For the same floating-point storage budget, storing n weights of an neural network is more expressive than storing SDF values at n regular grid nodes
* As a stress test we overfit the same architecture to the whole #Thingi10K dataset. A messy 9 GBs of .obj & .stl files with different #vertices and mesh topologies becomes a 10,000-long list of 64KB vectors in just 16 hours on a single gpu.

Holistic 3D Scene Understanding from a Single Image with Implicit Representation [Google, ETH Zurich, Microsoft 🤔]
- paper
(more images are in the comments)
We present a new pipeline for holistic 3D scene understanding from a single image, which could predict object shape, object pose, and scene layout. As it is a highly ill-posed problem, existing methods usually suffer from inaccurate estimation of both shapes and layout especially for the cluttered scene due to the heavy occlusion between objects. We propose to utilize the latest deep implicit representation to solve this challenge. We not only propose an image-based local structured implicit network to improve the object shape estimation, but also refine 3D object pose and scene layout via a novel implicit scene graph neural network that exploits the implicit local object features. A novel physical violation loss is also proposed to avoid incorrect context between objects.#implicit_geometry #single_image_reconstruction

Ну и совсем рандом — симуляция ткани в блендере. Мне кажется это путь к созданию анимации медуз.
#b3d

Keystone Depth
A collection of 37,239 rectified historical stereo image pairs from the Keystone-Mast Collection captured between 1864 and 1966 with clean rectified stereo image pairs, disparity maps, and meta data.

- Project page
- Licensed under a Creative Commons Attribution 4.0 License.
- It is possible to make a parallax shader that shows this effect in VR galleries, looks cool.

Stereo cameras were invented in the 1850s and hundreds of thousands of antique stereographs are available today. We introduce KeystoneDepth, a collection of 37,239 antique stereographs of historical scenes captured between 1864 and 1966 with clean rectified stereo image pairs, disparity maps, and meta data.

Growing 3D Artefacts and Functional Machines with Neural Cellular Automata

* paper
* thread

We show that neural cellular automata can learn to grow not only complex 3D artifacts with over 3,000 blocks but also functional Minecraft machines that can regenerate when cut in half.

#generative #3D #nca

BlenderProc
A procedural Blender pipeline for photorealistic training image generation.

* github
* paper
* youtube
* docs

Functionality
The following modules are already implemented and ready to use:
Loading: *.obj, *.ply, SunCG, Replica scenes, BOP datasets, etc.
Objects: Sample object poses, apply physics and collision checking.
Materials: Set or sample physically-based materials and textures
Lighting: Set or sample lights, automatic lighting of SunCG scenes.
Cameras: set, sample or load camera poses from file.
Rendering: RGB, stereo, depth, normal and segmentation images/sequences.
Writing: .hdf5 containers, COCO & BOP annotations.

Support for some datasets:
COCO annotations, SUNCG, Replica, BOP Challenge
#tools #blender

Если были не в курсе, для блендера есть виртуальная камера, чтобы рендер пролеты были ещё реалистичнее.

Есть вот версия для Айфона
https://virtucamera.com/

А есть для Андроида, но от других создателей, чтобы вы могли насладиться всеми прелестями настройки.
https://youtu.be/BhfbhtBRuIk

О, а вот это идеальная сетка нейроколлажирования для заказчика. "А можете немного как у Рембрандта позу и глаза как у Моны Лизы" - идеальный инструмент для создания Франкенштейна.

Бумага, код и коллаб

В блендер появились geometry nodes.
Вот отличный обзор по возможностям.
По сути теперь можно делать разные эффекты разбрасывая одни объекты по различным поверхностям и менять свойства этих разбрасываемых объектов в зависимости от свойств других объектов или просто рандомно. Свойства такие как размер, угол поворота, локация и другие. При этом сами поверхности можно скрывать, что позволяет моделировать облака точек нужной формы.
Есть уже много очень крутых туториалов с эффектами сделанными на geometry_nodes. А это моя небольшая демка, где я также использовала плагин FLAME для блендера с головами.
#blender