Memo запилил пост на тему eco-friendly cryptoArt с подробным введением в тему.
* твитор
* пост на гитхабе
#nft

IBRNet: Learning Multi-View Image-Based Rendering

* paper
* project page
* code

Unlike neural scene representation work that optimizes per-scene functions for rendering, we learn a generic view interpolation function that generalizes to novel scenes. We render images using classic volume rendering, which is fully differentiable and allows us to train using only multi-view posed images as supervision. Experiments show that our method outperforms recent novel view synthesis methods that also seek to generalize to novel scenes. Further, if fine-tuned on each scene, our method is competitive with state-of-the-art single-scene neural rendering methods.

Related works
1. https://alexyu.net/pixelnerf/
2. https://github.com/alextrevithick/GRF

#nerf

D-NeRF: Neural Radiance Fields for Dynamic Scenes

* project page
* paper
* no code yet

We propose D-NeRF, a method for synthesizing novel views, at an arbitrary point in time, of dynamic scenes with complex non-rigid geometries. We optimize an underlying deformable volumetric function from a sparse set of input monocular views without the need of ground-truth geometry nor multi-view images.
#nerf

Wow! Blender 2.9.2 has 2D interpolation
* notes
#blender

Попробовала адаптировать этот ноутбук к лицам людей.
Сетап очень простой — параметрическая голова человека без текстуры и даже глазных яблок. Параметрическую голову можно взять тут или тут.
Оптимизация была сделана с текстурой. Интересный момент, что многие детали меша на картинке появляются именно за счет текстуры с такой оптимизацией, при этом сам меш меняется не сильно. Если же оптимизировать только меш, то результаты на нем заметнее.

Кратко о Microsoft Mesh на текущий момент.
Но да, может быть ждать осталось не долго.

Тема не новая, но применение 3d photo inpainting к генеративным картинкам выглядит прикольно

Neural 3D Video Synthesis
[Facebook Reality Labs]
* Project page
* Paper
We propose a novel approach for 3D video synthesis that is able to represent multi-view video recordings of a dynamic real-world scene in a compact, yet expressive representation that enables high-quality view synthesis and motion interpolation. Our approach takes the high quality and compactness of static neural radiance fields in a new direction: to a model-free, dynamic setting. At the core of our approach is a novel time-conditioned neural radiance fields that represents scene dynamics using a set of compact latent codes.
Our learned representation is highly compact and able to represent a 10 second 30 FPS multi-view video recording by 18 cameras with a model size of just 28MB. We demonstrate that our method can render high-fidelity wide-angle novel views at over 1K resolution, even for highly complex and dynamic scenes.
#nerf #video #3d #novel_view

Neural Geometric Level of Detail:
Real-time Rendering with Implicit 3D Surfaces
[Nvidia]

Real-time rendering of high quality neural 3d SDFs with a sparse octree feature volume and a tiny MLP. 🔥

* Project page
* Paper
* twitter
#implicit_geometry #LOD #octree #sdf #real_time #3d

Multimodal Neurons in Artificial Neural Networks
https://distill.pub/2021/multimodal-neurons/

Yannic's drop: https://youtu.be/Z_kWZpgEZ7w

The latest generation of adversarial image attacks is, uh, somewhat simpler to carry out

https://openai.com/blog/multimodal-neurons/

https://twitter.com/moyix/status/1367575109305794563/photo/1

Tensorflow & PyTorch теперь поддерживают AMD
https://hub.docker.com/r/rocm/pytorch
https://hub.docker.com/r/rocm/tensorflow
#tools

Пока без комментариев.
Гляньте на ночь.
Генеративный контент в 3д.
ИИ, создающий миры под запрос.
https://youtu.be/hA0MsGWvmzs

DONeRF: Towards Real-Time Rendering of Neural Radiance Fields using Depth Oracle Networks
[Graz University of Technology, Facebook Reality Labs]
* project page
* paper
Итак мы плавно приближаемся к real-time нерфам.

- We show that the number of samples required for each view ray can be significantly reduced when local samples are placed around surfaces in the scene. To this end, we propose a depth oracle network, which predicts ray sample locations for each view ray with a single network evaluation.
- With our design, we reduce the inference costs by up to 48x compared to NeRF. We are the first to render raymarching-based neural representations at interactive frame rates (15 frames per second at 800x800) on a single GPU. At the same time, since we focus on the important parts of the scene around surfaces, we achieve equal or better quality compared to NeRF.
#nerf

Computer Vision Art Gallery

Call for Artworks

Deadline: 15 March 2021


https://sites.google.com/view/ec3v-cvpr2021/computer-vision-art-gallery/

Подборка вообще ВСЕГО что есть в генеративном риалтайме, спасибо за наводку @gordee_va https://www.notion.so/Creative-Code-algorithms-techniques-c5550ef2f7574126bdc77b09ed76651b

Random news
- Blender участвует в Google Summer of Code 2021
- Capturing Reality (лучший софт для фотограмметрии, насколько мне известно) теперь часть Epic Games (link). Некоторые источники сообщают что это положительно повлияло на цены в Reality Capture, они упали в 4 раза 🐸.
- В то время как фейсбук разрабатывает супер реалистичные аватары не хуже MetaHuman, а майкрософт релизит тизер Microsoft Mesh, NFT hype дошёл до VR шмоток для низкополигональных аватаров в браузере. Decentraland выглядит как большой проект, разрабатываемый с 2017 года и позиционирующийся как "first-ever virtual world owned by its users" за счет использования etherium блокчейн технологий. В этой виртуальной вселенной можно покупать территории, разрабатывать vr приложения, устраивать выставки своих/чужих nft картиночек и прочее. Также проект успел запартнерится с Atari для создания виртуального казино. “Through collaborating with Decentral Games, we can move the Atari gaming experience onto the blockchain,” said Atari’s CEO Frederic Chesnais in the announcement.
- Cryptoart and NFT: Addressing environmental issues — кратко о текущем состоянии дел.
- Roblox IPO today