Сорри за криптобазар, но уже весь твитор орет об этом, так что для многих вот то сообщество сверху может стать источником ответов на многие вопросы.
Очень многие художники отказываются выкладывать свои картинки из-за неэффективной траты электроэнергии на минтинг/создание токенов-картинок а также на проведение транзакций по продаже (MemoTV, Matt DesLauriers, Joanie Lemercier).
Вроде как большинство площадок так или иначе построены на эфире, а значит на POW, а не Proof of Stake. Казалось бы эти проблемы могли бы быть решены с использованием альтернативных NFT решений или с апгрейдом эфира. Но я не владею подробной информацией о текущих планах всех этих компаний. Но альтернативные NFT без майнинга есть и я также знаю о некоторых в разработке. Так что да, я думаю что NFT это классный способ для художников монетизировать свой арт.

Google open-sourced its AutoML framework for model architecture search at scale.
It helps to find the right model architecture for any classification problems (i.e., CNN with different types of layers).
Now you can write fit(); predict() and call it a day! Of course, in case you have enough GPUs 🙊😅

You can define your own model building blocks to use for search as well.
The framework uses Bayesian optimization to find proper hyperparameters and can build an ensemble of the models.
Works both for table and image data.

https://github.com/google/model_search

​​Real-World Super-Resolution of Face-Images from Surveillance Cameras

Most SR methods are trained on LR (low resolution) data, which is downsampled from HR (high resolution) data using bicubic interpolation, but real-life LR images are usually different, so models work worse on them. In this paper, the authors suggest using blur kernels, noise, and JPEG compression artifacts to generate LR images similar to the original ones.
Another suggested improvement is using ESRGAN and replacing VGG-loss with LPIPS-loss, as well as adding PatchGAN.
In addition, the authors show that NIMA metric better correlates with human perception (mean opinion rank) than traditional Image Quality Assessment methods.

Paper: https://arxiv.org/abs/2102.03113

#deeplearning #superresolution #gan #facesuperresolution

Воспользовавшись blend файлом, который любезно выложил Ferhat Tanman мне удалось сделать вот такую анимацию в блендере. Это полностью sdf-шейдер. Я также воспользовалась шпаргалками sdf функций от iquilezles.
Однако, православные люди говорят что надо использовать Houdini для таких штук.
Ferhat и мой коллега Sercan сделали целую игру на sdf функциях в 2D движке Love2D.
Также в тему sdf, вот вам няшная библиотека на python для создания и отрисовки SDF, а также экспорта этих SDF сразу в меш для 3д печати.
#sdf #implicit_geometry #blender

PyTorch3D v0.4.0 released with support for implicit functions, volume rendering and a reimplementation of NeRF.

И сразу вдогонку еще одна статья про применение дифференцируемого рендера для регистрации облаков точек с RGB-D сенсора.
* github
* project page

Aligning partial views of a scene into a single whole is essential to understanding one's environment and is a key component of numerous robotics tasks such as SLAM and SfM. Recent approaches have proposed end-to-end systems that can outperform traditional methods by leveraging pose supervision. However, with the rising prevalence of cameras with depth sensors, we can expect a new stream of raw RGB-D data without the annotations needed for supervision. We propose UnsupervisedR&R: an end-to-end unsupervised approach to learning point cloud registration from raw RGB-D video. The key idea is to leverage differentiable alignment and rendering to enforce photometric and geometric consistency between frames.
#differentiable_rendering #indoor

"Moscow never sleeps"

Advadnoun сделал colab notebook (https://colab.research.google.com/drive/1Q-TbYvASMPRMXCOQjkxxf72CXYjR_8Vp), где декодер от DALL-E используется для синтеза изображений из латентного вектора, который оптимизируется CLIP по критерию текстового промпта. Можно дать на вход текст и поэкспериментировать.

https://arxiv.org/pdf/2102.12092.pdf
DALL-E paper
* github

Memo запилил пост на тему eco-friendly cryptoArt с подробным введением в тему.
* твитор
* пост на гитхабе
#nft

IBRNet: Learning Multi-View Image-Based Rendering

* paper
* project page
* code

Unlike neural scene representation work that optimizes per-scene functions for rendering, we learn a generic view interpolation function that generalizes to novel scenes. We render images using classic volume rendering, which is fully differentiable and allows us to train using only multi-view posed images as supervision. Experiments show that our method outperforms recent novel view synthesis methods that also seek to generalize to novel scenes. Further, if fine-tuned on each scene, our method is competitive with state-of-the-art single-scene neural rendering methods.

Related works
1. https://alexyu.net/pixelnerf/
2. https://github.com/alextrevithick/GRF

#nerf

D-NeRF: Neural Radiance Fields for Dynamic Scenes

* project page
* paper
* no code yet

We propose D-NeRF, a method for synthesizing novel views, at an arbitrary point in time, of dynamic scenes with complex non-rigid geometries. We optimize an underlying deformable volumetric function from a sparse set of input monocular views without the need of ground-truth geometry nor multi-view images.
#nerf

Wow! Blender 2.9.2 has 2D interpolation
* notes
#blender

Попробовала адаптировать этот ноутбук к лицам людей.
Сетап очень простой — параметрическая голова человека без текстуры и даже глазных яблок. Параметрическую голову можно взять тут или тут.
Оптимизация была сделана с текстурой. Интересный момент, что многие детали меша на картинке появляются именно за счет текстуры с такой оптимизацией, при этом сам меш меняется не сильно. Если же оптимизировать только меш, то результаты на нем заметнее.

Кратко о Microsoft Mesh на текущий момент.
Но да, может быть ждать осталось не долго.

Тема не новая, но применение 3d photo inpainting к генеративным картинкам выглядит прикольно

Neural 3D Video Synthesis
[Facebook Reality Labs]
* Project page
* Paper
We propose a novel approach for 3D video synthesis that is able to represent multi-view video recordings of a dynamic real-world scene in a compact, yet expressive representation that enables high-quality view synthesis and motion interpolation. Our approach takes the high quality and compactness of static neural radiance fields in a new direction: to a model-free, dynamic setting. At the core of our approach is a novel time-conditioned neural radiance fields that represents scene dynamics using a set of compact latent codes.
Our learned representation is highly compact and able to represent a 10 second 30 FPS multi-view video recording by 18 cameras with a model size of just 28MB. We demonstrate that our method can render high-fidelity wide-angle novel views at over 1K resolution, even for highly complex and dynamic scenes.
#nerf #video #3d #novel_view

Neural Geometric Level of Detail:
Real-time Rendering with Implicit 3D Surfaces
[Nvidia]

Real-time rendering of high quality neural 3d SDFs with a sparse octree feature volume and a tiny MLP. 🔥

* Project page
* Paper
* twitter
#implicit_geometry #LOD #octree #sdf #real_time #3d