Попробовала сделать короткий видос с одним кейфреймом. Из важных особенностей — контуры на обрисованном видео и исходном видео должны совпадать. Нельзя пририсовать рожки, если их не было на видео или сделать нож из шаурмы.

картинка

АААА!!!
Этот чувак делает просто отличные ревью статей.
Это очень забавно.
https://youtu.be/TrdevFK_am4

Cat Papers

https://www.cs.cmu.edu/~junyanz/cat/cat_papers.html

Cat Paper Collection is an academic paper collection that includes computer graphics, computer vision, and machine learning papers that produce experimental results related to cats.

Awesome Podcasts.

List of podcasts which are helpful for software engineers/programmers.

For ones who don't know where to start.

#podcasts, #awesome, #list

​​StyleGAN2 with adaptive discriminator augmentation (ADA)

Github: https://github.com/NVlabs/stylegan2-ada
ArXiV: https://arxiv.org/abs/2006.06676

#StyleGAN #GAN #DL #CV

Синтез аватаров без 3д промежуточного представления звучит славно. Думаю что уникальную мимику каждого человека будет намного проще перенести на аватара с помощью нейронного рендера.

Та самая Nvidia Maxine, которая стриминговая платформа с кучей ml и ai наворотов, позволит с модулем трекинга лица делать такие вещи ещё проще и, самое главное, точнее, чем у конкурентов, по крайней мере, я на это очень надеюсь.

https://twitter.com/nvidia/status/1313939032188104705?s=20

https://lingdong.works/
Generative art god
#art

Face Tracking просто шествует по планете.
Вот уже и ЗД софты подтягиваются (но не все).
Notch бахнул новость про поддержку фейстрекинга на основе нового движка Nvidia Broadcast.
https://medium.com/notchblog/nvidia-broadcast-engine-coming-to-notch-317bde64b696
Все очень по-взрослому: Using a 3D morphable model to create a 3D mesh representation of a human face with over 6000 polygons and a full 6 degrees of freedom head pose — all in real-time of course.
6 тыщ полигонов, 6 степеней свободы для башки, все в реалтайме.
GPU-accelerated, AI-based - все как мы любим.
Детектирование человеческих лиц, выделение и трекинг черт лица, включая контур, форму лица, губы, глаза и веки, используя до 126(!) ключевых точек.
Оп. И тут намечается любопытное противостояние, между AR Kit от Эппле и Nvidia Broadcast, куда входит AR SDK. Они заходят немного с разных сторон, но в итоге встречаются на поляне Face and Landmark Tracking. Причем чаще всего в реалтайме.

RF: Learning a General Radiance Field for 3D Scene Representation and Rendering

Powerful implicit neural function that can represent and render arbitrarily complex 3D scenes in a single network only from 2D observations.

Github: https://github.com/alextrevithick/GRF

Paper: https://arxiv.org/abs/2010.04595v1

@ai_machinelearning_big_data

https://www.youtube.com/playlist?list=PLqFaTIg4myu8Iz-n8nGZzfsa4ykvjXnR-

Kaggle winners' interview.
Now only twitter sentiment is there.
Hope to see more.

[points 77]
Room-Temperature Superconductivity Achieved for the First Time

https://stephaneginier.com/sculptgl

Sculpting in web
#web #tools

https://youtu.be/RFqPwH7QFEI

Neural Sparse Voxel Fields

* project page
* github
* paper
* data

Abstract
In this work, we introduce Neural Sparse Voxel Fields (NSVF), a new neural scene representation for fast and high-quality free-viewpoint rendering. NSVF defines a set of voxel-bounded implicit fields organized in a sparse voxel octree to model local properties in each cell. We progressively learn the underlying voxel structures with a diffentiable ray-marching operation from only a set of posed RGB images. With the sparse voxel octree structure, rendering novel views can be accelerated by skipping the voxels containing no relevant scene content.

Our method is over 10 times faster than the state-of-the-art (namely, NeRF (Mildenhall et al., 2020)) at inference time while achieving higher quality results. Furthermore, by utilizing an explicit sparse voxel representation, our method can easily be applied to scene editing and scene composition. We also demonstrate several challenging tasks, including multi-scene learning, free-viewpoint rendering of a moving human, and large-scale scene rendering.
#nerf