​​StyleGAN2 with adaptive discriminator augmentation (ADA)

Github: https://github.com/NVlabs/stylegan2-ada
ArXiV: https://arxiv.org/abs/2006.06676

#StyleGAN #GAN #DL #CV

Синтез аватаров без 3д промежуточного представления звучит славно. Думаю что уникальную мимику каждого человека будет намного проще перенести на аватара с помощью нейронного рендера.

Та самая Nvidia Maxine, которая стриминговая платформа с кучей ml и ai наворотов, позволит с модулем трекинга лица делать такие вещи ещё проще и, самое главное, точнее, чем у конкурентов, по крайней мере, я на это очень надеюсь.

https://twitter.com/nvidia/status/1313939032188104705?s=20

https://lingdong.works/
Generative art god
#art

Face Tracking просто шествует по планете.
Вот уже и ЗД софты подтягиваются (но не все).
Notch бахнул новость про поддержку фейстрекинга на основе нового движка Nvidia Broadcast.
https://medium.com/notchblog/nvidia-broadcast-engine-coming-to-notch-317bde64b696
Все очень по-взрослому: Using a 3D morphable model to create a 3D mesh representation of a human face with over 6000 polygons and a full 6 degrees of freedom head pose — all in real-time of course.
6 тыщ полигонов, 6 степеней свободы для башки, все в реалтайме.
GPU-accelerated, AI-based - все как мы любим.
Детектирование человеческих лиц, выделение и трекинг черт лица, включая контур, форму лица, губы, глаза и веки, используя до 126(!) ключевых точек.
Оп. И тут намечается любопытное противостояние, между AR Kit от Эппле и Nvidia Broadcast, куда входит AR SDK. Они заходят немного с разных сторон, но в итоге встречаются на поляне Face and Landmark Tracking. Причем чаще всего в реалтайме.

RF: Learning a General Radiance Field for 3D Scene Representation and Rendering

Powerful implicit neural function that can represent and render arbitrarily complex 3D scenes in a single network only from 2D observations.

Github: https://github.com/alextrevithick/GRF

Paper: https://arxiv.org/abs/2010.04595v1

@ai_machinelearning_big_data

https://www.youtube.com/playlist?list=PLqFaTIg4myu8Iz-n8nGZzfsa4ykvjXnR-

Kaggle winners' interview.
Now only twitter sentiment is there.
Hope to see more.

[points 77]
Room-Temperature Superconductivity Achieved for the First Time

https://stephaneginier.com/sculptgl

Sculpting in web
#web #tools

https://youtu.be/RFqPwH7QFEI

Neural Sparse Voxel Fields

* project page
* github
* paper
* data

Abstract
In this work, we introduce Neural Sparse Voxel Fields (NSVF), a new neural scene representation for fast and high-quality free-viewpoint rendering. NSVF defines a set of voxel-bounded implicit fields organized in a sparse voxel octree to model local properties in each cell. We progressively learn the underlying voxel structures with a diffentiable ray-marching operation from only a set of posed RGB images. With the sparse voxel octree structure, rendering novel views can be accelerated by skipping the voxels containing no relevant scene content.

Our method is over 10 times faster than the state-of-the-art (namely, NeRF (Mildenhall et al., 2020)) at inference time while achieving higher quality results. Furthermore, by utilizing an explicit sparse voxel representation, our method can easily be applied to scene editing and scene composition. We also demonstrate several challenging tasks, including multi-scene learning, free-viewpoint rendering of a moving human, and large-scale scene rendering.
#nerf

И ещё новость в тему Zoom, хоть и не про него.
Daphne Koller, соосновательница Курсеры, многому научившаяся в процессе эволюции проекта, относительно недавно из него ушла и теперь представляет свой новый стартап: не курсы, но видео-среду для общения в процессе обучения. Первое бросающееся в глаза визуальное отличие: интерфейс не напоминает колумбарий в отличие от плиток Зума или Тимс.
Мне повезло как-то пару часов поговорить с Дафной, она офигенно красиво и быстро думает. Не удивлён, что в Engageli поверили инвесторы; теперь осталось увлечь преподавателей, однажды это у Дафны уже получилось. Но здесь новаций сильно больше: тут речь не о записи привычного курса для новой среды, тут совсем другие метрики отслеживания вовлечённости студентов (причём основанные не на методах слежки за сиюминутным поведением, как нынче любят) и инструменты работы.
В словах Дафны много близких мне мыслей; она тоже из тех, кто считает события этого года волшебным пенделем, ускорившим перемены в образовании: this really just accelerated it by five or 10 years.
И вообще интервью хорошее и умное ;)
https://www.protocol.com/coursera-engageli-education-daphne-koller
А вот прямая ссылка на сам проект - https://www.engageli.com

Давно не заходила на Курсеру, но вот решила пройти там пару курсов. Теперь очень удобно можно сдавать задания в ноутбуках хостящихся на стороне курсеры. Конечно, используется амазон. Но щедрость курсеры меня все же впечатляет.
Tesla V100-SXM2-32GB для сдачи дз на мнисте это сильно. + Возможность установить все что угодно через этот ноутбук. + Не тормозит жестко как колаб. Однако длину сессии я не замеряла. Но по моим ощущениям это может быть до нескольких часов.

Flow-edge Guided Video Completion

http://chengao.vision/FGVC/
* code
* video
* paper
#video #inpainting

NNI (Neural Network Intelligence) is a lightweight but powerful toolkit to help users automate Feature Engineering, Neural Architecture Search, Hyperparameter Tuning and Model Compression.

The tool manages automated machine learning (AutoML) experiments, dispatches and runs experiments' trial jobs generated by tuning algorithms to search the best neural architecture and/or hyper-parameters in different training environments like Local Machine, Remote Servers, OpenPAI, Kubeflow, FrameworkController on K8S (AKS etc.), DLWorkspace (aka. DLTS), AML (Azure Machine Learning) and other cloud options.

#python, #deeplearning, #neural, #network, #pytorch, #ml, #dl

Colab обновили бегающих няшек под тему Хэллоуина 🐈🌝🎃