https://youtu.be/RFqPwH7QFEI
Neural Sparse Voxel Fields
* project page
* github
* paper
* data
Abstract
In this work, we introduce Neural Sparse Voxel Fields (NSVF), a new neural scene representation for fast and high-quality free-viewpoint rendering. NSVF defines a set of voxel-bounded implicit fields organized in a sparse voxel octree to model local properties in each cell. We progressively learn the underlying voxel structures with a diffentiable ray-marching operation from only a set of posed RGB images. With the sparse voxel octree structure, rendering novel views can be accelerated by skipping the voxels containing no relevant scene content.
Our method is over 10 times faster than the state-of-the-art (namely, NeRF (Mildenhall et al., 2020)) at inference time while achieving higher quality results. Furthermore, by utilizing an explicit sparse voxel representation, our method can easily be applied to scene editing and scene composition. We also demonstrate several challenging tasks, including multi-scene learning, free-viewpoint rendering of a moving human, and large-scale scene rendering.
#nerf
Neural Sparse Voxel Fields
* project page
* github
* paper
* data
Abstract
In this work, we introduce Neural Sparse Voxel Fields (NSVF), a new neural scene representation for fast and high-quality free-viewpoint rendering. NSVF defines a set of voxel-bounded implicit fields organized in a sparse voxel octree to model local properties in each cell. We progressively learn the underlying voxel structures with a diffentiable ray-marching operation from only a set of posed RGB images. With the sparse voxel octree structure, rendering novel views can be accelerated by skipping the voxels containing no relevant scene content.
Our method is over 10 times faster than the state-of-the-art (namely, NeRF (Mildenhall et al., 2020)) at inference time while achieving higher quality results. Furthermore, by utilizing an explicit sparse voxel representation, our method can easily be applied to scene editing and scene composition. We also demonstrate several challenging tasks, including multi-scene learning, free-viewpoint rendering of a moving human, and large-scale scene rendering.
#nerf
YouTube
Neural Sparse Voxel Fields (NeurIPS 2020)
Photo-realistic free-viewpoint rendering of real-world scenes using classical computer graphics techniques is challenging, because it requires the difficult step of capturing detailed appearance and geometry models. Recent studies have demonstrated promising…
Forwarded from TechSparks
И ещё новость в тему Zoom, хоть и не про него.
Daphne Koller, соосновательница Курсеры, многому научившаяся в процессе эволюции проекта, относительно недавно из него ушла и теперь представляет свой новый стартап: не курсы, но видео-среду для общения в процессе обучения. Первое бросающееся в глаза визуальное отличие: интерфейс не напоминает колумбарий в отличие от плиток Зума или Тимс.
Мне повезло как-то пару часов поговорить с Дафной, она офигенно красиво и быстро думает. Не удивлён, что в Engageli поверили инвесторы; теперь осталось увлечь преподавателей, однажды это у Дафны уже получилось. Но здесь новаций сильно больше: тут речь не о записи привычного курса для новой среды, тут совсем другие метрики отслеживания вовлечённости студентов (причём основанные не на методах слежки за сиюминутным поведением, как нынче любят) и инструменты работы.
В словах Дафны много близких мне мыслей; она тоже из тех, кто считает события этого года волшебным пенделем, ускорившим перемены в образовании: this really just accelerated it by five or 10 years.
И вообще интервью хорошее и умное ;)
https://www.protocol.com/coursera-engageli-education-daphne-koller
А вот прямая ссылка на сам проект - https://www.engageli.com
Daphne Koller, соосновательница Курсеры, многому научившаяся в процессе эволюции проекта, относительно недавно из него ушла и теперь представляет свой новый стартап: не курсы, но видео-среду для общения в процессе обучения. Первое бросающееся в глаза визуальное отличие: интерфейс не напоминает колумбарий в отличие от плиток Зума или Тимс.
Мне повезло как-то пару часов поговорить с Дафной, она офигенно красиво и быстро думает. Не удивлён, что в Engageli поверили инвесторы; теперь осталось увлечь преподавателей, однажды это у Дафны уже получилось. Но здесь новаций сильно больше: тут речь не о записи привычного курса для новой среды, тут совсем другие метрики отслеживания вовлечённости студентов (причём основанные не на методах слежки за сиюминутным поведением, как нынче любят) и инструменты работы.
В словах Дафны много близких мне мыслей; она тоже из тех, кто считает события этого года волшебным пенделем, ускорившим перемены в образовании: this really just accelerated it by five or 10 years.
И вообще интервью хорошее и умное ;)
https://www.protocol.com/coursera-engageli-education-daphne-koller
А вот прямая ссылка на сам проект - https://www.engageli.com
Protocol
Coursera’s co-founder thinks Zoom doesn't work for learning. So she built an alternative.
Daphne Koller changed education once before. Can she do it again?
Давно не заходила на Курсеру, но вот решила пройти там пару курсов. Теперь очень удобно можно сдавать задания в ноутбуках хостящихся на стороне курсеры. Конечно, используется амазон. Но щедрость курсеры меня все же впечатляет.
Tesla V100-SXM2-32GB для сдачи дз на мнисте это сильно. + Возможность установить все что угодно через этот ноутбук. + Не тормозит жестко как колаб. Однако длину сессии я не замеряла. Но по моим ощущениям это может быть до нескольких часов.
Tesla V100-SXM2-32GB для сдачи дз на мнисте это сильно. + Возможность установить все что угодно через этот ноутбук. + Не тормозит жестко как колаб. Однако длину сессии я не замеряла. Но по моим ощущениям это может быть до нескольких часов.
Forwarded from Binary Tree
NNI (Neural Network Intelligence) is a lightweight but powerful toolkit to help users automate Feature Engineering, Neural Architecture Search, Hyperparameter Tuning and Model Compression.
The tool manages automated machine learning (AutoML) experiments, dispatches and runs experiments' trial jobs generated by tuning algorithms to search the best neural architecture and/or hyper-parameters in different training environments like Local Machine, Remote Servers, OpenPAI, Kubeflow, FrameworkController on K8S (AKS etc.), DLWorkspace (aka. DLTS), AML (Azure Machine Learning) and other cloud options.
#python, #deeplearning, #neural, #network, #pytorch, #ml, #dl
The tool manages automated machine learning (AutoML) experiments, dispatches and runs experiments' trial jobs generated by tuning algorithms to search the best neural architecture and/or hyper-parameters in different training environments like Local Machine, Remote Servers, OpenPAI, Kubeflow, FrameworkController on K8S (AKS etc.), DLWorkspace (aka. DLTS), AML (Azure Machine Learning) and other cloud options.
#python, #deeplearning, #neural, #network, #pytorch, #ml, #dl
Кажется что Artbreeder можно было бы использовать для создания игровых персонажей в 2Д играх например. Можно сменить расу или заставить персонажа стареть.
https://people.csail.mit.edu/tzumao/diffvg/
Это должно думаю сильно помочь с генерацией новых шрифтов ганами или vae.
* code
#vector #differentiable_rendering
Это должно думаю сильно помочь с генерацией новых шрифтов ганами или vae.
* code
#vector #differentiable_rendering
* [Paper]
* [Code (TensorFlow)]
* [Code (PyTorch)]
* [WB article with colab]
В статье предлагается улучшенный способ сделать инверсию фотографии в пространство латентных векторов GAN генератора.
Для этого обучается еще один энкодер специально для данного домена.
Далее выходы энкодера будут использоваться в качестве дополнительной регуляризации пиксель лосса в процессе оптимизации в поиске вектора картинки. Достаточно 100 шагов чтобы найти удовлетворительный вектор входной картинки согласно авторам. Также авторы предоставляют предобученные энкодеры и ганы для FFHQ, LSUN Tower, LSUN Bedroom. Инверсия картинок в пространство генератора позволяет редактировать исходное изображение за счёт изменения соответствующего вектора. Добавление улыбки и очков, смена позы, изменение возраста и смена расы. Это не первая работа на данную тему, но именно эта работа позволяет производить редактирование картинки в латентном пространстве качественнее.
Еще картинки смотрите в треде.
#gan #inversion
* [Code (TensorFlow)]
* [Code (PyTorch)]
* [WB article with colab]
В статье предлагается улучшенный способ сделать инверсию фотографии в пространство латентных векторов GAN генератора.
Для этого обучается еще один энкодер специально для данного домена.
Далее выходы энкодера будут использоваться в качестве дополнительной регуляризации пиксель лосса в процессе оптимизации в поиске вектора картинки. Достаточно 100 шагов чтобы найти удовлетворительный вектор входной картинки согласно авторам. Также авторы предоставляют предобученные энкодеры и ганы для FFHQ, LSUN Tower, LSUN Bedroom. Инверсия картинок в пространство генератора позволяет редактировать исходное изображение за счёт изменения соответствующего вектора. Добавление улыбки и очков, смена позы, изменение возраста и смена расы. Это не первая работа на данную тему, но именно эта работа позволяет производить редактирование картинки в латентном пространстве качественнее.
Еще картинки смотрите в треде.
#gan #inversion
Неужели снова придётся скачать фотошоп, а не писать в гугле: "ai super resolution online"
Forwarded from Brodetskyi. Tech, VC, Startups
This media is not supported in your browser
VIEW IN TELEGRAM
О, а вот и более подробное демо новых нейрофильтров Photoshop. Посмотрите!
(увидел в канале @CGIT_Vines)
(увидел в канале @CGIT_Vines)