Forwarded from Savva
#GAN #unsupervised_learning #interpretability #meta_learning #image_editing
Navigating the GAN Parameter Space for Semantic Image Editing
https://arxiv.org/pdf/2011.13786.pdf
Navigating the GAN Parameter Space for Semantic Image Editing
https://arxiv.org/pdf/2011.13786.pdf
https://github.com/vinits5/learning3d
Learning3D is an open-source library that supports the development of deep learning algorithms that deal with 3D data. The Learning3D exposes a set of state of art deep neural networks in python. A modular code has been provided for further development. We welcome contributions from the open-source community.
#tools
Learning3D is an open-source library that supports the development of deep learning algorithms that deal with 3D data. The Learning3D exposes a set of state of art deep neural networks in python. A modular code has been provided for further development. We welcome contributions from the open-source community.
#tools
У Google Colab есть также режим локального рантайма — вы запускаете jupyter локально и получаете возможность подключиться к своему jupyter удалённо с любой другой машины. В целом, этот вопрос я чаще всего решала через прокидывание портов по ssh (если есть возможность настроить ssh) или через ngrok. Но может быть, если надо прям много (потому что free ngrok поддерживает только один адрес форварда) независимых jupyter ноутбуков открывать удаленно на своем железе, к которому нет доступа по ssh, тогда это возможно хорошее решение. Ноутбук сам будет автоматически сохраняться на гугл драйв.
UPD: читатели подсказывают, что еще можно ssh к колабу настроить через ngrok в колабе.
#tools
UPD: читатели подсказывают, что еще можно ssh к колабу настроить через ngrok в колабе.
#tools
Coloring With Limited Data: Few-Shot Colorization via Memory-Augmented Networks [CVPR 2019]
* paper
* code [pyTorch, unofficial]
Abstract
И все это также похоже на вот это:
https://github.com/eladrich/pixel2style2pixel
#colorization
* paper
* code [pyTorch, unofficial]
Abstract
Despite recent advancements in deep learning-based automatic colorization, they are still limited when it comes to few-shot learning. Existing models require a significant amount of training data. To tackle this issue, we present a novel memory-augmented colorization model MemoPainter that can produce high-quality colorization with limited data. In particular, our model is able to capture rare instances and successfully colorize them. We also propose a novel threshold triplet loss that enables unsupervised training of memory networks without the need of class labels. Experiments show that our model has superior quality in both few-shot and one-shot colorization tasks
Стили для колоризации.И все это также похоже на вот это:
https://github.com/eladrich/pixel2style2pixel
#colorization
avatar-new-bezier-1.gif
11.4 MB
Animated bezier curves controlled by PoseNet and FaceMesh output
* blogpost
* github
* demo
Красивый пример оживления 2D аватаров в вебе. Есть также более амбициозные проекты (вроде RiggingJs), для иморта моделей mixamo и ретаргетинг анимации с камеры.
Но почему-то не видно всего этого пока что в широком использовании в вебе, поправьте меня, если я что-то упускаю.
Тем временем зарелизился MediaPipe Holistic совмещающий возможность использовать модели трекинга лица, пальцев рук и позы одновременно на js и python, но перфоманс пока что ~15-20 fps в зависимости от девайса. С лицами все намного лучше. MediaPipe face mesh дает около ~ 30fps на моем телефоне, что ощущается как вполне риалтайм. Есть и другие риалтайм решения 3DDFA_V2, HyperPose, но они пока не портированы на js.
#mediapipe
* blogpost
* github
* demo
Красивый пример оживления 2D аватаров в вебе. Есть также более амбициозные проекты (вроде RiggingJs), для иморта моделей mixamo и ретаргетинг анимации с камеры.
Но почему-то не видно всего этого пока что в широком использовании в вебе, поправьте меня, если я что-то упускаю.
Тем временем зарелизился MediaPipe Holistic совмещающий возможность использовать модели трекинга лица, пальцев рук и позы одновременно на js и python, но перфоманс пока что ~15-20 fps в зависимости от девайса. С лицами все намного лучше. MediaPipe face mesh дает около ~ 30fps на моем телефоне, что ощущается как вполне риалтайм. Есть и другие риалтайм решения 3DDFA_V2, HyperPose, но они пока не портированы на js.
#mediapipe
Forwarded from CGIT_Vines (CGIT_Vines)
This media is not supported in your browser
VIEW IN TELEGRAM
Разработчики хвалятся быстрой системой нейронного рендеринга, в отличие от других систем. В итоге применяться может при создании анимаций и аватаров, не для продакшена, конечно, а сервисов типа инстаграма, снэпчата, ну и для AR в том числе (к примеру, для оклюжена)
https://anr-avatars.github.io/
https://anr-avatars.github.io/
This media is not supported in your browser
VIEW IN TELEGRAM
Поздравляю всех с отступающим 2020!
Это был крутой год на работы в области графики и машинного обучения (которые можно еще долго изучать в наступающем году).
Уходящий год зажёг новую искру в AR/VR и в том как мы представляем себе будущее удалённой работы.
Изменилось что-то фундаментальное в том как мир привык функционировать и абсолютно точно нас ждёт еще больше интересного.
Спасибо всем кто оказался здесь в этом маленьком канале и следил за публикациями.
Stay tuned.
Это был крутой год на работы в области графики и машинного обучения (которые можно еще долго изучать в наступающем году).
Уходящий год зажёг новую искру в AR/VR и в том как мы представляем себе будущее удалённой работы.
Изменилось что-то фундаментальное в том как мир привык функционировать и абсолютно точно нас ждёт еще больше интересного.
Спасибо всем кто оказался здесь в этом маленьком канале и следил за публикациями.
Stay tuned.
Краткая предыстория почему это классная работа.
Думаю, что многие помнят про Ebsynth и возможно даже запускали. В ebsynth можно подать видео и ключевой кадр со "стилем" и стилизовать всё видео под этот ключевой кадр. Где-то тут я делала очень короткую демку с одним ключевым кадром, а тут с дипдримом и несколькими кадрами. Но проблемы начинаются когда есть несколько ключевых кадров со стилем, а это происходит, если в кадре появляется невиданный ранее объект или деталь. В таком случае приходится генерировать перекрытие между несколькими кадрами дважды обрабатывая большой кусок видео (с одним фреймом и другим, чтобы сделать плавный переход между ними). Возможно по этой причине ebsynth все еще в бете (кроме того эта бета не в опенсорсе).
Но данная работа позволяет накладывать стиль на все кадры независимо и одновременно, при этом лучше работает со стилями с чёткими границами объектов.
* github
* project page
#stylization
Думаю, что многие помнят про Ebsynth и возможно даже запускали. В ebsynth можно подать видео и ключевой кадр со "стилем" и стилизовать всё видео под этот ключевой кадр. Где-то тут я делала очень короткую демку с одним ключевым кадром, а тут с дипдримом и несколькими кадрами. Но проблемы начинаются когда есть несколько ключевых кадров со стилем, а это происходит, если в кадре появляется невиданный ранее объект или деталь. В таком случае приходится генерировать перекрытие между несколькими кадрами дважды обрабатывая большой кусок видео (с одним фреймом и другим, чтобы сделать плавный переход между ними). Возможно по этой причине ebsynth все еще в бете (кроме того эта бета не в опенсорсе).
Но данная работа позволяет накладывать стиль на все кадры независимо и одновременно, при этом лучше работает со стилями с чёткими границами объектов.
* github
* project page
#stylization
Forwarded from SEXY DESIGN¹⁸⁺
This media is not supported in your browser
VIEW IN TELEGRAM
Технология Monster Mash стала доступный для всех! Для тех кто пропустил Monster Mash — это инструмент для кэжуал-моделлинга или упрощенного моделлинга (на основе плоскостного рисунка) и анимации органических форм. Рисуем силуэт, надуваем и анимируем. Еще там хороший Help, где расписаны все фичи и кнопки.
http://monstermash.zone/
http://monstermash.zone/
This media is not supported in your browser
VIEW IN TELEGRAM
С этой штукой можно делать еще вот такие странные анимации
Improved Techniques for Training Single-Image GANs
* github
* blogpost
* paper
Ганы, обучающиеся на одной картинке, могут применяться не только для генерации упоротых зданий, но также для гармонизации коллажей, создания анимаций и редактирования изображений.
#single_image #gan
* github
* blogpost
* paper
Ганы, обучающиеся на одной картинке, могут применяться не только для генерации упоротых зданий, но также для гармонизации коллажей, создания анимаций и редактирования изображений.
#single_image #gan