echoinside – Telegram
echoinside
107 subscribers
834 photos
65 videos
41 files
933 links
ML in computer graphics and random stuff.
Any feedback: @fogside
Download Telegram
Forwarded from Denis Sexy IT 🤖
Теперь нейронками можно сделать диснеевскую версию себя (или не себя) – https://toonify.justinpinkney.com/

UPD. Сайт отключили, вот тут коллаб чтобы самим поиграться
Довольно интересная лекция от Sanja Fidler, Nvidia AI Lab (Toronto) на тему синтеза 3D контента с помощью AI.
Цель лекции — вдохновить на изучение данной области.
Однако поясняется очень много интересных моментов.
* Синтез единичных объектов с фото и как при этом помогает StyleGAN.
* Как смержить процедурную генерацию сцен с ML/DL подходами.
* Поясняется за различные репрезентации 3D объектов для выхода сети, поясняется за их плюсы и минусы. Новое для меня — tetrahedral meshes формат, удобный для представления физических симуляций над объектами.
* История с GameGAN и нейронным пакманом все еще свежа в памяти, а тут люди уже подключают Kaolin для синтеза играбельных 3Д игр типа GTA. Однако (спойлер) пока что AI не выглядит как конкурентноспособная замена игровых движков.
Однако создавать модели машинок с текстурами по одной картинкe можно в довольно неплохом качестве.
А мультивью нейронная 3д реконструкция булочек работает по виду не хуже NERF.
#3d #differentiable_rendering
This media is not supported in your browser
VIEW IN TELEGRAM
Недавно я вдруг поняла, что в телеграме можно делать вот такие гифки из стикеров и фото.
Люди целые мультики с этим инструментом делают в блендере
Forwarded from CGIT_Vines (CGIT_Vines)
This media is not supported in your browser
VIEW IN TELEGRAM
С удивлением обнаружил, что ещё есть люди, которые не в курсе, и просто хотел напомнить, что в блендере есть crease pencil.

Джама давно его форсил, и сейчас ещё вот этот чувак появился, видео его же.

Вообще, туторов, конечно, полно, и инструмент в концептинге полезный.
Forwarded from CGIT_Vines (CGIT_Vines)
This media is not supported in your browser
VIEW IN TELEGRAM
Ооочень интересная новинка от Facebook AI research.

Мокап система на основе анализа видео. Можно получить отдельно тело, отдельно руки или тело и руки вместе.

Кто разберётся и потестит, покажите результаты, хочется глянуть.

https://github.com/facebookresearch/frankmocap
Forwarded from Karim Iskakov - канал (LFP bot)
This media is not supported in your browser
VIEW IN TELEGRAM
Deep generative model writes programs to build novel 3D chairs from cuboids. Well-learned latent space supports interpolations between programs. No doubt, the next step is to train an embedder from IKEA assembly instructions.

🌐 rkjones4.github.io/shapeAssembly
📝 arxiv.org/abs/2009.08026
📉 @loss_function_porn
enjoying it means you are at right level, anxiety means you are fighting a difficult task. boredom is it's too easy for you and you need to make things difficult for yourself to advance
SimCLR

Abstract
SimCLR is a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework.
We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.

* Available in pytorch-lightning-bolts with a couple of code lines
* Paper
* Colab implementation
* Explanation and implementation details in a series of short videos
#self_supervised
https://poloclub.github.io/ganlab/
Милая интерактивная демка с объяснением ганов на tf.js.
This media is not supported in your browser
VIEW IN TELEGRAM
Flame plugin for blender for random face expression and random face generation
#morphable_model
https://github.com/HavenFeng/photometric_optimization

It seems here they optimize jointly mesh and texture from image with differential rendering, pytorch3d.
It takes ~20sec on 1 gpu GTX1080Ti to optimize for one image. Texture comes from PCA model which is more than 1Gb in size. It doesn't support well asian faces, because it optimizes only based on landmarks projected to 3d mesh.
But the results sometimes look quite promising.
#differentiable_rendering #face #face_reconstruction #morphable_model