В целом, можно и датасет пособирать...

Создание анимации персонажей посредством GAN.

Для удобства работы есть GUI с возможностью корректировки поз по ключевым точкам.

Git
https://github.com/tohinz/CharacterGAN

Paper
https://arxiv.org/pdf/2102.03141.pdf

Use Optical Flow to Adjust Deep Dream Video
https://github.com/aertist/DeepDreamAnimV2

Я как-то писала уже про применение Ebsynth и подобного алгоритма поверх deep dream для стабилизации картинки.
Но на самом деле можно все сделать проще применив optical flow из OpenCV и смекалочку. Интересно как этот подход может сработать с другими стилями, где нет такого очевидного послойного применения стилизации.

The optical flow mode allows the optical flow of each frame to be calculated by comparing the difference in the movement of all pixels between the current and previous frame. The hallucinatory patterns on the area where the optical flow was detected is merged with the current (not-yet-hallucinatory) frame based on the weighting provided by the user defined blending ratio. The blending ratio allows some of the hallucinatory content of the current frame to be inherited from the previous frame, The DD algorithm is then applied to this merged frame, instead of starting from scratch for each frame.
#optical_flow

https://youtu.be/S3F1vZYpH8c
Эпик аннонсировал MetaHuman Creator, выглядит шикарно.
Попробовать можно в Unreal Engine, но без генератора пока что.

https://www.unrealengine.com/marketplace/en-US/learn/metahumans

UPD: то что показано на видео это риал тайм рендер в UE
- blogpost official

https://twitter.com/Yokohara_h/status/1359672157505167362
Демонстрация фейс трекинга с моделью из MetaHumans с Live Link Face app на айфоне.

#courses
Computer Graphics at Carnegie Mellon University
https://youtu.be/yJ5eY3EIImA

These are some of the images, 3D models, and animations created by students in Carnegie Mellon's introductory Computer Graphics class (15-462, Fall 2020).  Students didn't simply make these images—they wrote all the code to generate them from scratch, in one semester!

The course lectures and assignments are free to follow online:
WEBSITE
LECTURES
CODE

И вот ещё про нейросеть и творчество; на этот раз отличный проект от Гугла.
Есть такая особенность восприятия, которой отличались многие творческие люди: воздействие на один орган чувств вызывает не только его отклик, но и отклик других сенсорных систем. И тогда цвета можно слышать, у звуков появляются запахи и так далее. Называется это явление синестезия.
Синестетиком был, например, Кандинский: он слышал музыку картин.
Google Arts & Culture вместе с Центром Помпиду попробовали научить нейросеть «слышать» картину Кандинского.
https://blog.google/outreach-initiatives/arts-culture/discover-artist-who-could-hear-colors/
А сам интерактивный эксперимент — вот, интересно потыкать самостоятельно :)
https://artsandculture.google.com/experiment/sgF5ivv105ukhA

https://twitter.com/AlexandreDevaux/status/1359862766664884231
Перенос в 3д девушки из видео — красивый пример того что можно сделать с PifuHD или с depth estimation в AR.
#3d

Пожалуй, всем исследователям знаком ресурс https://arxiv.org/ - место размещение электронных препринтов научных статей.

Мы будем периодически освещать новинки в области 3DML с этого ресурса. Начнем с топ 5 интересных работ, вышедших сегодня:

- A-NeRF: Surface-free Human 3D Pose Refinement via Neural Rendering хороший пример решение задачи перерисовки тела на основе нейронного рендеринга
- A Survey on Synchronous Augmented, Virtual and Mixed Reality обзорная статья, в который систематически выделяется связь между различными видами реальностей
- HyperPocket: Generative Point Cloud Completion статья о дополнении облака точек на основе GAN моделей
- A fully automated method for 3D individual tooth identification and segmentation in dental CBCT о применении 3DML в медицине: сегментируем и детектируем зубы на объемных снимках
- Modeling 3D Surface Manifolds with a Locally Conditioned Atlas о совмещении идей автоэнкодеров и локальных атласов из дифференциальной геометрии для моделирования облаков точек

[DeepMind]
Introducing NFNets, a family of image classification models that are:

* SOTA on ImageNet (86.5% top-1 w/o extra data)
* Up to 8.7x faster to train than EfficientNets to a given accuracy
*Normalizer-free (no BatchNorm!)

Paper
Code
YC review

PS:
Предлагаются NF-ResNets, NF-Regnets
Надеюсь будет без NF-Regrets. 😏

NeRF--: Neural Radiance Fields Without Known Camera Parameters
- project page
- paper
#nerf

SRFlow
Official SRFlow training code: Super-Resolution using Normalizing Flow in PyTorch
* code
* "Why I Stopped Using GAN" — Medium post
* paper
Advantages of Conditional Normalizing Flow over GAN approaches
Sampling: SRFlow outputs many different images for a single input.
Stable Training: SRFlow has much fewer hyperparameters than GAN approaches, and we did not encounter training stability issues.
Convergence: While GANs cannot converge, conditional Normalizing Flows converge monotonic and stable.
Higher Consistency: When downsampling the super-resolution, one obtains almost the exact input.
+ You can train it on a single GPU.
#gan #srflow #super_resolution

https://twitter.com/eps696/status/1362262010763821056?s=21

^ Новый колаб от Вадима Эпштейна. Lucid + CLIP