#courses
Computer Graphics at Carnegie Mellon University
https://youtu.be/yJ5eY3EIImA

These are some of the images, 3D models, and animations created by students in Carnegie Mellon's introductory Computer Graphics class (15-462, Fall 2020).  Students didn't simply make these images—they wrote all the code to generate them from scratch, in one semester!

The course lectures and assignments are free to follow online:
WEBSITE
LECTURES
CODE

И вот ещё про нейросеть и творчество; на этот раз отличный проект от Гугла.
Есть такая особенность восприятия, которой отличались многие творческие люди: воздействие на один орган чувств вызывает не только его отклик, но и отклик других сенсорных систем. И тогда цвета можно слышать, у звуков появляются запахи и так далее. Называется это явление синестезия.
Синестетиком был, например, Кандинский: он слышал музыку картин.
Google Arts & Culture вместе с Центром Помпиду попробовали научить нейросеть «слышать» картину Кандинского.
https://blog.google/outreach-initiatives/arts-culture/discover-artist-who-could-hear-colors/
А сам интерактивный эксперимент — вот, интересно потыкать самостоятельно :)
https://artsandculture.google.com/experiment/sgF5ivv105ukhA

https://twitter.com/AlexandreDevaux/status/1359862766664884231
Перенос в 3д девушки из видео — красивый пример того что можно сделать с PifuHD или с depth estimation в AR.
#3d

Пожалуй, всем исследователям знаком ресурс https://arxiv.org/ - место размещение электронных препринтов научных статей.

Мы будем периодически освещать новинки в области 3DML с этого ресурса. Начнем с топ 5 интересных работ, вышедших сегодня:

- A-NeRF: Surface-free Human 3D Pose Refinement via Neural Rendering хороший пример решение задачи перерисовки тела на основе нейронного рендеринга
- A Survey on Synchronous Augmented, Virtual and Mixed Reality обзорная статья, в который систематически выделяется связь между различными видами реальностей
- HyperPocket: Generative Point Cloud Completion статья о дополнении облака точек на основе GAN моделей
- A fully automated method for 3D individual tooth identification and segmentation in dental CBCT о применении 3DML в медицине: сегментируем и детектируем зубы на объемных снимках
- Modeling 3D Surface Manifolds with a Locally Conditioned Atlas о совмещении идей автоэнкодеров и локальных атласов из дифференциальной геометрии для моделирования облаков точек

[DeepMind]
Introducing NFNets, a family of image classification models that are:

* SOTA on ImageNet (86.5% top-1 w/o extra data)
* Up to 8.7x faster to train than EfficientNets to a given accuracy
*Normalizer-free (no BatchNorm!)

Paper
Code
YC review

PS:
Предлагаются NF-ResNets, NF-Regnets
Надеюсь будет без NF-Regrets. 😏

NeRF--: Neural Radiance Fields Without Known Camera Parameters
- project page
- paper
#nerf

SRFlow
Official SRFlow training code: Super-Resolution using Normalizing Flow in PyTorch
* code
* "Why I Stopped Using GAN" — Medium post
* paper
Advantages of Conditional Normalizing Flow over GAN approaches
Sampling: SRFlow outputs many different images for a single input.
Stable Training: SRFlow has much fewer hyperparameters than GAN approaches, and we did not encounter training stability issues.
Convergence: While GANs cannot converge, conditional Normalizing Flows converge monotonic and stable.
Higher Consistency: When downsampling the super-resolution, one obtains almost the exact input.
+ You can train it on a single GPU.
#gan #srflow #super_resolution

https://twitter.com/eps696/status/1362262010763821056?s=21

^ Новый колаб от Вадима Эпштейна. Lucid + CLIP

https://youtu.be/jH-6-ZIgmKY
Очень круто выглядит возможность поговорить с NPC в VR за счет распознавания речи и GPT-3, но думает персонаж долго, конечно.

https://twitter.com/metasemantic/status/1362838686287728646
Color palette generation from text denoscription

And here people discuss how would they generate new color palettes.
#clip