И вот ещё про нейросеть и творчество; на этот раз отличный проект от Гугла.
Есть такая особенность восприятия, которой отличались многие творческие люди: воздействие на один орган чувств вызывает не только его отклик, но и отклик других сенсорных систем. И тогда цвета можно слышать, у звуков появляются запахи и так далее. Называется это явление синестезия.
Синестетиком был, например, Кандинский: он слышал музыку картин.
Google Arts & Culture вместе с Центром Помпиду попробовали научить нейросеть «слышать» картину Кандинского.
https://blog.google/outreach-initiatives/arts-culture/discover-artist-who-could-hear-colors/
А сам интерактивный эксперимент — вот, интересно потыкать самостоятельно :)
https://artsandculture.google.com/experiment/sgF5ivv105ukhA

https://twitter.com/AlexandreDevaux/status/1359862766664884231
Перенос в 3д девушки из видео — красивый пример того что можно сделать с PifuHD или с depth estimation в AR.
#3d

Пожалуй, всем исследователям знаком ресурс https://arxiv.org/ - место размещение электронных препринтов научных статей.

Мы будем периодически освещать новинки в области 3DML с этого ресурса. Начнем с топ 5 интересных работ, вышедших сегодня:

- A-NeRF: Surface-free Human 3D Pose Refinement via Neural Rendering хороший пример решение задачи перерисовки тела на основе нейронного рендеринга
- A Survey on Synchronous Augmented, Virtual and Mixed Reality обзорная статья, в который систематически выделяется связь между различными видами реальностей
- HyperPocket: Generative Point Cloud Completion статья о дополнении облака точек на основе GAN моделей
- A fully automated method for 3D individual tooth identification and segmentation in dental CBCT о применении 3DML в медицине: сегментируем и детектируем зубы на объемных снимках
- Modeling 3D Surface Manifolds with a Locally Conditioned Atlas о совмещении идей автоэнкодеров и локальных атласов из дифференциальной геометрии для моделирования облаков точек

[DeepMind]
Introducing NFNets, a family of image classification models that are:

* SOTA on ImageNet (86.5% top-1 w/o extra data)
* Up to 8.7x faster to train than EfficientNets to a given accuracy
*Normalizer-free (no BatchNorm!)

Paper
Code
YC review

PS:
Предлагаются NF-ResNets, NF-Regnets
Надеюсь будет без NF-Regrets. 😏

NeRF--: Neural Radiance Fields Without Known Camera Parameters
- project page
- paper
#nerf

SRFlow
Official SRFlow training code: Super-Resolution using Normalizing Flow in PyTorch
* code
* "Why I Stopped Using GAN" — Medium post
* paper
Advantages of Conditional Normalizing Flow over GAN approaches
Sampling: SRFlow outputs many different images for a single input.
Stable Training: SRFlow has much fewer hyperparameters than GAN approaches, and we did not encounter training stability issues.
Convergence: While GANs cannot converge, conditional Normalizing Flows converge monotonic and stable.
Higher Consistency: When downsampling the super-resolution, one obtains almost the exact input.
+ You can train it on a single GPU.
#gan #srflow #super_resolution

https://twitter.com/eps696/status/1362262010763821056?s=21

^ Новый колаб от Вадима Эпштейна. Lucid + CLIP

https://youtu.be/jH-6-ZIgmKY
Очень круто выглядит возможность поговорить с NPC в VR за счет распознавания речи и GPT-3, но думает персонаж долго, конечно.

https://twitter.com/metasemantic/status/1362838686287728646
Color palette generation from text denoscription

And here people discuss how would they generate new color palettes.
#clip

Ответы на главные вопросы, что мы дали в первой беседе Clubhouse

Что такое крипто арт?
- Крипто-арт это когда диджитал арт продают за криптовалюту на движке блокчейна

Как попасть в крипто арт? Нужно ли обладать большой аудиторией, что бы чет там продать?
- Что бы попасть в крипто арт не надо обладать большой аудиторией, на площадках продаются как люди без аудитории, так и не продаются люди с аудиторией. Все зависит от случая

Где торговать крипто артом? Какие есть площадки?
- Крипто артом торгуют на Superrare, Nifty Gateway, Makersplace, Rarible и тд.

Как туда попасть?
- Чем премиальнее площадка, тем сложнее на нее попасть. Superrare, Nifty и Makersplace требуют верификации и вручную рассматривают каждую заявку. Еще в декабре срок ожидания ответа составлял от 2 дней до 2 месяцев. На Rarible можно выложить работу без проблем.

Дайте инструкцию!
- подпишись на канал и жди инструкций по каждой из ключевых площадок

В чем их отличие?
- Разные площадки - разные форматы дропов, кол-во копий, процедура регистрации и контингент

Там только картинки? Как продавать видео? А музыку можно?
- Продавать можно хоть картинки, хоть видео, хоть триде модели и даже музыку

Кто за это платит такие большие деньги?
- Коллекционеры абсолютно разные люди - юристы, врачи, студенты, профессора, художники, мексиканские картели (но мы это не одобряем). У всех абсолютно разные мотивы - от желания поддержать автора до профессионального ресейла и трейдинга

Что получает покупатель, когда приобретает арт?
- Покупатель получает в руки факт обладания произведением искусства, закрепленным за сетью блокчейн. То есть подлинность этой работы легко проверить и не возможно подделать. Не оригинал картины в хайрезе, а цифровая подпись, закрепленная за работой. Выбор того, что помимо цифровой подписи получает коллекционер остается за ним и за художником - нередко художники рассылают физические копии (или оригиналы) картины своим коллекционерам, Бипл даже разослал 600 кейсов с небольшим экраном, на котором крутились его работы.

Права на работу переходят ему? Он может делать с ней че хочет?
- Права на работу не переходят покупателю, если это не было отдельно обговорено между ним и продавцом заранее. По умолчанию он не может взять и использовать ее как купленный ассет или объект с Videohive,

Как оценивается тот или иной арт?
- Работы оцениваются по разному. Все зависит от коллекционеров, личности художника и контекста работы. Наполненный деталями техничный рендер может быть продан за 0.5 eth, а мазня кисточкой без истории, подтекста и имени автора за 10 eth.

Как расшарить свою работу? Площадки содействуют продвижению работы?
- Залог успеха продажи работы состоит в информационной поддержке дропа. Чем больше людей знают о вашей продаже тем лучше. Так рекомендуют сами площадки. Помимо этого они содействуют крутым и подающим надежды художникам, публикуют их в своих ресурсах и пишут о них статьи, выводят в топы.

Насколько насыщен рынок диджитал дизайна?
- Весной площадки будут перенасыщены из-за большого к ним внимания. Поэтому если вы хотите зарегистрироваться - лучше не откладывать.

И это лишь малая часть, позже расскажем больше, так что подпишись и присоединяйся к обсуждению в https://news.1rj.ru/str/joinchat/UzAaO5lD0ove_5Bl

#основы