Недавно у меня появился Oculus Quest2 и поэтому я немного тут буду писать и про VR штуки.
Что есть хорошего и замечательного в VR — возможность рисовать 3D картинки и моделить в 3D.
Из известных мне программ для этого есть Quill от фейсбука и Tilt Brush от гугла. Для 3D моделинга есть Medium от адобченко, но сегодня я не про него.
Так вот, Tilt Brush устроен таким образом, что основной возможностью делиться своими творениями с миром можно было только через google.poly. Но гугл прикрывает poly как многие возможно слышали.
И вот гугл объявляет что Tilt Brush это теперь опен сорс. На самом деле архивированный проект без возможности делать PR, но с надеждой на комьюнити. Проект написан на Unity и собирается в ту самую работающую из маркета версию.
Ну и напоследок.
Красивая картиночка из Tilt Brush.
#VR

На текущий момент Oculus Quest 2 кажется самым лучшим выбором по соотношению цены и возможностей. Но при всем при этом есть неприятные моменты — необходимость привязки профиля из фейсбука, необходимость установки приложения на телефон, возможность использования Oculus Link только с винды. Опять же, для меня это выглядит как устройство типа эппл, в котором пользователь на самом деле имеет довольно мало контроля над системой.
Но приятно видеть, что есть такие разработки как Relativty, предлагающие open source решение с полной инструкцией даже по хардварной части. Relativty поддерживает SteamVR и использует нейронный 3D pose estimation для трекинга. Стоимость такого шлема оценивается в $200.
https://www.relativty.com/
Та же команда работает над созданием своей метаверс и проприетарным VR-шлемом с полным трекингом лица в Unai. Надеюсь что это будет достойная конкуренция фейсбуку.
#VR #hardware #diy

Возможно, во время карантина, некоторые из вас начали видеть свои дома по-другому, развили новые отношения со своим пространством , стали больше обращать внимание на свои вещи и обнаружили драгоценные уголки. Проект the smallest of worlds это иммерсивный архив, куда вы можете отправить видео любого пространства и получить обработанный скан в виде облака точек.

Также просто можно сделать красивый скан в виде облака точек и в приложении Every Point, что круто, результат можно сразу же загрузить на Sketchfab или отправить другу:)

Так, можно сохранить на память 3D сцену происходящего, а #arkit поможет получить скан в реальном размере. Оба способа очень просты в использовании и доступны всем. А если вы художник, то со сканом потом можно экспериментировать и создавать потрясающее фиджитал искусство!

[points 91]
Sci-Founder Fellowship: $250-400k and mentoring for scientists starting startups

https://github.com/danistefanovic/build-your-own-x
Такая сборка туториалов поясняющая логику работу x.
Не совсем про графику, но и это там тоже есть.
- tiny 3D render/modeller на 500 строк python кода
- AR на python с OpenCV

Нейрооккультизм. Увидел вот этот пост и подумал, что отличная штука для генерации. Если разделить на элементы и подходить к этому в духе generative art то получится более трушно и красиво, но нейронкой как-то душевнее, будто безумец рисовал.

Ещё сразу после этого идея пришла — набрать где-то сканов гримуаров, обучить GAN и сделать НЕЙРОНОМИКОН. Можно вызвать нейросатану.

Ну вот, NVlabs релизнули pytorch версию stylegan2-ada. Я таки сделала порт с тф версии на pytorch версию от rosinality своих обученных на тф моделек.
Но у rosinality у меня не получалось тренить модельку на слабенькой гпу с 8гб оперативы, с чем отлично справлялся официальный код на тф с half-precision.
Очевидно что хорошей реализации на pytorch не хватало — были работы использующие rosinality версию, lucidrains как обычно запилил свою версию.

Но вот теперь есть и официально от Нвидии.
https://github.com/NVlabs/stylegan2-ada-pytorch
#gan

https://vimeo.com/507126722

Если кто помнит, был у меня лет 5 назад проект со шмотками https://vimeo.com/150124407 с тех пор я все хотел попробовать перенести это на реальных людей - то есть чтобы шмотки виртуальные, а модель живая. Из-за завала по "Ложной слепоте" и коммерческих проектов все это шло крайне неторопливо, но вот наконец-то есть какие-то результаты, которые не стыдно показывать.

Так как мокап на улице был мне не по карману с моим обычным $0 бюджетом, то пришлось импровизировать. Технически тут съемка с трех камер, потом треккинг положения суставов для каждой из них нейронкой OpenPose. Но она дает относительно нормальный трекинг только в 2d, в пространстве кадра, этого недостаточно ни для стабильного восстановления движения в 3д, не тем более для симуляции взаимодействия тела и одежды. Так что потом у меня работает сетап из примерно бесконечного количества нод в Houdini, который делает триангуляцию всего уже в 3д, чистит результат и привязывает риг. Сами шмотки пока в Marvelous, но я сейчас в процессе создания более веселых вещей на vellum. Забавно, что еще одну нейронную штуку получилось использовать - маски персонажа в композе генерятся вот этой штукой - https://github.com/ZHKKKe/MODNet

Model: Jasmine LaRae
DP: Tatiana Stolpovskaya

https://arxiv.org/pdf/1909.01815.pdf

Обзорная статья про морфологические модели лица — т.е. параметрические 3д модели лица с возможностью морфить в 3д одно лицо в другое.
Такие модели наиболее успешно используются для создания 3д аватаров и реалистичного фейс трекинга.
Обычно это не только 3д меш, но также параметрическая модель текстур и освещения. Подробнее про применения и современное состояние этого подхода можно посмотреть в статье.
#review #survey #morphable_model #face_reconstruction

Появился код nerfies с колабами:
https://github.com/google/nerfies
#nerf

Сорян, это совсем вообще не в тему, но почему-то когда я увидела эту новость, то нарисовалось.

https://www.paperswithcode.com/datasets

Крутая новость — paperswithcode теперь с удобным поиском по датасетам.
Надеюсь настанет день и для sci-hub-torrent для датасетов. 😭
#dataset

Вообще крутое аниме!

В Японии уже давно появился первый в мире вид техно-спорт, которым занимается более 2,1 млн человек!

HADO - это соревновательный командный вид спорта в дополненной реальности, который был основан в 2014 году. Прикрепляя специальные устройство к голове и рукам, спортсмены стреляют друг в друга “энергетическими шарами” и защищаются с помощью цифровых “щитов” в течение 80 секунд. Раньше мы могли видеть подобное только в комиксах, кино и мультфильмах!)

Что важно, несмотря на то, что спорт цифровой, вам понадобится хорошая физическая подготовка для успешной игры. Для этого даже предусмотрены специальные занятия с тренером, которые вы можете забронировать на сайте.

Deep Learning Theory Summer School at Princeton (Online)
July 27 - August 4, 2021
Apply here

About
The school will run remotely from July 27 to August 4, 2021 and is aimed at graduate students interested in the theory of deep learning. The primary goal is to showcase, through three main courses and a variety of short talks, a range of exciting developments. An important secondary goal is to connect young researchers and foster a closer community within theoretical machine learning.
#courses

Wav2Lip: Accurately Lip-syncing Videos In The Wild
https://github.com/Rudrabha/Wav2Lip

Highlights
- Lip-sync videos to any target speech with high accuracy 🔥.
- Works for any identity, voice, and language. Also works for CGI faces and synthetic voices.
- Complete training code, inference code, and pretrained models are available
- Or, quick-start with the Google Colab Notebook: Link. Checkpoints and samples are available in a Google Drive folder as well. There is also a tutorial video on this, courtesy of What Make Art. Also, thanks to Eyal Gruss, there is a more accessible Google Colab notebook with more useful features.
#video #lipsync