Появился код nerfies с колабами:
https://github.com/google/nerfies
#nerf

Сорян, это совсем вообще не в тему, но почему-то когда я увидела эту новость, то нарисовалось.

https://www.paperswithcode.com/datasets

Крутая новость — paperswithcode теперь с удобным поиском по датасетам.
Надеюсь настанет день и для sci-hub-torrent для датасетов. 😭
#dataset

Вообще крутое аниме!

В Японии уже давно появился первый в мире вид техно-спорт, которым занимается более 2,1 млн человек!

HADO - это соревновательный командный вид спорта в дополненной реальности, который был основан в 2014 году. Прикрепляя специальные устройство к голове и рукам, спортсмены стреляют друг в друга “энергетическими шарами” и защищаются с помощью цифровых “щитов” в течение 80 секунд. Раньше мы могли видеть подобное только в комиксах, кино и мультфильмах!)

Что важно, несмотря на то, что спорт цифровой, вам понадобится хорошая физическая подготовка для успешной игры. Для этого даже предусмотрены специальные занятия с тренером, которые вы можете забронировать на сайте.

Deep Learning Theory Summer School at Princeton (Online)
July 27 - August 4, 2021
Apply here

About
The school will run remotely from July 27 to August 4, 2021 and is aimed at graduate students interested in the theory of deep learning. The primary goal is to showcase, through three main courses and a variety of short talks, a range of exciting developments. An important secondary goal is to connect young researchers and foster a closer community within theoretical machine learning.
#courses

Wav2Lip: Accurately Lip-syncing Videos In The Wild
https://github.com/Rudrabha/Wav2Lip

Highlights
- Lip-sync videos to any target speech with high accuracy 🔥.
- Works for any identity, voice, and language. Also works for CGI faces and synthetic voices.
- Complete training code, inference code, and pretrained models are available
- Or, quick-start with the Google Colab Notebook: Link. Checkpoints and samples are available in a Google Drive folder as well. There is also a tutorial video on this, courtesy of What Make Art. Also, thanks to Eyal Gruss, there is a more accessible Google Colab notebook with more useful features.
#video #lipsync

MeInGame: Create a Game Character Face from a Single Portrait

Github : https://github.com/FuxiCV/MeInGame

Paper: https://arxiv.org/abs/2102.02371v1

Demo: https://www.youtube.com/watch?v=597cvKOegfE&feature=youtu.be&ab_channel=EdwardLin

@ai_machinelearning_big_data

https://same.energy/
— поиск по картинкам от Jacob Jackson очень похожий на Pinterest. Интересная идея использовать CLIP для поиска по картинкам, однако автор не упоминает что использовал сам CLIP для этого. На русском найти картинки не получилось.

How does it work?

Same Energy's core search uses deep learning. The most similar published work is CLIP by OpenAI.

The default feeds available on the home page are algorithmically curated: a seed of 5-20 images are selected by hand, then our system builds the feed by scanning millions of images in our index to find good matches for the seed images. You can create feeds in just the same way: save images to create a collection of seed images, then look at the recommended images.
#clip #tools

В целом, можно и датасет пособирать...

Создание анимации персонажей посредством GAN.

Для удобства работы есть GUI с возможностью корректировки поз по ключевым точкам.

Git
https://github.com/tohinz/CharacterGAN

Paper
https://arxiv.org/pdf/2102.03141.pdf

Use Optical Flow to Adjust Deep Dream Video
https://github.com/aertist/DeepDreamAnimV2

Я как-то писала уже про применение Ebsynth и подобного алгоритма поверх deep dream для стабилизации картинки.
Но на самом деле можно все сделать проще применив optical flow из OpenCV и смекалочку. Интересно как этот подход может сработать с другими стилями, где нет такого очевидного послойного применения стилизации.

The optical flow mode allows the optical flow of each frame to be calculated by comparing the difference in the movement of all pixels between the current and previous frame. The hallucinatory patterns on the area where the optical flow was detected is merged with the current (not-yet-hallucinatory) frame based on the weighting provided by the user defined blending ratio. The blending ratio allows some of the hallucinatory content of the current frame to be inherited from the previous frame, The DD algorithm is then applied to this merged frame, instead of starting from scratch for each frame.
#optical_flow

https://youtu.be/S3F1vZYpH8c
Эпик аннонсировал MetaHuman Creator, выглядит шикарно.
Попробовать можно в Unreal Engine, но без генератора пока что.

https://www.unrealengine.com/marketplace/en-US/learn/metahumans

UPD: то что показано на видео это риал тайм рендер в UE
- blogpost official

https://twitter.com/Yokohara_h/status/1359672157505167362
Демонстрация фейс трекинга с моделью из MetaHumans с Live Link Face app на айфоне.

#courses
Computer Graphics at Carnegie Mellon University
https://youtu.be/yJ5eY3EIImA

These are some of the images, 3D models, and animations created by students in Carnegie Mellon's introductory Computer Graphics class (15-462, Fall 2020).  Students didn't simply make these images—they wrote all the code to generate them from scratch, in one semester!

The course lectures and assignments are free to follow online:
WEBSITE
LECTURES
CODE