🌳 Neural-Backed Decision Trees

Demo: https://research.alvinwan.com/neural-backed-decision-trees/

Github: https://github.com/alvinwan/neural-backed-decision-trees

Paper: https://arxiv.org/abs/2004.00221

Code: https://colab.research.google.com/github/alvinwan/neural-backed-decision-trees/blob/master/examples/load_pretrained_nbdts.ipynb

Dataset: https://pytorch.org/docs/stable/torchvision/datasets.html

@ai_machinelearning_big_data

Github Patreon — теперь со специальным обучающим контентом для патронов.

https://onlysponsors.dev/

Еще не пробовала применять эту работу, но выглядит очень интересно. Фокус на интерпретируемости результатов классификации с построением иерархии чисто по весам уже обученной любой нейронки-классификатора.

In this work, we propose Neural-Backed Decision Trees (NBDTs) to make state-of-the-art image classification models interpretable. An NBDT is a hierarchical classifier that, unlike its predecessors,(1) uses a hierarchy derived from model parameters, to avoid overfitting, (2) can be created from any existing classification neural network without architectural modifications, and (3) retains interpretability by using a single model, sequential discrete decisions, and pure leaves. NBDTs are built in 2 steps: construct a tree structure using the weights of a trained network, dubbed an induced hierarchy.
Then, re-train or fine-tune that classification network with an extra hierarchy-based loss term, called a tree supervision loss.
For the forward pass, we run the fully-connected layer as embedded decision rules – variants of oblique decision rules for arbitrary branching factors.

Pinscreen - компания, занимающаяся созданием виртуальных аватаров, показала обновление своей платформы на базе UE4 и назвала ее PaGAN (Photoreal GAN).

По сути, у нас есть исходник с трекингом в движке, а поверх накладывается дипфейк.

И ещё, Pinscreen теперь на мегагранте, так что ждать внедрения осталось недолго.

https://gradient.paperspace.com/free-gpu
Paperspace Gradient предлагает free-gpu с возможностью считать на них 12 часов (как у колаба, но кажется, что гпу похуже).
Конфигурация для фри инстанса на скриншоте. Вдруг кому пригодиться.
Все ноутбуки публичные и ими можно делиться по ссылке.
#tools

Оптимизация меша лучше чем это делает blender стандартными средствами
https://github.com/zeux/meshoptimizer#simplification
#tools #3d

Недавно у меня появился Oculus Quest2 и поэтому я немного тут буду писать и про VR штуки.
Что есть хорошего и замечательного в VR — возможность рисовать 3D картинки и моделить в 3D.
Из известных мне программ для этого есть Quill от фейсбука и Tilt Brush от гугла. Для 3D моделинга есть Medium от адобченко, но сегодня я не про него.
Так вот, Tilt Brush устроен таким образом, что основной возможностью делиться своими творениями с миром можно было только через google.poly. Но гугл прикрывает poly как многие возможно слышали.
И вот гугл объявляет что Tilt Brush это теперь опен сорс. На самом деле архивированный проект без возможности делать PR, но с надеждой на комьюнити. Проект написан на Unity и собирается в ту самую работающую из маркета версию.
Ну и напоследок.
Красивая картиночка из Tilt Brush.
#VR

На текущий момент Oculus Quest 2 кажется самым лучшим выбором по соотношению цены и возможностей. Но при всем при этом есть неприятные моменты — необходимость привязки профиля из фейсбука, необходимость установки приложения на телефон, возможность использования Oculus Link только с винды. Опять же, для меня это выглядит как устройство типа эппл, в котором пользователь на самом деле имеет довольно мало контроля над системой.
Но приятно видеть, что есть такие разработки как Relativty, предлагающие open source решение с полной инструкцией даже по хардварной части. Relativty поддерживает SteamVR и использует нейронный 3D pose estimation для трекинга. Стоимость такого шлема оценивается в $200.
https://www.relativty.com/
Та же команда работает над созданием своей метаверс и проприетарным VR-шлемом с полным трекингом лица в Unai. Надеюсь что это будет достойная конкуренция фейсбуку.
#VR #hardware #diy

Возможно, во время карантина, некоторые из вас начали видеть свои дома по-другому, развили новые отношения со своим пространством , стали больше обращать внимание на свои вещи и обнаружили драгоценные уголки. Проект the smallest of worlds это иммерсивный архив, куда вы можете отправить видео любого пространства и получить обработанный скан в виде облака точек.

Также просто можно сделать красивый скан в виде облака точек и в приложении Every Point, что круто, результат можно сразу же загрузить на Sketchfab или отправить другу:)

Так, можно сохранить на память 3D сцену происходящего, а #arkit поможет получить скан в реальном размере. Оба способа очень просты в использовании и доступны всем. А если вы художник, то со сканом потом можно экспериментировать и создавать потрясающее фиджитал искусство!

[points 91]
Sci-Founder Fellowship: $250-400k and mentoring for scientists starting startups

https://github.com/danistefanovic/build-your-own-x
Такая сборка туториалов поясняющая логику работу x.
Не совсем про графику, но и это там тоже есть.
- tiny 3D render/modeller на 500 строк python кода
- AR на python с OpenCV

Нейрооккультизм. Увидел вот этот пост и подумал, что отличная штука для генерации. Если разделить на элементы и подходить к этому в духе generative art то получится более трушно и красиво, но нейронкой как-то душевнее, будто безумец рисовал.

Ещё сразу после этого идея пришла — набрать где-то сканов гримуаров, обучить GAN и сделать НЕЙРОНОМИКОН. Можно вызвать нейросатану.

Ну вот, NVlabs релизнули pytorch версию stylegan2-ada. Я таки сделала порт с тф версии на pytorch версию от rosinality своих обученных на тф моделек.
Но у rosinality у меня не получалось тренить модельку на слабенькой гпу с 8гб оперативы, с чем отлично справлялся официальный код на тф с half-precision.
Очевидно что хорошей реализации на pytorch не хватало — были работы использующие rosinality версию, lucidrains как обычно запилил свою версию.

Но вот теперь есть и официально от Нвидии.
https://github.com/NVlabs/stylegan2-ada-pytorch
#gan

https://vimeo.com/507126722

Если кто помнит, был у меня лет 5 назад проект со шмотками https://vimeo.com/150124407 с тех пор я все хотел попробовать перенести это на реальных людей - то есть чтобы шмотки виртуальные, а модель живая. Из-за завала по "Ложной слепоте" и коммерческих проектов все это шло крайне неторопливо, но вот наконец-то есть какие-то результаты, которые не стыдно показывать.

Так как мокап на улице был мне не по карману с моим обычным $0 бюджетом, то пришлось импровизировать. Технически тут съемка с трех камер, потом треккинг положения суставов для каждой из них нейронкой OpenPose. Но она дает относительно нормальный трекинг только в 2d, в пространстве кадра, этого недостаточно ни для стабильного восстановления движения в 3д, не тем более для симуляции взаимодействия тела и одежды. Так что потом у меня работает сетап из примерно бесконечного количества нод в Houdini, который делает триангуляцию всего уже в 3д, чистит результат и привязывает риг. Сами шмотки пока в Marvelous, но я сейчас в процессе создания более веселых вещей на vellum. Забавно, что еще одну нейронную штуку получилось использовать - маски персонажа в композе генерятся вот этой штукой - https://github.com/ZHKKKe/MODNet

Model: Jasmine LaRae
DP: Tatiana Stolpovskaya

https://arxiv.org/pdf/1909.01815.pdf

Обзорная статья про морфологические модели лица — т.е. параметрические 3д модели лица с возможностью морфить в 3д одно лицо в другое.
Такие модели наиболее успешно используются для создания 3д аватаров и реалистичного фейс трекинга.
Обычно это не только 3д меш, но также параметрическая модель текстур и освещения. Подробнее про применения и современное состояние этого подхода можно посмотреть в статье.
#review #survey #morphable_model #face_reconstruction

Появился код nerfies с колабами:
https://github.com/google/nerfies
#nerf

Сорян, это совсем вообще не в тему, но почему-то когда я увидела эту новость, то нарисовалось.