AI врывается там, где его меньше всего ждали. Теперь нейросети могут видеть стереограммы. А ты нет.

Я даже учил когда-то, что стереограммы работают через восприятие глубины и смещением картинки между двумя глазами, но, давайте согласимся, вероятность того, что это чистая магия — не нулевая.

Статья: https://arxiv.org/pdf/2012.15692.pdf

Визуализация алгоритма конвертации SDF в меш https://youtu.be/B_xk71YopsA

Всем привет! Я предпринял попытку законспектировать всю основную теорию по RL. Попробовал скомпилировать в единое повествование материалы из нескольких основных курсов, чтобы детально объяснить, как устроены алгоритмы RL и почему они выглядят именно так, а не иначе. Надеюсь, кому-нибудь будет полезно)) Может быть, текст пригодится кому и для погружения в RL с нуля (от читателя предполагается только знание базового ML / DL).

Вероятно, будут фиксы / обновления; актуальная версия будет здесь:
https://github.com/FortsAndMills/RL-Theory-book

Любая пепер вообще:))

Это очень смешно))

«Rendering research papers in essence»

🌳 Neural-Backed Decision Trees

Demo: https://research.alvinwan.com/neural-backed-decision-trees/

Github: https://github.com/alvinwan/neural-backed-decision-trees

Paper: https://arxiv.org/abs/2004.00221

Code: https://colab.research.google.com/github/alvinwan/neural-backed-decision-trees/blob/master/examples/load_pretrained_nbdts.ipynb

Dataset: https://pytorch.org/docs/stable/torchvision/datasets.html

@ai_machinelearning_big_data

Github Patreon — теперь со специальным обучающим контентом для патронов.

https://onlysponsors.dev/

Еще не пробовала применять эту работу, но выглядит очень интересно. Фокус на интерпретируемости результатов классификации с построением иерархии чисто по весам уже обученной любой нейронки-классификатора.

In this work, we propose Neural-Backed Decision Trees (NBDTs) to make state-of-the-art image classification models interpretable. An NBDT is a hierarchical classifier that, unlike its predecessors,(1) uses a hierarchy derived from model parameters, to avoid overfitting, (2) can be created from any existing classification neural network without architectural modifications, and (3) retains interpretability by using a single model, sequential discrete decisions, and pure leaves. NBDTs are built in 2 steps: construct a tree structure using the weights of a trained network, dubbed an induced hierarchy.
Then, re-train or fine-tune that classification network with an extra hierarchy-based loss term, called a tree supervision loss.
For the forward pass, we run the fully-connected layer as embedded decision rules – variants of oblique decision rules for arbitrary branching factors.

Pinscreen - компания, занимающаяся созданием виртуальных аватаров, показала обновление своей платформы на базе UE4 и назвала ее PaGAN (Photoreal GAN).

По сути, у нас есть исходник с трекингом в движке, а поверх накладывается дипфейк.

И ещё, Pinscreen теперь на мегагранте, так что ждать внедрения осталось недолго.

https://gradient.paperspace.com/free-gpu
Paperspace Gradient предлагает free-gpu с возможностью считать на них 12 часов (как у колаба, но кажется, что гпу похуже).
Конфигурация для фри инстанса на скриншоте. Вдруг кому пригодиться.
Все ноутбуки публичные и ими можно делиться по ссылке.
#tools

Оптимизация меша лучше чем это делает blender стандартными средствами
https://github.com/zeux/meshoptimizer#simplification
#tools #3d

Недавно у меня появился Oculus Quest2 и поэтому я немного тут буду писать и про VR штуки.
Что есть хорошего и замечательного в VR — возможность рисовать 3D картинки и моделить в 3D.
Из известных мне программ для этого есть Quill от фейсбука и Tilt Brush от гугла. Для 3D моделинга есть Medium от адобченко, но сегодня я не про него.
Так вот, Tilt Brush устроен таким образом, что основной возможностью делиться своими творениями с миром можно было только через google.poly. Но гугл прикрывает poly как многие возможно слышали.
И вот гугл объявляет что Tilt Brush это теперь опен сорс. На самом деле архивированный проект без возможности делать PR, но с надеждой на комьюнити. Проект написан на Unity и собирается в ту самую работающую из маркета версию.
Ну и напоследок.
Красивая картиночка из Tilt Brush.
#VR

На текущий момент Oculus Quest 2 кажется самым лучшим выбором по соотношению цены и возможностей. Но при всем при этом есть неприятные моменты — необходимость привязки профиля из фейсбука, необходимость установки приложения на телефон, возможность использования Oculus Link только с винды. Опять же, для меня это выглядит как устройство типа эппл, в котором пользователь на самом деле имеет довольно мало контроля над системой.
Но приятно видеть, что есть такие разработки как Relativty, предлагающие open source решение с полной инструкцией даже по хардварной части. Relativty поддерживает SteamVR и использует нейронный 3D pose estimation для трекинга. Стоимость такого шлема оценивается в $200.
https://www.relativty.com/
Та же команда работает над созданием своей метаверс и проприетарным VR-шлемом с полным трекингом лица в Unai. Надеюсь что это будет достойная конкуренция фейсбуку.
#VR #hardware #diy

Возможно, во время карантина, некоторые из вас начали видеть свои дома по-другому, развили новые отношения со своим пространством , стали больше обращать внимание на свои вещи и обнаружили драгоценные уголки. Проект the smallest of worlds это иммерсивный архив, куда вы можете отправить видео любого пространства и получить обработанный скан в виде облака точек.

Также просто можно сделать красивый скан в виде облака точек и в приложении Every Point, что круто, результат можно сразу же загрузить на Sketchfab или отправить другу:)

Так, можно сохранить на память 3D сцену происходящего, а #arkit поможет получить скан в реальном размере. Оба способа очень просты в использовании и доступны всем. А если вы художник, то со сканом потом можно экспериментировать и создавать потрясающее фиджитал искусство!