https://twitter.com/advadnoun/status/1347807444190199808
DALL-E не релизнута, но вот что выходит на gradient ascent с помощью CLIP.

Немного политоты, но все же. Неужели дойдем до стадии, когда телега останется последним оплотом свободы слова и все такое?

Знаете ли вы?

Вчера в Твиттере забанили не только аккаунт Трампа, но и аккаунт Sci-Hub. Причем наш аккаунт забанили раньше, даже появились статьи, где люди возмущались в комментариях, что полезный Сайхаб забанили, а Трампа годами забанить не могут. Через несколько часов снесли аккаунт Трампа.

Формальная причина бана Sci-Hub в Твиттере - нарушение копирайта. Хотя 9 лет это никого не волновало. На момент блокировки было 183 тысячи подписчика, а твиты набирали тысячи репостов и комментариев, причем 90% в поддержку Sci-Hub. И вот все нажитое непосильным трудом пропало! Возможно, скрытой причиной блокировки аккаунта проекта стали протесты в США и активизация борьбы с русскими шпионами на этом фоне. Как известно, власти США подозревают меня в работе на ГРУ, а в Твиттере проекта Sci-Hub был закреплен большой плакат с Лениным.

Еще эксперименты с CLIP:
https://twitter.com/quasimondo/status/1348194907626856449

For Age estimation
https://twitter.com/metasemantic/status/1348113145609465856

Компьютерное зрение и компьютерный слух.
Отличная идея - скормить нейросетками не только видео, но и всю акустическую "картину", для более точного восстановления модели 3Д-пространства.
Этакая фото-аудио-грамметрия.
Исследователи из Facebook, разработали нейросеть, которая использует визуальные и звуковые эффекты из короткого видеоклипа для восстановления плана целого этажа. Ее можно применять для визуализации пространств, планирования маршрутов и разработки архитектурных проектов. Во время съемки включаются разные неистовые звуки, отражения которых потом фиксируются и учитываются.
https://habr.com/ru/news/t/536534/

InMoDeGAN: Interpretable Motion Decomposition Generative Adversarial Network for Video Generation

* project page
* github (coming soon, you know..)

In this work, we introduce an unconditional video generative model, InMoDeGAN, targeted to (a) generate high quality videos, as well as to (b) allow for interpretation of the latent space. For the latter, we place emphasis on interpreting and manipulating motion. Towards this, we decompose motion into semantic sub-spaces, which allow for control of generated samples. We design the architecture of InMoDeGAN-generator in accordance to proposed Linear Motion Decomposition, which carries the assumption that motion can be represented by a dictionary, with related vectors forming an orthogonal basis in the latent space. Each vector in the basis represents a semantic sub-space.

RepVGG: Making VGG-style ConvNets Great Again

Прикол

On ImageNet, RepVGG reaches over 80% top-1 accuracy, which is the first time for a plain model, to the best of our knowledge

https://arxiv.org/pdf/2101.03697.pdf
https://github.com/DingXiaoH/RepVGG

Meta Pseudo Labels
https://twitter.com/quocleix/status/1349443438698143744
https://arxiv.org/abs/2003.10580

Striding Toward the Minimum
(Source: The Batch)

When you’re training a deep learning model, it can take days for an optimization algorithm to minimize the loss function. A new approach could save time.
What’s new: Juntang Zhuang and colleagues at Yale, University of Illinois at Urbana-Champaign, and University of Central Florida proposed AdaBelief, a more efficient variation on the popular Adam optimizer.
Key insight: The popular optimization methods of stochastic gradient descent (SGD) and Adam sometimes take small steps, requiring more time to reach their destination, when they could take larger ones. Given a small learning rate and a point in a large, steep area of a loss function’s landscape, SGD takes small steps until the slope becomes steeper, while Adam’s steps become smaller as it progresses. In both scenarios, an ideal optimizer would predict that the slope is long and take larger steps.
How it works: AdaBelief adjusts its step size depending on the difference between the current gradient and the average of previous gradients.

Like Adam, AdaBelief moves along a function step by step and calculates an exponential moving average of the gradient, assigning exponentially smaller weights to previous gradients. Also like Adam, at each step, a steeper average gradient generally calls for a larger step size.
Unlike Adam, AdaBelief treats the weighted average as a prediction of the gradient at the next step. If the difference between the prediction and the actual gradient is small, the function’s steepness probably isn’t changing much, and AdaBelief takes a relatively larger step. Conversely, if the difference is large, the landscape is changing, and AdaBelief decreases the step size.

Results: The authors provide videos showing that, in experiments on functions with known minimums, AdaBelief was faster than both Adam and SGD with momentum (as shown above). To demonstrate their method’s accuracy, they compared AdaBelief to SGD, Adam, and other adaptive optimizers on tasks including image classification, image generation, and language modeling. AdaBelief basically matched SGD’s accuracy and exceeded that of all other adaptive optimizers. For instance, on ImageNet, AdaBelief increased a ResNet18’s highest top-1 accuracy, or accuracy of its best prediction, to 70.08 percent, on par with SGD’s 70.23 percent and 2 percent better than the best adaptive optimizers.
Why it matters: Faster optimization means faster training, and that means more time to experiment with different models.
We’re thinking: The authors’ video demonstrations suggest that AdaBelief could be a valuable alternative to Adam. However, they don’t supply any numbers that would make for a precise speed comparison. We look forward to the authors of the Deep Learning Optimizer Benchmark Suite, who have evaluated over a dozen optimizers in various tasks, running AdaBelief through its paces.

- GAN Inversion: A Survey. (arXiv:2101.05278v1 [cs.CV])
http://arxiv.org/abs/2101.05278

AI врывается там, где его меньше всего ждали. Теперь нейросети могут видеть стереограммы. А ты нет.

Я даже учил когда-то, что стереограммы работают через восприятие глубины и смещением картинки между двумя глазами, но, давайте согласимся, вероятность того, что это чистая магия — не нулевая.

Статья: https://arxiv.org/pdf/2012.15692.pdf