Новая нейронка, которая генерит рисунки по текстовом описанию. В отличие от миллионов других подобных моделей, работает с векторными штрихами, а не пикселями.
Колаб на английском - https://colab.research.google.com/github/kvfrans/clipdraw/blob/main/clipdraw.ipynb
Бумага - https://arxiv.org/abs/2106.14843

⚡⚡⚡
Meet GitHub Copilot - your AI pair programmer.

GitHub Copilot работает на Codex, новой системе искусственного интеллекта, созданной OpenAI.
Twitter
copilot.github.com

Пилю андроид аппку для создания стикеров из фото.
Результат эксперимента на знакомой модели такой: https://news.1rj.ru/str/addstickers/Diexa

Работает так:
1) Загружаем фото из галереи
2) Конвертим в комикс
3) Загружаем в телегу

Телега иногда козлит и не загружает одни и те же стикеры, но в другом порядке. Может позже починят.

​​DeepMind опубликовал статью, где они представляют новую архитектуру - Perceiver.
Главная идея и мотивация — учиться на данных любой модальности (картинки, аудио, видео, точки, и т.д.) без использования каких-либо предположений о структуре этих данных знаний, таких как, например, локально гладкая 2D-структура картинок, которая повсеместно эксплойтится конволюционными нейронными сетями.

Предлагаемая модель Perceiver — это хитрый трансформер, который имеет несколько преимуществ перед существующими архитектурами:

➞ 1) Он может работать со входными последовательностями огромной длины (> 100k входов). Это достигается за счет использования Cross Atention блока, который принимает входные данные как ключи (K) и как значения (V), а вместо запросов (Q) использует гораздо меньшее число (512, если быть точным) скрытых векторов. Интуитивно это можно представить как этакий ботлнек на основе self-attention. На вход N векторов (где N может быть очень большим), а на выходе получаем ровно 512 (что является гиперпараметром).

➞ 2) Из-за описанного выше Cross Atention блока, который выступает в роли ботлнека, мы можем сделать Perceiver очень глубоким. Все потому что каждый последующий self-attention блок будет работать со входами длины 512, а не N. Поэтому даже квадратичная по сложности от длины входа наивная реализация self-attention'а будет быстро работать и не будет выжирать всю память.

➞ 3) Архитектура не опирается ни на какие структурные предположения о данных. Она настолько универсальная, что может применяться к различным модальностям почти без изменений (если не считать positional encoding). Можно запускать на картинках - Perciever бьет базовый ViT-B, хотя вообще не содержит ни одной конволюции и на вход берет тупо 50 тыщ пикселей (для картинки 224x224). Также Perciever отлично работает на аудио, видео, на комбинации аудио+видео, и на облаках 3D точек.

Сама статья довольно хорошо написана, можете в ней почитать подробности.