Очень любопытная работа от UC Berkeley + FB + Google.
Поразительно, но трансформеры, предобученные на языковых задачах, неплохо обобщаются и на другие модальности.

После обучения на текстовых данных, у трансофрмера файнтюнится только линейный входной слой, выходной слой, positional embeddings и параметры layer norm слоев (см. картинку выше). В итоге после файнтюнинга всего лишь 0.1% всех параметров на новом датасете такой трансофрмер может хорошо решать задачи в других модальностях, таких как предсказание структуры белка, математические вычисления или классификация изображений.

Выглядит так, что наш мир состоит из неких информационных структур, имеющих что-то общее даже если рассмотреть совсем разные задачи. Это довольно интересная гипотеза, и судя по всему, мы движемся к какой-то универсальной "нейронной сети", которая сможет решать много разных задач, используя накопленный опыт в других областях. Меня это жутко будоражит!

Тут все понавыкладывали новый колаб с StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators
Сайт: https://stylegan-nada.github.io/
Сорс: https://github.com/rinongal/StyleGAN-nada
Колаб: http://colab.research.google.com/github/rinongal/stylegan-nada/blob/main/stylegan_nada.ipynb

Выглядит максимально упорото, но и близко к кнопке "сделать ЗБС"

А вот результаты по запросу "photo -> comics" "photo -> anime"
Штош, пока моим ботам конкуренции можно не бояться :D

Кстати, на прошлой неделе я запилил облегченный стиль для @face2stickerbot
Он готов прийти на помощь, когда комикс-стиль не вывозит (сложный свет, темные или очень мутные фотки)

I released a lighter style for my @face2stickerbot last week, by the way. It's good in complicated cases, like hard light or blurry images.

Если кто запамятовал, в @face2stickerbot используется мой алгоритм, который может делать вот так.
Просто в боте он на минималках, чтобы быть доступным и бесплатным :3

Получилось довольно темновато, на подходе варик посветлее (до\после)