Го тестить на что способна почти SOTA сверточная сеть в эпозу визуальных трансформеров.

Потестил на генерации DALL-E. Ну неплохо, но сгенерить такое, имхо, круче, чем классифицировать.

🤗 ConvNeXt Demo

😭 Сделал диаграмму ConvNeXt с поправкой на How to train your ViT? и на EfficientNetV2

Работа подписчика
"Попытался сделать Ёжика в тумане в стиле Шишкина"

• Colab

🎓 Music Theory

Немного оффтопа. Нашёл чудесный канал и плейлист по теории музыки. Так что если для Вас функциональная гармония — нечто привычное и Вас не пугают некоммутативные (не Абелевы) группы, то милости прошу. Язык достаточно легкий, подача тоже.

🎼 Music Theory

Как мне подойти к задаче классфификации/QA/NER/...? В чатах можно часто услышать такие вопросы. И несмотря на обилие туториалов по всем стандартным задачам NLP, я пока что не видел хорошего места, куда можно было бы послать людей, где есть все эти задачки.

Теперь такое место есть! 🤗 Tasks

Вы выбираете задачу, которая вас волнует: классификация, QA, NER, MT, суммаризация, генерация, схожесть текстов

На каждую из них есть короткая лекция, описываются вариации задачи, есть ссылки на датасеты и предобученные модели. Самое главное: есть ссылки на A) хороший ноутбук, который подробно, но доступно описывают как применить условный BERT к этой задаче B ) хорошо задокументированный скрипт, который вы можете легко подогнать под свою задачу.

Кроме этого есть ссылки на релевантные блогпосты, которые могут рассматривать задачу с разных сторон. В общем советую теперь слать людей на 🤗 Tasks.

👨‍🎨 Что такое Image Inpainting и с чем его едят? Разбираем на примере RePaint, GLIDE, RuDOLPH.

Inpainting решает проблему удаления объекта или достраивания окружения изображения внутри произвольных масок по контексту.

Качество подходов зависит от кондишена масок, от скорости inpainting'а и от возможности использования текста в качестве дополнительного кондишена.

По скорости:
- Быстрые, e.g.: GAN'ы, работающие за один forward (условно оne stage)
▪️LaMa, Deep Fill v2

- Медленные, e.g.: Diffusion и DALL-E-like, работающие за 384-1280 forward'ов.
▪️RePaint, GLIDE, DALL-E

По использованию текста:
- Text Condition or Text guided, e.g.: GLIDE
- Image Context Only: диффьюжн RePaint

По зоне image кондишена:
- Condition Invariant Inpainting: кондишн берется из любой доступной точки вне маски. e.g.:
▪️ GLIDE: Classifier-Free Diffusion файнтюн под задачу Inpainting.
За минуту GLIDE делает один inpainting в разрешении 64х64, потом из коробки можно сделать диффьюз-апскейл в 256х256.
📇 GLIDE 🔮 GLIDE Colab

- Fixed Condition Inpainting: кондишн берется из фиксированных областей. В DALL-E-like поздние токены имеют кондишн в ранних, независимо от выбора кривой, заполняющая пространство, e.g.:
▪️ RuDOLPH: DALL-E, со способностями CLIP, решающий в zero-shot задачу Text Condition Image Inpainting. Из-за fixed condition природы, RuDOLPH лучше справляется с нижней частью изображения (пример).
За минуту GLIDE делает более 100 inpainting'ов в разрешении 128х128, потом из коробки можно диффьюз-декодить понравившиеся варианты в 256х256 и проапскейлить в 1024х1024.
📇 RuDOLPH 🔮 RuDOLPH Colab

Вывод:
- Если нужны быстрые подходы, которые не нужно настраивать текстом, то советую взять LaMa. Если же нужно качество, и готовы жертвовать временем, то ждите кода RePaint
- Если нужна текстовая настройка для Inpainting, например "олень в синей новогодней шапке", то советую обратить внимание на GLIDE Diffusion или на RuDOLPH в режиме DALL-E.

#разбираем_собираем #всохраненки