Китайцы очень любят делать объёмные обзоры той или иной подобласти машинного обучения с перечислением основных работ и главными прорывными идеями. Статей выходит очень много каждый день, и невозможно все прочесть. Поэтому такие обзоры ценны (если качественно написаны, конечно, что довольно редко).

Недавно вышла очень неплохая статья-обзор различных вариантов Трансформеров с фокусом на моделировании языка (NLP). Это мастр-рид для всех, кто начинает работать с NLP и интересуется Трансформерами. В статье рассматриваются базовые принципы работы self-attention и такие подробности современных вариантов Трансформеров как модификации архитектуры, претрейнинг и их приложения.

Статья: A Survey of Transformers.

Потихоньку добавляю улучшалку фото и обрезку фона для небольшого 3д-эффекта.
Это, конечно, как любят говорить разработчики игр, game engine footage (то есть черри-пикинг лучших примеров), но хороший результат получается уже в среднем в 50% случаев, чего раньше уж точно не было. Встречайте, суровые Adepta Sororitas

Исходные фото

Доброе утро!
Мне часто приходится вырезать людей (с фона), поэтому запилил и для вас колаб с U-2-Net.
Колаб обрабатывает картинки пачками в один клик, сохраняет результат + альфа канал отдельно. Все как мы любим!
Исходник тут
#colab