​Image Inpainting: Partial Convolution vs Gated convolution

Продолжая рубрику #fundamentals,
поговорим о конволюциях, используемых в нейронных сетях для инпейнтинга. В модели для инпейнтинга изображений на вход обычно подается поврежденное изображение (с некоторыми замаскированными частями). Однако, мы не хотим, чтобы свёртки полагались на пустые области при вычислении фичей. У этой проблемы есть простое решение (Partial convolution) и более элегантное (Gated convolution).

🔻Partial Convolutions делают свертки зависимыми только от валидных пикселей. Они похожи на обычные свертки, где к каждой выходной feature-map применяется умножение на жесткую маску. Первая маска вычисляется непосредственно из покоцанного изображения или предоставляется пользователем в качестве входных данных. Маски для каждой следующей частичной свертки вычисляются путем нахождения ненулевых элементов в промежуточных feature-мапах.

- Для частичной свертки недопустимые пиксели будут постепенно исчезать в глубоких слоях, постепенно преобразовывая все значения маски в единицы.
- частичная свертка несовместима с дополнительным вводом пользователя. Однако мы хотели бы иметь возможность использовать дополнительные пользовательские инпуты для условной генерации (например, скетч внутри маски).
- Все каналы в каждом слое используют одну и ту же маску, что ограничивает гибкость. По сути, частичную свертку можно рассматривать как необучаемое одноканальное зануление фичей по маске.

🔻Gated convolutions. Вместо жесткой маски, обновляемой с помощью жестких правил, закрытые свертки автоматически учат soft маску из данных. Дополнительная конволюция берет входную feature-map и предсказывает соответствующую soft маску, которая применяется к выходу оригинальной свертки.

- Gated convolution может принимать любой дополнительный инпут пользователя (например, маску, эскиз) в качестве входных данных. Все они могут быть склеены с поврежденным изображением и скормлены в сеть.
- Gated convolution динамически учит механизм выбора признаков для каждого канала и каждого пространственного расположения.
- Интересно, что визуализация промежуточных значений предсказанных масок показывает, что gated convolution учится выбирать фичи не только по фону, маске, эскизу, но и с учетом семантической сегментации в некоторых каналах.
- Даже в глубоких слоях gated convolution учится выделять именно маскированные области и информацию о входном скетче в отдельных каналах, что позволяет более качественно генерировать восстановленную картинку.

@ai_newz

На случай важных переговоров
https://github.com/snguyenthanh/better_profanity/blob/master/better_profanity/profanity_wordlist.txt

Если кто-то еще не успел попасть в бету midjourney, то сегодня пускают всех, и никто не уходит обиженным!

Идёте сюда, вводите почту, выбираете класс род деятельности и получаете инвайт в дискорд.
Дальше входите в канал #newbie, пишете свой запрос командой

/imagine ваш_текст

и вуаля!
Го положим сервера, я создал!

@derplearning

Вышла крупнейшая в мире открытая многоязычная языковая модель: BLOOM

Большие языковые модели (LLM) оказали значительное влияние на исследования в области ИИ. Эти мощные модели могут решать широкий спектр новых языковых задач на основе инструкций пользователя. Однако академическим кругам, некоммерческим организациям и исследовательским лабораториям небольших компаний сложно создавать, изучать или даже использовать LLM, поскольку полный доступ к ним имеют лишь несколько промышленных лабораторий, обладающих необходимыми ресурсами и эксклюзивными правами. Сегодня, международная коллаборация BigScience выпускает BLOOM, первую многоязычную LLM, обученную в условиях полной прозрачности.

BLOOM результат крупнейшего сотрудничества исследователей ИИ, когда-либо участвовавших в одном исследовательском проекте.

Имея 176 миллиардов параметров, BLOOM способен генерировать текст на 46 естественных языках и 13 языках программирования. Почти для всех из них, таких как испанский, французский и арабский, BLOOM станет первой в истории языковой моделью с более чем 100 миллиардами параметров. Это кульминация года работы с участием более 1000 исследователей из 70+ стран и 250+ институтов, в результате которой модель BLOOM обучалась 117 дней (с 11 марта по 6 июля) на суперкомпьютере Jean Zay на юге Парижа, Франция.

Модель